Herausgeber: Du Wei, Chen Ping
Dieses Papier bietet eine umfassende Einführung in die Konstruktion, mögliche Anwendung und Bewertung von Agenten, die auf großen Sprachmodellen (LLM) basieren, was für ein umfassendes Verständnis der Entwicklung dieses Fachgebiets und als Inspiration für zukünftige Forschung von großer Bedeutung ist.
Bildquelle: Erstellt von Unbounded AI
Im heutigen KI-Zeitalter gelten autonome Agenten als vielversprechender Weg zur künstlichen allgemeinen Intelligenz (AGI). Der sogenannte autonome Agent ist in der Lage, Aufgaben durch autonome Planung und Anweisungen zu erledigen. In frühen Entwicklungsparadigmen wird die Richtlinienfunktion, die die Aktionen des Agenten bestimmt, von Heuristiken dominiert, die in der Umgebungsinteraktion schrittweise verfeinert werden.
In uneingeschränkten Open-Domain-Umgebungen ist es für autonome Agenten jedoch oft schwierig, mit menschlicher Kompetenz zu agieren.
Mit dem großen Erfolg großer Sprachmodelle (LLMs) in den letzten Jahren hat es gezeigt, dass es das Potenzial hat, menschenähnliche Intelligenz zu erreichen. Aufgrund seiner leistungsstarken Fähigkeiten wird LLM daher zunehmend als zentraler Koordinator für die Erstellung autonomer Agenten eingesetzt, und es sind nach und nach verschiedene KI-Agenten entstanden. Diese Agenten bieten einen gangbaren Weg zu komplexeren und anpassungsfähigeren KI-Systemen, indem sie menschenähnliche Entscheidungsprozesse nachahmen.
*Eine Liste LLM-basierter autonomer Agenten, einschließlich Tool-Agenten, simulierten Agenten, allgemeinen Agenten und Domänen-Agenten. *
In dieser Phase ist es sehr wichtig, eine ganzheitliche Analyse der aufkommenden LLM-basierten autonomen Agenten durchzuführen, und es ist von großer Bedeutung, den Entwicklungsstand dieses Bereichs vollständig zu verstehen und zukünftige Forschung anzuregen.
In diesem Artikel führten Forscher der Hillhouse School of Artificial Intelligence an der Renmin University of China eine umfassende Umfrage zu LLM-basierten autonomen Agenten durch und konzentrierten sich dabei auf drei Aspekte ihrer Konstruktion, Anwendung und Bewertung.
Papieradresse:
Für die Konstruktion des Agenten schlugen sie ein einheitliches Framework vor, das aus vier Teilen besteht: dem Konfigurationsmodul zur Darstellung der Attribute des Agenten, dem Speichermodul zur Speicherung historischer Informationen, dem Planungsmodul zur Formulierung zukünftiger Aktionsstrategien und der Aktion Modul zur Umsetzung von Planungsentscheidungen. Nach der Vorstellung der typischen Agentenmodule fassen die Forscher auch die häufig verwendeten Feinabstimmungsstrategien zusammen, um die Anpassungsfähigkeit von Agenten an verschiedene Anwendungsszenarien zu verbessern.
Anschließend skizzieren die Forscher mögliche Anwendungen autonomer Agenten und untersuchen, wie sie den Bereichen Sozialwissenschaften, Naturwissenschaften und Ingenieurwissenschaften zugute kommen könnten. Abschließend werden Bewertungsmethoden für autonome Agenten diskutiert, einschließlich subjektiver und objektiver Bewertungsstrategien. Die folgende Abbildung zeigt die Gesamtstruktur des Artikels.
Quelle:
Konstruktion autonomer Agenten auf Basis von LLM
Um den LLM-basierten autonomen Agenten effizienter zu machen, müssen zwei Aspekte berücksichtigt werden: Erstens, welche Art von Architektur sollte entworfen werden, damit der Agent LLM besser nutzen kann; zweitens, wie Parameter effektiv gelernt werden können.
Design der Agentenarchitektur: In diesem Artikel wird ein einheitliches Framework vorgeschlagen, um die in früheren Studien vorgeschlagene Architektur zusammenzufassen. Die Gesamtstruktur ist in Abbildung 2 dargestellt und besteht aus Profilierungsmodul, Speichermodul, Planungsmodul und Aktionsmodul.
Zusammenfassend zielt das Analysemodul darauf ab, die Rolle des Agenten zu identifizieren; das Gedächtnis- und Planungsmodul versetzt den Agenten in eine dynamische Umgebung, die es dem Agenten ermöglicht, sich an vergangene Verhaltensweisen zu erinnern und zukünftige Aktionen zu planen; Entscheidungen werden in konkrete Ergebnisse umgesetzt. Unter diesen Modulen beeinflusst das Analysemodul die Speicher- und Planungsmodule, und diese drei Module wirken sich zusammen auf das Aktionsmodul aus.
Analysemodul
Autonome Agenten führen Aufgaben über bestimmte Rollen aus, z. B. Programmierer, Lehrer und Domänenexperten. Das Analysemodul zielt darauf ab, die Rolle des Agenten anzuzeigen. Diese Informationen werden normalerweise in die Eingabeaufforderungen geschrieben, um das LLM-Verhalten zu beeinflussen. In bestehenden Arbeiten gibt es drei häufig verwendete Strategien zur Generierung von Agentenprofilen: handgefertigte Methoden; LLM-Generierungsmethoden; Methoden zur Datensatzausrichtung.
Speichermodul
Speichermodule spielen eine sehr wichtige Rolle bei der Konstruktion von KI-Agenten. Es speichert die aus der Umgebung wahrgenommenen Informationen und nutzt das aufgezeichnete Gedächtnis, um zukünftige Aktionen des Agenten zu erleichtern. Speichermodule können Agenten dabei helfen, Erfahrungen zu sammeln, sich selbst weiterzuentwickeln und Aufgaben konsistenter, vernünftiger und effektiver zu erledigen.
Planungsmodul
Wenn Menschen vor einer komplexen Aufgabe stehen, zerlegen sie diese zunächst in einfache Teilaufgaben und lösen dann jede Teilaufgabe einzeln. Das Planungsmodul stattet den LLM-basierten Agenten mit den Denk- und Planungsfähigkeiten aus, die zur Lösung komplexer Aufgaben erforderlich sind, wodurch der Agent umfassender, leistungsfähiger und zuverlässiger wird. In diesem Artikel werden zwei Planungsmodule vorgestellt: Planung ohne Feedback und Planung mit Feedback.
Aktionsmodul
Das Aktionsmodul zielt darauf ab, die Entscheidung des Agenten in eine spezifische Ergebnisausgabe umzuwandeln. Es interagiert direkt mit der Umgebung und bestimmt die Effektivität des Agenten bei der Erledigung von Aufgaben. In diesem Abschnitt wird aus der Perspektive von Handlungsziel, Politik, Handlungsraum und Handlungseinfluss vorgestellt.
Zusätzlich zu den oben genannten 4 Teilen werden in diesem Kapitel auch die Lernstrategien des Agenten vorgestellt, einschließlich des Lernens aus Beispielen, des Lernens aus Umgebungsfeedback und des Lernens aus interaktivem menschlichem Feedback.
Tabelle 1 listet die Entsprechungen zwischen früheren Arbeiten und unserer Taxonomie auf:
LLM-basierte autonome Agentenanwendung
In diesem Kapitel werden die transformativen Auswirkungen LLM-basierter autonomer Agenten in drei verschiedenen Bereichen untersucht: Sozialwissenschaften, Naturwissenschaften und Ingenieurwissenschaften.
LLM-basierte Agenten können beispielsweise zum Entwurf und zur Optimierung komplexer Strukturen wie Gebäude, Brücken, Dämme, Straßen usw. verwendet werden. Zuvor hatten einige Forscher ein interaktives Framework vorgeschlagen, in dem menschliche Architekten und KI-Agenten zusammenarbeiten, um strukturelle Umgebungen in 3D-Simulationen zu erstellen. Interaktive Agenten können Anweisungen in natürlicher Sprache verstehen, Module platzieren, Rat einholen und menschliches Feedback einbeziehen, was das Potenzial der Mensch-Maschine-Zusammenarbeit im technischen Design zeigt.
In der Informatik und Softwareentwicklung beispielsweise bieten LLM-basierte Agenten das Potenzial, Codierung, Tests, Debugging und Dokumentationserstellung zu automatisieren. Einige Forscher haben ChatDev vorgeschlagen, ein End-to-End-Framework, in dem mehrere Agenten über den Dialog in natürlicher Sprache kommunizieren und zusammenarbeiten, um den Lebenszyklus der Softwareentwicklung abzuschließen. ToolBench kann für Aufgaben wie die automatische Vervollständigung von Code und Codeempfehlungen verwendet werden. MetaGPT kann die Rolle eines Produktmanagers, Architekten, Projektmanagers und Ingenieurs übernehmen, die Codegenerierung intern überwachen und die Qualität des endgültigen Ausgabecodes verbessern usw.
Die folgende Tabelle zeigt repräsentative Anwendungen von LLM-basierten autonomen Agenten:
LLM-basierte Bewertung autonomer Agenten
In diesem Artikel werden zwei häufig verwendete Bewertungsstrategien vorgestellt: subjektive Bewertung und objektive Bewertung.
Subjektive Bewertung bezieht sich auf die Fähigkeit von Menschen, LLM-basierte Agenten durch verschiedene Mittel wie Interaktion und Bewertung zu testen. In diesem Fall werden die an der Evaluierung teilnehmenden Personen häufig über Crowdsourcing-Plattformen rekrutiert; und einige Forscher glauben, dass Crowdsourcing-Personal aufgrund individueller Fähigkeitsunterschiede instabil ist, sodass auch Expertenkommentare für die Evaluierung verwendet werden.
Darüber hinaus können wir in einigen aktuellen Studien LLM-Agenten als subjektive Bewerter verwenden. In der ChemCrow-Studie bewertet uatorGPT beispielsweise experimentelle Ergebnisse, indem es eine Bewertung vergibt, die sowohl den erfolgreichen Abschluss der Aufgabe als auch die Genauigkeit des zugrunde liegenden Denkprozesses berücksichtigt. Ein weiteres Beispiel ist, dass Chat ein LLM-basiertes Multi-Agent-Schiedsrichterteam gebildet hat, um die Generierungsergebnisse des Modells durch Debatten zu bewerten.
Die objektive Bewertung hat mehrere Vorteile gegenüber der subjektiven Bewertung, die sich auf die Verwendung quantitativer Metriken zur Bewertung der Fähigkeiten LLM-basierter autonomer Agenten bezieht. In diesem Abschnitt werden objektive Bewertungsmethoden aus der Perspektive von Metriken, Strategien und Benchmarks überprüft und synthetisiert.
Bei der Nutzungsbewertung können wir diese beiden Methoden kombinieren.
Tabelle 3 fasst die Übereinstimmung zwischen früheren Arbeiten und diesen Bewertungsstrategien zusammen:
Weitere Informationen finden Sie im Originalpapier.
