FORGE: Selbstentwickelnder Agent-Gedächtnismechanismus und Populations-Übertragungsprotokoll ohne Gewichtsupdates

Hintergrund

Große Sprachmodelle (LLMs) stoßen bei der Ausführung komplexer Entscheidungsfindungsaufgaben in dynamischen und adversariellen Umgebungen oft an ihre Grenzen, da ihr Wissen statisch ist und sie keine langfristige Gedächtnisakkumulation aufbauen können. Herkömmliche Ansätze zur Verbesserung der Agentenleistung verlassen sich stark auf gradientenbasierte Updates oder externes Feintuning. Diese Methoden sind jedoch mit erheblichen Rechenkosten und部署komplexitäten verbunden, was sie für Echtzeitanwendungen oder ressourcenbeschränkte Umgebungen oft unpraktisch macht. Das zentrale Problem besteht darin, Agenten in die Lage zu versetzen, aus Erfahrungen zu lernen und sich an komplexe Aufgaben anzupassen, ohne teure Neuschulungen oder Änderungen der Modellgewichte vornehmen zu müssen. Dieser Mangel an effizienten, leichten Mechanismen hat die Notwendigkeit neuer Paradigmen für das selbstgesteuerte Lernen von KI-Agenten verdeutlicht.

Um diese kritischen Einschränkungen zu überwinden, wurde das FORGE-Protokoll (Failure-Optimized Reflective Graduation and Evolution) entwickelt. FORGE ist ein innovativer Ansatz für selbstentwickelnde Agenten-Gedächtnismechanismen, der ohne Gewichtsupdates auskommt. Der Kernbeitrag dieses Frameworks liegt darin, dass Agenten ihre Entscheidungsprozesse durch selbstgenerierte natürliche Sprachgedächtnisse optimieren können. Im Gegensatz zu konventionellen Methoden, die das Distanillieren von Wissen in stärkere Modelle oder das Aktualisieren von Modellparametern erfordern, nutzt FORGE eine hierarchische ReAct-Agentenarchitektur. Diese Architektur ermöglicht die effiziente Anhäufung und Verbreitung von Wissen durch ein duales Schleifensystem: eine interne Reflexionsschleife und eine externe Populations-Broadcast-Schleife.

Die Bedeutung von FORGE unterstreicht sich durch seine Fähigkeit, die ursprüngliche Architektur der zugrunde liegenden Sprachmodelle beizubehalten, während das Gedächtnis durch Prompt-Engineering injiziert wird. Dieser Ansatz gewährleistet eine hohe Generalisierbarkeit und Flexibilität, sodass das Protokoll leicht an verschiedene LLM-Familien angepasst werden kann, ohne deren Struktur zu verändern. Das Design adressiert die Ineffizienz traditioneller Verstärkungslernmethoden, indem es sich auf die Transformation von Fehlverläufen in wiederverwendbare Wissensartefakte konzentriert. Diese Artefakte, die heuristische Regeln, Few-Shot-Beispiele oder hybride Formen umfassen, werden durch interne Reflexion erzeugt und durch populationsbasierte Mechanismen verbreitet. Diese Methode verbessert nicht nur die Leistung des Agenten, sondern optimiert auch die Nutzung von Rechenressourcen, indem sie den Overhead kontinuierlicher Modellaktualisierungen vermeidet.

Tiefenanalyse

FORGE employs eine ausgefeilte Zwei-Schichten-Architektur, die bestehende Lernrahmenwerke wie Reflexion nachahmt und verbessert. In der inneren Schleife nutzt das System einen dedizierten Reflexions-Agenten, um Fehlverläufe zu analysieren, die während der Aufgabenausführung auftreten. Statt sich auf ein leistungsfähigeres Modell für das Distanillieren von Wissen zu verlassen, verwendet FORGE dasselbe zugrunde liegende Large Language Model zur Selbstreflexion. Wenn ein Agent fehlschlägt, extrahiert der Reflexions-Agent verallgemeinerbares Wissen aus der Fehlsequenz und formatiert es in drei verschiedene Arten von Wissensartefakten: Regeln (heuristische Richtlinien), Beispiele (Few-Shot-Demonstrationen) oder gemischte Formen (eine Kombination beider). Diese Artefakte werden dann als natürliches Sprachgedächtnis in den Prompt des Agenten injiziert, wodurch der Agent effektiv aus seinen Fehlern lernen kann, ohne Gradientenupdates. Dieser Mechanismus stellt sicher, dass der Lernprozess intrinsisch mit der Interaktion des Agenten mit der Umgebung und seinem eigenen Gedächtniszustand verbunden ist. Die äußere Schleife führt einen populationsbasierten Ansatz zur Gedächtnisverbreitung ein, der die Vielfalt und Robustheit des Lernprozesses erhöht. FORGE verwaltet eine Population von Agenteninstanzen, und am Ende jeder Phase bewertet das System die Leistung aller Instanzen. Die Gedächtnisse der am besten abschneidenden Instanzen werden dann an den Rest der Population übertragen, was die Verbreitung erfolgreicher Strategien erleichtert. Eine Schlüsselinnovation in dieser Phase ist die Einführung eines Graduationsmechanismus. Wenn das Gedächtnis eines Agenten einen bestimmten Konvergenzstandard erreicht, wird es aus der aktiven Population entfernt und eingefroren. Dieser Prozess verhindert die Verschwendung von Rechenressourcen für redundantes Lernen und stellt sicher, dass die Population eine diverse Menge an Strategien beibehält, wodurch lokale Optima vermieden und eine breitere Erkundung des Lösungsraums gefördert wird. Zur Validierung der Wirksamkeit von FORGE wurden umfangreiche Bewertungen auf dem CybORG CAGE-2-Benchmark durchgeführt, einem Partially Observable Markov Decision Process (POMDP), der für die Netzwerkverteidigung konzipiert ist. Dieser Benchmark präsentiert eine hochstochastische und komplexe Umgebung, in der Agenten über einen Horizont von 30 Schritten gegen B-Line-Angriffe verteidigen müssen. Die Studie testete FORGE über vier große LLM-Familien hinweg: Gemini-2.5-Flash-Lite, Grok-4-Fast, Llama-4-Maverick und Qwen3-235B. In Zero-Shot-Einstellungen zeigten diese Modelle starke negative, schwerstailige Belohnungsverteilungen, was ihre inhärenten Schwierigkeiten bei komplexen Verteidigungsaufgaben hervorhob. Die Ergebnisse demonstrierten, dass FORGE sowohl die Zero-Shot- als auch die Reflexion-Baselines bei allen getesteten Modellen signifikant übertraf. Konkret stieg die durchschnittliche Bewertungsbelohnung im Vergleich zur Zero-Shot-Baseline um das 1,7- bis 7,7-Fache und im Vergleich zur isolierten Single-Stream-Reflexion-Baseline um 29 % bis 72 %. Darüber hinaus wurde die Ausfallrate, definiert als Belohnungen unter -100, auf etwa 1 % reduziert, was eine erhebliche Verbesserung der Systemzuverlässigkeit anzeigt.

Ablationsstudien lieferten tiefere Einblicke in die Komponenten, die zum Erfolg von FORGE beitragen. Die Entfernung des Graduationsmechanismus ergab eine Variante, die bestätigte, dass der Populations-Broadcast der primäre Treiber für Leistungsgewinne ist, während der Graduationsmechanismus selbst für die Recheneffizienz entscheidend war. In Bezug auf die Wissensdarstellung erwiesen sich Few-Shot-Beispiele bei drei der vier getesteten Modelle als am effektivsten und erzielten die höchsten Belohnungen. Heuristische Regeln zeigten jedoch eine überlegene Kosteneffizienz, wobei der Token-Verbrauch um etwa 40 % reduziert wurde, während die Leistung robust blieb. Bemerkenswerterweise profitierten Modelle mit schwächeren Basiskapazitäten signifikant mehr von FORGE, was darauf hindeutet, dass das Protokoll dazu beiträgt, die Leistungslücke zwischen verschiedenen LLM-Tiers zu verringern, anstatt lediglich die Vorteile bereits starker Modelle zu verstärken.

Branchenwirkung

Die Einführung von FORGE hat tiefgreifende Auswirkungen auf die Bereitstellung von KI-Agenten in ressourcenbeschränkten Umgebungen. Durch die Eliminierung der Notwendigkeit von Gewichtsupdates ermöglicht FORGE die Bereitstellung ausgefeilter, selbstentwickelnder Agenten auf Edge-Geräten oder in Echtzeitsystemen, in denen Rechenressourcen begrenzt sind. Diese Fähigkeit reduziert die mit der Wartung und Aktualisierung von Modellen verbundenen Kosten erheblich und macht fortschrittliche KI-Entscheidungsfindung für industrielle Anwendungen zugänglicher und praktischer. Die Abhängigkeit des Protokolls von natürlichem Sprachgedächtnis erhöht auch die Transparenz und Interpretierbarkeit der Entwicklung des Agenten. Forscher und Ingenieure können das angesammelte Wissen, wie heuristische Regeln oder Beispiele, direkt inspizieren und analysieren, was wertvolle Einblicke in die Entscheidungslogik des Agenten bietet. Diese Interpretierbarkeit ist kritisch für das Debugging, die Verbesserung des Agentenverhaltens und die Sicherstellung der Einhaltung von Sicherheits- und Regulierungsstandards in hochriskanten Umgebungen.

Im Cybersicherheitsbereich ist FORGE besonders gut für Anwendungen geeignet, die langfristiges Gedächtnis und schnelle Anpassung an dynamische Bedrohungen erfordern. Der CybORG CAGE-2-Benchmark, der Netzwerkverteidigungsszenarien simuliert, demonstriert das Potenzial des Protokolls beim Schutz von Systemen vor ausgefeilten, sich entwickelnden Angriffen. Die Fähigkeit von FORGE, die Ausfallraten auf etwa 1 % zu senken, während hohe Belohnungswerte beibehalten werden, zeigt seine Zuverlässigkeit beim Schutz kritischer Infrastrukturen. Darüber hinaus macht die Effizienz des Protokolls im Management von Rechenressourcen durch seinen Graduationsmechanismus es ideal für großflächige automatisierte Operationen, bei denen kontinuierliche Überwachung und Reaktion erforderlich sind. Durch die Ermöglichung des Lernens aus vergangenen Fehlern und der Verbreitung erfolgreicher Strategien über eine Population hinweg bietet FORGE ein robustes Framework für den Aufbau widerstandsfähiger, adaptiver Sicherheitssysteme.

Die Open-Source-Community wird erheblich vom standardisierten Ansatz von FORGE zur Selbstentwicklung profitieren. Durch die Bereitstellung eines Protokolls, das nicht von spezifischen Modellarchitekturen oder Gewichtsupdates abhängt, erleichtert FORGE den Vergleich und die Zusammenarbeit zwischen verschiedenen Forschungsteams. Diese Standardisierung kann die Entwicklung neuer agentenbasierter Anwendungen beschleunigen und ein kollaborativeres Ökosystem fördern. Darüber hinaus ermöglicht die Flexibilität des Protokolls seine Anpassung an verschiedene andere Domänen über die Cybersicherheit hinaus, wie Kundenservice, automatisierter Handel und Robotersteuerung. Das Potenzial von FORGE, die Leistungslücke zwischen verschiedenen Modellfähigkeiten zu schließen, demokratisiert auch den Zugang zu Hochleistungs-KI, indem es Organisationen mit begrenzten Ressourcen ermöglicht, fortschrittliche Agententechnologien zu nutzen.

Ausblick

In Zukunft wird die Forschungscommunity die breitere Anwendbarkeit von FORGE in verschiedenen Aufgabendomänen erkunden. Zukünftige Studien könnten die Wirksamkeit des Protokolls in Bereichen wie konversationeller KI untersuchen, wo die Beibehaltung des langfristigen Kontexts entscheidend ist, oder in Robotiksteuerungssystemen, wo adaptives Lernen aus physischen Interaktionen erforderlich ist. Die Optimierung der Darstellung von Gedächtnisartefakten und die Verfeinerung der Übertragungsstrategien innerhalb der Populations-Schleife werden wahrscheinlich zu den wichtigsten Forschungsbereichen gehören. Forscher könnten mit ausgefeilteren hybriden Wissensformen oder dynamischen Anpassungen der Graduationskriterien experimentieren, um Effizienz und Leistung weiter zu steigern. Darüber hinaus besteht das Potenzial, FORGE mit anderen Verstärkungslernmethoden zu integrieren, um noch robustere und vielseitigere Agentensysteme zu schaffen. Die Entwicklung von FORGE eröffnet auch neue Wege zum Verständnis der kognitiven Prozesse von KI-Agenten. Durch die Analyse der natürlichen Sprachgedächtnisse, die durch die Reflexionsschleife generiert werden, können Forscher Einblicke darin gewinnen, wie Agenten Heuristiken bilden und aus spezifischen Erfahrungen verallgemeinern. Dies könnte zur Entwicklung von lernähnlicheren Algorithmen führen, die biologische Gedächtniskonsolidierungsprozesse nachahmen. Während das Protokoll reift, könnte es auch neue Architekturen für Multi-Agenten-Systeme inspirieren, in denen Populationen von Agenten zusammenarbeiten und konkurrieren, um komplexe Probleme zu lösen. Der Schwerpunkt auf Transparenz und Interpretierbarkeit in FORGE könnte einen neuen Standard für verantwortungsvolle KI-Entwicklung setzen und sicherstellen, dass autonome Systeme verständlich und kontrollierbar bleiben. Schließlich können die wirtschaftlichen Implikationen der Ressourceneffizienz von FORGE nicht hoch genug eingeschätzt werden. Mit wachsender KI-Adoption bleiben die Kosten für das Training und die Wartung großer Modelle eine erhebliche Hürde. Die Fähigkeit von FORGE, die Leistung ohne zusätzliche Trainingskosten zu verbessern, bietet einen nachhaltigen Weg für die Industrie. Es ermöglicht Organisationen, den Wert bestehender Modelle zu maximieren, während sie ihre Fähigkeiten kontinuierlich durch Gedächtnisentwicklung verbessern. Dieser Ansatz könnte zu einer neuen Generation von KI-Diensten führen, die erschwinglicher, skalierbarer und anpassungsfähiger sind. Während sich die Technologie weiterentwickelt, ist davon auszugehen, dass FORGE und ähnliche Protokolle zu integralen Bestandteilen der KI-Infrastruktur werden und eine Zukunft ermöglichen, in der autonome Agenten nicht nur intelligent, sondern auch effizient, transparent und weit verbreitet zugänglich sind.

Die Entwicklungslinie von FORGE deutet auf einen Wandel hin zu modulareren und zusammensetzbaren KI-Systemen. Anstatt monolithischer Modelle, die extensive Neuschulungen erfordern, könnten zukünftige Systeme auf leichtgewichtigen Protokollen basieren, die eine kontinuierliche, kostengünstige Anpassung ermöglichen. Diese Modularität könnte schnellere Innovationszyklen und eine schnellere Bereitstellung von KI-Lösungen in dynamischen Märkten erleichtern. Der Erfolg von FORGE im CybORG CAGE-2-Benchmark dient als Proof of Concept für dieses neue Paradigma und zeigt, dass erhebliche Leistungsgewinne durch intelligentes Gedächtnismanagement statt durch brute-force Rechenleistung erreichbar sind. Während das Feld voranschreitet, wird die Integration solcher Protokolle in die Mainstream-KI-Entwicklungspraktiken wahrscheinlich die Standards für Agentenleistung und Effizienz neu definieren.