HGM-Dual: Harness-Optimierung für Planungsagenten

Hintergrund

Die auf arXiv veröffentlichte Arbeit widmet sich der Harness-Optimierung für Planungsagenten. Ein Harness ist die Schicht aus Prompts, Werkzeugen und Workflows, die um ein eingefrorenes oder geschlossenes Sprachmodell gebaut wird. Die Modellgewichte lassen sich in dieser Lage nicht ändern. Als Hebel bleibt allein die Hülle um das Modell. Deshalb gilt die Harness-Optimierung als praktischer Weg zu leistungsfähigeren Agenten.

Die bekanntesten Verfahren sind die Darwin-Godel Machine und die Huxley-Godel Machine (HGM). Beide setzen auf rekursive Selbstverbesserung: Der Agent bearbeitet sich wiederholt selbst und behält, was funktioniert. Entwickelt wurden sie überwiegend an Programmieraufgaben. Dort gibt es eine nützliche Übereinstimmung. Die Fähigkeit, die zum Verbessern des Agenten nötig ist, ist dieselbe, in der der Agent verbessert wird. Editierschleife und Zielaufgabe passen also zusammen.

Bei Planungsaufgaben bricht diese Übereinstimmung weg. Ein Planungsagent muss eine Folge von Werkzeugaufrufen liefern, und mehrere wechselwirkende Randbedingungen müssen zugleich erfüllt sein. Die Autoren argumentieren, dass offene Selbstmodifikation in diesem Umfeld schlecht abschneidet. Sie probiert immer wieder wirkungslose Änderungen aus, und jeder Fehlversuch verbraucht Evaluationsbudget. Ihre Antwort heißt HGM-Dual: ein durch Diagnoseinformationen geleitetes Rahmenwerk, das die Harness-Evolution für Planungsagenten günstiger machen soll.

Tiefenanalyse

HGM-Dual beruht auf zwei Kernideen. Die erste ist der abstammungsbewusste Kontext. Üblich ist, frühere Agenten in einem flachen Archiv abzulegen, das der Editor selbst durchsuchen muss. HGM-Dual hält stattdessen für jeden Vorfahren fest, was geändert wurde, welches Verhalten sich verbesserte, welches sich verschlechterte und welche Änderungen nichts bewirkten. Der Editor sieht damit den Zusammenhang zwischen Eingriff und Ergebnis. Er erkennt, welche Art von Änderung hilft und welche vergeudete Mühe ist, und er läuft nicht erneut in dieselbe Sackgasse. Die zweite Idee ist die fehlerabhängige Erzeugung von Nachkommen auf zwei Pfaden. Für jedes ausgewählte Elternteil entstehen zwei Arten von Kindern. Das allgemeine Kind (general child) hält die Exploration offen und schränkt die Richtung der Änderung nicht ein. So bleibt die Chance erhalten, unerwartete Verbesserungen zu finden. Die spezialisierten Kinder (specialized children) zielen auf jene Randbedingungen, die das Elternteil am häufigsten verletzt hat. Das System beurteilt zuerst, welche Komponenten des Harness diese Verletzungen am wahrscheinlichsten verursachen, und ändert dann nur diese Komponenten.

Wie entscheidet HGM-Dual, wo ein Planungs-Harness geändert wird? Das Verfahren liest das Diagnosesignal aus den eigenen fehlgeschlagenen Fällen des Elternteils. Es ordnet die am häufigsten verletzten Randbedingungen und weist sie den Harness-Komponenten zu, die dafür am ehesten verantwortlich sind. Der Editor muss den Ansatzpunkt nicht raten. So fließt das knappe Evaluationsbudget in die Änderungen mit der besten Aussicht auf Erfolg, während das allgemeine Kind verhindert, dass die Suche zu eng wird. Die zentrale Kennzahl der Arbeit ist die Case Accuracy: der Anteil der Planungsfälle, in denen alle Randbedingungen gleichzeitig erfüllt sind. Zum Vergleich dienen die stärkste Baseline und mehrere HGM-Varianten. Das Abstract nennt zwei Ergebnisse. HGM-Dual steigert die Case Accuracy um bis zu 14,45 % gegenüber der stärksten Baseline. Außerdem erreicht es die Endleistung der HGM-Varianten mit 2- bis 4-mal weniger Evaluationsbudget. Das Wort „bis zu“ ist wichtig. Es besagt, dass der Gewinn von der Einstellung abhängt und 14,45 % der beste Fall ist, keine garantierte Größe. Das Abstract nennt zudem weder die Benchmarks noch die zugrunde liegenden Modelle und beschreibt auch keine Ablationsstudien. Wie viel jeder Baustein beiträgt, ob der Abstammungskontext oder die Erzeugung auf zwei Pfaden, lässt sich allein aus dem Abstract nicht klären. Dafür muss man den vollständigen Text prüfen.

Branchenwirkung

Was bedeutet das für Teams, die Agenten auf geschlossenen Modellen bauen? Die Arbeit greift eine konkrete Frage auf: Kann man das Abstimmen von Prompts, Werkzeugen und Workflows systematischer und billiger gestalten, wenn das Modell feststeht? Die Autoren sagen, dass sich die rekursive Selbstverbesserung, die beim Programmieren funktioniert, nicht unverändert auf Planungsaufgaben übertragen lässt, weil beide Aufgaben nicht mehr dieselbe Fähigkeit verlangen. Entwicklungsteams sollten daher zuerst die Art der Aufgabe prüfen, bevor sie ein automatisches Optimierungsverfahren wählen.

Das Budgetergebnis wiegt schwer. Einen Kandidaten-Harness auf Planungsaufgaben zu bewerten bedeutet meist, einen ganzen Satz von Fällen vollständig durchzurechnen. Jeder Kandidat ist teuer. Ein Verfahren, das dieselbe Endgenauigkeit mit 2- bis 4-mal weniger Evaluationsbudget erreicht, kann die Ersparnis in zusätzliche Evolutionsrunden oder in geringere Kosten umsetzen. Für Gruppen, die ein geschlossenes Modell pro Aufruf bezahlen, ist dieser Unterschied unmittelbar spürbar.

Die Idee der Abstammung hat Wert über diese Arbeit hinaus. Einem Editor eine mit Ursachen versehene Änderungshistorie zu geben, hilft mehr, als ihm einen Stapel alter Versionen vorzulegen. Der Zwei-Pfade-Ansatz bietet eine schlichte Methode, Exploration und Ausnutzung auszubalancieren: einige Kinder bleiben offen, andere zielen auf die auffälligsten Fehler. Szenarien mit mehreren gekoppelten Randbedingungen, etwa Reiseplanung, Ressourcenzuteilung und Abläufe im Kundendienst, sind natürliche Testfelder für diese Ideen.

Ausblick

Aus dem Abstract ergeben sich mehrere offene Fragen. Das Diagnosesignal könnte feiner werden. Heute verweist es auf die am stärksten verletzten Randbedingungen und die zugehörigen Komponenten. Ein detaillierteres Signal könnte Ursachen innerhalb einer einzelnen Komponente unterscheiden. Auch die Abstammungsaufzeichnung wächst mit jeder Evolutionsrunde. Ob sie sich komprimieren lässt, ohne die nützliche Zuordnung der Ursachen zu verlieren, behandelt das vorliegende Material nicht.

Eine zweite Frage betrifft den Zeithorizont. Das Abstract stellt die Arbeit in den Rahmen von Planungsaufgaben mit wechselwirkenden Randbedingungen. Es sagt aber nicht, wie sich das Verfahren bei deutlich längeren Aufgaben verhält oder wenn sich Verletzungen schwerer automatisch erkennen lassen. Solche Aussagen bräuchten Belege aus dem vollständigen Text und unabhängige Nachbauten.

Für die Praxis ist der sinnvolle nächste Schritt, die Benchmark-Liste, die Modellwahl und die Ablationstabellen der Arbeit zu lesen. Die Kernzahlen, bis zu 14,45 % höhere Case Accuracy und ein 2- bis 4-mal kleineres Evaluationsbudget, sind starke Signale. Sie stammen jedoch aus einem Abstract. Teams sollten vor einem Einsatz prüfen, ob die Testumgebung ihrer eigenen Planungslast ähnelt, und die Budgetersparnis an eigenen Fällen nachmessen.