ProgRouter: Online-Fortschritts-gesteuerte Orchestrierung von Multi-Agent-Workflows unter Qualitäts-Kosten-Abwägung
Dieser Artikel behandelt die hohen Betriebskosten, die Multi-Agent-Großsprachmodelle (LLM)-Workflows bei der Lösung komplexer offener Aufgaben verursachen. Bestehende Cascade-Routing-Methoden treffen nur eine einmalige Entscheidung auf Anfrageebene und können sich nicht an die dynamische, zustandsabhängige Natur von Mehrschritt-Workflows anpassen, bei denen die Wahl des LLM in jedem Schritt von der sich entwickelnden Aufgabenfortschritts, dem verbleibenden Schwierigkeitsgrad und den Kosten-Effizienz-Anforderungen abhängt. Die Autoren schlagen ProgRouter vor, ein Online-Fortschritts-gesteuertes Routing-Framework, das in jedem Workflow-Schritt adaptiv LLM-Agenten auswählt, um die Lösungsqualität zu erhalten, während Zeit- und Kostenbudgets eingehalten werden. Zu seinen Kernkomponenten gehören ein mehransichtiges Aufgabenfortschritts-Bewerter, der den grobgranularen Workflow-Ergebniszustand mit der Feingranularität der Unteraufgabenabschlüsse, Fortschritts-Trends und Workflow-Zustandsqualität kombiniert, sowie ein zweigpfiger Aufgabenfortschritts-Prädiktor und ein adaptiver Meta-Gating-Mechanismus zur Schätzung des Fortschrittszuwachses jedes Kandidaten-LLM. Experimente auf Benchmarks wie HumanEval Plus, MBPP, MATH-500 und ASQA zeigen, dass ProgRouter die Betriebskosten im Vergleich zu wichtigen Baselines erheblich reduziert, während eine starke Aufgabenleistung erhalten bleibt.
Hintergrund
Multi-Agent-Großsprachmodelle (LLM)-Workflows haben sich als führende Methode zur Lösung komplexer, offener Aufgaben etabliert. Sie stützen sich auf kollaboratives Reasoning zwischen spezialisierten LLM-Agenten, was jedoch wiederholte LLM-Aufrufe und sich häufende Langkontext-Fenster mit sich bringt. Diese反复 Aufrufe treiben die Betriebskosten deutlich in die Höhe. Genau hier liegt die zentrale Fragestellung der Arbeit: Wie lässt sich die Lösungsqualität kontrollieren oder sogar verbessern, während Zeit- und Kostenbudgets eingehalten werden?
Bestehende Cascade-Routing-Methoden treffen demgegenüber nur eine einmalige, auf Anfrageebene angesiedelte Entscheidung. Sie behandeln das Routing als einmalige Gesamtbewertung der gesamten Workflow-Kette. Diese statische Denkweise kann der dynamischen, zustandsabhängigen Natur von Mehrschritt-Workflows nicht gerecht werden. Denn welche LLM in jedem einzelnen Schritt zum Einsatz kommt, hängt von der sich wandelnden Aufgabenfortschritt, dem verbleibenden Schwierigkeitsgrad und den jeweils aktuellen Kosten-Effizienz-Anforderungen ab — Informationen, die im Laufe der Ausführung fortlaufend change.
Tiefenanalyse
Die Autoren lösen dieses Dilemma mit ProgRouter, einem Online-Fortschritts-gesteuerten Routing-Framework. Es wählt in jedem Workflow-Schritt adaptiv das jeweils passende LLM-Agent aus und verwandelt damit das Routing von einer statischen einmaligen Bewertung in einen dynamischen Orchestrierungsprozess, der sich fortlaufend an den sich wandelnden Aufgabenzustand anpasst. Kernstück ist die Wahrnehmung und Vorhersage der Aufgabenfortschritts. Ein mehransichtiges Aufgabenfortschritts-Bewerter kombiniert den grobgranularen Ergebniszustand des Workflows mit feingranularen Signalen aus Unteraufgabenabschlüssen, Fortschritts-Trends und der Workflow-Zustandsqualität. So entsteht ein differenzierteres Bild über den aktuellen Stand der Aufgabe.
Nach Erzeugung dieser Fortschritts-Repräsentation kommt ein zweigpfiger Aufgabenfortschritts-Prädiktor zum Zug, gekoppelt mit einem adaptiven Meta-Gating-Mechanismus. Dieser schätzt den Fortschrittszuwachs, den jeder Kandidaten-LLM erzielen würde. Das zweigpfige Design stützt sich dabei auf mehrere Signale statt auf ein einziges, und das adaptive Gate gewichtet die Kandidatenpfade je nach Echtzeit-Zustand. Router trifft seine Entscheidungen schrittweise und online, es wägt Fortschrittszuwachs gegen das Zeitbudget und die langfristige Kosten-Effizienz ab, anstatt die Einzelfelloptimierung zu verfolgen. Genau diese Vereinigung von kurzfristigem Fortschrittszuwachs und langfristigem Kosteneffizienz ist der Kernunterschied zu einmaligen Routing-Ansätzen.
Branchenwirkung
Der Online-Ansatz bietet einen praktikablen Weg zur kostengünstigen Bereitstellung von Multi-Agent-Workflows. Sobald Agentensysteme in der Praxis verbreitet sind, werden Betriebskosten und Zeitbudgets häufig zum Engpass der Einführung. Die gezeigte Methode zeigt, dass sich feingranulare Fortschrittswahrnehmung in Kombination mit dynamischem Routing die Ausgaben erheblich reduzieren lässt, ohne nennenswerte Qualitätseinbußen. Für die Open-Source-Community liefert die Arbeit ein übertragbares Framework-Design, das das Routing von statischer Bewertung zu einem zustandsgetriebenen Online-Orchestrierung hebt.
Für die industrielle Umsetzung erleichtert dieser Qualitäts- und Kosten-Ausgleich die Bereitstellung anspruchsvollerer, langgezogener Mehrschrittaufgaben in realen Szenarien. Für die Nachforschung öffnet das Design aus mehransichtigem Scoring, zweigpfiger Vorhersage und adaptivem Gate neue Richtungen, wie sich Aufgabenzustände feingranularer modellieren und kurzfristige Gewinne online gegen langfristige Kosten abwägen lassen. Insgesamt lenkt die Arbeit den Fokus von reinem Leistungszuwachs hin zu einem ingenieurwissenschaftlichen Denken, das Leistung und Kosten gleichgewichtig betrachtet.
Ausblick
Die Betonung relativier Abwägungsleistungen über mehrere Aufgaben hinweg statt Überanpassung an einen einzelnen Datensatz signalisiert eine Designphilosophie, die auf Allgemeingültigkeit abzielt. Mit wachsender Komplexität und längeren Horizonten von Agent-Workflows in der Produktion werden Frameworks wie ProgRouter, die Entscheidungen über die Zeit hinweg adaptiv treffen, zunehmend an Bedeutung gewinnen, um die Bereitstellung wirtschaftlich tragfähig zu halten. Die Unterscheidung zwischen grobgranularem Workflow-Zustand und feingranularen Unteraufgaben-Signalen legt nahe, dass zukünftige Systeme die Fortschrittsabschätzung noch weiter verfeinern könnten. Gleichzeitig weist der adaptive Meta-Gating-Mechanismus in Richtung flexiblerer Pfadauswahl, sobald der Pool der Kandidaten-LLMs wächst.