Wenn schnellere Entscheidungen keine besseren Agenten machen: 4.500 Aufgabenläufe prüfen, wie Jevs Ersparnisse in ALFWorld und AndroidWorld ankommen

Die Arbeit 2610.13092 erschien Mitte Oktober 2026 auf arXiv unter dem Titel „Wenn schnellere Entscheidungen keine besseren Agenten machen: Eine empirische Studie zu Jev in Agenten-Workflows“. Der Ausgangspunkt ist praktisch. Agenten erledigen Aufgaben, indem sie immer wieder entscheiden, und LLMs sind meist der Kern dieser Entscheidungen. Das neu aufgetauchte Jev verspricht, sie schneller und billiger zu machen. Unklar ist aber, ob sich lokale Einsparungen in effiziente, verlässliche Erledigung ganzer Aufgaben übersetzen. Unsere Seite berichtete am 10. Oktober über Jev: von TypeSafe AI veröffentlicht, transformerbasiert, aber kein LLM, es gibt Wahrscheinlichkeiten statt Text aus. Die Arbeit nennt es ein „System-1-Modell“, das per Anweisung definierte Urteile über typisierte Ausgaben liefert, einschließlich Wahrscheinlichkeiten über vorgegebene Optionen.

Zuerst das Design. Die Autoren wählen zwei repräsentative Szenarien: häusliche Embodied-Aufgaben in ALFWorld mit der Textumgebung und allen 134 Aufgaben der Aufteilung valid_unseen sowie die Nutzung mobiler Apps in AndroidWorld mit textbasierten UI-Beobachtungen und je einer festen Instanz für 116 Aufgabentypen. Von fünf Agentenfamilien hat ALFWorld ReAct und Reflexion, AndroidWorld T3A, AutoDroid und Droidruns FastAgent. In jeder Familie ersetzen sie die Aktionsauswahl durch eine Jev-Anfrage pro Entscheidungsschritt, lassen Beobachtung, Verlauf und Ausführungsmechanik unverändert und vergleichen mit dem Original; ALFWorld erhält zusätzlich eine „LLM-Choice“-Kontrolle, bei der das LLM aus derselben Kandidatenliste wählt. Jede Konfiguration läuft dreimal auf denselben Aufgaben, insgesamt 4.500 Aufgabenläufe. Alle LLM-Entscheidungen und die Hilfsgenerierung nutzen gpt-5.6-luna, Jev-Entscheidungen jev-1.13.0. Die Kostenrechnung je Million Token beträgt 0,20 $ für LLM-Eingabe, 1,20 $ für LLM-Ausgabe, 0,042 $ für Jev-Eingabe und null für Jev-Ausgabe.

Nun die Ergebnisse. Die erste Ebene ist die Wirksamkeit, und der Abstand ist ungleich. In ALFWorld erreichen ReAct-J und Reflexion-J 96,02 % und 98,01 % Erfolg, 1,49 und 1,74 Punkte unter den Originalen; mit der gemeinsamen Kandidatenschnittstelle schrumpfen die Abstände auf 1,00 und 0,00 Punkte. In AndroidWorld liegt Jev um 13,22, 2,30 und 18,10 Punkte hinter T3A, AutoDroid und FastAgent, beide AutoDroid-Varianten unter 20 % Erfolg. Die Schwierigkeit hängt nicht nur von der Sequenzlänge ab: Die Jev-Varianten erreichen in ALFWorld bei „untersuchen, ablegen, kühlen“ 100 %, liegen beim Reinigen aber etwa 8,6 und 7,5 Punkte zurück, und in AndroidWorld verlieren T3A und FastAgent selbst in der Schicht mit dem kürzesten Budget 12,5 und 15,3 Punkte. Die zweite Ebene sind Kosten und Zeit: Ersparnisse übertragen sich leichter als Tempo. In ALFWorld senken ReAct und Reflexion die Kosten um 50,9 % und 32,6 % und die Zeit um 47,6 % und 37,8 %. In AndroidWorld senken T3A, AutoDroid und FastAgent die Kosten um 17,1 %, 68,8 % und 43,0 %, die Zeit aber nur um 10,6 % und 5,7 %, während FastAgent um 0,7 % steigt; alle Familien verbrauchen mehr Token je Aufgabe. Der Grund: Arbeit außerhalb der Auswahl verschluckt die Ersparnis. Das Basis-ReAct verbringt 68,31 von 71,17 Sekunden mit der Aktionsauswahl; Jev senkt das auf 17,25 Sekunden und behält auch nach 17,23 Sekunden Hilfs-Reasoning große Ersparnisse. Bei T3A wächst die Hilfsgenerierung von 67,47 auf 96,99 Sekunden und macht 81,9 % der Jev-Inferenzausgaben aus; FastAgent trifft 44,1 % mehr Entscheidungen, da seine Ein-Werkzeug-pro-Schritt-Konfiguration billigere Entscheidungen mit längeren Interaktionsfolgen verbindet.

Die dritte Ebene ist der eigentliche Punkt: Die Vollendung bestimmt den Wert der Ersparnis. Auf passenden Aufgaben-Lauf-Paaren, die beide Konfigurationen abschließen, behält ALFWorld 64,8–66,2 % niedrigere Kosten und 59,2–60,8 % kürzere Ausführung. Rechnet man Fehlschläge mit, ändert sich das Bild: In Reflexion-J verbrauchen 2,0 % der Läufe durch gescheiterte Wiederherstellung 53,3 % der Inferenzausgaben. Je ausgelieferter Erfolg sinken die Kosten in vier Familien, steigen aber bei T3A um 7,7 %, von 68,70 auf 73,97 mUSD, wobei dieses Intervall die Null überspannt; bei den beobachteten Mittelwerten gleicht die geringere Vollendung die Ersparnis von 17,1 % je Versuch bei T3A aus. FastAgents fast unveränderte Aufgabenzeit bei geringerer Vollendung hebt die Zeit je ausgeliefertem Erfolg von 239,4 auf 377,8 Sekunden. Die vierte Ebene sind Fehlerspuren. Die Autoren codierten 43 Aufgabenpaare, 258 Läufe, von Hand; zwei Autoren beschrifteten unabhängig, mittleres Cohens Kappa 0,867. In der Gruppe, in der Jev dauerhaft scheitert und die Basis gelingt, enthalten 40 von 57 Jev-Läufen gescheiterte Wiederherstellung und 29 wirkungslose Suche, bei der Basis nur 3 und 2. Typischer Fall: Bei einer WLAN-Aufgabe wählt Jev einen mehrdeutig beschrifteten Schalter und meldet Vollendung, obwohl das Ziel nicht erreicht ist, was jede Chance auf Korrektur beendet; in ALFWorld wählt es ein Handtuch statt eines Tuchs, und das Schlussfolgern läuft am falschen Objekt weiter. Reflexion-J gelingt bei 95,27 % der ersten Versuche, mehr als die 93,53 % der Basis, holt danach aber nur 11 von 19 anfänglichen Fehlschlägen auf, die Basis 25 von 26, weshalb der Endwert niedriger liegt.

Die Diskussion weist in zwei Richtungen. Für die Modellentwicklung schlagen die Autoren vor, knappe numerische Ausgaben beizubehalten, aber die Empfindlichkeit für Ziele, Voraussetzungen von Aktionen und widersprüchliches Feedback zu erhöhen, mit gegenübergestellten erfolgreichen und gescheiterten Verläufen zu trainieren und eine kalibrierte Konfidenz auszugeben, ob irgendeine verfügbare Aktion das Ziel voranbringt. Für das Systemdesign gilt: Entscheidungen als explizite Komponente mit beobachtbaren Eingaben, Ergebnissen und Kosten behandeln; Kandidatenschnittstellen sollten Zielidentität, Voraussetzungen und erwartete Zustandsänderungen zeigen; Prüfungen gehören an Vollendungsurteile und wiederholten Stillstand, wo Fehler endgültig oder dauerhaft werden. Die Autoren betonen, die Vergleiche beträfen die bewerteten Integrationen, weil Kandidatenbildung, Hilfsgenerierung und Feedback die Ergebnisse formen, und Familienvergleiche spiegelten auch Unterschiede in Interaktionsbudgets und Workflow-Design.

Unsere Einordnung: Die Arbeit schreibt eine verbreitete Marketing-Erzählung in eine prüfbare Frage um: Billige Entscheidungen sind keine billigen Ergebnisse. Ihre Zahlen sind konkret, ihre Grenzen auch: nur Textbeobachtungen, fünf Agentenfamilien, ein fester Seed. Der praktische Rat für Engineering-Teams: Vor dem Einsatz eines „kleinen und schnellen“ Entscheidungsmodells messen, wie viel der Workflow-Zeit es tatsächlich abdeckt, die Kosten der Wiederherstellung nach Fehlern messen und es nach Kosten und Zeit je erfolgreicher Lieferung abnehmen, nicht nach dem Preis je Aufruf.