Ein ungleichmäßiges Lineal: Zur statistischen Gültigkeit von METRs KI-Zeithorizonten

Der „50-%-Zeithorizont“ von METR zählt seit etwa zwei Jahren zu den meistzitierten Maßstäben für KI-Fähigkeiten. Die Idee ist einfach. Jeder Softwareaufgabe wird die Zeit zugeordnet, die ein menschlicher Experte zur Lösung braucht. Dann fragt man: Bei welcher Aufgabenlänge gelingt einer KI die Lösung in der Hälfte der Fälle? Je größer die Zahl, desto längere Arbeitsstrecken kann die KI allein bewältigen. Weil die Einheit Minuten und Stunden sind und keine Prozentwerte, lässt sich die Kennzahl der Öffentlichkeit, Investoren und Aufsichtsbehörden leicht vermitteln. Deshalb wird sie oft als Kurve gezeichnet, die über die Zeit exponentiell steigt, als der bekannte METR-Plot.

Eine leicht verständliche Zahl ist jedoch nicht automatisch eine verlässliche Zahl. Ein im Oktober 2026 auf arXiv erschienener Aufsatz von Drew T. Nguyen und William Fithian betrachtet diese Kurve mit statistischem Blick. Die Autoren nutzen Daten zu 228 Aufgaben und 26 KI-Modellen und berechnen die Zeithorizonte von Grund auf neu. Das übliche Verfahren enthält eine stillschweigende Annahme: Die Schwierigkeit, die eine Aufgabe für eine KI darstellt, sei linear im Logarithmus der menschlichen Bearbeitungszeit. Die Autoren übernehmen das nicht ungeprüft. Sie passen Splines an und verwenden die Item-Response-Theorie, jene Modellfamilie, mit der Psychometriker Prüfungsfragen analysieren. So bestimmen die Daten selbst, welche Form der Zusammenhang hat.

Das Ergebnis ist auffällig. Der angepasste Spline lässt sich als Umrechnungsfunktion lesen: Sie nimmt die menschliche Zeit als Eingabe und liefert die Schwierigkeit für die KI. Zwischen etwa 2 und 30 Minuten verläuft diese Funktion nahezu flach. Außerhalb dieses Fensters ist sie annähernd linear. Anders gesagt: Im mittleren Bereich kann eine Aufgabe für einen Menschen um ein Vielfaches länger werden, ohne für die Maschine wesentlich schwerer zu werden. Verlassen die Aufgaben diesen Bereich, hebt jede Verdopplung der menschlichen Zeit die Schwierigkeit wieder deutlich an. Daraus folgt unmittelbar: Zwei Sprünge gleicher Größe, der Faktor zehn, bedeuten nicht dasselbe. Ein Zeithorizont, der von 3 auf 30 Minuten wächst, liegt im flachen Abschnitt und ist vergleichsweise leicht zu erreichen. Der Weg von 30 Minuten auf 5 Stunden führt dagegen über einen viel steileren Hang. Wer nur den Multiplikator im ursprünglichen Diagramm betrachtet, hält beide Leistungen für gleichwertig. Das sind sie nicht, und man kann die tatsächliche Geschwindigkeit des Fortschritts falsch einschätzen. Das heißt nicht, dass die ursprüngliche Kurve falsch wäre. Die senkrechte Achse verhält sich wie ein Lineal, dessen Striche an einer Stelle dicht und an anderer Stelle weit auseinander liegen.

Über diesen strukturellen Befund hinaus leistet die Arbeit zwei praktische Beiträge. Erstens liefern die Autoren Punktschätzungen des Zeithorizonts, die unter einer kreuzvalidierten Reihe strikt eigentlicher Bewertungsregeln besser abschneiden. Eine eigentliche Bewertungsregel belohnt ehrliche, gut kalibrierte Wahrscheinlichkeitsprognosen und erlaubt daher einen fairen Vergleich konkurrierender Anpassungen. Zweitens stellen sie Diagnosediagramme bereit, mit denen sich die Konstruktvalidität eines Zeithorizonts prüfen lässt, also ob die Zahl wirklich misst, was sie zu messen vorgibt. Damit kann man direkt sehen, wo die Linearitätsannahme trägt und wo nicht. Für die Branche ist die Botschaft des Aufsatzes zurückhaltend und konkret. Zeithorizonte sollten gemeinsam mit den Diagnosediagrammen gelesen werden. Das gilt besonders, wenn neue, auf Zeithorizonten beruhende Benchmarks vorgeschlagen werden oder bestehende um längere Aufgaben wachsen. Lange Aufgaben sind in jeder Stichprobe selten. An diesem Ende der Skala hängt die Schätzung stärker von der angenommenen Funktionsform ab, und die Unsicherheit ist größer. Eine schöne Trendlinie auf Aufgaben von vielen Stunden oder gar Tagen zu extrapolieren, verlangt deshalb besondere Vorsicht. Die Arbeit hat natürlich Grenzen. Sie stützt sich auf eine vorhandene Menge von Aufgaben und Modellen, und ob die Schlüsse auch für andere Aufgabenverteilungen gelten, muss noch geprüft werden. Dennoch gibt sie der Bewertungsgemeinschaft ein gutes Beispiel: Sie begnügt sich nicht mit einer auffälligen Einzelzahl. Sie legt ihre Annahmen offen, prüft sie und gibt anderen die Werkzeuge zur Prüfung an die Hand. Wer Forschung plant, Produkte beurteilt oder politische Fragen anhand solcher Kennzahlen diskutiert, findet hier methodisches Material, auf das man öfter zurückgreifen wird.

Auch für Benchmark-Entwickler steckt eine praktische Lehre darin. Meldet ein neuer Benchmark einen Zeithorizont, sollte man fragen, wie viele Aufgaben in jedem Längenband liegen und ob die Form der Schwierigkeitskurve getestet oder nur angenommen wurde. In einem flachen Bereich wirken viele Aufgaben unterschiedlicher menschlicher Dauer für das Modell ähnlich; weitere Aufgaben dort liefern wenig Information über den Fortschritt. Lange Aufgaben dagegen sagen am meisten über die Leistungsgrenze aus, sind aber am schwersten und teuersten zu beschaffen. Gutes Benchmark-Design muss beides ausbalancieren, und die Diagnosediagramme zeigen konkret, wie das Gleichgewicht aussieht.

Schließlich erinnert der Aufsatz daran, dass eine Zeiteinheit ein praktisches Etikett ist und kein Naturgesetz. Die menschliche Dauer ist ein Stellvertreter für Schwierigkeit, und Stellvertreter können sich verbiegen. Behandelt man ihn als exakt, entstehen selbstsichere, aber brüchige Prognosen. Behandelt man ihn als Hypothese, die Daten umformen können, entsteht bessere Wissenschaft. Das ist der leise, nützliche Kern dieser Studie.