Netflix Pensive AI diagnostiziert fehlgeschlagene Datenjobs über zurückgegebene Log-Zeilennummern

Netflix umgibt KI mit festen Regeln, um fehlgeschlagene Datenjobs zu diagnostizieren

Am 26. Oktober veröffentlichte der Netflix Technology Blog einen ausführlichen Bericht über Pensive AI, ein System, das Ingenieuren hilft zu verstehen, warum Daten- und Machine-Learning-Workloads fehlgeschlagen sind. Netflix gibt an, dass an Spitzentagen rund 100.000 Workloads auf Engines wie Titus, Spark, Trino und Druid scheitern. Das frühere Pensive las die Logs eines fehlgeschlagenen Jobs, klassifizierte den Fehler mit regulären Ausdrücken und handgeschriebenen Java-Regeln und gab Hinweise zum Wiederholen an Werkzeuge wie den Workflow-Scheduler Maestro weiter. Dadurch ließ sich etwa die Hälfte der Fehler in Eigenregie beheben. In einem Zeitraum von drei Monaten verarbeitete es rund sieben Millionen Klassifikationen, von denen etwa die Hälfte in einer Kategorie „unbekannt“ landete. Pensive AI wurde gebaut, um diese Lücke zu schließen, ohne die bereits funktionierenden Regeln zu verwerfen.

Extraktion über Zeilennummern statt durch Abschreiben

Die erste Funktion, die Fehlerextraktion, läuft bei jedem fehlgeschlagenen Schritt. Entscheidend ist, wie das Modell antwortet. Pensive nummeriert die Zeilen jedes Logs und zeigt dem Modell Einträge aus Zeilennummer und Text. Das Modell gibt nur zwei ganze Zahlen zurück, die erste und die letzte Zeile des Fehlers, und Pensive baut den Text aus seiner eigenen Kopie des Logs wieder auf. Netflix nennt zwei Gründe: Das Erzeugen von Ausgabe-Token ist langsamer als das Lesen der Eingabe, und der angezeigte Text stammt direkt aus dem Original-Log, was Erfundenes verringert. Ein Token ist hier die Texteinheit, die das Modell verarbeitet. Das Modell kann dennoch einen falschen Bereich wählen, weshalb die Qualität der Extraktion Teil der Evaluierungen ist. Der Aufruf teilt sich eine gemeinsame Frist innerhalb des harten 90-Sekunden-Limits, das Maestro für die Nachbearbeitung eines fehlgeschlagenen Schritts setzt; ein Aufruf für ein Log, der die Frist verpasst, wird verworfen, damit die Antwort rechtzeitig zurückkommt. Netflix behielt das alte Fehlerfeld und fügte das neue daneben hinzu. Die Migration ist nicht abgeschlossen: Die Ansicht im Data Portal für fehlgeschlagene Maestro-Schritte liest das neue Feld, während der Abfrage-Editor, Notebooks und einige Slack-Clients noch den alten Pfad nutzen.

Fehlersuche auf Abruf, je Fehlschlag zwischengespeichert

Die zweite Funktion, Pensive AI Debugging, liefert eine Ursachenanalyse und Korrekturvorschläge. Sie ist über APIs, MCP und die Oberfläche des Data Portal erreichbar. Eine Antwort dauert Dutzende Sekunden bis eine Minute, daher startet Netflix sie nur auf Anfrage, denn die meisten fehlgeschlagenen Schritte werden nie geöffnet. Arbeitseinheit ist der fehlgeschlagene Schrittversuch. Sein Ergebnis wird zwischengespeichert, eine zweite Anfrage wird zu einem Schlüssel-Wert-Lesezugriff, ein bedingtes Schreiben verhindert, dass zwei Aufrufer dieselbe Antwort gleichzeitig erzeugen, und fertige Antworten laufen nach 90 Tagen ab. Der Dienst überträgt die Antwort als Datenstrom, und jedes Ereignis trägt den bisherigen Gesamttext, was den Client nach einem verlorenen Ereignis einfach hält. Die Erzeugung läuft weiter, wenn der Client die Verbindung trennt.

Wie Netflix die Qualität prüft

Netflix nutzt die alten Regeln als eingefrorene Quelle für Labels. Ein Modell als Prüfer kontrolliert, ob der bekannte Fehler weiterhin abgebildet ist, ein zweites, ob jeder extrahierte Fehler für sich aussagekräftig ist. Ein Skript markiert Zeilen, die in mehr als etwa 30 % der Workflows auftauchen, und die Latenz jedes Aufrufs wird erfasst. Logs verfallen nach sieben bis 30 Tagen, deshalb archivieren Produktionsanfragen sie in S3, und die Evaluierungen spielen das Archiv erneut ab. Jeder Pull Request wird in eine Vorschauumgebung ausgerollt, Schwellen für Präzision und Abdeckung entscheiden über das Zusammenführen, und dieselben Prüfungen laufen nach der Beförderung und nach Zeitplan. Jeder Daumen nach unten bei einer Debugging-Antwort löst während der Arbeitszeit einen Slack-Alarm aus.

Was die Zahlen zeigen und was nicht

Netflix sagt, die KI-Extraktion decke jetzt 100 % der Fehlschläge ab, auch jene, die die alten Regeln als unbekannt einstuften. Abdeckung heißt, dass jedes Mal eine Extraktion entsteht, nicht dass jede richtig ist. Der Beitrag berichtet außerdem, dass fehlgeschlagene Versuche, bei denen niemand Pensive AI nutzte, im Mittel 321 % mehr manuelle Aktionen zur Log-Suche aufwiesen als Versuche, bei denen jemand es nutzte. Netflix nennt dies einen Beobachtungsvergleich und keine kausale Aussage. Der Beitrag nennt weder eine Trefferquote noch eine Zeit bis zur Lösung noch Kosten. Andere Teams sollten diese Werte an eigenen Fehlschlägen messen, bevor sie den Entwurf übernehmen.