Netflix Pensive AI diagnostique les tâches de données en échec en renvoyant des numéros de ligne de journal

Netflix enveloppe l'IA de règles fixes pour diagnostiquer les tâches de données en échec

Le 26 octobre, le blog technique de Netflix a publié un long récit consacré à Pensive AI, un système qui aide les ingénieurs à comprendre pourquoi des charges de travail de données et d'apprentissage automatique ont échoué. Netflix indique qu'aux jours de pointe, environ 100 000 charges échouent sur des moteurs tels que Titus, Spark, Trino et Druid. Le Pensive d'origine lisait les journaux d'une tâche en échec, classait l'erreur à l'aide d'expressions régulières et de règles Java écrites à la main, puis transmettait un conseil de relance à des outils comme l'ordonnanceur de flux Maestro. Cela rendait environ la moitié des échecs gérables en libre-service. Sur une période de trois mois, il a traité quelque sept millions de classifications, dont près de la moitié tombaient dans une catégorie « inconnu ». Pensive AI a été conçu pour combler cet écart sans abandonner les règles qui fonctionnaient déjà.

Une extraction par numéro de ligne, et non par recopie

La première fonction, l'extraction d'erreurs, s'exécute à chaque étape en échec. Le choix de conception porte sur la manière dont le modèle répond. Pensive numérote les lignes de chaque journal et présente au modèle des enregistrements composés d'un numéro de ligne et d'un texte. Le modèle ne renvoie que deux entiers, la première et la dernière ligne de l'erreur, et Pensive reconstitue le texte à partir de sa propre copie du journal. Netflix avance deux raisons : produire des jetons de sortie est plus lent que lire l'entrée, et le texte affiché provient directement du journal d'origine, ce qui limite les inventions. Un jeton est ici l'unité de texte que traite le modèle. Le modèle peut encore choisir une mauvaise plage, de sorte que la qualité d'extraction fait partie des évaluations. L'appel partage une même échéance, placée à l'intérieur de la limite stricte de 90 secondes que Maestro impose au post-traitement d'une étape en échec, et un appel sur un journal qui manque l'échéance est abandonné pour que la réponse revienne à temps. Netflix a conservé l'ancien champ d'erreur et ajouté le nouveau à côté. La migration n'est pas terminée : la vue du Data Portal pour les étapes Maestro en échec lit le nouveau champ, tandis que l'éditeur de requêtes, les carnets et certains clients Slack empruntent encore l'ancien chemin.

Un débogage à la demande, mis en cache par échec

La seconde fonction, Pensive AI Debugging, produit une analyse de cause racine et des correctifs suggérés. Elle est accessible par des API, par MCP et par l'interface du Data Portal. Une réponse prend des dizaines de secondes, voire une minute ; Netflix ne la lance donc que sur demande, car la plupart des étapes en échec ne sont jamais ouvertes. L'unité de travail est la tentative d'étape en échec. Son résultat est mis en cache, une deuxième demande devient une simple lecture clé-valeur, une écriture conditionnelle empêche deux appelants de générer la même réponse en même temps, et les réponses terminées expirent après 90 jours. Le service diffuse la réponse en flux, et chaque événement porte tout le texte produit jusque-là, ce qui garde le client simple après un événement perdu. La génération se poursuit si le client se déconnecte.

Comment Netflix contrôle la qualité

Netflix utilise les anciennes règles comme source figée d'étiquettes. Un modèle juge vérifie si l'erreur connue est toujours représentée, et un autre si chaque erreur extraite a un sens en elle-même. Un script signale les lignes présentes dans plus de 30 % environ des flux de travail, et la latence de chaque appel est enregistrée. Les journaux expirent après sept à 30 jours : les requêtes de production les archivent donc dans S3, et les évaluations rejouent cette archive. Chaque demande de fusion est déployée dans un environnement de prévisualisation, des seuils de précision et d'inclusion conditionnent la fusion, et les mêmes contrôles tournent après la promotion et de façon planifiée. Chaque pouce vers le bas sur une réponse de débogage déclenche une alerte Slack pendant les heures ouvrées.

Ce que les chiffres montrent, et ce qu'ils ne montrent pas

Netflix affirme que l'extraction par IA couvre désormais 100 % des échecs, y compris ceux que les anciennes règles classaient comme inconnus. La couverture signifie qu'une extraction est produite, pas que chacune est juste. L'article indique aussi que les tentatives en échec où personne n'a utilisé Pensive AI comptaient en moyenne 321 % d'actions manuelles de consultation des journaux de plus que celles où quelqu'un l'a utilisé. Netflix présente cela comme une comparaison observationnelle, non comme une affirmation causale. L'article ne donne ni taux d'exactitude, ni durée de résolution, ni coût ; les autres équipes devraient donc les mesurer sur leurs propres échecs avant de copier cette conception.