Une règle aux graduations inégales : la validité statistique des horizons temporels de METR

L'« horizon temporel à 50 % » proposé par METR est devenu, en deux ans, l'une des mesures de capacité des IA les plus citées. L'idée est simple. On associe à chaque tâche logicielle le temps qu'un expert humain met à l'accomplir. Puis on cherche la durée de tâche pour laquelle une IA réussit une fois sur deux. Plus ce nombre est grand, plus l'IA peut mener seule un travail long. Comme l'unité est la minute ou l'heure, et non un pourcentage, la mesure se communique facilement au public, aux investisseurs et aux régulateurs. C'est aussi pourquoi on la trace souvent sous la forme d'une courbe qui grimpe de façon exponentielle au fil du temps, le fameux graphique de METR. Un nombre facile à comprendre n'est pas pour autant un nombre fiable. Un article de Drew T. Nguyen et William Fithian, publié sur arXiv en octobre 2026, examine cette courbe sous l'angle statistique. Les auteurs utilisent les données de 228 tâches et de 26 modèles d'IA, et recalculent les horizons temporels depuis le début. La méthode habituelle repose sur une hypothèse implicite : la difficulté qu'une tâche pose à une IA serait linéaire en fonction du logarithme du temps humain. Les auteurs ne l'acceptent pas sur parole. Ils ajustent des splines et recourent à la théorie de la réponse à l'item, la famille de modèles que les psychométriciens emploient pour analyser les questions d'examen. Ils laissent ainsi les données décider de la forme de la relation.

Le résultat est frappant. La spline ajustée se lit comme une fonction de conversion : elle prend le temps humain en entrée et renvoie la difficulté pour l'IA. Entre environ 2 et 30 minutes, cette fonction est presque plate. En dehors de cette fenêtre, elle est proche d'une droite. Autrement dit, dans la zone médiane, une tâche peut devenir plusieurs fois plus longue pour une personne sans devenir beaucoup plus difficile pour la machine. Dès que les tâches sortent de cette zone, chaque doublement du temps humain relève de nouveau nettement la difficulté. Une conséquence directe en découle. Deux sauts de même ampleur, un facteur dix, n'ont pas la même signification. Faire passer un horizon temporel de 3 à 30 minutes se situe dans la partie plate : c'est comparativement facile. Passer de 30 minutes à 5 heures exige de gravir une pente bien plus raide. Si le lecteur ne regarde que le multiplicateur sur le graphique d'origine, les deux exploits paraissent égaux. Ils ne le sont pas, et le lecteur risque de mal juger la vitesse réelle des progrès. Cela ne signifie pas que la courbe d'origine soit fausse. L'axe vertical se comporte comme une règle dont les graduations seraient serrées à un endroit et espacées à un autre.

Au-delà de ce constat structurel, l'article apporte deux contributions pratiques. D'abord, les auteurs proposent des estimations ponctuelles de l'horizon temporel qui obtiennent de meilleurs scores selon une série de règles de score propres validées par validation croisée. Une règle de score propre récompense les prévisions probabilistes honnêtes et bien calibrées : elle offre donc un moyen équitable de comparer des ajustements concurrents. Ensuite, ils fournissent des graphiques de diagnostic pour juger de la validité de construit d'un horizon temporel, c'est-à-dire du fait que le nombre mesure bien ce qu'il prétend mesurer. Grâce à eux, on voit directement où l'hypothèse de linéarité tient et où elle échoue. Pour l'industrie, le message de l'article est mesuré et précis. Il faut lire les horizons temporels avec les graphiques de diagnostic. Cela compte surtout lorsque de nouveaux benchmarks fondés sur ces horizons sont proposés, ou lorsque des benchmarks existants s'étendent à des tâches plus longues. Les tâches longues sont rares dans tout échantillon. De ce côté de l'échelle, l'estimation dépend davantage de la forme fonctionnelle supposée, et l'incertitude est plus grande. Extrapoler une belle tendance à des tâches de plusieurs heures, voire de plusieurs jours, demande donc une prudence particulière. Ce travail a naturellement ses limites. Il repose sur un ensemble donné de tâches et de modèles, et l'on ignore encore si les conclusions valent pour d'autres distributions de tâches. Il donne pourtant un bon exemple à la communauté de l'évaluation : il ne se contente pas d'un chiffre spectaculaire. Il énonce ses hypothèses, les teste et fournit aux autres les outils pour les tester à leur tour. Pour qui planifie des recherches, juge des produits ou débat de politiques publiques à partir de ce type d'indicateur, c'est une référence méthodologique à consulter souvent. Les concepteurs de benchmarks y trouveront aussi une leçon pratique. Lorsqu'un nouveau benchmark annonce un horizon temporel, il faut demander combien de tâches figurent dans chaque tranche de durée, et si la forme de la courbe de difficulté a été testée ou simplement supposée. Dans une zone plate, de nombreuses tâches de durées humaines différentes se ressemblent aux yeux du modèle ; en ajouter apporte peu d'information sur le progrès. À l'inverse, les tâches longues renseignent le mieux sur la frontière des capacités, mais elles sont les plus difficiles et les plus coûteuses à réunir. Une bonne conception doit équilibrer ces deux faits, et les graphiques de diagnostic donnent un moyen concret de le faire.

Enfin, l'article nous rappelle qu'une unité de temps est une étiquette commode, non une loi de la nature. La durée humaine est un substitut de la difficulté, et un substitut peut se déformer. Le traiter comme exact conduit à des prévisions assurées mais fragiles. Le traiter comme une hypothèse que les données peuvent remodeler conduit à une meilleure science. Tel est le point discret et utile au cœur de cette étude.