TopoBench : les LLM échouent en raisonnement topologique
TopoBench : 47% maximum, quasi-aléatoire. Raisonnement spatial fondamental.
TopoBench : les LLM ne comprennent pas la topologie
Qu'est-ce que le raisonnement topologique ?
La topologie étudie les propriétés spatiales invariantes par transformation continue. Exemple : une tasse et un donut sont topologiquement équivalents (un trou chacun). Concepts : connectivité, relations de frontière, caractéristique d'Euler (nombre de trous), homotopie.
Conception de TopoBench
Niveaux multiples : basique (connectivité, intérieur/extérieur), intermédiaire (Euler, homotopie), avancé (classification de nœuds et chaînes, topologie en dimension supérieure). Chaque question a une réponse unique, avec plusieurs formulations pour éliminer la mémorisation.
Résultats choquants
47% maximum (GPT-5.4, Claude Opus 4.6, Gemini 3.1 Pro) — quasi-aléatoire. Trois découvertes aggravantes : le CoT n'aide pas, le contexte de manuels n'aide pas, les modèles plus grands n'ont aucun avantage. Le déficit spatial est **fondamental**, insoluble par prompt engineering ou scaling.
Lien avec les modèles mondiaux de LeCun
TopoBench fournit des preuves quantitatives pour la thèse de LeCun. Combiné avec AMI Labs et NC AI, le message est clair : l'IA doit dépasser le paradigme textuel pur pour l'intelligence spatiale.
Avertissement de sécurité
Les LLM dans les applications critiques nécessitant le raisonnement spatial (chirurgie robotique, conduite autonome, analyse structurelle) sont dangereux. TopoBench devrait être un benchmark obligatoire.
Analyse approfondie et perspectives industrielles
Dans une perspective plus large, cette evolution illustre la tendance acceleree de la transition de la technologie IA des laboratoires vers les applications industrielles. Les analystes du secteur s accordent a dire que 2026 sera une annee charniere pour la commercialisation de l IA. Sur le plan technique, l efficacite d inference des grands modeles continue de s ameliorer tandis que les couts de deploiement diminuent, permettant a davantage de PME d acceder aux capacites avancees de l IA.