MJev-Spatial : IA spatiale System 1 par attention

Contexte

L'intelligence spatiale permet à un agent de percevoir le monde physique et d'y agir. Beaucoup de jugements doivent être rendus à la vitesse d'interaction : une relation spatiale est-elle vérifiée, quelle distance sépare deux objets, où faut-il poser un objet. Les modèles vision-langage répondent d'ordinaire par génération de texte libre. Ce choix impose le coût du décodage autorégressif et une étape supplémentaire d'analyse de la réponse produite.

Or l'espace de sortie de ces tâches est réduit. La réponse est une option parmi quelques-unes, un scalaire ou un point 2D dans une image. Générer un passage entier pour livrer une réponse aussi compacte révèle un décalage entre la tâche et l'outil. L'article consacré à MJev-Spatial, publié sur arXiv, part de ce constat.

Les auteurs décrivent MJev-Spatial comme un modèle de décision multimodal de type System 1. Un seul cadre de classification couvre trois familles de tâches : le choix parmi des options, la prédiction numérique et la prédiction de points. Ils revendiquent trois contributions. Premièrement, chaque candidat est traité comme une classe et noté par les projections query et key préentraînées du réseau principal, sans paramètre ajouté. Deuxièmement, une classification du grossier au fin gère les nombres et les points. Troisièmement, une méthode de supervision conjointe et de traitement par lots rend l'entraînement sur des données spatiales hétérogènes plus efficace.

Analyse approfondie

Comment MJev-Spatial répond-il à une question spatiale sans générer de texte ? Il s'appuie sur l'appariement natif par attention. Pour chaque candidat, le modèle calcule un score à partir des projections query et key que le réseau principal possède déjà. Le candidat le mieux noté devient la prédiction. Les poids étant préentraînés, aucune tête de classification n'est à apprendre depuis zéro. Chaque décision exige une seule passe avant et ne produit aucun jeton de réponse. Les candidats varient selon la tâche. Pour les questions à choix, ce sont les options de l'énoncé. Pour la prédiction numérique, ce sont des intervalles de valeurs. Pour la prédiction de points, ce sont des régions de l'image. La précision vient d'un raffinement par étapes : le modèle retient d'abord un intervalle ou une région grossière, puis classe de nouveau à l'intérieur, jusqu'à atteindre la précision voulue. L'entraînement recourt au teacher forcing. Une seule passe avant supervise ensemble toutes les étapes du grossier au fin, sans recalculer chacune d'elles. Les auteurs y ajoutent un traitement par lots global sensible à la longueur et un équilibrage de charge entre GPU. Ces mesures limitent le calcul gaspillé quand des échantillons de longueurs très différentes sont mêlés. L'article indique un gain de 30,8 % sur le débit d'entraînement.

Le modèle repose sur Qwen3.5-4B. Il a été entraîné sur 12,3 M de paires question-réponse, toutes converties de jeux de données existants. La méthode ne dépend donc pas de données nouvellement collectées. Le résumé source ne fournit pas d'ablation par composant : il est impossible d'en juger le poids de chaque choix de conception.

Impact sur l'industrie

L'évaluation porte sur 12 benchmarks spatiaux et huit modèles, dont le réseau de base d'origine. MJev-Spatial obtient 65,64 % au total, le meilleur score des huit. Il arrive premier sur 7 des 12 benchmarks. Il dépasse aussi le modèle autorégressif de base non modifié sur les 12. Ce dernier résultat pèse le plus. Les deux modèles partagent le même réseau principal. Ils diffèrent seulement par la manière de répondre et par l'entraînement. La comparaison suggère donc que remplacer la génération de texte par un score de classification n'a pas coûté de précision sur ces tâches. Elle l'a améliorée.

La vitesse est le second résultat. MJev-Spatial est 2,5 fois plus rapide que la meilleure référence autorégressive et 5,6 fois plus rapide que le modèle de base. Pour la manipulation robotique, les agents incarnés et les assistants visuels en temps réel, la faible latence est une exigence dure. Le délai de décodage et la fragilité de l'analyse des réponses y sont de vrais obstacles. Quand l'espace de sortie est compact, utiliser un modèle vision-langage comme classifieur est plus rapide et, sur ces benchmarks, plus précis. L'analyse de texte libre disparaît aussi. La conception pourrait par ailleurs se transposer facilement. La méthode n'ajoute aucun paramètre et réutilise des projections query et key existantes. Elle pourrait donc passer à d'autres réseaux principaux avec un effort modeste. Ce point est une déduction tirée de la conception : les résultats publiés reposent sur Qwen3.5-4B.

Perspectives

La classification du grossier au fin offre aux sorties continues, comme les distances et les coordonnées, une voie qui évite la génération de texte. Elle pourrait s'étendre à d'autres tâches visuelles exigeant une localisation ou une estimation précise. Le coût d'entraînement annoncé reste aussi modéré : des jeux de données existants ont fourni les 12,3 M de paires, et les changements de traitement par lots ont relevé le débit de 30,8 %.

Des questions restent ouvertes. La source ne rapporte aucun résultat sur des réseaux plus grands, sur davantage de types de tâches ou dans un système interactif réel. Ce sont les prochains tests naturels. Une vérification rigoureuse comparerait aussi la précision fine des sorties numériques et des points selon différents réglages d'intervalles, ce que le résumé ne détaille pas.

Pour les équipes qui conçoivent des agents soumis à de fortes contraintes de latence, le message pratique est étroit mais clair. Lorsque la réponse est un choix, un nombre ou un point, une seule passe de notation des candidats peut remplacer la génération jeton par jeton. MJev-Spatial avance, comme preuve, un score global de 65,64 % et un gain de vitesse de 5,6 fois sur son propre modèle de base.