StreamPI : Modélisation temporelle multimodale en streaming pour les modèles VLA

Contexte

Les modèles Vision-Language-Action (VLA) ont prouvé leur efficacité dans la manipulation robotique, pourtant les modèles de pointe de cette génération, dont pi0.5, fonctionnent presque entièrement selon un paradigme à frame unique. À chaque étape de raisonnement, le modèle ne s'appuie que sur l'observation courante et jette au panier tout ce qu'il a vu précédemment. Cette architecture est compacte et sobre en calcul, mais elle impose une limite fondamentale : le système ne peut conserver les observations historiques, ce qui entrave la perception spatiale précise à travers une tâche.

Cette contrainte à frame unique se traduit par deux modes de défaillance distincts. Les tâches dépendantes de la mémoire exigent que le robot agisse sur des informations recueillies plus tôt dans l'épisode, tandis que les tâches de perception précise requièrent une localisation spatiale rigoureuse, favorisée par l'intégration de plusieurs points de vue. Aucun de ces deux cas n'est bien servi par un modèle qui réinitialise son contexte à chaque frame. C'est ce vide qui motive StreamPI, un cadre de modélisation temporelle multimodale en streaming.

La caractéristique déterminante de StreamPI réside dans le fait qu'il n'introduit aucun paramètre supplémentaire. Plutôt que d'empiler de nouveaux modules ou d'agrandir le modèle, l'approche restructure la façon dont les poids pré-entraînés sont consommés, permettant à un modèle déjà entraîné d'exploiter naturellement l'information historique tout en restant léger. Cette voie structurelle, et non paramétrique, vers le raisonnement temporel constitue la contribution centrale de ce travail.

Analyse approfondie

Le cœur de StreamPI repose sur la modélisation temporelle ancrée sur l'instruction. Chaque paire (observation visuelle, instruction linguistique) est traitée comme une unité de temps atomique. À l'intérieur d'une unité, l'attention bidirectionnelle permet la fusion cross-modal, laissant les signaux visuels et linguistiques interagir pleinement. Entre les unités, l'attention causale préserve le raisonnement autoregressif en streaming, de sorte que le modèle traite les frames dans l'ordre chronologique et puisse s'exécuter en temps réel lors du déploiement.

Cette asymétrie interne-externe est volontaire : l'attention bidirectionnelle interne assure la profondeur de compréhension des modalités, tandis que l'attention causale externe maintient la cohérence temporelle d'une frame à l'autre. L'instruction linguistique agit comme une ancre sémantique persistante tout au long de la tâche. Plutôt que de redériver l'objectif à partir de zéro à chaque frame, le modèle conserve l'instruction comme point de référence stable, particulièrement précieux lors d'opérations de longue haleine où la cible doit rester au centre de l'attention.

Pour combler le fossé entre l'entraînement synchrone et le déploiement asynchr des robots réels, les auteurs ajoutent une stratégie d'entraînement en streaming à intervalles aléatoires. Un intervalle de frame approprié, comme traiter toutes les trois frames, accélère et lisse l'exécution des actions, tandis que l'aléatoirité de l'intervall améliore encore la robustesse aux perturbations temporelles. Grâce à la capacité d'extrapolation de longueur du backbone LLM, StreamPI hérite sans couture des poids pré-entraînés, permettant aux chercheurs d'adopter le modèle sans réentraînement et prenant en charge une inference flexible à frame unique et multi-frame.

Impact sur l'industrie

Le design sans paramètre porte une attirance particulière pour la communauté open-source, où la réutilisation des poids pré-entraînés est bien moins coûteuse que l'entraînement de grands modèles VLA depuis zéro. En éliminant le besoin d'ajouter des paramètres ou de réentraîner, StreamPI abaisse la barrière permettant aux chercheurs et aux petites équipes d'intégrer la modélisation temporelle dans leurs pipelines. Cette accessibilité pourrait accélérer les expérimentations sur l'inference en streaming à travers les benchmarks de manipulation.

Pour le déploiement industriel, la stratégie à intervalles aléatoires répond à un problème précis et persistant : le décalage entre les conditions synchrones de l'entraînement et le timing asynchr des robots réels. Le matériel réel présente des à-coups de synchronisation et des débits d'arrivée de frames variables, et l'aléatoirité entraîne explicitement le modèle à tolérer ce bruit temporel. Les systèmes ainsi obtenus s'avèrent plus stables en passant des laboratoires contrôlés aux environnements non contrôlés.

StreamPI offre par ailleurs un pattern réutilisable pour unifier les différents modes d'inference. En s'appuyant sur l'extrapolation de longueur pour soutenir à la fois le fonctionnement à frame unique et multi-frame au sein d'un même cadre, l'approche ouvre la voie vers une architecture commune pour les modèles VLA. Cela pourrait simplifier le développement et le déploiement des systèmes de manipulation, les mêmes poids servant à répondre à diverses exigences de latence et de précision.

Perspectives

Les expériences couvrent des tâches sur robots réels englobant à la fois les scénarios dépendants de la mémoire et ceux de perception précise, complétées par le benchmark de simulation LIBERO. À travers ces tâches variées, StreamPI surpasse pi0.5, confirmant que la modélisation temporelle apporte des gains exactement dans les configurations où les modèles à frame unique peinent. Les résultats suggèrent que cette amélioration est générale et non limitée à un seul cas favorable.

Les conclusions d'ablation renforcent les choix de design pratiques. Définir un intervalle de frame approprié améliore simultanément la vitesse d'exécution et la douceur des actions, tandis que l'aléatoirité de l'intervall renforce encore l'adaptation aux perturbations temporelles. Cela indique que le caractère aléatoire introduit lors de l'entraînement est essentiel à la stabilité du déploiement effectif, et non une simple commodité de formation.

Prises ensemble, ces démonstrations montrent que StreamPI injecte un raisonnement temporel exploitable dans les modèles vision-language-action par innovation structurelle plutôt que par accumulation de paramètres. Ses caractéristiques légères, transférables et adaptées au déploiement lui confèrent une valeur de référence pour la recherche et l'engineering dans la manipulation robotique. Un travail futur pourrait étendre le framework de streaming ancré sur l'instruction à des épisodes plus longs, à des entrées multimodales plus riches et à des conditions de timing réel plus exigeantes.