MJev-Spatial:以原生注意力匹配實現 System 1 空間智慧
空間智慧要求智能體在互動速率下判斷空間關係、物體距離與擺放位置。視覺語言模型依靠自由文字生成作答,必須付出自迴歸解碼與答案解析的代價,而這類任務的輸出空間其實很小:幾個選項、一個純量或一個二維點。本文提出 MJev-Spatial,一個 System 1 式的多模態決策模型,以統一的分類框架處理這三類任務。它把每個候選項視為一個類別,直接使用骨幹網路預訓練的 query 與 key 投影進行評分,不新增參數。數值與點位預測透過由粗到細的分類完成,推論時每次決策只需一次前向傳播,不產生答案 token。訓練時以 teacher forcing 一次聯合監督所有階段,並搭配長度感知的全域批次處理與跨 GPU 負載平衡,訓練吞吐量提升 30.8%。模型基於 Qwen3.5-4B,在由既有資料集轉換而來的 12.3M 問答對上訓練,總分 65.64%,為八個模型中最高,12 個基準中拿下 7 項第一,且在全部 12 個基準上都超越原始自迴歸基礎模型,速度比最快的自迴歸基線快 2.5 倍,比基礎模型快 5.6 倍。
空间智能让智能体能够感知并在物理世界中行动,而其中很多判断必须在交互速率下完成:某个空间关系是否成立,物体离得有多远,东西应该放在哪里。现有的视觉语言模型(VLM)习惯用自由文本生成来回答这些问题,于是要为自回归解码和答案解析付出额外代价。可是这些问题的输出空间其实很小:从几个选项里选一个,给出一个标量,或者指出图像上的一个二维点。用生成整段文字的方式去回答一个紧凑的答案,本身就是一种错位。MJev-Spatial 抓住的正是这一点。论文把它定义为一个 System 1 式的多模态决策模型,用同一个分类框架同时处理选择、数值预测和点预测三类空间理解任务。核心贡献有三条:第一,把每个候选项当作一个类别,直接复用骨干网络预训练好的 query 和 key 投影来打分,不增加任何参数;第二,用从粗到细的分类,把数值预测和点预测也转化为分类问题;第三,提出一套联合监督加批处理优化的训练方案,让异构空间数据的训练更高效。在技术方法上,MJev-Spatial 的关键是原生注意力匹配。
模型不再让语言模型头逐词吐出答案,而是为每个候选项计算一个匹配分数,分数由骨干网络本来就有的 query 和 key 投影得到,得分最高的候选即为预测结果。因为用的是预训练权重,所以既没有新增参数,也没有需要从零学习的分类头。候选项的来源随任务而变。对选择类任务,候选就是题目给出的选项。对数值预测,候选是一组数值区间(value bins)。对点预测,候选是图像中的区域。数值和点的精度靠从粗到细的分类逐级提高:先在粗粒度的区间或区域中选定一个,再在其内部继续细分,直到满足所需的精度。推理时,每一次分类决策只需要一次前向传播,不生成任何答案 token。
训练方面,论文用 teacher forcing,在一次前向传播中同时监督所有粗到细的阶段,不必逐阶段重复计算。同时结合长度感知的全局批处理(length-aware global batching)和跨 GPU 负载均衡,减少长短不一的异构样本造成的算力浪费,使训练吞吐比原有批处理策略提高了 30.8%。实验以 Qwen3.5-4B 为骨干,训练数据是 12.3M 个问答对,全部由现有的空间数据集转换而来,这说明方法不依赖专门收集的新数据。论文在十二个空间基准上,与包括骨干基础模型在内的八个模型做了对比。结果是 MJev-Spatial 取得 65.64% 的总分,为八个模型中最高;在十二个基准中有七个排名第一;并且在全部十二个基准上都优于未经修改的自回归基础模型。后一条很有说服力:它们共用同一个骨干,差别只在于作答方式和训练方式,所以这个对比直接说明,把生成改成分类打分并没有牺牲精度,反而带来提升。速度上,MJev-Spatial 比最快的自回归基线快 2.5 倍,比基础模型快 5.6 倍。训练侧的批处理与负载均衡优化则带来 30.8% 的吞吐提升。
需要说明的是,摘要没有给出各组件的逐项消融数据,所以这里不对单个设计的贡献大小做进一步判断。这项工作的意义首先在于工程落地。机器人操作、具身智能和实时视觉助手都需要低延迟的空间判断,自回归解码的延迟和答案解析的脆弱性在这些场景里是实打实的障碍。MJev-Spatial 表明,当输出空间紧凑时,把 VLM 当作分类器用,既更快也更准,还省去了解析自由文本的环节。其次,不新增参数、只复用预训练的 query 和 key 投影,意味着方法可以较容易地迁移到其他骨干上,对开源社区也友好。再次,从粗到细的分类为数值和坐标这类连续输出提供了一条不依赖文本生成的路径,也许能推广到其他需要精确定位或估计的视觉任务。最后,用现有数据集转换出 12.3M 问答对,再配合高效的训练批处理,说明这条路线的数据和算力成本是可控的。后续研究可以进一步检验它在更大骨干、更多任务类型以及真实交互系统中的表现。
Sources
FAQ
MJev-Spatial 是什么模型?
MJev-Spatial 是基于 Qwen3.5-4B 的 System 1 式多模态决策模型。它把选项、数值和二维点位三类空间任务统一成分类问题,直接复用骨干网络预训练的 query 与 key 投影给候选打分,不新增参数,每次决策只需一次前向传播。
MJev-Spatial 为什么比自回归视觉语言模型更有价值?
MJev-Spatial 的总分为 65.64%,在八个模型中最高,12 个基准中 7 个第一,并在全部 12 个基准上超过原始基础模型。它比最快的自回归基线快 2.5 倍,说明分类打分既更快也没有牺牲精度。
MJev-Spatial 之后还需要关注哪些问题?
MJev-Spatial 的文章摘要没有给出各组件的逐项消融数据,因此无法判断单个设计的贡献大小。后续值得关注它在更大骨干、更多任务类型以及机器人等真实交互系统中的表现,这些文章尚未验证。