MJev-Spatial：注意機構マッチングで実現するSystem 1空間知能

背景と概要

空間知能とは、エージェントが物理世界を認識し、行動するための能力です。その判断の多くはインタラクション速度で行う必要があります。たとえば、ある空間関係が成り立つかどうか、物体同士がどれだけ離れているか、物をどこに置くべきか、といった判断です。視覚言語モデル（VLM）は、こうした質問に自由形式のテキストで答えるのが一般的です。そのため、自己回帰デコードのコストと、生成された回答を解析する手間が加わります。

しかし、これらのタスクの出力空間は小さく、数個の選択肢から1つを選ぶか、1つのスカラーを出すか、画像上の2次元の1点を示すかのいずれかです。コンパクトな答えのために長い文章を生成するのは、タスクと道具の不一致といえます。arXivで公開された MJev-Spatial は、この点に着目しています。

論文は MJev-Spatial を、System 1型のマルチモーダル意思決定モデルと位置づけています。選択、数値予測、点予測の3種類を、1つの分類フレームワークで扱います。貢献は3点です。1つ目は、各候補を1つのクラスとみなし、バックボーンが事前学習したquery・key射影で直接スコアを計算することで、追加パラメータをなくした点です。2つ目は、数値と点を粗から細への分類で扱う点です。3つ目は、異種の空間データを効率よく学習するための、同時教師あり学習とバッチ処理の工夫です。

深掘り分析

MJev-Spatial は、テキストを生成せずにどのように空間の問いへ答えるのでしょうか。答えは、ネイティブな注意機構マッチングです。モデルは候補ごとに、バックボーンがもともと持つquery・key射影からマッチスコアを計算します。最もスコアが高い候補が予測結果です。重みは事前学習済みなので、ゼロから学習する分類ヘッドはありません。1回の決定に必要な順伝播は1回だけで、回答トークンも生成しません。 候補はタスクによって変わります。選択式の問題では、設問に示された選択肢が候補です。数値予測では、数値の区間（value bins）が候補になります。点予測では、画像内の領域が候補です。精度は段階的に高めます。まず粗い区間や領域を選び、次にその内側でもう一度分類し、必要な精度に届くまで繰り返します。 学習にはteacher forcingを使います。1回の順伝播で、粗から細へ続くすべての段階を同時に教師あり学習できるため、段階ごとに計算をやり直す必要がありません。さらに、長さを考慮したグローバルバッチ処理とGPU間の負荷分散を組み合わせています。長さが大きく異なるサンプルが混在しても、計算の無駄が減ります。論文によると、これで学習スループットは30.8%向上しました。

ベースモデルは Qwen3.5-4B です。学習データは1,230万件の質問応答ペアで、すべて既存のデータセットから変換したものです。専用に新しくデータを集めなくても成立する方法だと分かります。ただし、元の要約には構成要素ごとのアブレーション結果がありません。個々の設計がどれだけ効いたのかは、この情報だけでは判断できません。

業界への影響

評価は12の空間ベンチマークで行い、元のバックボーンを含む8モデルを比較しています。MJev-Spatial の総合スコアは65.64%で、8モデル中で最高です。12ベンチマークのうち7つで1位となり、全12ベンチマークで、修正前の自己回帰ベースモデルも上回りました。 最後の結果には特に重みがあります。2つのモデルは同じバックボーンを共有し、違うのは回答の仕方と学習の仕方だけです。この比較から、テキスト生成を分類スコアリングに置き換えても、これらのタスクで精度は落ちず、むしろ向上したと読み取れます。 2つ目の成果は速度です。MJev-Spatial は、最速の自己回帰ベースラインの2.5倍、ベースモデルの5.6倍の速さで動作します。ロボット操作、エンボディドエージェント、リアルタイムの視覚アシスタントでは、低遅延が必須条件です。デコードの遅れと、回答解析の脆さは、こうした現場の現実的な障害になります。出力空間がコンパクトなら、VLMを分類器として使う方が高速で、今回のベンチマークでは精度も高く、自由テキストを解析する工程も不要になります。

追加パラメータがなく、既存のquery・key射影を再利用するだけなので、他のバックボーンへも比較的容易に移せる可能性があります。ただしこれは設計からの推測です。論文が報告した結果は Qwen3.5-4B によるものです。

今後の展望

粗から細への分類は、距離や座標のような連続値の出力に、テキスト生成を介さない道筋を与えます。精密な位置特定や推定を必要とする、ほかの視覚タスクへ広げられるかもしれません。学習コストも控えめです。1,230万件のペアはすべて既存データセットから得られ、バッチ処理の工夫で学習スループットは30.8%上がりました。

未解決の点も残っています。元の情報には、より大きなバックボーン、より多様なタスク、実際のインタラクティブなシステムでの結果はありません。これらが次に確かめるべき課題です。また、ビン設定を変えたときの数値・点出力の細かな精度を比べる検証も有益ですが、要約には詳細がありません。

レイテンシの制約が厳しいエージェントを作るチームにとって、実務上のメッセージは限定的ですが明確です。答えが選択、数値、点のいずれかであれば、候補に対する1回のスコアリングで、トークンごとの生成を置き換えられる可能性があります。MJev-Spatial は、総合スコア65.64%と、ベースモデル比5.6倍の高速化を、その根拠として示しています。