MJev-Spatial: 어텐션 매칭 기반 System 1 공간 지능
공간 지능은 에이전트가 상호작용 속도로 공간 관계, 물체 간 거리, 배치 위치를 판단해야 합니다. 시각-언어 모델은 자유 형식 텍스트 생성으로 답하기 때문에 자기회귀 디코딩과 답변 파싱 비용이 들지만, 이런 작업의 출력 공간은 사실 작습니다. 몇 개의 선택지, 하나의 스칼라 값, 또는 2차원 점 하나뿐입니다. 이 논문은 세 가지 작업을 통합 분류 프레임워크로 처리하는 System 1 방식의 멀티모달 의사결정 모델 MJev-Spatial을 제안합니다. 각 후보를 하나의 클래스로 보고, 백본이 사전 학습한 query와 key 프로젝션으로 직접 점수를 매기며 새 파라미터는 추가하지 않습니다. 수치와 점 예측은 거친 단계에서 세밀한 단계로 이어지는 분류로 처리하므로, 추론 시 결정마다 순전파가 한 번이면 충분하고 답변 토큰도 생성하지 않습니다. 학습에서는 teacher forcing으로 모든 단계를 한 번에 함께 지도하고, 길이 인식 글로벌 배칭과 GPU 간 부하 분산을 더해 학습 처리량을 30.8% 높였습니다. Qwen3.5-4B 기반으로, 기존 데이터셋에서 변환한 1,230만 개의 질의응답 쌍으로 학습했으며, 총점 65.64%로 8개 모델 중 최고를 기록했습니다. 12개 벤치마크 중 7개에서 1위를 차지했고, 12개 전부에서 원래의 자기회귀 기반 모델을 앞섰습니다. 속도는 가장 빠른 자기회귀 베이스라인보다 2.5배, 기반 모델보다 5.6배 빠릅니다.
배경
공간 지능은 에이전트가 물리 세계를 인식하고 행동하게 하는 능력입니다. 그중 상당수 판단은 상호작용 속도로 이루어져야 합니다. 어떤 공간 관계가 성립하는지, 두 물체가 얼마나 떨어져 있는지, 물건을 어디에 놓아야 하는지가 그 예입니다. 기존 시각-언어 모델(VLM)은 이런 질문에도 자유 형식 텍스트를 생성해 답합니다. 그 결과 자기회귀 디코딩 비용과 생성된 답변을 해석하는 추가 단계가 따라붙습니다.
그런데 이 작업들의 출력 공간은 작습니다. 짧은 선택지 중 하나, 스칼라 값 하나, 이미지 위의 2차원 점 하나가 전부입니다. 이렇게 작은 답을 내려고 문장 전체를 생성하는 것은 작업과 도구가 맞지 않는 셈입니다. arXiv에 공개된 MJev-Spatial 논문은 바로 이 점에서 출발합니다.
논문은 MJev-Spatial을 System 1 방식의 멀티모달 의사결정 모델로 소개합니다. 하나의 분류 프레임워크로 선택, 수치 예측, 점 예측 세 작업을 모두 처리합니다. 핵심 기여는 세 가지입니다. 각 후보를 클래스로 보고 백본의 사전 학습된 query와 key 프로젝션으로 점수를 매겨 파라미터를 늘리지 않았습니다. 수치와 점은 거친 단계에서 세밀한 단계로 이어지는 분류로 풀었습니다. 마지막으로 혼합 공간 데이터의 학습을 효율화하는 공동 지도와 배칭 방식을 제안했습니다.
심층 분석
MJev-Spatial은 텍스트를 생성하지 않고 어떻게 공간 질문에 답할까요? 답은 네이티브 어텐션 매칭입니다. 모델은 후보마다 백본에 원래 있는 query와 key 프로젝션으로 매칭 점수를 계산하고, 점수가 가장 높은 후보를 예측으로 삼습니다. 사전 학습 가중치를 그대로 쓰므로 처음부터 학습할 분류 헤드가 없습니다. 결정 한 번에 순전파는 한 번이면 되고 답변 토큰도 만들어지지 않습니다. 후보는 작업에 따라 달라집니다. 선택형 문제에서는 문제에 주어진 선택지가 후보입니다. 수치 예측에서는 값 구간(bin)이, 점 예측에서는 이미지의 영역이 후보가 됩니다. 정밀도는 단계적 세분화로 얻습니다. 먼저 거친 구간이나 영역을 고르고, 그 안에서 다시 분류하는 과정을 필요한 정밀도에 이를 때까지 반복합니다. 학습에는 teacher forcing을 씁니다. 한 번의 순전파로 거친 단계부터 세밀한 단계까지 모두 함께 지도하므로 단계별로 계산을 되풀이하지 않습니다. 여기에 길이 인식 글로벌 배칭과 GPU 간 부하 분산을 더해, 길이가 제각각인 샘플을 섞을 때 생기는 낭비를 줄였습니다. 논문에 따르면 학습 처리량은 30.8% 높아졌습니다.
모델은 Qwen3.5-4B 기반이며, 기존 데이터셋에서 변환한 1,230만 개의 질의응답 쌍으로 학습했습니다. 따라서 새로 수집한 데이터에 의존하지 않는 방법입니다. 다만 요약에는 구성 요소별 제거 실험 수치가 없어서, 각 설계가 얼마나 기여했는지는 판단하기 어렵습니다.
산업 영향
평가는 공간 벤치마크 12개와 기반 모델을 포함한 8개 모델을 대상으로 했습니다. MJev-Spatial은 총점 65.64%로 8개 모델 중 가장 높았고, 12개 벤치마크 중 7개에서 1위를 했습니다. 또 수정하지 않은 자기회귀 기반 모델을 12개 전부에서 앞섰습니다.
마지막 결과의 무게가 가장 큽니다. 두 모델은 같은 백본을 쓰고, 답하는 방식과 학습 방식만 다릅니다. 따라서 텍스트 생성을 분류 점수화로 바꿔도 이 작업들에서 정확도가 떨어지지 않았고 오히려 올랐다고 볼 수 있습니다.
속도도 눈에 띕니다. 가장 빠른 자기회귀 베이스라인보다 2.5배, 기반 모델보다 5.6배 빠릅니다. 로봇 조작, 임바디드 에이전트, 실시간 시각 도우미처럼 낮은 지연이 필수인 환경에서는 디코딩 지연과 취약한 답변 파싱이 실제 걸림돌입니다. 출력 공간이 작다면 VLM을 분류기처럼 쓰는 편이 더 빠르고, 이 벤치마크에서는 더 정확했으며, 자유 텍스트를 해석할 필요도 없습니다. 새 파라미터 없이 기존 프로젝션만 재사용하므로 다른 백본으로 옮기기도 비교적 쉬울 수 있습니다. 이는 설계에서 나온 추론이며, 보고된 결과는 Qwen3.5-4B에 한정됩니다.
전망
거친 단계에서 세밀한 단계로 가는 분류는 거리나 좌표 같은 연속 출력에 텍스트 생성을 거치지 않는 길을 열었습니다. 정밀한 위치 지정이나 추정이 필요한 다른 시각 작업으로 확장될 가능성이 있습니다. 학습 비용도 비교적 부담이 적습니다. 1,230만 쌍이 모두 기존 데이터셋에서 나왔고, 배칭 개선으로 처리량이 30.8% 늘었습니다.
남은 질문도 있습니다. 더 큰 백본, 더 다양한 작업 유형, 실제 상호작용 시스템에서의 결과는 보고되지 않았습니다. 이것이 자연스러운 다음 검증 대상입니다. 구간 설정에 따라 수치와 점 출력의 세밀한 정밀도가 어떻게 달라지는지도 비교해야 공정한 평가가 되지만, 요약에는 그 내용이 없습니다.
지연 시간 예산이 빠듯한 에이전트를 만드는 팀에게 메시지는 좁지만 분명합니다. 답이 선택지, 숫자, 점 중 하나라면 후보에 대한 한 번의 점수 계산이 토큰 단위 생성을 대신할 수 있습니다. MJev-Spatial은 총점 65.64%와 기반 모델 대비 5.6배 속도를 그 근거로 제시합니다.
Sources
FAQ
MJev-Spatial은 무엇인가요?
MJev-Spatial은 Qwen3.5-4B를 기반으로 한 System 1 방식의 멀티모달 의사결정 모델입니다. 선택지, 수치, 2차원 점 예측을 하나의 분류 문제로 통합하고, 백본이 사전 학습한 query와 key 프로젝션으로 후보에 점수를 매깁니다. 새 파라미터는 없고 결정마다 순전파는 한 번입니다.
MJev-Spatial이 공간 지능에서 왜 중요한가요?
MJev-Spatial은 총점 65.64%로 8개 모델 중 최고를 기록했고, 12개 벤치마크 중 7개에서 1위를 차지했습니다. 12개 전부에서 원래의 자기회귀 기반 모델도 앞섰습니다. 가장 빠른 자기회귀 베이스라인보다 2.5배 빨라, 분류 점수 방식이 정확도 손실 없이 속도를 높임을 보여 줍니다.
MJev-Spatial에서 앞으로 무엇을 살펴봐야 하나요?
MJev-Spatial 기사는 구성 요소별 제거 실험 데이터를 제공하지 않으므로 각 설계의 기여도는 판단할 수 없습니다. 더 큰 백본, 더 다양한 작업 유형, 로봇 같은 실제 상호작용 시스템에서의 성능 검증을 지켜봐야 합니다. 기사는 아직 이 결과들을 다루지 않습니다.