Omni-Embed-Mini: 밀집 증류로 텍스트 능력을 잃지 않고 모달리티를 통합하다

기술 배경과 문제 정의

텍스트 임베딩 모델은 현대 검색 시스템과 RAG(검색 증강 생성)의 핵심 축을 담당하지만, 음성, 오디오, 이미지, 비디오, 시각적으로 복잡한 문서 등 새로운 모달리티로 확장하는 데는 늘 대가가 따랐다. 텍스트 임베더가 픽셀이나 파형까지 이해하도록 미세조정하면, 애초에 텍스트 검색 성능을 지탱하던 가중치 자체가 흔들리는 경우가 많다. 업계는 지금까지 파라미터 수를 늘려 이 문제에 대응해왔고, 기존 오픈소스 전모달 임베더들은 수십억 파라미터 규모에 이르는 것이 일반적이며 효율성을 범위와 맞바꾸고 있다. Mohammed Irfan Kurpath와 Hisham Cholakkal 등 MBZUAI 연구팀이 제시한 Omni-Embed-Mini는 더 날카로운 질문을 던진다. 단 9억 개 파라미터의 작은 모델로, 이미 잘 작동하는 텍스트 경로를 전혀 건드리지 않으면서 여섯 가지 모달리티를 하나의 공유 코사인 유사도 공간에 통합할 수 있을까? 대부분의 실제 운영 검색 스택은 지연 시간과 메모리 제약을 받기 때문에, 비교 대상인 전모달 임베더 대비 2.7배에서 9.5배의 크기 축소는 단순한 외형적 개선이 아니라 엣지 환경이나 대규모 운영 환경에서 실제로 배포 가능한지를 좌우하는 요소다.

핵심 아키텍처와 기술 원리

핵심 아이디어는 거의 철학적이다. 새로운 모달리티 인코더에게 "좋은 임베딩이란 무엇인가"를 알려주는 별도의 사전학습된 임베딩 모델을 "교사"로 두는 대신, Omni-Embed-Mini는 동결된 텍스트 백본 자체를 교사로 재사용한다. 음성 클립, 이미지, 비디오, 스캔 문서 같은 비텍스트 샘플은 먼저 밀도 높은 연쇄형 캡션으로 변환되며, 교사 목표는 바로 그 캡션을 학생과 동일한 백본으로 임베딩한 값이다. 교사와 학생이 백본 가중치를 그대로 공유하기 때문에 두 임베딩은 다리가 필요한, 비슷하지만 서로 다른 두 공간이 아니라 바이트 단위로 동일한 기하 구조 안에 존재한다. 이로써 흔히 발생하는 표현 드리프트 문제가 근본적으로 제거된다. 그 위에서 모델은 각 모달리티 인코더에 부착된 경량 프로젝터와 단계적 LoRA 어댑터만을 학습하며, 텍스트 파라미터는 전혀 업데이트되지 않는다. 바로 이 때문에 MTEB-v2 BEIR-8에서 49.57 nDCG@10을 기록한 텍스트 검색 성능은 정교한 튜닝 덕분이 아니라 구조적으로 저하될 수 없다. 대조 학습 목표는 Matryoshka 방식의 SigLIP 손실을 사용해 재학습 없이 동일한 임베딩을 더 낮은 차원으로 잘라낼 수 있으며, 여기에 온라인 하이브리드 어려운 음성 샘플(hard negative) 마이너를 결합해 인코더 성능이 향상될수록 음성 샘플의 난이도도 점진적으로 높아지도록 하여 학습 신호가 조기에 포화되지 않도록 한다.

실용성과 검증 결과

이 방식은 범용성도 입증했다. 네이티브 비전-언어 백본으로 교체한 23억 파라미터 버전은 구글의 비공개 모델 gemini-embedding-2와 경쟁할 만한 성능을 보였다고 보고되었으며, 전체 모달리티 평균 지표에서는 오히려 근소하게 앞섰다. 다국어 문서 검색, 슬라이드와 PDF를 대상으로 하는 크로스모달 RAG, 음성 관련 검색, 비디오 클립 검색 같은 실제 검색 시스템에서 이는 모달리티별로 별도의 인덱스나 임베딩 서비스를 유지하지 않고도 하나의 공유 벡터 공간으로 여러 미디어 유형에 걸친 질의를 처리할 수 있다는 의미이며, 모달리티를 추가할 때마다 텍스트 검색 품질이 조용히 저하되는 통상적인 트레이드오프도 피할 수 있다. 저자들은 모델, 코드, 데이터, 평가 하네스를 공개 프로젝트 페이지에 공개해 독립적인 검증과 후속 미세조정의 진입 장벽을 낮췄다.

업계 영향과 향후 전망

더 깊은 함의는 아키텍처 차원에 있다. "교사를 학생 자신의 백본에서 빌려온다"는 발상은 이 논문을 넘어 재사용 가능한 패턴으로, 동결된 고품질 모델을 미세조정 위험 없이 인접한 입력 유형으로 확장해야 하는 모든 상황에 적용할 수 있다. 전모달 능력을 파라미터 규모의 확대와 동일시해온 업계에 대해, 9억 파라미터 모델이 다섯 가지 모달리티를 추가하면서도 텍스트 검색 성능을 지켜냈다는 사실은 구체적인 반증이 된다. 남은 질문은 이 방식이 더 잡음이 많은 실제 모달리티와 더 긴 비디오에서도 성립하는지, 그리고 캡션 자체에 오류나 환각이 섞여 있을 때 "밀집 캡션을 교사로 삼는다"는 설계가 여전히 견고한지이며, 이는 논문의 캡션 연쇄 구조가 언젠가 직접 마주해야 할 의존성이다.