MoTE: 멀티 태스크 영상 이해를 위한 태스크 전문가 혼합 디코더

배경

程序化 영상-언어 모델은 동일한 시각적 증거에서 액션 인식, 액션 예측, 프로세스 예측과 같은 이종 태스크를 동시에 처리해야 한다. 이는 모델이 하위 시각 표상을 공유하면서도 각 태스크마다 다르게 추론해야 한다는 긴장을 낳는다. 연구자들은 이를 디코딩 문제로 규정하는데, 디코더의 구조가 태스크를 명확히 분리할지 아니면 서로 뒤섞일지를 결정한다고 본다.

현재 주류인 dense transformer 디코더는 모든 태스크에서 동일한 순방향 네트워크를 공유한다. 모든 태스크가 같은 가중치를 사용하기에 각 태스크의 동작이 얽혀서 개별 능력을 분리하기 어려워지고, 특정 능력의 제어 가능한 확장을 어렵게 한다. 하나의 태스크를 확장하면 공유 매개변수가 반드시 흔들리기 때문이다. 연구자들은 이를 단순한 스케일링 문제가 아닌 구조적 한계로 지적한다.

희소 Mixture-of-Experts 디코더는 조건부 계산으로 연산을 절약할 수 있지만, 전형적인 토큰 수준의 학습 라우팅은 태스크 수준의 절차적 목표와 자연스럽게 정렬되지 않는다. 라우팅 결정이 명확한 태스크 의미로 대응되기 어려운 학습 가중치에서 emerge하기 때문이다. 이는 효율적이지만 불투명한 디코더를 낳는다.

심층 분석

저자들은 MoTE(Mixture of Task Experts)를 제안한다. 대규모 언어 모델의 순방향 네트워크를 태스크 전용 전문가 집합으로 재구성하면서도 멀티모달 백본은 모든 태스크에서 공유한다. 각 샘플은 단일 태스크를 따라 해당 전문가를 활성화한다. 이 설계는 조건부 계산의 효율을 유지하면서 라우팅 결과를 구체적인 태스크에 직접 대응시켜 해석 가능성과 비용 사이균형을 맞춘다.

핵심 기술적 전환은 토큰 수준 학습 라우팅이 아닌 샘플 수준 태스크 라우팅이다. 각 입력이 하나의 명시적 태스크 경로를 따르기 때문에, 활성화된 계산량은 저장된 태스크 전문가 총수로부터 분리된다. 이 성질은 추론 비용 통제에 중요한데, 비용이 태스크 수에 선형으로增长하지 않기 때문이다. 연구자들은 이를 지속적으로 새 태스크 능력을 추가해야 하는 시스템에 필수적이라고 본다. 라우팅 동작은 학습 가능한 희소 가중치 속에 묻히지 않고 명시적이고 관측 가능하게 드러난다.

훈련은 공유 백본과 태스크 전용 디코더 전문가의 조합을 활용한다. 이를 통해 시각 표상과 태스크 추론 능력이 통합된 프레임워크 안에서 각각有针对性的으로 최적화된다. 이 구조는 성숙한 대규모 언어 모델 디코더 패러다미를 계승하면서도 태스크 수준 라우팅으로 의미적 수준에서 재구성하여, 조건부 계산이 절차적 영상 이해의 목표에 진정으로 봉사하게 한다.

산업 영향

저자들은 VideoLLM-MoTE를 다섯 개의 COIN 벤치마크에서 평가한다. 명시적 태스크 라우팅으로 디코더를 구동하는 이 모델은 샘플당 약 20억 대규모 언어 모델 파라미터를 활성화하면서도 평균 top-1 정확도로 최근 VideoLLM 기준선 방법을 초과한다. 통제된 파라미터 비율만 활성화함에도 contemporary 시스템과 경쟁력 있는 위치를 확보한다.

성능 비교는 결정적이다. 동일한 전문가 토폴로지 하에서 MoTE는 dense 전체 전문가 활성화 방식과 학습 희소 라우팅 제어군 양쪽을 모두 능가한다. 이는 태스크 구조화 라우팅이 순전히 학습된 라우팅보다 효율성과 성능 양쪽에서 우위에 있음을 보여준다. 해석 가능성의 이득이 정확성 없이 구매되지 않았음을 시사한다.

산업 적용에서 활성화된 계산량이 저장된 전문가로부터 분리되기 때문에 태스크 포트폴리오가 확장되어도 추론 비용이 통제된다. 이는 지속적으로 태스크 능력이 추가되어야 하는 상황에 중요하다. 명시적 라우팅은 모델 동작을 더 추적 가능하게 하여 영상 이해, 프로세스 분석과 같은 높은 신뢰성이 요구되는 도신뢰를 뒷받침한다. 오픈소스 커뮤니티에게는 대규모 언어 모델 디코더 패러다미와 태스크 수준 전문가 메커니즘을 결합한 재사용 가능한 아키텍처 참고를 제공한다.

전망

이 작업은 태스크 구조화 라우팅을 멀티 태스크 영상-언어 학습을 위한 해석 가능하고 계산 효율적인 디코딩 체계로 정립한다. 동일한 토폴로지 하에서 태스크 전용 전문가가 샘플 수준 라우팅으로 dense와 학습 희소 대안을 모두 능가함을 보여주어, 현재 희소 전문가 시스템을 지배하는 불투명 라우팅에 대한 구체적 대안을 제시한다.

가장 유망한 방향은 시간에 걸쳐 많은 태스크 능력을 축적해야 하는 시스템으로의 확장이다. 활성화된 계산량이 저장된 전문가 수에增长하지 않기 때문에 이 아키텍처는 비례적 비용 증가 없이 반복적으로 새 기능을 추가하는 제품에 적합하다. 명시적 라우팅은 추적성이 요구되는 규제 또는 안전 민감 환경의 적용을 추가로 지원한다.

더 넓게는 이 접근법은 공유 표상이 서로 다른 추론 경로와 공존해야 하는 모든 태스크 간 조건부 계산으로 영상 너머로 확장될 수 있다. 더 큰 백본과 더 다양한 태스크 혼합에서 이득이 유지될지는 아직 검증이 필요하지만, 현재 결과는 태스크 구조를 디코더 아키텍처의 일급 설계 원리로 다루기에 신뢰할 만한 기반을 제공한다.