Omnilingual-MsASR: 옴니모달 대모델 장시간 다화자 음성인식 벤치마크

배경

긴 다화자 영상은 왜 옴니모달 대모델에게 여전히 어려울까요? 옴니모달 대규모 언어 모델은 오디오와 비디오 이해에서 빠르게 발전했습니다. 그러나 수십 분짜리 영상에 여러 사람의 목소리가 섞이면 이야기가 달라집니다. 모델은 전체 녹음을 따라가야 하고, 누가 언제 무엇을 말했는지도 함께 추적해야 합니다. 기존 평가는 대부분 짧은 오디오나 한 명의 화자에 머물러 있어서, 이 능력의 실제 한계를 보여 주지 못했습니다.

Omnilingual-MsASR은 이 빈틈을 메우기 위해 만든 벤치마크입니다. 장시간 다화자 음성인식, 즉 MsASR을 위한 다국어·멀티모달 평가 세트입니다. 6개 언어를 다루며, 녹음 한 건은 최대 30분이고 한 장면에 최대 20명의 화자가 등장합니다. 긴 길이, 많은 화자, 여러 언어라는 세 가지 난관을 한곳에 모은 것이 특징입니다.

논문의 기여는 세 가지입니다. 첫째, 세 난관을 묶은 통합 시험대를 제공합니다. 둘째, 같은 내용에 병렬 오디오·비디오 입력을 주어 모달별 성능을 직접 비교할 수 있게 합니다. 셋째, 주요 옴니모달 모델을 폭넓게 평가해 한계가 어디에 있는지 밝힙니다. 코드와 데이터는 GitHub의 QwenLM 아래에 오픈소스로 공개되어 누구나 재현할 수 있습니다.

심층 분석

이 논문의 초점은 새 모델이 아니라 과제를 분명히 정의하는 일입니다. 전통적인 음성인식은 받아 적은 단어가 맞는지만 묻습니다. 다화자 환경에서는 내용, 화자 신원, 시간 위치를 동시에 내놓아야 합니다. 셋 중 하나라도 빠지면 회의록이나 인터뷰 자막으로 쓰기 어렵습니다. 그래서 핵심 지표로 tcpWER을 씁니다. 단어 오류율에 화자 귀속과 시간 제약을 함께 반영하는 지표입니다. 단어가 맞고, 올바른 사람에게 배정되고, 합리적인 시간 구간에 놓여야 정답으로 인정됩니다. 단순 단어 오류율보다 훨씬 엄격하며, 회의 기록이나 다화자 영상 같은 실제 요구에 더 가깝습니다.

또 하나의 핵심 설계는 병렬 오디오·비디오 입력입니다. 오디오에는 음색과 어조가, 비디오에는 입 모양과 화면 속 인물, 장면이 담깁니다. 두 입력의 결과를 비교하면 모달 간 일관성을 확인할 수 있습니다. 시각 단서로 소리의 모호함을 풀거나, 반대로 소리로 화면의 빈틈을 메우는지도 살필 수 있습니다. tcpWER이 100%를 넘는다는 것은 무엇을 뜻할까요? 주요 옴니모달 모델을 평가하자 tcpWER이 자주 100%를 넘는 뚜렷한 병목이 드러났습니다. 오류 수가 기준 텍스트의 단어 수보다 많다는 뜻입니다. 긴 구간을 통째로 빠뜨리면서 엉뚱하거나 반복된 내용을 끼워 넣거나, 화자와 시간이 틀려 맞는 단어까지 오류로 처리될 때 이런 값이 나옵니다. 저자들은 세부 시간 위치 파악, 화자 구분, 모달 간 시너지를 세 가지 핵심 과제로 꼽았습니다. 다만 요약에는 모델별 점수와 절제 실험 내용이 없어, 모델 간 격차는 논문의 전체 결론에 근거해서만 말할 수 있습니다.

산업 영향

업계와 오픈소스 커뮤니티에 이 벤치마크의 첫 가치는 기대치를 바로잡는 데 있습니다. 회의 전사, 긴 영상 자막, 콜센터 품질 점검, 수업과 인터뷰 기록은 모두 장시간 다화자 인식에 기대고 있습니다. 짧은 오디오 순위표만 보면 옴니모달 모델의 실사용 준비도를 과대평가하기 쉽습니다. Omnilingual-MsASR은 실제 적용에 더 가까운 잣대를 제공합니다.

두 번째 가치는 연구 방향입니다. 타임스탬프를 더 정밀하게 모델링하고, 화자 신원을 긴 구간에 걸쳐 기억하게 하며, 입 모양과 화면 속 인물 정보를 청각 판단에 실제로 활용하는 일이 과제로 제시됩니다. 현재 옴니모달 파운데이션 모델 학습에서 놓치기 쉬운 부분입니다.

세 번째는 언어 간 공정성입니다. 6개 언어를 아우르는 공개 시험이므로 영어 같은 자원이 풍부한 언어에서만 능력을 확인하는 위험을 줄입니다. 규모가 작은 연구실도 같은 데이터로 성능을 재면 되므로, 긴 다화자 데이터를 따로 만드는 부담이 줄어듭니다.

전망

벤치마크는 문제를 드러낼 뿐 풀어 주지는 않습니다. 격차를 좁히려면 이에 맞는 학습 데이터, 긴 문맥 모델링, 화자를 인식하는 학습 방식이 필요합니다. 논문도 세부 시간 위치 파악, 화자 구분, 모달 간 시너지를 향후 옴니모달 파운데이션 모델이 반드시 넘어야 할 세 과제로 규정합니다.

앞으로 볼 지점은 세 가지입니다. 새 모델이 Omnilingual-MsASR에서 tcpWER을 보고하며 100%를 크게 밑도는지, 오디오와 비디오 비교에서 영상 단서가 실제 이득을 주는지 잡음만 더하는지, 결과가 늘어날수록 6개 언어 사이에 큰 격차가 드러나는지입니다. 코드와 데이터가 QwenLM 아래에 공개되어 있으니 누구나 후속 결과를 검증할 수 있습니다.

공통의 장시간 시험이 없던 분야에서 이 작업은 커뮤니티에 기준점을 줍니다. 자주 100%를 넘는 tcpWER 수치는, 30분짜리 회의 전체를 듣고 모든 화자를 정확히 구분하는 일이 옴니모달 모델에게 아직 풀리지 않은 문제임을 분명히 보여 줍니다.