Omnilingual-MsASR：给全模态大模型出的一道"长会议听写"难题

全模态大语言模型在音频和视频理解上进步很快，可一旦面对时间很长、说话人很多的视频，它们的短板就暴露出来：不仅要听懂整段内容，还要分清是谁、在什么时候说了什么。现有评测大多停留在短音频或单人说话的场景，很难衡量这种能力的真实上限。Omnilingual-MsASR 正是为填补这个空白而提出的基准，全称是面向长时多说话人自动语音识别（MsASR）的多语言、多模态评测集。它覆盖六种语言，单段录音最长可达 30 分钟，场景中最多出现 20 位说话人。论文的核心贡献有三点：第一，给出一个把长时、多人、多语言三个难点放在一起的统一测试平台；第二，为同一段内容同时提供音频和视频输入，让研究者能直接比较模型在不同模态下的表现；第三，对主流全模态大模型做了大规模评估，指出它们当前的瓶颈究竟落在哪里。这项工作由 QwenLM 团队开源，代码和数据入口放在 GitHub 的 Omnilingua-Bench 项目下，方便社区复现与跟进。在技术设计上，这篇论文的重点不在提出新模型，而在把评测任务本身定义清楚。传统语音识别只关心转写出的文字对不对，而多说话人场景要求模型同时输出内容、说话人身份和时间位置，三者缺一不可。因此论文采用 tcpWER 作为核心指标。这类指标会在词错误率的基础上，把说话人归属和时间约束一并纳入计算，只有词说对、人对得上、时间也落在合理范围内，才算识别正确。这样的度量比单纯的字词错误率严格得多，也更贴近会议记录、访谈字幕、多人视频这类真实需求。

基准的另一个关键设计，是为同一段内容提供平行的音频和视频输入。音频携带声纹和语气，视频携带口型、画面里的人物和场景。通过对照两种输入下的结果，研究者可以检验模型的跨模态一致性，也就是同一内容换一种输入形式，输出是否稳定。还可以观察模型能不能借画面线索弥补音频里的歧义，或者反过来用声音补足画面的缺失。再加上六种语言、最长 30 分钟的录音和最多 20 位说话人，这套设置把上下文长度、说话人数量和语言差异同时推到了压力测试的程度。论文在这套基准上评测了当前领先的全模态大语言模型，结论相当直接：整体表现存在明显瓶颈，tcpWER 经常超过 100%。这个数字值得认真理解。词错误率超过 100% 意味着错误数量已经多于参考文本里的词数，往往是因为模型漏掉了大段内容，同时又插入了错误或重复的内容，或者把说话人和时间标错，导致大量词被判为错误。也就是说，这些模型在短片段上看起来很强，但一旦拉到半小时、十几个人的真实场景，输出就难以直接使用。作者据此归纳出三类关键挑战。第一是细粒度时间定位，模型很难准确说出某句话发生在哪个时刻。

第二是说话人区分，在人数众多、发言交错时容易混淆是谁在说话。第三是跨模态协同，模型并没有真正把音频和视频的互补信息融合起来，两种输入下的表现往往不一致。需要说明的是，摘要没有给出各模型的具体得分和消融细节，因此这里只能依据论文公开的整体结论来判断各模型的能力差距。对工业界和开源社区来说，这个基准的价值首先在于校准预期。会议转写、长视频字幕、客服质检、课堂与访谈记录，这些场景都离不开长时多人识别。如果只看短音频榜单，很容易高估全模态模型的实际可用性，而 Omnilingual-MsASR 提供了一把更贴近落地的尺子。其次，它给后续研究指明了具体方向：把时间戳建模做得更精细，让模型对说话人身份保持长程一致的记忆，以及真正利用视频里的口型与人物信息辅助听觉判断。这些都是当前全模态基础模型训练中容易被忽略的部分。再次，基准开源并覆盖六种语言，也有利于推动多语言场景下的公平比较，避免能力只在英语等高资源语言上被验证。当然，基准只能暴露问题，不能直接解决问题，后续还需要配套的训练数据、长上下文建模和说话人感知的训练策略来缩小差距。但在这个领域缺少统一评测的阶段，这类工作为社区提供了共同的参照点，其意义不容低估。