英伟达发布Nemotron 3.5 Transcribe与Granary v2：开放权重的录音转写与说话人标注模型

英伟达于 2026 年 10 月 28 日在 Hugging Face 博客发布 Nemotron 3.5 Transcribe，同文还介绍了 Granary v2 语音数据集和微调方案。Transcribe 是开放权重模型，处理的是已录制的音频，而不是实时流式语音，与本站 10 月 27 日报道的流式语音模型不是同一产品。一个检查点即可完成转写、说话人标注、翻译和音频问答，并由文字提示控制。文中的排行榜成绩是英伟达对第三方榜单的解读。

该模型可转写 40 种语言，其中 31 种可与英语互译，13 种支持说话人标注。它能处理最长一小时的录音，最多标注八位说话人。语音编码器连接一个混合 Mamba–Transformer 混合专家语言模型，约 300 亿参数中只有约 40 亿处于激活状态。提示可以要求带说话人标签的转写、翻译成英语，或回答会议做了哪些决定。音频问答只在英语上训练，各任务支持的语言也不同，所以要查模型卡中的任务与语言对照表。英伟达建议对照录音抽查人名、说话人切换和答案。

排行榜说法使用的是不同的错误指标，不能混为一谈。词错误率（WER）是替换、删除和插入的词数之和，除以参考文本的总词数。在 Hugging Face 开放 ASR 榜单上，英伟达称其英语平均 WER 为 5.33%，在开放权重模型中排名第一，且不含 API 模型。模型卡的对比中，七种语言平均 WER 为 4.62%，长音频为 10.98%，均为所评估开放权重模型中最低。Artificial Analysis 使用自己的 AA-WER 指数：Transcribe 以 2.8% 与另一模型并列开放权重第一，激活参数约 40 亿，对方约 240 亿。

说话人相关成绩使用其他指标。在 David AI 的 21 种语言基准上，统计说话人时间错误的说话人区分错误率（DER）为 18.26%，在 14 个系统中最低，略优于英伟达自家 Nemotron 3 Diarization 的 18.38%。在 VoiceArena 的英语全场次测试中，匹配说话人标签后统计词错误的 cpWER 为 32.4%，同样是 14 个系统中最低。另外，删除词占参考词数的 8.32%，中位数约 31%。删除率不是 WER。英伟达还称，即将发布的 NVFP4 量化版本在一块 RTX PRO 6000 Blackwell Server Edition GPU 上，不到三分钟处理了 100 小时音频，测试用 30 秒片段、高并发。这个数字并不属于今天发布的检查点。

Granary v2 是 Transcribe 训练背后的开放数据流水线。其公开清单涵盖 463,062 小时、48 种语言、16 个来源语料库，第一版为 25 种语言；英伟达强调这些数字描述的是数据集发布，不是 Transcribe 的全部训练混合。流水线分四个阶段。音频准备：切分音频、跟踪说话人、标记语言和声学事件，本次发布因来源已切分而跳过。转写：每种语言交给主识别器和备用识别器，幻觉检查未通过时回退。任务标签生成：派生多种转写变体，检查字符速率、幻觉模式和一致性。高保真阶段：剔除噪声、削波或多人说话的片段，对 VoxPopuli 把 35.4 万小时缩减为 11.1 万小时，覆盖 22 种欧洲语言。

文中的医疗案例使用 Eka Care 的开放基准，含 3,619 段印度医生和医学生的录音。在提示中写明英语和拉丁字母，整个基准的 WER 从 30.8% 降到 23.8%，微调后降到 11.8%，比开箱状态少约 62% 的错误。更干净的测试是 2,764 段留出的录音，WER 由最佳提示的 22.44% 降到 12.17%，相对下降 45.8%。适配使用约 153 小时合成语音、29 小时带口音英语和 63 小时医疗录音；从文本生成到评估的完整适配流程在一块 GB300 上约用了 14 个 GPU 小时。这些是英伟达在一个基准上的结果。通用英语略有退步，LibriSpeech test-clean 的 WER 从 1.54% 升到 1.69%，而医疗专用模型在品牌药名的精确匹配上仍领先。

获取途径方面，检查点可从 Hugging Face 和 ModelScope 下载，可用 vLLM 或 SGLang-Omni 自托管，也可使用 Baseten、DeepInfra 或 Simplismart 的托管端点；本地部署工具 NeMo-Speech.cpp 和量化版本“即将推出”。文中还给出一个应用例子：声网 Agora 在课堂演示中使用词级时间戳，把录制的课程转成与回放并列显示的转写，让学生看到每句话是何时说的。英伟达同时提供了可让编码智能体驱动整个微调流程的代理技能。语言支持随任务不同，应对照模型卡里的任务与语言矩阵。

需要转写通话录音、会议或口述的团队，现在有了可用提示控制的开放模型和用于适配的数据工具。这些数字更适合作为试用的理由，而不是对任何具体工作负载的保证。英伟达自己建议至少保留 100 段真实、已标注的录音用于选检查点，并检查应用依赖的实体类型。