NVIDIA、録音向けの文字起こしと話者ラベルを行うNemotron 3.5 TranscribeとGranary v2を公開

NVIDIAは2026年10月28日、Hugging Faceのブログで、Nemotron 3.5 Transcribeを公開した。同じ記事でGranary v2の音声データセットと微調整の手順も紹介している。Transcribeはオープンウェイトのモデルで、扱うのは録音済みの音声であり、ライブのストリーミングではない。10月27日に本媒体が取り上げたストリーミング音声モデルとは別の製品である。1つのチェックポイントで、文字起こし、話者ラベル付け、翻訳、音声への質問応答を行い、テキストの指示で制御する。記事のランキング結果は、第三者の順位をNVIDIAが解釈したものだ。

モデルは40言語を文字起こしし、そのうち31言語を英語との間で翻訳し、13言語で話者を区別する。最長1時間の録音を扱い、最大8人の話者にラベルを付ける。音声エンコーダーが、ハイブリッドのMamba–Transformer混合専門家の言語モデルにつながり、300億パラメータのうち有効なのは約40億だ。指示では、話者ラベル付きの文字起こし、英語への翻訳、会議で何が決まったかへの回答などを求められる。音声への質問応答は英語で学習されており、タスクごとに対応言語が違うので、モデルカードのタスク別言語表を確認する必要がある。NVIDIAは、人名、話者の切り替わり、回答を録音と照らして抜き取り確認することを勧めている。

ランキングの主張は誤り指標が異なり、混ぜてはいけない。単語誤り率（WER）は、置換、削除、挿入の語数の合計を、正解文の総語数で割った値だ。Hugging FaceのOpen ASRリーダーボードでは、英語の平均WERが5.33%で、APIモデルを除くオープンウェイトモデルの中で1位とNVIDIAは述べる。モデルカードの比較では、7言語の平均WERが4.62%、長尺音声が10.98%で、どちらも評価されたオープンウェイトモデルの中で最も低い。Artificial Analysisは独自のAA-WER指数を使い、Transcribeは2.8%でオープンウェイト1位タイとなり、有効パラメータは約40億、並んだモデルは約240億である。

話者に関する成績は別の指標を使う。David AIの21言語ベンチマークでは、話者の時間単位の誤りを数える話者分離誤り率（DER）が18.26%で、14システム中最低、NVIDIA自身のNemotron 3 Diarizationの18.38%をわずかに上回る。VoiceArenaの英語セッション全体のテストでは、話者ラベルを対応づけたあとの単語誤りを数えるcpWERが32.4%で、14システム中最低だ。別に、削除は正解語数の8.32%で、中央値は約31%である。削除率はWERではない。NVIDIAはまた、近く出るNVFP4量子化版が、RTX PRO 6000 Blackwell Server Edition GPU 1枚で100時間の音声を3分未満で処理したと述べる。30秒の断片を高い並列度で測っており、この数字は今日公開されたチェックポイントのものではない。

Granary v2は、Transcribeの学習を支えるオープンなデータ処理パイプラインだ。公開マニフェストは463,062時間、48言語、16のコーパスにわたり、初版は25言語だった。NVIDIAは、これらの数字はデータセット公開分であり、Transcribeの学習全体の配合ではないと強調する。パイプラインは4段階である。音声準備は、音声を区切り、話者を追跡し、言語と音響イベントを付ける段階で、今回は元データが区切り済みのため省かれた。文字起こしは、言語ごとに主認識器と回復用認識器に振り分け、幻覚チェックに失敗すると切り替える。タスクラベル生成は、文字起こしの派生版を作り、文字速度、幻覚パターン、一致度を確認する。最後の高忠実度段階は、雑音、音割れ、複数話者の区間を除き、VoxPopuliでは22の欧州言語で35.4万時間を11.1万時間に絞った。

記事の医療事例は、Eka Careの公開ベンチマークを使う。インドの医師と医学生の録音3,619件である。プロンプトに英語とラテン文字を明記すると、全体のWERは30.8%から23.8%に下がり、微調整で11.8%になった。初期状態より誤りが約62%少ない。より厳密な試験は、保留された2,764件で、最良のプロンプトの22.44%から12.17%に下がり、相対で45.8%減った。適応には約153時間の合成音声、29時間のなまりのある英語、63時間の医療録音を使った。テキスト生成から評価までの適応工程全体が、GB300 1枚で約14 GPU時間かかった。これは1つのベンチマークでのNVIDIAの結果である。一般英語はわずかに悪化し、LibriSpeech test-cleanのWERは1.54%から1.69%に上がった。医療専用モデルは、ブランド薬名の完全一致では依然として上だった。

通話録音、会議、口述の文字起こしが必要なチームには、プロンプトで制御できるオープンモデルと、適応のためのデータツールが揃った。数字は、特定の業務での保証ではなく、試す理由として読むのが妥当だ。NVIDIA自身も、チェックポイント選びのために実データと正解付きの録音を100件以上残し、アプリが頼る固有表現の種類を確認するよう勧めている。