NVIDIA veröffentlicht Nemotron 3.5 Transcribe und Granary v2 für Aufnahmen und Sprecherzuordnung

NVIDIA hat Nemotron 3.5 Transcribe am 28. Oktober 2026 in einem Beitrag im Hugging-Face-Blog veröffentlicht, der auch den Sprachdatensatz Granary v2 und Feinabstimmungsrezepte vorstellt. Transcribe ist ein Modell mit offenen Gewichten für aufgezeichnetes Audio, nicht für Live-Streaming, und nicht das Streaming-Sprachmodell, über das wir am 27. Oktober berichtet haben. Ein Checkpoint übernimmt Transkription, Sprecherzuordnung, Übersetzung und Fragen zum Audio, gesteuert durch einen Texthinweis. Die Ranglistenergebnisse im Beitrag sind NVIDIAs Lesart von Rankings Dritter.

Das Modell transkribiert 40 Sprachen, übersetzt 31 davon von oder ins Englische und ordnet in 13 Sprachen Sprecher zu. Es verarbeitet Aufnahmen bis zu einer Stunde und kennzeichnet bis zu acht Sprecher. Ein Sprachencoder speist ein hybrides Mamba–Transformer-Sprachmodell mit Mixture of Experts, von dessen 30 Milliarden Parametern etwa 4 Milliarden aktiv sind. Hinweise können ein Transkript mit Sprecherlabels, eine Übersetzung ins Englische oder eine Antwort verlangen, etwa welche Entscheidungen ein Meeting getroffen hat. Fragen zum Audio sind auf Englisch trainiert, und die Sprachunterstützung unterscheidet sich je Aufgabe; deshalb zählt die Aufgaben-Sprachen-Matrix der Modellkarte. NVIDIA rät, Namen, Sprecherwechsel und Antworten stichprobenartig gegen die Aufnahme zu prüfen.

Die Ranglistenangaben nutzen verschiedene Fehlermaße, die man nicht vermischen darf. Die Wortfehlerrate (WER) ist die Summe aus Ersetzungen, Auslassungen und Einfügungen, geteilt durch die Gesamtzahl der Wörter im Referenztext. Auf der Open-ASR-Rangliste von Hugging Face nennt NVIDIA für Englisch Platz eins unter den Modellen mit offenen Gewichten bei 5,33 % durchschnittlicher WER, ohne API-Modelle. Im Vergleich der Modellkarte liegt die mittlere WER bei 4,62 % über sieben Sprachen und bei 10,98 % für lange Aufnahmen, jeweils der niedrigste Wert unter den dort bewerteten Modellen mit offenen Gewichten. Artificial Analysis verwendet den eigenen AA-WER-Index: Transcribe liegt mit 2,8 % gleichauf an der Spitze der offenen Modelle, mit etwa 4 Milliarden aktiven Parametern gegenüber 24 Milliarden beim gleichauf liegenden Modell.

Für Sprecher gelten andere Maße. Im 21-Sprachen-Test von David AI beträgt die Diarisierungsfehlerrate (DER), die Fehler in der Sprechzeit zählt, 18,26 %, der niedrigste Wert unter 14 Systemen und knapp vor NVIDIAs eigenem Nemotron 3 Diarization mit 18,38 %. Im englischen Sitzungstest von VoiceArena liegt der cpWER, der Wortfehler nach dem Abgleich der Sprecherlabels zählt, bei 32,4 %, ebenfalls der niedrigste von 14 Systemen. Außerdem machen Auslassungen 8,32 % der Referenzwörter aus, bei einem Median von etwa 31 %. Eine Auslassungsrate ist keine WER. NVIDIA sagt zudem, die kommende NVFP4-Version habe 100 Stunden Audio in unter drei Minuten auf einer RTX PRO 6000 Blackwell Server Edition verarbeitet, gemessen an 30-Sekunden-Clips bei hoher Parallelität. Diese Zahl gilt nicht für den heute veröffentlichten Checkpoint.

Granary v2 ist die offene Datenpipeline hinter dem Training von Transcribe. Das öffentliche Manifest umfasst 463.062 Stunden, 48 Sprachen und 16 Quellkorpora, gegenüber 25 Sprachen in der ersten Version; NVIDIA betont, diese Zahlen beschrieben die Datensatzveröffentlichung, nicht die gesamte Trainingsmischung von Transcribe. Die Pipeline hat vier Stufen. Die Audiovorbereitung segmentiert Audio, verfolgt Sprecher und markiert Sprache und akustische Ereignisse; diese Veröffentlichung hat sie übersprungen, weil die Quellen schon segmentiert waren. Die Transkription schickt jede Sprache an einen Haupt- und einen Ausweich-Erkenner und weicht aus, wenn eine Halluzinationsprüfung scheitert. Die Erzeugung von Aufgabenlabels leitet Transkriptvarianten ab und prüft Zeichenrate, Halluzinationsmuster und Übereinstimmung. Eine Stufe für hohe Wiedergabetreue entfernt verrauschte, übersteuerte oder mehrstimmige Segmente; bei VoxPopuli senkte sie 354.000 Stunden auf 111.000 in 22 europäischen Sprachen.

Die medizinische Fallstudie des Beitrags nutzt den offenen Benchmark von Eka Care mit 3.619 Clips indischer Ärzte und Medizinstudierender. Die Nennung von Englisch und lateinischer Schrift im Hinweis senkte die WER des gesamten Benchmarks von 30,8 % auf 23,8 %, und die Feinabstimmung brachte sie auf 11,8 %, etwa 62 % weniger Fehler als ohne Anpassung. Der sauberere Test sind 2.764 zurückgehaltene Clips, bei denen die WER vom besten Hinweis mit 22,44 % auf 12,17 % fiel, eine relative Senkung um 45,8 %. Die Anpassung nutzte etwa 153 Stunden synthetische Sprache, 29 Stunden akzentuiertes Englisch und 63 Stunden medizinischer Aufnahmen. Der gesamte Ablauf von der Texterzeugung bis zur Auswertung brauchte rund 14 GPU-Stunden auf einer GB300. Es sind NVIDIAs Ergebnisse auf einem Benchmark. Allgemeines Englisch wurde etwas schlechter: Die WER auf LibriSpeech test-clean stieg von 1,54 % auf 1,69 %, und ein medizinisches Spezialmodell führte weiter bei exakten Treffern für Markennamen.

Teams, die Anrufe, Meetings oder Diktate transkribieren müssen, haben nun ein offenes, per Hinweis steuerbares Modell und Datenwerkzeuge zur Anpassung. Die Zahlen taugen eher als Anlass zum Testen als als Zusage für eine bestimmte Arbeitslast. NVIDIA selbst rät, mindestens 100 echte, beschriftete Clips für die Checkpoint-Auswahl zu behalten und die Entitätstypen zu prüfen, auf die die Anwendung angewiesen ist.