NVIDIA publie Nemotron 3.5 Transcribe et Granary v2 pour la transcription d’enregistrements et les locuteurs

NVIDIA a publié Nemotron 3.5 Transcribe le 28 octobre 2026 dans un billet du blog de Hugging Face, qui présente aussi le jeu de données vocales Granary v2 et des méthodes de réglage fin. Transcribe est un modèle à poids ouverts qui traite des enregistrements, pas de la parole en direct ; ce n’est pas le modèle vocal en flux continu dont nous avons parlé le 27 octobre. Un seul point de contrôle assure la transcription, l’étiquetage des locuteurs, la traduction et les questions sur l’audio, pilotés par une consigne écrite. Les résultats de classement du billet sont la lecture par NVIDIA de classements tiers.

Le modèle transcrit 40 langues, en traduit 31 vers ou depuis l’anglais et attribue les locuteurs dans 13. Il gère des enregistrements d’une heure au plus et étiquette jusqu’à huit locuteurs. Un encodeur vocal alimente un modèle de langage hybride Mamba–Transformer à mélange d’experts, dont environ 4 milliards de paramètres sur 30 milliards sont actifs. Les consignes peuvent demander une transcription avec étiquettes de locuteurs, une traduction vers l’anglais ou une réponse, par exemple sur les décisions prises dans une réunion. Les questions sur l’audio sont entraînées en anglais et le support des langues varie selon la tâche ; il faut donc consulter la matrice tâches-langues de la fiche du modèle. NVIDIA conseille de vérifier par sondage les noms, les changements de locuteur et les réponses par rapport à l’enregistrement.

Les revendications de classement reposent sur des mesures d’erreur différentes, à ne pas fusionner. Le taux d’erreur sur les mots (WER) est la somme des substitutions, suppressions et insertions, divisée par le nombre total de mots de la référence. Sur le classement Open ASR de Hugging Face, NVIDIA indique la première place parmi les modèles à poids ouverts en anglais, avec un WER moyen de 5,33 %, API exclues. Dans la comparaison de la fiche du modèle, le WER moyen est de 4,62 % sur sept langues et de 10,98 % pour l’audio long, les plus bas parmi les modèles à poids ouverts évalués. Artificial Analysis utilise son propre indice AA-WER : Transcribe est à égalité en tête des modèles à poids ouverts avec 2,8 %, pour environ 4 milliards de paramètres actifs contre 24 milliards pour le modèle avec lequel il est à égalité.

Les résultats sur les locuteurs utilisent d’autres mesures. Sur le banc de 21 langues de David AI, le taux d’erreur de diarisation (DER), qui compte les erreurs en temps de parole, est de 18,26 %, le plus bas de 14 systèmes et un peu devant Nemotron 3 Diarization de NVIDIA, à 18,38 %. Sur le test anglais en sessions complètes de VoiceArena, le cpWER, qui compte les erreurs de mots après appariement des étiquettes de locuteurs, est de 32,4 %, le plus bas de 14 systèmes. Par ailleurs, les suppressions représentent 8,32 % des mots de référence, contre une médiane d’environ 31 %. Un taux de suppression n’est pas un WER. NVIDIA dit aussi que sa version quantifiée NVFP4, à venir, a traité 100 heures d’audio en moins de trois minutes sur un GPU RTX PRO 6000 Blackwell Server Edition, avec des extraits de 30 secondes et une forte concurrence. Ce chiffre ne concerne pas le point de contrôle publié aujourd’hui.

Granary v2 est le pipeline de données ouvert derrière l’entraînement de Transcribe. Son manifeste public couvre 463 062 heures, 48 langues et 16 corpus sources, contre 25 langues dans la première version ; NVIDIA précise que ces chiffres décrivent la publication du jeu de données, pas le mélange d’entraînement complet de Transcribe. Le pipeline comporte quatre étapes. La préparation audio découpe l’audio, suit les locuteurs et étiquette la langue et les événements acoustiques ; cette publication l’a ignorée car ses sources étaient déjà segmentées. La transcription envoie chaque langue vers un reconnaisseur principal et un reconnaisseur de secours, avec repli si un contrôle d’hallucination échoue. La génération d’étiquettes de tâche dérive des variantes de transcription et vérifie le débit de caractères, les motifs d’hallucination et la concordance. Une étape de haute fidélité retire les segments bruités, écrêtés ou à plusieurs voix ; pour VoxPopuli, elle a réduit 354 000 heures à 111 000 dans 22 langues européennes.

L’étude de cas médicale du billet utilise le banc ouvert d’Eka Care : 3 619 extraits de médecins et d’étudiants en médecine indiens. Préciser l’anglais et l’alphabet latin dans la consigne a fait passer le WER du banc complet de 30,8 % à 23,8 %, et le réglage fin l’a ramené à 11,8 %, soit environ 62 % d’erreurs en moins que le modèle brut. Le test le plus propre porte sur 2 764 extraits mis de côté, où le WER passe de 22,44 % pour la meilleure consigne à 12,17 %, une baisse relative de 45,8 %. L’adaptation a utilisé environ 153 heures de parole synthétique, 29 heures d’anglais accentué et 63 heures d’enregistrements médicaux. Le processus complet, de la génération du texte à l’évaluation, a pris environ 14 heures de GPU sur un GB300. Ce sont des résultats de NVIDIA sur un seul banc. L’anglais général s’est un peu dégradé, le WER de LibriSpeech test-clean passant de 1,54 % à 1,69 %, et un modèle spécialisé médical restait en tête pour les correspondances exactes de noms de marque.

Les équipes qui ont besoin de transcrire des appels, des réunions ou des dictées disposent d’un modèle ouvert pilotable par consigne et d’outils de données pour l’adapter. Ces chiffres sont une raison d’essayer, non une promesse pour une charge de travail donnée. NVIDIA conseille elle-même de garder au moins 100 extraits réels annotés pour choisir le point de contrôle et de vérifier les types d’entités dont l’application dépend.