NVIDIA, 녹음 받아쓰기와 화자 표시를 위한 Nemotron 3.5 Transcribe·Granary v2 공개

NVIDIA는 2026년 10월 28일 Hugging Face 블로그에서 Nemotron 3.5 Transcribe를 공개했다. 같은 글에서 Granary v2 음성 데이터셋과 미세 조정 방법도 소개한다. Transcribe는 가중치가 공개된 모델이며 실시간 스트리밍이 아니라 녹음된 오디오를 처리한다. 10월 27일 본 사이트가 다룬 스트리밍 음성 모델과는 다른 제품이다. 하나의 체크포인트가 받아쓰기, 화자 표시, 번역, 오디오 질의응답을 하고 텍스트 지시로 제어한다. 글의 순위 결과는 제3자 순위를 NVIDIA가 해석한 것이다.

이 모델은 40개 언어를 받아쓰고, 그중 31개를 영어와 번역하며, 13개 언어에서 화자를 구분한다. 최대 한 시간 길이의 녹음을 다루고 최대 여덟 명의 화자에 표시를 붙인다. 음성 인코더가 하이브리드 Mamba–Transformer 전문가 혼합 언어 모델에 이어지며, 300억 매개변수 가운데 약 40억이 활성화된다. 화자 표시가 붙은 받아쓰기, 영어 번역, 회의에서 어떤 결정이 나왔는지 같은 답을 지시로 요청할 수 있다. 오디오 질의응답은 영어로 학습됐고 작업마다 지원 언어가 달라서 모델 카드의 작업별 언어 표를 확인해야 한다. NVIDIA는 이름, 화자 전환, 답을 녹음과 대조해 표본 점검하라고 권한다.

순위 주장은 오류 지표가 서로 달라 섞어서는 안 된다. 단어 오류율(WER)은 대체, 삭제, 삽입된 단어 수의 합을 기준 문장의 전체 단어 수로 나눈 값이다. Hugging Face Open ASR 리더보드에서 NVIDIA는 영어 평균 WER 5.33%로 API 모델을 뺀 공개 가중치 모델 가운데 1위라고 밝힌다. 모델 카드 비교에서는 7개 언어 평균 WER이 4.62%, 긴 오디오가 10.98%로 둘 다 평가된 공개 가중치 모델 중 가장 낮다. Artificial Analysis는 자체 AA-WER 지수를 쓰며, Transcribe는 2.8%로 공개 가중치 모델 공동 1위이고 활성 매개변수는 약 40억, 같은 순위 모델은 약 240억이다.

화자 관련 성적은 다른 지표를 쓴다. David AI의 21개 언어 벤치마크에서 화자 시간 오류를 세는 화자 분리 오류율(DER)은 18.26%로 14개 시스템 중 가장 낮고, NVIDIA 자체의 Nemotron 3 Diarization 18.38%를 근소하게 앞선다. VoiceArena의 영어 전체 세션 시험에서 화자 표시를 맞춘 뒤 단어 오류를 세는 cpWER은 32.4%로 역시 14개 시스템 중 가장 낮다. 별도로 삭제는 기준 단어의 8.32%이고 중앙값은 약 31%다. 삭제율은 WER이 아니다. NVIDIA는 곧 나올 NVFP4 양자화 버전이 RTX PRO 6000 Blackwell Server Edition GPU 한 장에서 100시간 오디오를 3분 안에 처리했다고도 밝힌다. 30초 조각을 높은 동시성으로 측정했으며, 오늘 공개된 체크포인트의 수치가 아니다.

Granary v2는 Transcribe 학습 뒤에 있는 공개 데이터 파이프라인이다. 공개 매니페스트는 463,062시간, 48개 언어, 16개 원천 코퍼스를 포함하며 첫 버전은 25개 언어였다. NVIDIA는 이 숫자가 데이터셋 공개분을 설명할 뿐 Transcribe의 전체 학습 구성이 아니라고 강조한다. 파이프라인은 네 단계다. 오디오 준비는 오디오를 나누고 화자를 추적하며 언어와 음향 사건을 표시하는데, 이번에는 원천이 이미 나뉘어 있어 건너뛰었다. 받아쓰기는 언어별로 주 인식기와 보조 인식기에 보내고 환각 검사에 실패하면 되돌린다. 작업 라벨 생성은 받아쓰기 변형을 만들고 문자 속도, 환각 패턴, 일치도를 확인한다. 고충실도 단계는 잡음이 많거나 소리가 깨졌거나 여러 사람이 말하는 구간을 걸러 내며, VoxPopuli에서는 22개 유럽 언어의 35만 4천 시간을 11만 1천 시간으로 줄였다.

글의 의료 사례는 Eka Care의 공개 벤치마크를 쓴다. 인도 의사와 의대생의 녹음 3,619건이다. 지시에 영어와 라틴 문자를 명시하자 전체 벤치마크 WER이 30.8%에서 23.8%로 내려갔고, 미세 조정 후 11.8%가 됐다. 처음 상태보다 오류가 약 62% 적다. 더 깨끗한 시험은 따로 둔 2,764건으로, 최선의 지시 22.44%에서 12.17%로 떨어져 상대적으로 45.8% 줄었다. 적응에는 합성 음성 약 153시간, 억양 있는 영어 29시간, 의료 녹음 63시간을 썼다. 텍스트 생성부터 평가까지의 전체 적응 과정은 GB300 한 장에서 약 14 GPU 시간이 걸렸다. 이는 한 벤치마크에서 NVIDIA가 낸 결과다. 일반 영어는 조금 나빠져 LibriSpeech test-clean WER이 1.54%에서 1.69%로 올랐고, 의료 전문 모델은 브랜드 약품명 정확 일치에서 여전히 앞섰다.

통화, 회의, 구술을 받아써야 하는 팀에게는 지시로 제어하는 공개 모델과 적응용 데이터 도구가 생겼다. 이 숫자는 특정 업무에 대한 보증이 아니라 시험해 볼 이유로 읽는 편이 맞다. NVIDIA도 체크포인트 선택을 위해 실제 라벨 달린 녹음을 최소 100건 남기고, 응용이 의존하는 개체 유형을 확인하라고 권한다.