NVIDIA 发布 Nemotron 3.5 Transcribe 与 Granary v2 数据管线

一个开放模型，支持多语言转录、说话人归属、翻译和音频问答，在排行榜上名列前茅，并提供开放的 Granary v2 数据管线和微调配方以便适配。

转录文本可以记录每一个说出的词，却仍让用户或应用无从得知是谁说了什么、如何翻译，或如何格式化特定领域的术语。多语言通话、快节奏会议和医疗口述各自需要不同的输出：翻译、说话人标签或拼写正确的医学术语。

NVIDIA Nemotron 3.5 Transcribe 是一个开放权重、可提示的模型，可将录制的语音转化为有用的文本，现已在 Hugging Face 和 ModelScope 上提供。它将转录、说话人归属（说话人分离）、翻译和音频问答整合到一个检查点中：可转录 40 种语言，支持其中 31 种语言与英语互译，并在 13 种语言中进行说话人归属。它可处理长达一小时的录音，并标记最多八位说话人。开发者可以用自然语言引导输出，选择音频处理的位置，并使识别适配领域词汇和口音。

Transcribe 在 Hugging Face Open ASR Leaderboard 的英语开放权重模型中排名第一，并位于 Artificial Analysis 的准确率–活跃参数前沿。在说话人归属方面，它在 David AI 的 21 语言说话人分离排行榜上创下最低错误率，并在 VoiceArena 的 14 系统对比中排名第一。它可在单块 NVIDIA GPU 上运行，从 DGX Spark 到 Blackwell 数据中心系统均可。

Granary v2 的多语言数据（可在 Hugging Face 和 ModelScope 上获取）和可复用的数据整理管线，连同 NeMo Speech 微调工具，将提示级控制扩展到训练：开发者可以定义所需的书面形式，并使模型适配其应用所遇到的语音。在一项医疗案例研究中，微调将留出说话人上的词错误率（WER）相对于最佳提示降低了 45.8%。

用自然语言引导转录和分析

同一个检查点可以根据指令将一次会议录音转化为不同的输出：

• “转录这段录音并标记每位说话人。”
• “将这段音频翻译成英语。”
• “这次会议做出了哪些决定？”

在下方视频中体验该模型的实际运行，它处理了 1940 年怪诞喜剧《女友礼拜五》中的经典场景——这部电影以其快速、大量重叠的对话而闻名。

Nemotron 3.5 Transcribe 为《女友礼拜五》（1940）中的一个场景生成字幕并标记说话人，包括重叠的对话。

对于不熟悉的术语，先尝试提供上下文，再考虑训练。例如，在医疗场景中：

Transcribe this medical discussion in the original language. Possible terms: HbA1c, metformin. Use these terms only when supported by the audio. Preserve standard medical spelling and write numbers in conventional written form.

模型卡提供了推荐的预设，包括音频问题的推理，以及完整的提示指南和按语言划分的任务矩阵：语言支持因任务而异，音频问答以英语训练。还支持词级时间戳。与任何语音模型一样，请对照录音抽查姓名、说话人变化和答案。

从直播课堂到持久课程。 Agora 的实时语音和视频平台为应用中的实时对话提供支持，其在一项课堂演示中使用了词级时间戳：Nemotron 3.5 Transcribe 将录制的课程转换为文字记录，并与回放一同显示，让学生能够看到说了什么以及何时说的。Agora 的博客详细介绍了他们如何构建这一功能。

从转录到说话人归属，全面领跑排行榜

在开放权重模型中，Transcribe 在“说了什么”方面领先；在“谁说的”方面，它 outright 登顶两项说话人归属基准测试。

Hugging Face Open ASR 排行榜。 该排行榜以词错误率（WER）衡量公开测试集上的转录准确率，分为三个赛道：

1. 英语： 在开放权重模型中排名第一，平均 WER 为 5.33%（图 1）。
2. 多语言： 在七种语言上的平均 WER 为 4.62%，是模型卡 Open ASR 对比中评估的开放权重模型里最低的。
3. 长音频： 平均 WER 为 10.98%，同样是该对比中最低的。

图 1. Nemotron 3.5 Transcribe 在 Hugging Face Open ASR 排行榜（英语）上以 5.33% 的平均 WER 在开放权重模型中排名第一，API 模型已排除在外。WER 越低，意味着转录错误越少。

Artificial Analysis 语音转文字排行榜。 Artificial Analysis 以其词错误率指数 AA-WER 对语音转文字模型进行独立排名。Nemotron 3.5 Transcribe 以 2.8% 的 AA-WER 在开放权重模型中并列第一，其活跃参数约为 4B，而与之并列的模型为 24B。在 AA-AgentTalk 上——该留出的语音智能体语音集占 AA-WER 指数的 50%——Transcribe 的 WER 得分为 1.8%，而次优开放权重模型为 2.3%。Transcribe 将其语音编码器与混合 Mamba–Transformer 专家混合语言模型配对，因此其 30B 参数中每个 token 仅有约 4B 处于活跃状态。这使其位于 Artificial Analysis 的开放权重准确率与活跃参数帕累托前沿上。在 AA 的全模型图表中，它排名领先于多个广泛使用的专有语音 API。

图 2. 以约六分之一的活跃参数实现领先的 AA 准确率：Nemotron 3.5 Transcribe 以约 4B 活跃参数达到 2.80% 的 AA-WER。

跨语言与重叠语音的说话人归属。 Sortformer 说话人线索与声学特征一同到达语言模型，因此 Transcribe 可以在生成过程中标记每个话轮，而不必仅依赖后续步骤将说话人附加到词上。

David AI DAI-ASR-I18N 排行榜。 在 David AI 的 DAI-ASR-I18N 转录与说话人归属联合赛道上，Transcribe 在受评估的开放权重模型中排名第一，总体排名第二。在该基准的说话人分离赛道中——该赛道对 21 种语言中谁在何时说话进行评分——它在 14 个受测系统中拥有最低的说话人分离错误率，略领先于 NVIDIA 专用的 Nemotron 3 Diarization 模型。

图 3. NVIDIA 模型在 David AI 的多语言说话人分离排行榜上占据前两名：Nemotron 3.5 Transcribe 录得最低的总体说话人分离错误率（DER），在 21 种语言上为 18.26%，紧随其后的是 Nemotron 3 Diarization，为 18.38%。DER 衡量说话人时间错误；越低越好。

VoiceArena Diarization-Bench。在VoiceArena 的英语完整会话基准上，Transcribe 在 14 个系统中取得了最低的拼接最小排列词错误率（cpWER），并在面对面和在线两种场景下均排名第一。它的漏词也最少：删除词占参考词的 8.32%，而中位数约为 31%。

图 4。NVIDIA 模型在VoiceArena 的 14 系统对比中占据前两名：Nemotron 3.5 Transcribe 以 32.4% cpWER 领先，其次是搭配 Nemotron 3 Diarization 的 NVIDIA Multitalker Parakeet，为 34.2%。Diarization-Bench v1 覆盖英语完整会话、重叠语音以及 2–8 名说话人。cpWER 在匹配说话人标签后统计词错误；数值越低越好。

更多评测。Ocular AI 的 Converse-STT 评测将 Transcribe 列为排名最高的开放模型。Josh Talks 的Voice of India排行榜报告了 Transcribe 在多种印度语言上的结果。

从边缘到数据中心均可运行。Transcribe 可在单块 NVIDIA GPU 上运行，从 Jetson AGX Thor 和 DGX Spark 到 Blackwell 数据中心 GPU。在一块采用 NVFP4 精度的 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU 上，它以高并发处理 30 秒音频片段，测得可在三分钟内处理 100 小时音频。

今天即可用vLLM部署该检查点，或用NeMo-Speech.cpp在本地运行。Transcribe 面向录制音频，而非实时流式传输。

专业录音仍可能需要适配领域词汇和转写惯例。Granary v2 和 NeMo Speech 微调可解决这一问题，起点是 Transcribe 背后的数据。

Granary v2：Transcribe 背后的开放数据整理流水线

可提示的语音模型需要具有明确格式目标的训练数据。Granary v2 是 Hugging Face 和ModelScope 上Nemotron 语音集合的一部分。它使用NVIDIA NeMo Curator构建，其可复用流水线准备了 Nemotron 3.5 Transcribe 训练中使用的多语言语音，生成对齐的转写变体、任务标签和可检查的质量元数据。公开清单覆盖 48 种语言、16 个来源语料库，共 463,062 小时，相比Granary v1 的 25 种语言有所增加。这些数字描述的是数据集发布内容，而非 Transcribe 的完整训练混合或其采样权重。

Granary v2 为每段录音生成三种转写形式（表 1），即开发者可通过提示向 Transcribe 请求的逐字风格和干净风格。除转写外，该流水线还生成短音频描述、外来词语码转换还原、基于语音的问答对、上下文 ASR 偏置词，以及带自动质量评分的翻译。

表 1。同一话语的 Granary v2 训练目标。

该流水线组织为四个可复用阶段：

• 1. 音频准备（元数据）：对原始或长音频进行分段，在整个录音中跟踪说话人，并标记声学事件和语言。Granary v2 的来源已经过分段，因此本次发布跳过了此阶段。
• 2. 转录（ASR）：将每种语言路由到主 ASR 模型和恢复 ASR 模型，当主模型未通过幻觉检查时回退到恢复模型。人工参考转录有助于保留可信的拼写，同时加入口语形式和语流不畅。
• 3. 任务标签生成（文本）：派生转录变体，然后检查字符率、幻觉模式以及模型或人工参考的一致性。只有被接受的记录才会获得上下文 ASR 术语和翻译。
• 4. 高保真（HiFi）：过滤掉有噪声、被截断或包含多个说话人的片段，保留一小部分高质量录音，用于 ASR 之外的用途。对于 VoxPopuli 数据集，它将 22 种欧洲语言的 354k 小时缩减到 111k 小时。

图 6. Granary v2 数据整理流水线，展示一个样本从原始音频经过元数据、ASR 和文本阶段到训练示例的过程。

开发者可以在自己的录音或获授权的公共语料上，使用 Ray 和 NVIDIA Dynamo 后端运行 NeMo Curator 流水线，或基于 Granary v2 公共清单进行构建。清单包含三种转录形式，分别为 tn_raw、itn_raw 和 itn_clean，以及上述标签、实体提示、派生指令对、来源信息和每条记录的质量标志。请根据各语料库的原始许可证单独下载源音频，并遵循发布版本公布的条款。

让识别适应真正重要的词汇

从指定语言、文字和转录格式的开发集提示开始。在下面的案例研究中，在提示中指明英语和拉丁字母将全基准 WER 从 30.8% 降至 23.8%。对于仍然存在的领域错误，NeMo Speech 微调工作流会将代表性语音与明确的书面目标配对。

NeMo Speech 医疗 ASR 案例研究在 Eka Care 的开放基准上展示了这一进展，该基准包含来自印度医生和医学生的录音，共有 3,619 个片段，且没有指定的训练集划分。该研究从生成的医疗文本和公开药品目录构建适配数据，然后组合约 153 小时的合成语音、来自 Common Voice 的 29 小时带口音英语，以及来自 MultiMed 的 63 小时医疗录音。

图 7. 在 Eka Care 印度医疗语音基准的完整测试集上，更好的提示将 WER 从 30.8% 降至 23.8%，微调后进一步降至 11.8%，相比开箱即用的模型减少了约 62% 的转录错误。完整测试集包括用于选择提示和检查点的 855 个调优片段；下方的留出结果才是更干净的测试。

合成生成将书面目标与其口语呈现分开：“HbA1c”是标签，而“H B A one C”被发送给合成器。多种 TTS 声音拓宽了音频；真实录音增加了口音和录音条件。训练文本经过过滤，以匹配基准参考中的精确匹配和共享的八词序列。

与 Granary v2 的显式目标一样，训练样本会变化数字、单位间距、公司名称展开和品牌名连字符，并通过指令指定所需的约定。部分提示包含带有近似干扰项的术语列表，使模型学会仅在音频支持时才使用某种拼写。最终系统使用一个固定的约定提示和一次模型推理，不进行检索或转写后处理。

该方案训练语音编码器和投影层，并使用 LoRA 适配语言模型。两次运行使用不同的数据混合；适配器合并后，选定的检查点被均匀平均为一个最终模型。检查点选择基于解码后的开发集结果，而非仅依据训练损失。从文本生成到评估的整个适配过程，在一块 NVIDIA GB300 上耗时约 14 GPU 小时。

在留出说话人上测得的领域增益

该研究按说话人将基准划分为 855 个调优片段（用于选择提示和检查点）和 2,764 个留出片段（每个最终系统仅解码一次）。使用 Eka Care 的 KARMA 评分流水线，微调将留出集 WER 从最佳提示基线的 22.44% 降至 12.17%，相对降低 45.8%，这是增益可泛化到新说话人的最清晰证据。关键词 WER 从 9.2% 降至 6.5%，语义 WER 从 10.0% 降至 7.6%。在相同的留出说话人和评分器上，适配模型的 12.17% WER 优于一个开放的医学专科模型（13.79%）和一个广泛使用的通用 ASR 模型（14.92%）。

在通用英语上，LibriSpeech test-clean 的 WER 略有上升，从 1.54% 升至 1.69%。医学专科模型在品牌药和诊断名称的精确匹配上仍然领先；该研究指出，下一步是使用临床医生说出品牌名的真实录音。对于你自己的领域，请保留至少 100 个真实、有标注的片段用于检查点选择，并在评估通用语音保持能力的同时，评估你的应用所依赖的实体类型。

该案例研究包含可复现每个步骤的命令。微调教程涵盖配方、资源需求以及训练、导出和评估工具，包括新语言和语码转换 ASR。配套的 agent skill 让编码代理运行整个工作流，从基线选择和数据检查到训练验证、适配器合并和评估。

ModelScope 还使开发者能够通过其 ms-swift 框架微调 Nemotron 3.5 Transcribe，以用于专门的多模态应用。

开始使用 Nemotron 3.5 Transcribe 和 Granary v2

在 Hugging Face 演示或 ModelScope Studios 中试用 Nemotron 3.5 Transcribe，然后从 Hugging Face 或 ModelScope 下载检查点，并使用 vLLM 部署指南进行服务。

如需跳过自托管，可使用来自 Baseten、DeepInfra 或 Simplismart 的托管端点。

要将其适配到你的领域，请从 Hugging Face 或 ModelScope 上的 Granary v2 清单以及医学 ASR 案例研究开始，或让编码代理通过微调 agent skill 驱动工作流。

模型与数据集

• 模型检查点：NVIDIA Nemotron 3.5 Transcribe 位于 Hugging Face、ModelScope | 交互式演示位于 Hugging Face、ModelScope
• 托管端点：Baseten、DeepInfra、Simplismart \
• 数据集清单：Granary v2 清单位于 Hugging Face、ModelScope
• 高保真子集：清单位于 Hugging Face、ModelScope | Hugging Face 上的 Space

代码仓库与教程：NVIDIA NeMo Speech GitHub | NeMo Curator Granary v2 Pipeline | vLLM 部署指南 | 语音微调指南 | 微调 Agent Skill
*合作伙伴博客：Agora | Inflection AI| VoiceArena | Simplismart *
本地 AI：NVIDIA RTX PC、笔记本电脑和 DGX Spark 上本地 AI 的新特性