Nvidia 发布开源语音模型 Nemotron 3.5 Transcribe，整合转写、翻译与说话人识别
Nvidia's open Nemotron 3.5 Transcribe combines transcription, translation, and speaker recognition
AI 导读
Nvidia 发布开源语音识别模型 Nemotron 3.5 Transcribe，可用文本指令控制，支持 40 种语言转写、31 种语言与英语互译，并在 13 种语言中识别说话人。
摘要与补充说明
模型总参数 30B、每步约 4B 激活，可在单张 Nvidia GPU 上运行，最长处理一小时录音、最多 8 位说话人。Nvidia 称其在 Hugging Face 英语 Open ASR 榜单开源权重模型中排名第一，平均词错误率 5.33%；在 Artificial Analysis 对比中为 2.81%，接近更大的 Voxtral Small 的 2.77%。
正文· AI 翻译
Nvidia 发布了一款开放语音识别模型，可接受文本指令，该公司称其在多项基准测试中领先。此次发布还包括一个大型训练数据集，以及用于让模型适配专业领域的工具。
一份普通的转录文本无法告诉你谁说了什么。它也不会翻译任何内容，也无法正确拼写专业术语。Nemotron 3.5 Transcribe 旨在通过单一模型处理所有这些任务，并且它还能回答关于录音内容的问题。Nvidia 表示，该模型可转录 40 种语言，可在其中 31 种语言与英语之间进行互译，并能识别 13 种语言中的说话人。它可处理长达一小时的录音，录音中最多可包含八位说话人。
用户通过简单的指令控制模型。根据提示词的不同，同一段会议录音可以变成带说话人标签的转录文本、英文翻译，或对所做决策的摘要。用户还可以将药物名称等专业术语作为提示传入。模型只应在这些术语确实出现在录音中时才使用它们。
单 GPU 上接近顶级的准确率
该模型拥有 300 亿参数，但每个处理步骤中仅有约 40 亿参数处于激活状态。因此，它可在单块 Nvidia GPU 上运行，覆盖从紧凑型 DGX Spark 到数据中心硬件的各类设备。Nvidia 表示，在 RTX PRO 6000 Blackwell Server Edition 上以 NVFP4 精度运行时，该模型可在三分钟内处理 100 小时音频。
在 Hugging Face 的英语开放 ASR 排行榜上，Transcribe 以 5.33% 的平均词错误率在开放权重模型中排名第一。在 Artificial Analysis 的对比中，其得分为 2.81%。这接近最佳开放模型 Voxtral Small 的 2.77%，但 Transcribe 仅使用了约六分之一的激活参数。据 Nvidia 称，若干广泛使用的商业语音服务落后于它。
领先幅度最大的是说话人识别。VoiceArena 在说话人有时会互相打断的对话上测试了 14 个系统，Transcribe 位列第一。它漏掉的词也最少，漏词率为 8.32%，而中位数约为 31%。在 David AI 衡量 21 种语言说话人归属的基准测试中，它取得了最低的错误率，仅略胜于 Nvidia 自家专为此任务设计的模型。
开放数据集让开发者可针对自己的领域进行训练
除了模型之外，Nvidia 还发布了 Granary v2 数据集。它包含 48 种语言、约 844,000 小时的语音，相比上一版本的 25 种语言、约 643,000 小时有所增加。每段录音都有多种转写风格。其中一版是逐字转写，包含“uh”这类填充词，数字也拼写出来。另一版经过清理，不含填充词，并用数字代替文字。Nvidia 还分享了用于构建该数据集的工具，开发者可以在自己的录音上运行这些工具。不过，该公司表示该数据集与模型的训练数据并不完全一致。
Nvidia 在印度医生和医学生的录音上测试了定向微调。在完整基准测试中，更精确的提示将错误率从 30.8% 降至 23.8%。经过微调后，错误率降至 11.8%。训练数据主要是合成语音。对于模型此前未听过的说话人，Nvidia 另行报告错误率从 22.44% 降至 12.17%，相对改善 45.8%。这使适配后的模型领先于一个开放的医疗语音模型，后者的得分为 13.79%。Nvidia 表示，整个过程在单块 Nvidia GB300 上耗时约 14 GPU 小时。
这种专业化是有代价的。在通用英语语音上，错误率略有上升，而医疗模型在品牌药名上保持了更高的准确率。Nvidia 建议在构建自定义版本时，至少预留 100 条真实、经过验证的录音用于测试。
基础模型也有局限。功能因语言而异，Nvidia 表示音频问答功能是用英语训练的。该模型也仅针对录制音频构建。Nvidia 表示，用户应抽查姓名、说话人变化和答案。
模型和数据集已在 Hugging Face 上发布。还有一个可以试用的演示。对于微调，Nvidia 提供了指南和一个扩展，可让 AI 编程助手运行训练工作流。
Nvidia 直到最近才在 9 月推出Nemotron 3 Diarization，一个专用的说话人识别模型。它最多能区分八位说话人，即使在实时对话中也可以，但实际转写需要像 Nvidia 的 Parakeet 这样的单独模型。Nemotron 3.5 Transcribe 将这两项工作结合起来，并增加了翻译和音频理解功能。不过，它不支持实时处理。Nvidia 已经将 Granary 数据集用于其多模态 Nemotron 3 Nano Omni。
竞争对手正在设定不同的优先事项。Mistral 的Voxtral 系列也结合了转写和音频理解。随着最近发布的 Voxtral 3，该公司正专注于实时语音智能体。
没有炒作的 AI 新闻——由人类精选
订阅 THE DECODER，享受无广告阅读、每周 AI 新闻简报、每年六期的独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。