技术方向
AI 语音与音频的进展：语音合成、实时对话、音乐生成与音频理解的模型与产品。
6 条精选近 30 天 3 条共收录 32 条
NVIDIA 在 Hugging Face 和 ModelScope 上发布开源权重模型 Nemotron 3.5 Transcribe，把转写、说话人分离、翻译和音频问答整合进同一个 checkpoint。
它支持 40 种语言转写、31 种语言与英语互译、13 种语言的说话人分离，可处理最长 1 小时录音并标注最多 8 位说话人，开发者能用自然语言提示控制输出格式。官方称其在 Hugging Face Open ASR Leaderboard 英语开源权重模型中排名第一，平均 WER 为 5.33%，并在 Artificial Analysis 上以约 4B 激活参数取得 2.8% AA-WER。
读者可了解一个开源语音模型如何用提示词统一转写、说话人分离与翻译，以及配套数据管线和微调流程。
Mistral 发布 Voxtral 3 语音模型家族，包含语音转写与语音合成模型，以及基于 LiveKit 的语音智能体 SDK，把听、推理、工具调用和说合成一条实时流式流水线。
转写模型 Voxtral Small Transcribe 3 支持 50+ 语言、说话人分离和上下文偏置，官方称其表现优于 Whisper、Scribe v2 和 Gemini 3.5 Transcribe；实时版在 35+ 语言下延迟低于 500ms。合成模型 Voxtral Mini TTS 3 支持 35+ 语言和 50+ 方言，可按上下文调整情绪、语速和重音，定价 $13/1M 字符。
Mistral 把语音识别、推理与语音合成串成一条实时流水线，读者可据此判断语音智能体的搭建门槛和部署选择。
IBM 发布 Granite Switch 4.1，Granite-Switch-4.1-8B 和 -30B 在同一个托管端点上支持自然语言对话、通用与专用决策以及语音转文字。
新版本加入通用决策 aLoRA、在安全决策任务上平均优于 Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions 和 Clef-Flash 的 Guardian aLoRA，以及 OpenASR 排行榜上最快的 ASR 模型 Granite-Speech-5.0-Turbo-CTC。
Granite Switch 4.1 把决策适配器与语音识别合入单一端点，读者可据此判断多任务模型在显存与部署上的取舍。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar，在 Gemini 3.8 Live 的原生实时对话模型上加入近实时视频生成，实现带口型同步、自然表情和流畅轮次的视觉化对话，已在 Gemini Enterprise 上线。
官方给出 Live Avatar 的实时音视频对话能力、97 种语言同步与异步工具调用细节，可据此判断企业级数字人交互的落地边界。
Google DeepMind 推出 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型，前者面向角色设计与逐行表演指导，后者面向高并发、低成本的配音与语音智能体。
原文给出两款 TTS 模型的能力边界、基准排名与开放入口，可据此判断语音生成在配音与智能体场景的可用性。
Google DeepMind 发布两款实时语音对话模型 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking，前者面向规模与成本效率，后者面向高复杂度任务与多步推理。
两款语音对话模型分别面向规模成本与高复杂度任务，给出了基准成绩和开发者接入路径。