跳到正文

#语音

10月31日周六
  1. Hugging Face BlogAI 评分34

    用 NVIDIA Nemotron 开源模型打造万圣节鬼屋 MonsterHouse

    开发者用 NVIDIA Nemotron 开源模型搭建了万圣节互动投影装置 MonsterHouse:一扇会说话的车库门,能听懂敲门的孩子、用暴躁老海盗船的嗓音回话,并在访客说“please”时软化态度。

    系统基于 NVIDIA Nemotron Voice Agent,由 Nemotron 3 ASR 负责语音转文字,Nemotron 3.5 Bolt E4B 4GB 生成回复,Magpie TTS Zeroshot 合成实时语音,Audio2Face-3D 在 Unreal Engine 5 中驱动嘴部动画,Nemotron 3 Nano Omni 配合 YOLO 与 ByteTrack 识别并统计访客。

10月29日周四
  1. Hugging Face BlogAI 评分34

    IBM Granite Switch 4.1.1 补丁发布:像更新软件一样更新模型

    IBM 发布 Granite Switch 4.1.1 补丁版本,与 4.1 完全向后兼容,无需迁移,仅做底层增量改进。

    此次更新包含支持 10 种语言、自带标点与大小写的 Granite Speech ASR 模型,以及 granitelib-core 中在 Jev Decision Index 测试集上整体表现提升的 Decision 适配器。除训练新 ASR 模型和 Decision 适配器外,基座模型未做任何重算,用户组合所需最新适配器即可部署。IBM 表示正在制作教程和 Adapter SDK,让开发者与第三方供应商能自建适配器、迭代版本并按软件方式发布更新。

  2. Hugging Face BlogAI 评分58

    AnySpeechRecognizer 与 AnyDecisionModel 发布:面向 Apple 平台的语音与决策开源模型包

    AnySpeechRecognizer 与 AnyDecisionModel 两个 Swift 包发布,让开发者在 Apple 平台上按需切换本地模型完成语音识别和决策任务。

    AnySpeechRecognizer 沿用 Apple 的 SpeechAnalyzer API,可选用 NVIDIA Parakeet(支持 25 种欧洲语言)或阿里 Qwen3-ASR(支持 30 种语言和 22 种中文方言),并新增基于 Streaming Sortformer 的说话人分离,最多跟踪 4 位说话人。

10月28日周三
  1. Hugging Face Blog 精选AI 评分78

    NVIDIA 发布 Nemotron 3.5 Transcribe 与 Granary v2 数据管线

    NVIDIA 在 Hugging Face 和 ModelScope 上发布开源权重模型 Nemotron 3.5 Transcribe,把转写、说话人分离、翻译和音频问答整合进同一个 checkpoint。

    它支持 40 种语言转写、31 种语言与英语互译、13 种语言的说话人分离,可处理最长 1 小时录音并标注最多 8 位说话人,开发者能用自然语言提示控制输出格式。官方称其在 Hugging Face Open ASR Leaderboard 英语开源权重模型中排名第一,平均 WER 为 5.33%,并在 Artificial Analysis 上以约 4B 激活参数取得 2.8% AA-WER。

    关注点

    读者可了解一个开源语音模型如何用提示词统一转写、说话人分离与翻译,以及配套数据管线和微调流程。

10月23日周五
  1. AWS Machine Learning BlogAI 评分38

    在 Amazon SageMaker AI 上用 Kokoro TTS 为 AI 智能体流式输出低延迟语音

    在 Amazon SageMaker AI 上托管的 Kokoro-82M 文本转语音模型可让 AI 语音智能体按句流式合成,第一句生成后即开始播放,无需等整段回复完成。

    Kokoro-82M 仅 8200 万参数,可跑在单台 ml.g5.xlarge GPU 实例上,从而压低延迟与推理成本。容器暴露 POST /invocations 与 WS /invocations-bidirectional-stream 两条路由,分别对应单次完整输入和跨多条消息的双向长连接。

  2. AWS Machine Learning BlogAI 评分42

    Amazon Polly 生成式引擎迎来重大升级

    Amazon Polly 生成式引擎完成升级,语音输出更自然、更准确且保持低延迟,新增 14 个音色、覆盖 9 个语种区域,并首次在生成式引擎中正式提供印地语和芬兰语。

    此次升级为原地替换,音色名称和 API 调用均不变,现有应用无需改代码即可获得新音色。升级后共提供 57 个生成式音色,覆盖 11 种语言、25 个语种区域,并扩展至 AWS GovCloud(US-West),合计 11 个 AWS 区域。新引擎能根据文本内容自动体现情绪和韵律,无需手动设置,并可准确朗读数字、货币、地址等信息。价格保持不变,按需付费,无新增 SKU,适用于呼叫中心、基于 LLM 的智能体应用、媒体娱乐和在线教育等场景。

  3. AWS Machine Learning BlogAI 评分34

    不再靠猜:为 Amazon SageMaker AI 上的 TTS 推导自动扩缩容目标

    针对 Amazon SageMaker AI 上自托管 TTS 端点自动扩缩容目标靠猜的问题,该方案将 82M 参数的 Kokoro-82M 以自定义容器部署在实时端点上,用实测的 Q_max(单实例在 SLO 内可承受的最高并发)和 T_total(一次扩容端到端耗时)通过算术推导出扩容阈值、缩容阈值和两个冷却时间。

10月21日周三
  1. Mistral AI 精选AI 评分78

    Mistral 发布 Voxtral 3 语音模型家族与语音智能体 SDK

    Mistral 发布 Voxtral 3 语音模型家族,包含语音转写与语音合成模型,以及基于 LiveKit 的语音智能体 SDK,把听、推理、工具调用和说合成一条实时流式流水线。

    转写模型 Voxtral Small Transcribe 3 支持 50+ 语言、说话人分离和上下文偏置,官方称其表现优于 Whisper、Scribe v2 和 Gemini 3.5 Transcribe;实时版在 35+ 语言下延迟低于 500ms。合成模型 Voxtral Mini TTS 3 支持 35+ 语言和 50+ 方言,可按上下文调整情绪、语速和重音,定价 $13/1M 字符。

    关注点

    Mistral 把语音识别、推理与语音合成串成一条实时流水线,读者可据此判断语音智能体的搭建门槛和部署选择。

10月16日周五
  1. Hugging Face Blog 精选AI 评分74

    IBM 发布 Granite Switch 4.1,单端点支持对话、决策与语音

    IBM 发布 Granite Switch 4.1,Granite-Switch-4.1-8B 和 -30B 在同一个托管端点上支持自然语言对话、通用与专用决策以及语音转文字。

    新版本加入通用决策 aLoRA、在安全决策任务上平均优于 Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions 和 Clef-Flash 的 Guardian aLoRA,以及 OpenASR 排行榜上最快的 ASR 模型 Granite-Speech-5.0-Turbo-CTC。

    关注点

    Granite Switch 4.1 把决策适配器与语音识别合入单一端点,读者可据此判断多任务模型在显存与部署上的取舍。

10月14日周三
10月7日周三
  1. Hugging Face BlogAI 评分42

    TII 推出 Falcon-ASR:1.6B 参数阿拉伯语语音识别模型

    阿布扎比技术创新研究院(TII)发布 Falcon-ASR,一款 1.6B 参数的语音识别模型,重点覆盖阿联酋方言,同时支持英语、法语、西班牙语和葡萄牙语。

    在六个阿拉伯语测试集上平均 WER 为 20.92%,优于所用榜单快照中最佳公开结果 23.17%;内部阿联酋方言评测中 WER 22.73%、CER 10.19%,比次优的 Qwen3-Omni 低 4.07 个百分点。

9月30日周三
9月25日周五
  1. Google DeepMind 精选AI 评分71

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在 Gemini 3.8 Live 的原生实时对话模型上加入近实时视频生成,实现带口型同步、自然表情和流畅轮次的视觉化对话,已在 Gemini Enterprise 上线。

    关注点

    官方给出 Live Avatar 的实时音视频对话能力、97 种语言同步与异步工具调用细节,可据此判断企业级数字人交互的落地边界。

9月23日周三
  1. Google DeepMind 精选AI 评分71

    Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS

    Google DeepMind 推出 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型,前者面向角色设计与逐行表演指导,后者面向高并发、低成本的配音与语音智能体。

    关注点

    原文给出两款 TTS 模型的能力边界、基准排名与开放入口,可据此判断语音生成在配音与智能体场景的可用性。

9月16日周三