跳到正文

#语音

10月31日周六
  1. Hugging Face BlogAI 评分34

    用 NVIDIA Nemotron 开源模型打造万圣节鬼屋 MonsterHouse

    开发者用 NVIDIA Nemotron 开源模型搭建了万圣节互动投影装置 MonsterHouse:一扇会说话的车库门,能听懂敲门的孩子、用暴躁老海盗船的嗓音回话,并在访客说“please”时软化态度。

    系统基于 NVIDIA Nemotron Voice Agent,由 Nemotron 3 ASR 负责语音转文字,Nemotron 3.5 Bolt E4B 4GB 生成回复,Magpie TTS Zeroshot 合成实时语音,Audio2Face-3D 在 Unreal Engine 5 中驱动嘴部动画,Nemotron 3 Nano Omni 配合 YOLO 与 ByteTrack 识别并统计访客。

10月29日周四
  1. Hugging Face BlogAI 评分34

    IBM Granite Switch 4.1.1 补丁发布:像更新软件一样更新模型

    IBM 发布 Granite Switch 4.1.1 补丁版本,与 4.1 完全向后兼容,无需迁移,仅做底层增量改进。

    此次更新包含支持 10 种语言、自带标点与大小写的 Granite Speech ASR 模型,以及 granitelib-core 中在 Jev Decision Index 测试集上整体表现提升的 Decision 适配器。除训练新 ASR 模型和 Decision 适配器外,基座模型未做任何重算,用户组合所需最新适配器即可部署。IBM 表示正在制作教程和 Adapter SDK,让开发者与第三方供应商能自建适配器、迭代版本并按软件方式发布更新。

  2. Hugging Face BlogAI 评分58

    AnySpeechRecognizer 与 AnyDecisionModel 发布:面向 Apple 平台的语音与决策开源模型包

    AnySpeechRecognizer 与 AnyDecisionModel 两个 Swift 包发布,让开发者在 Apple 平台上按需切换本地模型完成语音识别和决策任务。

    AnySpeechRecognizer 沿用 Apple 的 SpeechAnalyzer API,可选用 NVIDIA Parakeet(支持 25 种欧洲语言)或阿里 Qwen3-ASR(支持 30 种语言和 22 种中文方言),并新增基于 Streaming Sortformer 的说话人分离,最多跟踪 4 位说话人。

  3. The DecoderAI 评分72

    Nvidia 发布开源语音模型 Nemotron 3.5 Transcribe,整合转写、翻译与说话人识别

    Nvidia 发布开源语音识别模型 Nemotron 3.5 Transcribe,可用文本指令控制,支持 40 种语言转写、31 种语言与英语互译,并在 13 种语言中识别说话人。

    模型总参数 30B、每步约 4B 激活,可在单张 Nvidia GPU 上运行,最长处理一小时录音、最多 8 位说话人。Nvidia 称其在 Hugging Face 英语 Open ASR 榜单开源权重模型中排名第一,平均词错误率 5.33%;在 Artificial Analysis 对比中为 2.81%,接近更大的 Voxtral Small 的 2.77%。

10月28日周三
  1. TechCrunch · AIAI 评分60

    英伟达发布开源语音转写模型 Nemotron 3.5 Transcribe

    英伟达周三发布 Nemotron 3.5 Transcribe,这是一个免费的开源权重模型,可转写最多 40 种语言的音频,同时发布开源语音数据集 Granary 的第 2 版。

    英伟达称该模型支持 31 种语言与英语互译,可处理最长一小时的录音,并能区分最多 8 位说话人,在 Hugging Face 的 Open ASR Leaderboard 等基准上优于竞品。该模型面向会议和医疗转写类应用开发者,可配合 Granary 数据集和 NeMo Speech 等工具定制行业术语识别。

  2. Hugging Face Blog 精选AI 评分78

    NVIDIA 发布 Nemotron 3.5 Transcribe 与 Granary v2 数据管线

    NVIDIA 在 Hugging Face 和 ModelScope 上发布开源权重模型 Nemotron 3.5 Transcribe,把转写、说话人分离、翻译和音频问答整合进同一个 checkpoint。

    它支持 40 种语言转写、31 种语言与英语互译、13 种语言的说话人分离,可处理最长 1 小时录音并标注最多 8 位说话人,开发者能用自然语言提示控制输出格式。官方称其在 Hugging Face Open ASR Leaderboard 英语开源权重模型中排名第一,平均 WER 为 5.33%,并在 Artificial Analysis 上以约 4B 激活参数取得 2.8% AA-WER。

    关注点

    读者可了解一个开源语音模型如何用提示词统一转写、说话人分离与翻译,以及配套数据管线和微调流程。

10月27日周二
10月25日周日
  1. TechCrunch · AIAI 评分68

    Block 发布本地运行的全双工语音模型 Dessa

    Block 研究实验室发布语音模型 Dessa,可本地运行,能同时说话和聆听,并带有笑声、停顿、哭泣等表达。

    该模型完全用人类语音训练,训练只用一块 NVIDIA GPU,可在 MacBook M4 Max 或更高配置的消费级电脑上运行。Block 称现有模型因文本环节驱动语音而显得不自然,Dessa 的情感内置于模型中,但尚不清楚是否由标签控制。目前 Dessa 未公开开放,Block 正征集安全研究人员测试,以排查语音智能体可能欺骗他人的情况。

10月24日周六
  1. The DecoderAI 评分58

    Block 发布语音模型 Dessa,完全用人类语音训练以捕捉文本模型遗漏的情绪

    Block 发布语音模型 Dessa,称其完全用人类语音训练、不含任何文本数据,从零构建。

    Dessa 不先把音频转成文本,而是直接处理语音,可实时捕捉情绪、讽刺、笑声和停顿,并支持全双工,能边听边说。该模型可在 MacBook Pro M4 Max 上本地运行,训练使用单台 NVIDIA GB200 NVL72。Block 表示做 Dessa 出于对更好人机沟通的追求和对现有语音 AI 忽略情绪线索的安全担忧。Dessa 尚未公开,团队先招募 AI 安全研究者测试意外风险,感兴趣者可通过表单报名。

  2. The Verge · AIAI 评分55

    Block 发布语音模型 Dessa,仅用人类对话训练

    Jack Dorsey 的 Block 发布 AI 模型 Dessa,称其完全基于人类对话从零训练,是真正的语音到语音模型,可在 MacBook Pro M4 Max 或更高配置上本地运行。

    Block 展示了 Dessa 与人的对话示例,交流大体自然,但偶尔会出现把对方误认成“Ronaldo”这类略显尴尬的表现。团队称做这个模型出于好奇心、增进人与 AI 的理解以及安全三方面考虑,并指出当前语音 AI 把语音压成文本、跟不上人类节奏、也听不出情绪。Dessa 将先向一小批 AI 安全研究者开放早期访问。

10月23日周五
  1. AWS Machine Learning BlogAI 评分38

    在 Amazon SageMaker AI 上用 Kokoro TTS 为 AI 智能体流式输出低延迟语音

    在 Amazon SageMaker AI 上托管的 Kokoro-82M 文本转语音模型可让 AI 语音智能体按句流式合成,第一句生成后即开始播放,无需等整段回复完成。

    Kokoro-82M 仅 8200 万参数,可跑在单台 ml.g5.xlarge GPU 实例上,从而压低延迟与推理成本。容器暴露 POST /invocations 与 WS /invocations-bidirectional-stream 两条路由,分别对应单次完整输入和跨多条消息的双向长连接。

  2. AWS Machine Learning BlogAI 评分42

    Amazon Polly 生成式引擎迎来重大升级

    Amazon Polly 生成式引擎完成升级,语音输出更自然、更准确且保持低延迟,新增 14 个音色、覆盖 9 个语种区域,并首次在生成式引擎中正式提供印地语和芬兰语。

    此次升级为原地替换,音色名称和 API 调用均不变,现有应用无需改代码即可获得新音色。升级后共提供 57 个生成式音色,覆盖 11 种语言、25 个语种区域,并扩展至 AWS GovCloud(US-West),合计 11 个 AWS 区域。新引擎能根据文本内容自动体现情绪和韵律,无需手动设置,并可准确朗读数字、货币、地址等信息。价格保持不变,按需付费,无新增 SKU,适用于呼叫中心、基于 LLM 的智能体应用、媒体娱乐和在线教育等场景。

  3. AWS Machine Learning BlogAI 评分34

    不再靠猜:为 Amazon SageMaker AI 上的 TTS 推导自动扩缩容目标

    针对 Amazon SageMaker AI 上自托管 TTS 端点自动扩缩容目标靠猜的问题,该方案将 82M 参数的 Kokoro-82M 以自定义容器部署在实时端点上,用实测的 Q_max(单实例在 SLO 内可承受的最高并发)和 T_total(一次扩容端到端耗时)通过算术推导出扩容阈值、缩容阈值和两个冷却时间。

10月21日周三
  1. The DecoderAI 评分70

    ElevenLabs 发布两款实时语音到语音模型 Eleven Realtime

    ElevenLabs 发布两款名为 Eleven Realtime 的语音到语音模型。

    其中 Max 版本在 Big Bench Audio 基准上得分 98.8%,响应时间为 0.57 秒;ElevenLabs 称目前 Artificial Analysis 榜单上没有模型能同时做到更快和更准。较小的 v1 Mini 面向低成本自然对话,能判断对方是说完话还是只在说“mm-hmm”;v1 Max 面向客服等更复杂任务。两款模型均可通过 ElevenAgents 平台和兼容 OpenAI 的 Realtime API 使用,按分钟加 token 计费,v1 Max 价格高于 v1 Mini。

  2. The DecoderAI 评分72

    Mistral AI 发布 Voxtral 3 实时语音智能体全套件

    Mistral AI 发布 Voxtral 3,一套面向实时语音智能体的模型家族,包含语音转写模型 Voxtral Small Transcribe 3、语音合成模型 Voxtral Mini TTS 3,以及基于 LiveKit 的语音智能体 SDK,把听、思考、工具调用和说话整合进同一条流式流水线。转写覆盖 50 多种语言,语音合成支持 35 种以上语言和 50 种方言,并带情感适配;智能体可在实时对话中调用外部系统,例如预约或查询发票。Mistral 称系统可部署在自有基础设施或通过欧盟托管的 API 运行,转写价格从每分钟 0.0035 美元起。

  3. Mistral AI 精选AI 评分78

    Mistral 发布 Voxtral 3 语音模型家族与语音智能体 SDK

    Mistral 发布 Voxtral 3 语音模型家族,包含语音转写与语音合成模型,以及基于 LiveKit 的语音智能体 SDK,把听、推理、工具调用和说合成一条实时流式流水线。

    转写模型 Voxtral Small Transcribe 3 支持 50+ 语言、说话人分离和上下文偏置,官方称其表现优于 Whisper、Scribe v2 和 Gemini 3.5 Transcribe;实时版在 35+ 语言下延迟低于 500ms。合成模型 Voxtral Mini TTS 3 支持 35+ 语言和 50+ 方言,可按上下文调整情绪、语速和重音,定价 $13/1M 字符。

    关注点

    Mistral 把语音识别、推理与语音合成串成一条实时流水线,读者可据此判断语音智能体的搭建门槛和部署选择。

10月20日周二
  1. TechCrunch · AIAI 评分40

    Yelp 上线 Check for Me:AI 语音智能体代你致电餐厅查询等位时间

    Yelp 在应用内推出 Check for Me 功能,用户可在餐厅页面输入用餐人数和电话号码,由 AI 语音智能体代为致电餐厅查询等位时间,并以短信回传结果。

    Yelp 同时升级其 AI 助手,接入 OpenTable 后可在应用内直接完成餐厅预订,并能记住此前对话中的偏好、查看过去 30 天的聊天记录,还支持设置自定义提醒。用户还可创建 "Been Here" 和 "Want to Go" 两个列表,按位置、类别和菜系筛选、排序、添加备注并分享;下月起 Yelp 将基于收藏与排序推送每周个性化推荐。面向商家,Yelp 推出付费产品 Smart Lead Reply,可按月付 30 美元,由商家指定智能体与客户对话并筛选线索。

  2. TechCrunch · AIAI 评分47

    Otter.ai 获 General Catalyst 增长基金 3.2 亿美元投资,用于会议工具扩张

    会议记录工具 Otter.ai 周二宣布从 General Catalyst 的 Customer Value Fund(CVF)获得 3.2 亿美元资金,该基金以不稀释股权的方式向初创公司提供资本,并从营销支出结果中获取回报。

    Otter.ai 表示这笔资金将用于企业业务增长、市场推广策略、国际扩张和产品创新。该公司此前累计融资 5000 万美元,上一轮在 2021 年;去年年度经常性收入(ARR)突破 1 亿美元。目前累计有 4000 万用户使用其产品,高于去年的 2500 万,但公司未提供月活跃用户或流失率数据。

10月16日周五
  1. Hugging Face Blog 精选AI 评分74

    IBM 发布 Granite Switch 4.1,单端点支持对话、决策与语音

    IBM 发布 Granite Switch 4.1,Granite-Switch-4.1-8B 和 -30B 在同一个托管端点上支持自然语言对话、通用与专用决策以及语音转文字。

    新版本加入通用决策 aLoRA、在安全决策任务上平均优于 Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions 和 Clef-Flash 的 Guardian aLoRA,以及 OpenASR 排行榜上最快的 ASR 模型 Granite-Speech-5.0-Turbo-CTC。

    关注点

    Granite Switch 4.1 把决策适配器与语音识别合入单一端点,读者可据此判断多任务模型在显存与部署上的取舍。

10月15日周四
  1. TechCrunch · AIAI 评分50

    亚马逊旗下 Bee 推出 Bee Frontier 与 Bee Eclipse 两款个人 AI 设备,起售价 74.99 美元

    亚马逊旗下个人 AI 穿戴设备厂商 Bee 发布被收购后的首批新品:可佩戴在手腕或别在衣服上的 Bee Frontier,售价 74.99 美元,以及可磁吸在手机背面的信用卡大小设备 Bee Eclipse,售价 99.99 美元。

    两款设备延续原有思路,用 AI 记录日常对话并生成待办、摘要和洞察,所有设备免费提供对话摘要与 14 天记忆,订阅 11.99 美元/月的 Bee Pro 可获得无限摘要及 Amazon.com、Alexa+ 和第三方应用集成。设备采用私有计算安全架构,不存储原始音频,转录内容由设备自持密钥加密。Bee Frontier 已在亚马逊开售,Eclipse 随后上市。

  2. The Verge · AIAI 评分50

    Square 推出 Square Kiosk 点单终端,可语音对话 AI 下单

    Square 发布 Square Kiosk 点单终端,配备 21.5 英寸触摸屏和“智能体式对话语音层”,能理解商家菜单并实时应答,顾客可像与店员交谈一样提问、要求修改或替换菜品。

    该设备支持存在检测自动迎宾,可通过非接触读卡器或插卡槽付款,今日起面向 Square Plus 或 Premium 订阅商家发售,售价 1,999 美元,另收每台每月 99 美元软件费。

10月14日周三
  1. The Verge · AIAI 评分20

    没有摄像头的 Ray-Ban Meta Audio 智能眼镜评测:不拍人,反而更自在

    Ray-Ban Meta Audio 是 Meta 推出的纯音频智能眼镜,售价 $349,去掉摄像头后外观接近普通眼镜,佩戴时不易被察觉。

    它搭载 Muse Spark 模型,可处理日历查询、设置提醒、本地推荐和步行导航等简单任务,但复杂请求容易出错;Muse AI 计划今年晚些时候上线。评测认为其音质尚可、续航和重量表现良好,但价格偏高,且听力辅助功能尚未获得 FDA 许可。

10月13日周二
10月12日周一
  1. TechCrunch · AIAI 评分42

    前 Plaud 高管 Peter Mo 为常驻后台聆听的 AI 应用 Ambi 融资 2600 万美元

    前 Plaud 高管 Peter Mo 创办的 Ambi 完成 2600 万美元多轮融资,由 Luminous Ventures 和华勤领投,并同步推出 iPhone、Mac 和 Apple Watch 应用。

    该应用可全天候聆听用户,其 AI 智能体能在会议进行中主动给出建议或调取相关知识,并支持跨设备续接任务。Ambi 称环境采集默认关闭、不存储录音并加密数据,但披露录音的责任仍由用户承担。

10月11日周日
  1. TechCrunch · AIAI 评分22

    PolyAI 与 Otter 高管:语音 AI 尚未迎来自己的 ChatGPT 时刻

    PolyAI CTO Shawn Wen 与 Otter CMO Alex Gay 认为,语音 AI 虽已实现全双工模型,但仍未迎来"ChatGPT 时刻",下一步挑战是让推理足够快、对话自然。

    Wen 指出 ASR 模型常漏掉关键词、影响上下文理解,Gay 则强调转写准确率是所有下游功能的基础。Otter 还在研发可在会议中代表用户的数字孪生,并要求输出语音具备与真人交谈时的情感表达。

10月7日周三
  1. Hugging Face BlogAI 评分42

    TII 推出 Falcon-ASR:1.6B 参数阿拉伯语语音识别模型

    阿布扎比技术创新研究院(TII)发布 Falcon-ASR,一款 1.6B 参数的语音识别模型,重点覆盖阿联酋方言,同时支持英语、法语、西班牙语和葡萄牙语。

    在六个阿拉伯语测试集上平均 WER 为 20.92%,优于所用榜单快照中最佳公开结果 23.17%;内部阿联酋方言评测中 WER 22.73%、CER 10.19%,比次优的 Qwen3-Omni 低 4.07 个百分点。

9月30日周三
9月25日周五
  1. Google DeepMind 精选AI 评分71

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在 Gemini 3.8 Live 的原生实时对话模型上加入近实时视频生成,实现带口型同步、自然表情和流畅轮次的视觉化对话,已在 Gemini Enterprise 上线。

    关注点

    官方给出 Live Avatar 的实时音视频对话能力、97 种语言同步与异步工具调用细节,可据此判断企业级数字人交互的落地边界。

9月23日周三
  1. Google DeepMind 精选AI 评分71

    Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS

    Google DeepMind 推出 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型,前者面向角色设计与逐行表演指导,后者面向高并发、低成本的配音与语音智能体。

    关注点

    原文给出两款 TTS 模型的能力边界、基准排名与开放入口,可据此判断语音生成在配音与智能体场景的可用性。

9月16日周三