Hugging Face 推出 Open TTS Leaderboard：面向多语言 TTS 与声音克隆的可扩展评测
Open TTS Leaderboard: Scalable Evaluation for Multilingual Text-to-Speech and Voice Cloning
AI 导读
Hugging Face 发布 Open TTS Leaderboard，用客观指标评测开源多语言 TTS 与声音克隆模型，单模型评测耗时从数周投票缩短到数小时。
正文· AI 翻译
TLDR 👉 全新的 TTS 排行榜，聚焦开源与多语言
开源文本转语音（TTS）模型的发布速度令人惊叹。在 Hugging Face Hub 上（截至 2026 年 9 月 30 日），已有超过 8K 个 TTS 模型可用 🚀
然而，评估并未跟上步伐：它仍然碎片化且缺乏标准化。 黄金标准是人类偏好评分，例如 MOS 或 MUSHRA（更多内容见 指标）。为此，若干基于竞技场的排行榜已成为社区中有用的参考点：
这些竞技场通过向用户展示两个模型的 TTS 输出，并要求用户选择其中一个优于另一个来比较模型。在收集到足够多的投票后，会计算 Elo 分数来对模型进行排名，通常使用 Bradley–Terry 模型（见 Voice Arena 方法论）。
虽然人类偏好是最终决定因素，但竞技场无法扩展以跟上 TTS 发布的步伐。这或许部分解释了为什么开源模型在竞技场式排行榜上代表性不足：截至 2026 年 9 月 30 日，Artificial Analysis 上的 92 个模型中只有 16 个是开放权重，Voice Arena 上也有类似的偏斜。这可能反映了实际因素：添加一个 API 模型只需一个 API 密钥，而开放模型必须由竞技场运营方托管和提供服务，且商业提供商比开源作者更有理由寻求上榜。竞技场式评估的另一个局限是投票者一致性：没有哪个竞技场能确保同一批投票者以相同的“更好”标准随时间推移一致地评估模型。甚至单个人的偏好也会随时间变化（正如赫拉克利特的名言：“人不能两次踏进同一条河流”）。
为此，我们构建了 Open TTS 排行榜，它使用客观指标在性能的互补方面评估模型：
- 可懂度：提示词与生成音频转录文本之间的词/字符错误率（WER 和 CER），使用 Qwen3 ASR（Open ASR 排行榜上排名最高的开源模型）。
- 速度：在 H200 GPU 上进行批量离线推理的逆实时因子（RTFx），以及在 H200 GPU 和 CPU 上量化流式批大小为 1 的延迟的首音频时间（TTFA）。
- 说话人相似度：通过计算生成音频与参考片段的 WavLM 说话人嵌入之间的余弦相似度（SIM）。
借助客观指标，评估一个模型的时间从几周（收集投票）缩短到几小时 ⚡
重要的是，Open TTS 排行榜并不取代人类偏好排名。基于 ASR 的 WER 提供了可懂度的代理指标，而说话人相似度估计了声音身份保持度。两者都不能直接衡量自然度、表现力或听众偏好。尽管如此，它们甚至可以为基于投票的排行榜提供参考，决定将哪些模型纳入其评估。
我们希望这个排行榜能够由社区共同塑造；我们期待听到你的反馈，以便评估保持相关性和洞察力。接下来的几个部分将概述 Open TTS Leaderboard 的主要功能。
多语言 + 声音克隆评估
在排行榜的默认视图中，模型按 Seed TTS Eval（论文）和 CV3 Eval（零样本）（论文）的英文分片上的宏平均 WER 进行排名。
hexgrad/Kokoro-82M、Supertone/supertonic-3 和 fishaudio/s2-pro 在这两个分片上平均后，在英文 WER 上领先，而帕累托图则可视化了哪些模型在 WER、批量推理（RTFx）和模型大小之间取得了良好平衡。
英文表现不一定能迁移到其他语言。可以切换多种语言来按多语言表现对模型进行排名。Seed TTS Eval 只有英文和中文音频，因此其他语言仅采用 CV3 Eval（零样本）的分数。请注意，中文、日文和韩文是基于字符的语言，因此报告的是字符错误率（CER），而跨语言的“平均 WER”是跨语言的宏平均。
k2-fsa/OmniVoice、fishaudio/s2-pro 和 FunAudioLLM/Fun-CosyVoice3-0.5B-2512 是强大的多语言模型。
通过切换“声音克隆”，可以比较支持该功能（在所选语言上）的模型。
此外，表格中现在新增了用于衡量说话人相似度的 SIM 列，以及另外两张帕累托图，用于可视化 SIM、批量推理和模型大小之间的权衡。
一些模型的平均 WER 在声音克隆下有所改善，例如 bosonai/higgs-tts-3-4b 和 openbmb/VoxCPM2，即在提供参考音频时。
比较并对 TTS 输出投票
数字只能说明部分情况，正如前面提到的，人类偏好才是最终决定因素。在“Listen”标签页中，你可以比较指标背后的生成输出，找出你更偏好的模型！
选择你感兴趣的语言/数据集，以及是否要比较声音克隆，还可以选择模型或随机选择一组来试听输出。
“Listen”标签页填补了现有 TTS 排行榜的一个重要空白：一个用于探索各种模型输出的空间。
你甚至可以对生成的输出提供反馈。随着我们从社区收集到更多投票，我们可能会将这些数据纳入排行榜。所以请投票！但请使用你的 HF 账号登录，以帮助我们剔除垃圾信息/机器人。
流式性能
“Streaming”标签页比较流式能力。模型按 TTFA（首音频时间）排名，该指标量化了用户向模型发起请求后，等待多久才能获得可播放的音频。这对于语音智能体和其他交互式应用非常重要。
对于流式模型（✅ 位于“Streaming API”下），它指的是首个音频块到达所需的时间。对于非流式模型，它指的是整段语音生成完成所需的时间，因为播放无法更早开始。每个模型一次只运行一条音频（批大小为 1），使用 CV3-Eval 中相同的 50 条英文提示词，在相同的硬件上并以默认音色运行。我们丢弃前 3 次运行作为预热，并报告其余运行的中位 TTFA。
默认视图比较在 H200 GPU 上的性能。对于一小部分（但不断增长的）模型，也可查看 CPU 上的结果！
kyutai/pocket-tts 是一个在 GPU 和 CPU 上都非常适合流式传输的优秀模型！
结论
Open TTS Leaderboard 的目标不仅是跟上 TTS 模型发布的惊人速度，还要由社区来塑造；我们希望听到你的反馈，以便评估保持相关性和洞察力。请告诉我们你希望看到哪些数据集、模型和指标！
目前，我们重点关注：
- 开源模型，以推介许多被竞技场式评估所忽视的优秀模型。
- 多语言，因为英语性能不能作为其他语言的合适替代指标。
我们将很快开源评估脚本，就像 Open ASR Leaderboard 的 repo 一样，这样你就可以直接通过 GitHub Issues 和 PR 提供反馈和建议！让我们一起塑造 TTS 评估 🤗