TII 推出 Falcon-ASR：1.6B 参数阿拉伯语语音识别模型

English · العربية

阿拉伯语 WER：20.92% · 参数量：1.6B · 阿联酋方言 WER（TII 评估）：22.73%

我们推出 Falcon-ASR，这是我们面向阿拉伯语的 16 亿参数语音识别模型，尤其侧重于阿联酋方言。该模型由位于阿布扎比的技术创新研究院（TII）开发，同时支持英语、法语、西班牙语和葡萄牙语。

在我们的评估中，Falcon-ASR 在六个阿拉伯语测试集上的平均词错误率为 20.92%，而我们所用排行榜快照中已公布的最佳结果为 23.17%。在我们内部的阿联酋方言评估中，它在我们所比较的系统中取得了最低的词错误率和字符错误率。

我们还支持为转写结果提供词级时间戳，将每个转写词与其在音频中的位置关联起来。

试用 Falcon ASR →

识别阿拉伯语口语

阿拉伯语语音因地区、说话者和场景而异。一个能处理正式新闻播报的模型，可能仍难以应对阿联酋方言的对话或通过电话线路录制的语音。与标准阿拉伯语（MSA）相比，方言阿拉伯语的可转写资源也更少，这使训练和评估更加困难。

我们在阿联酋方言、MSA、其他海湾及阿拉伯方言以及英语上训练了 Falcon-ASR。我们的目标是转写人们在日常口语中使用的词语，包括方言形式以及语言之间的切换。

阿拉伯语基准测试结果

由 ELM Research Center 维护的 Open Universal Arabic ASR Leaderboard 按六个测试集的等权平均 WER 对系统进行排名，同时报告字符错误率（CER）。两项指标均为数值越低越好。我们的 Falcon-ASR 评估遵循这一协议。

WER = 词错误率；CER = 字符错误率。数值越低表示性能越好。

我们使用排行榜固定的清单文件，在相同的六个基准上评估了 Falcon-ASR。竞品数据为 2026 年 9 月 30 日核对的已公布排行榜平均值。Falcon-ASR 的平均 WER 比该快照中已公布的最佳结果好 2.25 个百分点。

评估阿联酋方言语音

公开评估数据已包含阿联酋方言：Casablanca 包含一个阿联酋子集。我们通过一项针对更多阿联酋及海湾语音的内部评估来补充这一覆盖范围，使用留出录音和经人工验证的转写文本，在公开的阿联酋子集之外评估转写准确率。

在我们内部的阿联酋方言评估中，Falcon-ASR 取得了 22.73% 的 WER 和 10.19% 的 CER：

在此处比较的系统中，Falcon-ASR 的 WER 和 CER 最低。其 WER 比次优结果 Qwen3-Omni 低 4.07 个百分点。结果表明，在该评估中，词级和字符级的转写准确率均有所提升。

针对不同录音条件的训练

我们纳入了背景噪声、重叠语音、音乐、房间混响和电话效应，以及语速和音高的变化。我们对阿联酋方言录音也采用了相同的处理，使模型接触到它在会议、通话和其他日常录音中可能遇到的各种条件。

英语和其他语言

Falcon-ASR 还使用相同的模型权重转写英语。在我们对 Hugging Face Open ASR Leaderboard 所使用的七个公开英语测试集的评估中，它取得了 5.74% 的平均 WER。

该模型还支持法语、西班牙语和葡萄牙语。这五种语言使用相同的权重，无需语言标记。输出为所讲语言的转录文本。

模型基础

Falcon-ASR 建立在我们 Falcon3-Audio 工作的基础上。Falcon3-Audio 的架构和训练方法在《基于公开数据的数据高效单阶段训练的竞争性音频-语言模型》中有所描述。

试用 Falcon ASR

我们的Hugging Face 演示空间让您可以试用 Falcon-ASR 并探索其转录能力。API 访问和原生应用正在规划中。我们邀请您用自己的录音试用该演示。

致谢

我们感谢 Falcon-Emirati 模型背后的团队在阿拉伯语基础模型方面给予的支持。请阅读Falcon-Emirati 博客文章了解他们的最新工作。

我们还要衷心感谢 Mikhail Lubinets 在计算基础设施方面给予的持续支持。

推出 Falcon ASR

我们推出 Falcon-ASR，这是我们拥有 16 亿参数的阿拉伯语语音识别模型，特别关注阿联酋方言。该模型由我们在阿布扎比的技术创新研究所（TII）开发，还支持英语、法语、西班牙语和葡萄牙语。

在我们的评估中，Falcon-ASR 在六个阿拉伯语测试集上的平均词错误率为 20.92%，而我们所用排行榜版本中已发布的最佳结果为 23.17%。在我们对阿联酋方言的内部评估中，该模型在我们比较的系统里取得了最低的词错误率和字符错误率。

我们还在转录中支持词级时间戳，使每个词都与其在录音中的位置相关联。

试用 Falcon ASR ←

识别口语阿拉伯语

阿拉伯语口语因地区、说话者和录音条件而异。一个模型可能能够转录正式的新闻广播，却难以转录阿联酋方言的对话或电话录音。此外，阿拉伯语方言的带转录语音资源少于现代标准阿拉伯语可用的资源，这增加了训练和评估的难度。

我们使用阿联酋方言、现代标准阿拉伯语、海湾及其他阿拉伯语方言，以及英语对 Falcon-ASR 进行了训练。我们的目标是转录人们在日常对话中使用的词语，包括方言形式和语码转换。

阿拉伯语测试结果

由 ELM 研究中心管理的开放式综合阿拉伯语语音识别排行榜根据六个测试集的平均词错误率对系统进行排名，每个测试集权重相同。它还显示字符错误率（CER）。这两个指标的值越低，性能越好。我们对模型的评估遵循这一协议。

WER 是词错误率；CER 是字符错误率。数值越低表示性能越好。

我们在相同的六个测试集上评估了 Falcon-ASR，使用排行榜中固定的样本列表。竞争模型的数字是排行榜中发布的平均值，已于 2026 年 9 月 30 日验证。该模型的平均词错误率比该版本中已发布的最佳结果好 2.25 个百分点。

阿联酋方言评估

用于评估阿联酋方言的公开数据已经存在，因为 Casablanca 数据集包含一个专门针对阿联酋的部分。我们通过使用专为测试保留的录音和经过人工审核的参考文本，对额外的阿联酋和海湾语音录音进行内部评估，来补充这一覆盖范围，从而在公开的阿联酋数据之外评估转录准确性。

在我们的内部阿联酋评估中，Falcon-ASR 取得了 22.73% 的词错误率和 10.19% 的字符错误率：

在此处比较的系统中，Falcon-ASR 的词错误率和字符错误率最低。其词错误率比排名第二的 Qwen3-Omni 低 4.07 个百分点。结果表明，本次评估中词级和字符级的转写准确率均有所提升。

针对不同录音条件的训练

我们在训练数据中加入了背景噪声、重叠语音、音乐、回声和电话通信效果，以及语速和音调的变化。我们对阿联酋录音应用了相同的处理，以使模型适应其在会议、通话和其他日常录音中可能遇到的不同条件。

英语和其他语言

Falcon-ASR 使用相同的模型权重转写英语语音。在我们对 Hugging Face 开放语音识别排行榜所用七个公共英语测试集的评估中，平均词错误率为 5.74%。

该模型还支持法语、西班牙语和葡萄牙语。这五种语言使用同一套权重，无需预先指定语言。输出为所讲语言的文本转写。

模型基础

Falcon-ASR 基于我们在 Falcon3-Audio 上的工作。论文 Competitive Audio-Language Models with Data-Efficient Single-Stage Training on Public Data 介绍了 Falcon3-Audio 的架构及其训练方法。

体验 Falcon ASR

我们的 Hugging Face 演示可让您体验 Falcon-ASR 并探索其语音转写能力。通过 API 和原生应用的访问正在规划中。我们邀请您使用自己的录音试用该模型。

致谢

我们衷心感谢 Falcon-Emirati 模型开发团队在阿拉伯语基础模型方面给予的支持。可通过 关于 Falcon-Emirati 的已发表文章了解该团队的最新工作。

我们同样向 Mikhail Lubinets 致以诚挚的感谢，感谢他对计算基础设施的持续支持。