推出 Eleven v4认识 Eleven v4:迄今情感表现最丰富的模型。

跳至内容

词错误率(WER):核心概念、公式及应用

发布时间
最近更新

收听收听本文

理论上,词错误率(WER)是衡量 自动语音识别(ASR)工具准确率的指标。WER 越低,最终转录文本越准确;错误率越高,转录错误的信息就越多。

实际应用中,WER 可能决定医疗转录软件会把处方剂量写成“15 毫克”还是“50 毫克”。它也决定客服支持工具能否准确转录客户需求,还是会让用户感到沮丧。

本文将介绍 WER 是什么、如何计算,以及如何用它评估自己的 ASR 服务商。

摘要

  • 词错误率统计替换、删除和插入这 3 类错误,再除以参考转录文本中的词数。
  • WER 的公式为:WER = (S + D + I) / N。
  • WER 分数越低,最终输出越准确。
  • WER 低于 5% 是不错的基准,但法律或医疗转录可能需要更低的词错误率。
  • WER 将所有错误视为同等重要,因此并非衡量上下文理解的完美指标。语义词错误率(SWER)等新指标会衡量话语含义是否得到保留,以解决这一问题。

什么是词错误率?

词错误率(WER)是衡量文本转语音模型中语音识别准确率的标准指标。它以 0 到 1 表示 STT 系统在转录中出错的比例(0.8 表示 80% 的错误率),根据替换、删除和插入错误计算得出。

替换是指一个词被错误的词取代;删除是指完全漏掉了一个词;插入则是指转录文本中出现了原本未说出的词。WER 使用这 3 个组成部分,并除以正确转录文本中的词数,得到可与其他供应商比较的数值。

WER 的公式如下:

WER = (S + D + I) / N

其中:

  • S:替换(词错误)
  • D:删除(缺少词)
  • I:插入(存在额外词)
  • N:参考转录文本的总词数

WER 可以用小数或百分比表示。WER 越低,说明模型在转录时犯的错误越少,得分越好。

实际应用中,10% 的 WER 表示会议转录文本中大约每 10 个词就有 1 个需要复核。

为什么词错误率对语音识别系统很重要?

词错误率为团队比较不同服务商提供了客观指标。它能排除营销宣传的干扰,清晰展示语音识别模型的准确程度。以证据为依据,正在评估方案的企业就能清楚了解哪些模型目前处于领先地位。

AA-WER chart: Scribo v2 and ElevenLabs have the lowest error rates, outperforming other models.

来源:Artificial Analysis,访问日期为 2026 年 7 月 10 日。

截至 2026 年 7 月, Artificial Analysis 的独立研究将 ElevenLabs 的 Scribe v2 评为非流式转录模型在 AA-AgentTalk 数据集上词错误率最低的行业产品,WER 为 1.5%。

除了评估服务商,WER 还会在产品层面产生实际影响。WER 为 12% 的医疗转录软件可能在患者病历中引入关键错误。客户支持 通话中的转录错误可能导致后续问题,例如情感分析不准确或分类不佳。

除这些特定用例的问题外,当 ASR 系统失效时,受影响最大的往往是那些只能通过转录文本获取语音内容的人群。万维网联盟 提供了丰富文档,说明无障碍倡议所要求的最低标准。

如何计算词错误率:公式与示例

了解步骤后,计算词错误率并不复杂。如上所述,使用的公式是 WER = (S + D + I) / N。上述术语分别指替换、删除、插入,以及转录文本总词数 N。

计算 WER 的方法如下:

  1. 创建参考转录文本:使用人工转录和验证,生成准确的音频片段转录文本。
  2. 使用 STT 工具:使用 ASR 平台转录音频片段,生成用于测试的 AI 转录文本。
  3. 对齐两个版本:使用动态规划(具体来说是 Levenshtein 算法)找出最少编辑次数。后文会进一步介绍该算法。
  4. 应用公式:统计 AI 生成版本相较于人工验证文本的总错误数,然后使用 WER = (S + D + I) / N 算出准确的 WER。

这在纸面上看似颇具技术性,但实际操作简单得多。下面通过一个示例来说明。

参考转录文本:达洛维夫人说她要亲自去买花。

ASR 输出:达洛维小姐说她要亲自买花。

Word
Reference
ASR output
Error type
1
Mrs.
Miss
Substitution
2
Dalloway
Dalloway
Correct
3
said
said
Correct
4
she
she
Correct
5
would
would
Correct
6
buy
buy
Correct
7
the
—
Deletion
8
flowers
flowers
Correct
9
herself
herself
Correct

计算总错误数,可得 9 个词中有 1 个 S 和 1 个 D。

套用公式:WER = 2 / 9 = 0.222 = 22.2%。

使用 Python 计算词错误率

手动方法效果很好,但使用 Python 计算 WER 可以节省时间。jiwer 库 可以完全自动处理这些工作。

参考 jiwer 文档,可安装这个专为评估 ASR 系统并生成 WER 等核心指标而构建的软件包。下载后,可使用以下 Python 代码快速计算 WER:

from jiwer import wer

reference = "the quick brown fox jumps over the lazy dog"
asr = "the quick brown fox leaps over the last lazy dog"

print(wer(reference, asr))  # 0.222

注意,在这个示例中,ASR 输出与原始参考文本有两处不同。词语“jumps”被错误转录为“leaps”(替换),并在“lazy”前插入了“last”(插入)。参考转录文本共 9 个词,出现 2 处错误,因此词错误率(WER)为 0.222,即 22.2%。

比较词错误率与其他识别指标

虽然 WER 是计算 ASR 准确率的标准指标,但也可以使用其他工具。例如:

  • 字符错误率(CER):与 WER 类似,它在字符层面而非词语层面衡量转录准确率。最适合没有清晰词边界的语言(连续书写)或对拼写敏感的任务。
  • 匹配错误率(MER):衡量转录错误比例,但对替换、插入和删除的处理方式与 WER 略有不同。它关注句子中错误所占的比例。
  • 词信息丢失率(WIL):估计转录过程中丢失的原始信息量,衡量的是可理解性,而非 WER 的直接错误计数。
  • 嵌入错误率(EmbER):对不同转录文本进行语义分析。它超越 WER,可深入了解正确词语与错误转录之间的语义距离。

这些指标各自适用于不同场景。可参考下表:

Level of analysis
WER
Word
CER
Character
MER
Word
EmbER
Semantics
Best for
WER
ASR benchmarking and assessment
CER
ASR languages without word boundaries
MER
Error decomposition
EmbER
Semantic-aware evaluation

Levenshtein 距离示例:WER 背后的数学原理

词错误率本质上衡量的是原始文本与假设输出之间的距离。要从数学角度理解这种差异,需要使用 Levenshtein 距离。

Levenshtein 距离统计将一个序列转换为另一个序列所需的最少单元编辑次数。对 WER 而言,具体就是替换、插入和删除操作。例如,若要将 Cat 转换为 Mat,需要将字母“C”改为“M”,因此 Levenshtein 距离为 1。

这种计算在 CER 中更常见,但 WER 将 Levenshtein 距离扩展到词语层面。每个单元是完整的词而非字符,实际距离衡量的是将 ASR 输出转换为准确原文所需的词语编辑次数。

我们构建一个矩阵,其中每个单元格表示原始转录文本与 ASR 转录文本之间的总距离。Levenshtein 距离从左上角填充至右下角,最后一个单元格给出词语层面的总编辑次数。将该数值除以 N,即为 WER。

该矩阵通常按单个字符计算,为便于理解,下面展示前述示例的词语层面版本。

Levenshtein matrix shows a 22.2% word error rate; 2 edits needed for ASR output correction.

词错误率的常见误区与陷阱

尤其随着 STT API 日益普及,以及 ASR 软件成为更广泛智能体技术栈的常见组成部分,不同工具之间的比较会越来越多。

在计算自己的词错误率前,需要了解一些常见问题和误区。

  • 所有错误都同等重要:WER 将每项错误视为同等重要。在许多情况下这没有问题,但某些用例无法接受。例如,在医院中,被视为良好 WER 的 5% 错误率仍可能难以理解,因为哪怕一两处错误都可能危及患者。这一局限促成了语义词错误率(SWER)等新指标的发展,它们尝试衡量句子含义是否得到保留,而非每个词是否完全匹配。
  • WER 可超过 100%:尽管前文提到 WER 介于 0 和 1 之间,但仍可能出现超过 100% 的 WER。这是因为插入错误可能使词数超过原始转录文本的总词数。常见例子是将“I’m”转录为“I am”,一个词变成两个词。
  • 从技术角度看,WER 越低不一定越好:从表面看,5% 的 WER 优于 10%。但如果造成 5% 错误率的错误显著改变了句子语境,而 10% 中的错误没有,那么这个数字并未反映全貌。语境仍然极为重要,SWER 等指标正是为捕捉这种语义影响而开发。

2024 年,Apple 发布了一项有趣研究,探讨了上述最后一点。当人们根据 ASR 是否可读来评估 9.4% 的 WER 计算结果时,他们给同一段文字评出了 仅 2.2% 的 WER。在测试示例中,人们在很多情况下认为这些“错误”并不重要,因此得出的人工 WER 比机器结果宽松超过 4 倍。

WER 的行业基准

理想 WER 高度取决于使用 ASR 技术的行业或用例。虽然低于 5% 是 WER 的行业基准,但医疗或法律转录等特定行业需要低得多的错误率。

在 Artificial Analysis 于 2026 年 7 月开展的研究中,ElevenLabs 的 Scribe v2 获得了 1.5% 的 WER。但请注意,这些统计数据通常以英语为主要语言进行测试。其他语言的 STT 技术效果可能没那么好。

ElevenLabs Docs 详细说明了 通用 WER 区间,涵盖 Scribe v1 和 Scribe v2 支持的所有语言。

使用 ElevenAPI 提升识别准确率

当你构建重视转录质量的应用或产品时,精心选择的 ASR API 与普通 API 之间的差距会先体现在 WER 上,随后影响用户体验。

ElevenLabs Scribe 是可通过 文本转语音 层访问的 ElevenAPI。除了支持 90 多种语言和行业领先的 WER,还提供说话人分离、词级时间戳、关键词提示和实体检测等功能。

浏览 ElevenLabs Docs,了解更多 ElevenAPI 信息,或立即 注册 开始使用。

词错误率常见问题

作者

Jack Limebear 隶属于增长团队,负责博客和洞察页面的内容撰写与策略。加入 ElevenLabs 前,他曾在多家快速成长的 SaaS 初创公司和世界 500 强企业,拥有十余年内容策略管理经验。剑桥大学英语文学硕士。

相关内容

用高质量 AI 音频创作