什么是自动语音识别（ASR）？

1952 年，全球最先进的语音识别系统只能准确理解 9 个词。

约 75 年后，自动语音识别（ASR）已能实时转写数十种语言，支持从手机语音助手到直播视频字幕等各种应用。

本指南将介绍连接 1952 年技术与现代技术的关键进展，涵盖 ASR 是什么、如何将语音转为文本，以及它至今仍在如何演进。

摘要：

• ASR 是自动语音识别，指将口语音频转换为书面文本的技术。
• 最早的 ASR 出现于 1952 年，深度学习系统在 2010 年代末达到人类基准水平。
• 现代 ASR 使用基于数百万小时音频训练的端到端神经网络。
• 词错误率（WER）是标准准确率指标，但延迟、说话人分离质量和上下文理解能力对生产级 ASR 同样重要。
• ElevenAPI 为开发者提供生产级 ASR。根据 Artificial Analysis 的独立评测，其词错误率为 2.2%，在其指数中最低（2026 年 7 月）。

什么是自动语音识别（ASR）？

自动语音识别通常简称为 ASR，是指聆听人类语音并将其转为准确、机器可读文本的软件。它也常被称为 语音转文本 或语音识别，有时也称计算机语音识别。

ASR 已无处不在，可能每天都在使用却未曾察觉。无论是口述消息、向语音助手提问、观看直播字幕，还是通过 交互式语音应答电话 系统导航，都在使用 ASR。

虽然语音转文本和 ASR 常被当作同义词使用（且密切相关），但二者并不完全相同。ASR 是识别说话内容的技术，而 STT 是将该技术作为工具的应用。语音识别软件构建在 ASR 之上，用于识别某个词由谁说出，这是 说话人分离 功能的基础。

这些差别虽小，但如果想将 ASR/STT/语音识别系统集成到应用或网站中，就值得了解。

自动语音识别技术简史

自动语音识别技术比多数人想象得更早，最初可追溯至 20 世纪 50 年代。自诞生以来的 70 多年中，ASR 经历了多个重要阶段，奠定了其持续进步的基础。

ASR 技术主要经历了以下几个时代：

• 1952 年与首个 ASR：1952 年，贝尔实验室开发了名为 AUDREY 的自动数字识别器，用于理解从 1 到 9 的数字。该工具准确率仅约 90%，且只能由发明者使用，限制极大。尽管与如今的能力相去甚远，能够识别 1 至 9 在当时已是令人印象深刻的成就。
• 20 世纪 60 至 70 年代与不断扩大的 ASR 词汇量：随后数十年间，全球各地实验室，包括 IBM、伦敦大学学院和日本 NEC，均在不同场景中开发出类似 AUDREY 的模型。斯坦福大学印度籍研究生 Raj Reddy 为博士项目构建了元音识别器，为无需在每个词之间停顿的连续语音识别奠定基础。DARPA（美国国防高级研究计划局）在此期间资助的研究催生了 Beam Search，这种句子构建与解码方法到 1976 年已成为识别超过 1,000 个词的关键技术。
• 20 世纪 80 年代至 2010 年代初的统计学突破：1987 年，Raj Reddy 的一名研究生（后任教授）将隐马尔可夫模型与 Beam Search 结合，使 ASR 无需针对单一说话人训练。这项突破大幅缩短了语音识别系统的训练时间。Dragon Systems 于 1997 年推出首款商用 ASR，名为 NaturallySpeaking Preferred。它每分钟可识别 100 个词，销量良好。
• 现代时期与深度学习：2010 年代，研究人员证明，在音频和转录文本上进行端到端训练的单一神经网络优于纯统计流水线。随着深度神经网络出现，ASR 的错误率可降至 5% 至 10%，接近人类水平。Alexa、Siri 等语音助手也在这一时期进入市场。

此后，ASR 的准确性和普及度持续提升。截至 2026 年 7 月，Artificial Analysis 的独立研究 认定 ElevenLabs Scribe v2 的词错误率（WER）仅为 2.2%，处于行业领先水平。

ASR 如何运作？语音转文本技术基础

ASR 会先采集音频样本，将其转为数值表示，再使用训练好的模型预测这些数值最可能代表的词序列。现代 ASR 可实时完成这一系统，整个端到端流程不到 1 秒。

ASR 流水线主要包括 5 个阶段：

1. 音频采集与预处理：系统录制音频信号，去除背景噪声、降低回声并标准化音量，以提升一致性。根据具体模型，转写开始前还可能使用语音活动检测（VAD）来区分语音、静音和背景声。
2. 特征提取：音频会转换为数值表示，通常是频谱图或梅尔频率特征，精确呈现人类语音中的频率和模式。这一步实质上将原始波形转化为机器学习模型可高效处理的数据。
3. 声学建模：神经网络分析上一步的特征，并预测音素或其他语音单位，学习声学模式与口语之间的关系。现代端到端模型通常会将这一步与语言理解结合完成，而非视为完全独立的阶段。
4. 语言建模与解码：系统随后依据语法、上下文和数学概率等规则，衡量哪些词序列最有可能。其中后两项至关重要，因为两句话的 IPA（国际音标）转写可能相似，但上下文却截然不同。例如，“Recognize Speech”和“Wreck a nice peach”听起来可能相同，含义却完全不同。当模型无法仅凭精度确定时，上下文将帮助它作出判断。
5. 输出格式化：确定语音内容后，系统会转写最终文本，并添加标点和大小写。词级 时间戳、说话人标签等额外元数据可生成更详细的转录文本。

模型通过上述阶段将输入的音频数据转化为书面转录文本。

传统混合系统与端到端深度学习 ASR

上述流水线说明了 ASR 的运作方式，但其中的中间环节实际上有两种技术路径可选。

传统系统将多个组件串联：编码词语发音方式的词典模型、将音频映射至音素的声学模型，以及预测可能词序列的语言模型。这些组件都需要人工专业知识打造，包括手工编写发音词典的语言学家，以及将每个词与音频精确位置对齐的标注人员。

端到端深度学习将这些组件整合为单一神经网络。网络直接将音频映射到文本，从数百万小时配对音频和转录文本中隐式理解发音、声学特征和语言概率统计。

下面来看看传统与现代 ASR 技术方法的差异。

如何衡量 ASR 准确性：词错误率（WER）基准

在所有语音转文本和 ASR 工作流程中，词错误率（WER）是企业采用的主要准确率指标。它将 ASR 生成的机器转录文本与人工验证版本进行比较，主要统计替换、删除和插入 3 类错误。

WER 的计算公式是将错误总数除以参考转录文本中的词数。WER 为 5% 表示系统可准确转写 95% 的文本；如今大多数领先模型正将错误率降至远低于 5%，不断接近完美。

WER 虽是有用的基准，但评估 ASR 工具效果时还应考虑其他因素：

• 格式准确性：系统能否正确格式化非标准字符串？例如，$1,225 这样的金额会按原样显示，还是写成“1,225 美元”？
• 延迟：准确性固然重要，但如果生成一份简单转录文本需要数分钟，工具就无法使用。即使准确率极高，也需要兼顾低延迟，才能提升实用性。
• 鲁棒性：即使 在浓重口音或嘈杂背景等场景中，模型准确率也不应显著下降。
• 说话人分离质量：多说话人场景依赖于将每个词正确归属到对应说话人。识别不同说话人并正确添加标签，有助于提升 ASR 表现，尤其适用于法庭等高频多说话人行业。

如需了解更多，请阅读我们的 词错误率 完整指南。

ASR 为现代企业带来的主要优势

预计到 2030 年，全球语音和声音识别市场规模将超过 231.1 亿美元。19.1% 的复合年增长率反映了这项技术在商用设备中的普及程度。每部现代手机均配备语音输入键盘和语音助手，大多数新车可响应语音指令，智能音箱和助手如今也已进入世界各地的家庭。

通过语音与技术交互已成为客户的常见选择。对企业而言，ASR 可用于客户通话转录、语音智能体辅助等，并融入业务流程以提升生产力。

以下是 ASR 为现代企业带来的几项主要优势：

• 更快输入与文档记录：早在 10 多年前，斯坦福大学发表的一篇论文 就证明，语音识别技术的速度接近键盘输入的 3 倍，且错误率更低。对绝大多数人而言，ASR 可加快转录工作流程中的文档记录和语音优先笔记。
• 降低运营成本：在许多过去依赖数小时人工记录的场景中，ASR 技术可大幅降低高质量转录成本。法庭案件、联络中心、医疗诊所和商务会议如今均可借助准确的 ASR 系统生成详细笔记和完整的对话说话人分离转录文本。
• 提升无障碍性：世界卫生组织预测，到 2050 年，25 亿人 将存在某种形式的听力损失。先进 ASR 工具提供的实时字幕可让数字会议和媒体 更易被用户访问。
• 可搜索的语音数据：使用 ASR 自动转录语音后，每一次客户与企业的互动都会被完整记录。每通销售电话、支持工单、潜在客户电话或会议都会成为可搜索、可审计的文本。尤其在 AI 时代，为机器可读格式提供上下文有助于构建广泛的知识库。无论出于功能还是合规需求，这都有助于让信息保持可见。
• 全天候客户体验：ASR 是 语音智能体 的基础技术之一，可支持自动化服务场景来 处理客户来电，全年 24/7 不间断服务。

自动语音识别之所以在技术领域如此普及，是因为它带来的优势众多，支持的应用场景也极为广泛。无论是在医疗领域，还是希望转录客户通话以进行情感分析，ASR 都是一项基础技术。

ASR 在各行业的常见应用

自动语音识别是无数工作流程和产品的核心技术。它已普及到用户往往不会思考它如何融入日常使用的技术。

以下简要介绍 ASR 在全球范围内的一些常见应用场景。

客户服务与联络中心

联络中心较早采用 ASR，将通话转录用于质量保证和合规。如今，ASR 可实时运行，在对话中向客服人员提供建议，并将数千次客户互动转化为团队可分析的数据。

媒体与娱乐

广播机构和流媒体平台可使用 ASR 生成对话字幕，其规模远超人工转录员所能实现。它支持 实时转录，同时让视频和音频库可被全面搜索。

医疗健康

临床人员每天会花费大量时间处理文档和病历记录。ASR 可帮助节省这些时间，为医生提供 医疗 STT 平台，以便实时口述笔记。

虚拟会议

会议平台通常提供某种数字笔记功能，可在对话发生时进行转录，让人们无需在参与讨论和记录笔记之间取舍。Google Meet 等服务甚至会在每次会议后发送突出显示行动事项的转录文本，帮助创建可搜索的信息索引。

法律与合规

在法律场景中，准确记录说了什么、由谁说出是法庭的核心要求。律师事务所 会使用 ASR 平台转录会议、听证会、客户电话和庭审，并保留精确时间戳以供日后查阅。

教育

大学教授可提供讲座录音的转录文本，帮助学生留存所修课程的记录。在理解和记忆信息时，学生可从这一完整资源开始学习。

ASR 在语音智能体流水线中的位置

ASR 是多种技术部署的标准组成部分。在语音智能体技术中，它是持续循环运行的 3 个大阶段中的第一个。

• 听（ASR）：智能体捕获传入音频流，并实时将语音转为文本。现代 ASR 会持续处理到达的音频，过滤背景噪声、应对打断、生成部分转录文本，并识别每个人何时发言。
• 思考（语言模型）：大语言模型解读转录文本，理解用户意图，从连接的工具和知识库中检索信息，维持对话上下文，并确定最合适的回复或操作。
• 说（文本转语音）：文本转语音 模型会将生成的 LLM 回复转换为自然、富有表现力的音频。现代 TTS 系统可在生成音频并将其流式传回给来电者时调整语速、语调、情绪和强调，而无需等待完整回复。

对话延迟 会在每个阶段累积。流式 ASR 会在语音说出的同时开始输出词语，而非等待整段话结束，以降低延迟。ElevenAgents 将此作为实时语音智能体的标准，打造高效率的智能体体验。

ASR 面临的挑战与技术演进

尽管 ASR 技术自 1952 年诞生以来已取得长足进步，仍存在一系列可能降低准确率的挑战。

以下是 ASR 工具至今仍会遇到的一些问题：

• 口音与方言：可用训练数据通常集中于少数语言和口音，这使较少见的口音或使用人数较少的语言更难被 ASR 工具处理。丰富且多样化的训练数据集是解决方案。
• 背景噪声与说话人重叠：音量变化较大或背景噪声很强的环境会让录音中的单个词更难识别。说话人重叠也会产生类似影响，降低 ASR 转录准确率。
• 领域专用词汇：含有特定术语或缩写的领域需要领域级词典和参考资料来提高准确率。医学和法律是 ASR 工具需要额外辅助或专门训练的两个领域。
• 隐私与安全：在许多司法管辖区，语音数据被视为个人数据。企业需要制定清晰的保留政策和防护措施，以保护语音数据处理过程，并确保符合更广泛的法规要求。

使用 ASR 技术时，还需更广泛地权衡延迟与准确率。某些场景需要在两者间取得平衡，而医疗等领域可能会将准确率置于首位。

使用 ElevenAPI 开始集成生产级 ASR

ElevenAPI 通过 ElevenLabs 文本转语音模型 Scribe v2，为产品提供生产级自动语音识别。Scribe v2 提供词级时间戳、说话人分离、音频事件标签，以及实时应用所需的准确性和可靠性。

访问 ElevenLabs 文本转语音 页面了解更多，或 创建免费账户，几分钟内即可启动 API。

ASR 常见问题