语音智能体评估框架：6 大核心维度解析

语音智能体需要协调多个近乎同步运行的工具。这是一场精密配合：先通过实时 语音转文本（STT）记录客户反馈，再用大语言模型（LLM）整合上下文并生成回复，最后通过 文本转语音（TTS）软件生成音频文件。

涉及这么多环节，如何准确评估语音智能体的表现？

本文将提出一个由 6 大支柱构成的语音智能体评估框架，明确说明评估智能体成功与否时应衡量哪些指标。我们还会介绍不同行业为何应对这些支柱赋予不同权重，以及评估时常见的误区。

摘要

• 语音智能体评估的 6 大核心支柱是：TTS 音质、对话质量、工具使用与任务完成、智能水平、合规与安全、可靠性。
• 最重要的生产环境目标包括：MOS 达到 4.3、TSR 超过 85%，以及首段音频生成时间低于 500ms。
• 不同行业对各支柱的权重不同，某些部署场景会优先考虑其中某一项。
• 常见测试错误包括只评估干净音频，以及忽略 P99 延迟峰值。
• ElevenLabs 在最关键的指标上表现领先：Scribe v2 的 WER 低至 2.2%，为业内最低（Artificial Analysis，2026 年 6 月）；Flash v2.5 和 Turbo v2.5 是速度领先的模型（Artificial Analysis，2026 年 6 月）；ElevenAgents 的模型推理延迟约为 75ms。

什么是语音智能体评估框架？

AI 语音智能体评估框架是一套结构化系统，可让你从多个维度测试性能。全面的框架会包含从音频保真度、对话流程到监管合规等各方面的评估指标。

与文本聊天机器人不同，语音智能体的每次交互至少会经过 3 项串联技术：自动语音识别（ASR），将用户的话转换为文本；负责组织回复的 LLM；以及将回复转回音频的 TTS 系统。任何一个系统出现故障，都会降低整体体验。

正因如此复杂，企业在选择供应商并部署前必须评估语音智能体。额外的延迟或不准确回复都可能带来实际后果，例如客户流失，最严重时还会面临监管罚款和声誉受损。

语音智能体评估框架通过基准测试和可量化数据，判断智能体是否适合特定用例。从业务角度看，评估不同语音模型有助于为客户选择最佳方案。

应评估的 6 大语音智能体支柱

尽管 创建和部署 AI 智能体 从未如此简单，但后台运行的流程依然相当复杂。多个组件协同监听用户、理解需求、将信息传递给 LLM，再生成音频回复，其中会发生许多近乎同时进行的操作。

若想与最佳语音智能体合作，企业需要一套严谨的框架作为基准。

如果更想了解测试结果，Artificial Analysis 提供了基于不同组件的多项智能体对比。下方是其模型间速度对比结果：ElevenLabs 的 Turbo v2.5 和 Flash v2.5 在每秒处理字符数方面遥遥领先。

对于希望自行开展实验的开发者或企业，以下是应采用的 AI 智能体评估框架 6 大支柱：

• TTS 音质：合成语音对终端用户而言是否自然、清晰且富有表现力。业内领先模型，如 Eleven v4，可用超过 70 种语言提供富有情感、近似人类的表达。
• 对话质量：模型能否理解人类语言、处理语义，并在多轮对话中迅速结合上下文回复？
• 工具使用：AI 智能体利用可用资源完成任务、无需人工介入的程度。
• 智能水平：模型的推理能力、处理新输入的能力，以及避免生成错误或幻觉回复的能力。
• 合规与安全：除具备各种能力外，AI 语音智能体还必须遵守所有监管和合规要求，包括主动防护机制。
• 可靠性：通过总可用时间、负载下的稳定表现等要素，判断 对话式 AI 智能体能否随需求扩展。

这些支柱虽然各自独立，却相互关联，共同带来高质量的最终用户体验。例如，模型即使提升了音质，如果延迟依然很高，客户仍会在听到语音前经历尴尬的等待。

下面深入了解这些语音 AI 评估支柱。

TTS 音质

我们先从音质说起，因为这很可能是用户与 AI 对话智能体交互时最先注意到的方面。如果声音听起来机械或怪异，主观体验会明显变差。

国际电信联盟电信标准化部门（ITU-T）定义的早期评估指标之一是平均意见得分（MOS）。MOS 的评分范围为 1 至 5，1 表示不可用，5 表示优秀。作为主观指标，它通过人工听众在通话后提供反馈来计算。

在该量表中，低于 MOS 3.5 的表现相当一般，尤其以现代标准来看，很可能影响客户满意度。

MOS 虽然以人工感受为核心，但其数值由多项技术要求共同决定：

• 音高一致性与抖动：音高和抖动是人们聆听时会自然感知的两项语言要素。“音高”指说话过程中的语调变化，例如提问时自然提高声音。抖动则是语音模型对音高的理解出现波动，导致它无法在一句话中保持连贯的 韵律。行业中抖动的基准为 30ms。
• 情感表现力：即使声音清晰准确，若语调与句子预期的情感表达不符，听起来依然不自然。缺少准确的语调线索，人类听众会更难与 AI 对话智能体建立共鸣，评分也会更低。ElevenAgents 提供 近似人类的表现力，让每次回复都具备明确的情感意图。
• 背景噪声：语音智能体的背景噪声有两个值得评估的维度。输出端会在回复中细微加入环境背景音，让智能体听起来更自然。输入端则可选择在 STT 层启用背景噪声过滤，以提高准确率。评估智能体时，两方面都应测试：听环境音是否自然，并比较开启和关闭噪声过滤器时的 STT 准确率。

计算 MOS 时，应以 4.3 至 4.5 为目标，这表明在所有感知类别中均获得高分。如需大规模预测 MOS 而不使用人工评审组，可使用 UTMOS 和 NISQA 等工具。

对话质量

对话质量是一项介于音质与任务完成之间的综合支柱，用于衡量语音智能体能否有效理解用户需求、结合上下文处理中断，并通过多轮对话完成任务。

这里的主要指标是意图分类准确率，通常为 85% 至 92%，顶尖表现可超过 96%。85% 看似很高，但这仍意味着 15% 的所有流量被错误分类并路由到错误资源。

有助于提高意图分类准确率的技术要素包括：

• 轮次管理：轮次管理决定语音智能体处理自然对话流程的能力，用于评估它是否知道何时该听、该回复，或等待更多输入。这还包括处理中途插话：模型清除正在生成的回复，并根据新输入生成新的回复。ElevenLabs 使用 多上下文 WebSocket，无缝处理这类自然中断。
• 延迟：延迟指用户说完一句话到智能体开始播放音频回复之间的端到端等待时间。生产级语音智能体应将首段音频生成时间控制在 500ms 以内，低于 300ms 更佳。ElevenLabs Flash 模型提供约 75ms 的行业领先模型推理时间，为该项表现打下基础。
• 回退率：回退率衡量 AI 智能体未能理解用户、因而要求澄清或重复的频率。它很大程度上是 STT 准确率带来的下游结果：若语音识别层听错或误表述了客户的话，LLM 接收到的输入就会失真。回退率的计算公式为：回退率（%）=（回退次数 / 交互总次数）* 100。

在 Artificial Analysis 语音转文本模型评估中，ElevenLabs Scribe V2 以 2.2% 的 WER 位居最低

Artificial Analysis 语音转文本模型评估

衡量对话质量的一种方法，是参考不同组件的行业基准标准。如你所见，ElevenLabs 的 Scribe v2 截至 2026 年 6 月的词错误率最低，仅为 2.2%，这意味着更少听错、更少回退，以及更准确的意图分类。

企业可能会发现，对话质量还取决于语音智能体所运行的工作流程。例如，在客户服务场景中，还需考虑升级转人工的交接质量或 FAQ 解决率。

工具使用与任务完成

质量衡量对话感受，任务完成则衡量是否取得成功结果。企业应重点关注语音智能体评估框架的这一部分，因为它与业务成果直接相关。

衡量工具使用的一项指标是槽位填充准确率，用于判断 AI 智能体完成常规任务的能力，例如在表单中填写客户信息。高槽位填充准确率表明，智能体可以从对话无缝转入行动，同时不会丢失信息。

任务成功率（TSR）是衡量智能体成功完成端到端任务比例的指标。任务完成取决于智能体能否理解请求，并使用正确的连接工具（API、数据库、检索增强生成（RAG）和内部知识库）提供协助。

TSR 的计算公式为：

TSR =（完全完成的任务数 / 尝试任务总数）x 100

生产就绪的语音智能体应以 TSR 超过 85% 为目标，并监控工具调用准确率和工具调用可靠性。为避免 TSR 下滑，务必对提示词或连接模型的任何改动进行回归测试。即使很小的偏差，也可能对 TSR 造成显著影响。

智能水平

智能水平涵盖语音智能体的推理和高阶能力。正是这一支柱，清晰区分了语音主导的 IVR（交互式语音应答）与语音 AI 智能体。

这里需评估的关键维度包括：

• 幻觉风险：智能体生成不准确或与公司文档不一致的信息，即为幻觉。在语音 AI 中，这类问题尤其有害，因为它们可能以自信的语气传达。近期研究表明，常见幻觉会显著损害客户对语音智能体的满意度。
• 超出范围的处理：智能体应了解问题何时超出其上下文领域，并能作出恰当回应。它们不会编造答案，而是拒绝回答，或将对话引导回已定义的上下文范围。
• 上下文保留：智能体能否在多轮对话中跟踪先前提到的实体和作出的承诺？缺少这种能力，客户可能不得不反复说明，或收到相互矛盾的回复。
• 推理与多步逻辑：智能体能否正确处理条件逻辑，或跨多轮对话串联推论？尤其在更专业的用例中，例如 金融服务，在预定义上下文中进行推理的能力是成功关键。

这些维度和组件已有多个第三方基准。例如，斯坦福大学的语言模型整体评估（HELM）会对不同类别的 LLM 性能进行基准测试。对于幻觉，TruthfulQA 可深入分析错误答案混入回复的频率。

ElevenAgents 的一项优势是：不同于某些将你锁定在单一底层模型上的语音平台，它支持完全替换 LLM 层。实际使用中，这意味着你可以接入最适合特定用例、并在推理基准中领先的模型。

合规与安全

企业需要实施主动防护机制，以防止有害或违反政策的输出。不同于可能被绕过或覆盖的系统级提示词指令，独立的防护检查会作为模型外的单独层运行。它们会在输出到达用户前进行评估，并在对话偏离至危险领域时中止对话。

可审计性也是一项相关要求。生产环境中的智能体需要以支持事后审查的格式，保存详细的决策和输出日志。尤其在强监管行业，事后证明合规与一开始实现合规同样重要。

企业必须遵守的具体法规因行业而异。最常见的适用框架包括：

• HIPAA：适用于美国医疗场景中的受保护健康数据。
• PCI-DSS：适用于处理支付卡数据的任何智能体。
• GDPR：适用于欧盟及拥有欧盟客户企业的数据隐私义务。

对于评估自身合规状况的企业，ElevenLabs 已符合 AICPA SOC Type II 和 GDPR 要求，并获得了 AIUC-1 认证。AIUC-1 是专为 AI 智能体设计的安全标准。

可靠性

可靠性是语音智能体评估框架的最后一项支柱，涵盖智能体能否持续稳定地提供实时服务。

评估语音智能体时，应关注以下特征：

• 可用时间：任何面向客户的部署都应达到 99.9% 的可用时间，以避免服务中断。对于入站支持等始终在线的用例，稳定的可用时间尤为重要。
• 优雅降级：由于语音智能体底层架构复杂，如果某个组件开始故障，智能体应能平稳降级。实际做法是转接人工，而不是在压力增加或不断报错时继续运行。
• 负载下的性能：上线前，负载测试应至少模拟预期峰值并发量的 2 倍。高压力测试可发现只有在大规模下才会出现的延迟上升或性能下降。

即使高质量模型满足其他所有要求，如果无法随客户需求扩展，也可能无法使用。ElevenAgents 获得 1,000,000 名领先创作者和企业的信赖，展现了该平台能够在不牺牲性能基准的情况下支持企业级部署。

如何衡量语音智能体的 MOS（分步指南）

如果企业想手动衡量 MOS，需要大量人工听众，以及来自真实对话的一组音频片段。这是一个结构化流程，包括收集反馈、计算平均值并解读数据。

以下是在实际中衡量语音智能体 MOS 的方法：

1. 准备测试集：从智能体输出中选取有代表性的音频样本，覆盖不同类型的对话，至少包含 100 个片段。
2. 进行评分：请人工听众根据沟通体验质量，为每个片段按 1 至 5 分评分。
3. 汇总评分并计算结果：先计算每个片段的平均评分，再计算所有样本片段的平均值，得出整体 MOS。MOS 达到 4.3 或更高，表明语音智能体已可用于生产环境。

虽然这一过程需要较多人工投入，但能为所选语音智能体提供可靠的 MOS。如果希望大规模运行测试，可使用 NISQA 等自动化工具替代人工听众，以编程方式预测 MOS 分数。还可将这些系统集成到现有流水线中，持续监控 MOS 的变化。

AI 与人工测试基准：FCR、AHT 和 CSAT

持续计算 MOS 可以观察模型进步或退化，而与人工表现进行基准对比则可提供更多背景。了解人类在相似岗位中的实际表现，能帮助判断语音智能体是否接近理想水平。

以下是 AI 与人工测试基准中可参考的几个指标。

AI 智能体应能达到人工智能体的 FCR 和 CSAT，同时显著改善 AHT。后者的改善源于 AI 智能体通常处理比人工智能体更常规的对话。许多企业会让 AI 智能体先接听，只有在问题过于复杂、无法自主处理时才转接人工。

AI 对比聚合平台 Poe 的 2025 年数据显示，ElevenLabs 保持了最强的整体请求完成能力，成功完成了 74.4% 的所有传入请求。其成功也带来了使用量的快速增长，Eleven v3 和 v2.5-Turbo 占长期发送至 AI 模型消息的 60% 以上。

如需获得更佳体验，请使用 Eleven v4，这是我们情感表现力最强的 TTS 模型。

按 Poe 基准统计的 AI 模型消息量趋势，ElevenLabs 在语音智能体评估框架中领先

按 Poe 基准统计的 AI 模型消息量趋势

常见的语音智能体测试错误

遵循语音智能体评估框架时，很容易只测试最佳情况。但现实中，客户日常使用语音 AI 系统的体验并非来自理想条件。

以下是 3 个常见的语音智能体测试错误及改进方法：

• 只测试最简单的路径：尤其是在为 MOS 选择音频片段时，务必加入边缘用例。带背景噪声或带口音的语音在现实中极为常见，只测试“干净”的音频文件会导致 MOS 校准失准。
• 优先考虑留存而非解决问题：优化模型以将用户留在智能体系统内，会在不改善结果的情况下抬高留存率。如果留存率很高但 FCR 较低，说明智能体正让用户陷入令人沮丧的循环。应建立机制，让用户可按意愿与人工智能体交谈。
• 忽略延迟百分位数：SLA 通常以 P95 水平定义延迟。该指标对于为大多数客户提供稳定体验很重要，但别忘了最后的 5% 也是真实客户。对于每天处理 10,000 通电话的系统而言，5% 仍意味着有 500 人会经历缓慢对话。应将 P99 设为主要 SLA 目标，而非只看中位数或 P95。

牢记这些要点，就能建立公平且有代表性的基准，而不是依据理想化的平均值。

为何应按具体用例进行评估

该框架列出的 6 大支柱可指引你应探索的方向，但每项支柱的权重取决于所在行业。例如，金融服务企业可能优先考虑合规和工具使用，而消费品牌则可能以 TTS 音质为首要原则。

以下是两个按具体用例评估的示例，说明它们如何改变各支柱之间的权重平衡。

客户支持

在呼叫中心等特定行业，首次通话解决率（FCR）等其他任务完成指标也非常重要。无需人工介入即可成功处理来电，能显著降低对人工客服智能体的需求。麦肯锡估计，使用语音智能体的呼叫中心可将交互量最多减少 50%。

虽然不如任务成功率重要，另一个值得考虑的维度是留存率。留存率是衡量通话总时长的指标。如果留存率很高但 FCR 很低，说明智能体让用户长时间留在线上，却未能为客户提供解决方案。实际体验中，这可能让客户感到不断兜圈子、十分挫败。

还应跟踪 AHT，AI 智能体应快速解决常规问题。因此，客户支持领域会比其他方面更优先考虑对话质量，特别是轮次管理和回退率。

医疗健康

医疗健康是一个高度监管的领域，严格的合规要求使语音智能体运营极为谨慎。合规是核心关注点，因此该框架中安全支柱的权重会显著提高，并且优先级高于其他方面，仅次于智能水平。

医疗健康聊天机器人需要处理预约安排、远程医疗接入路径、症状分诊和保险咨询。这些任务都需要高水平的智能和工具使用能力，再次说明行业或岗位的具体需求会影响哪项支柱最重要。

无论企业所在领域为何，理解语音智能体评估的核心支柱并以平衡方式应用，都有助于找到最适合的智能体。

使用 ElevenAgents 构建高性能、低延迟应用

选择的构建平台会直接影响语音智能体在真实工作流程中的表现。尤其是与客户互动时，必须确信智能体能在每项指标中表现出色。

ElevenAgents 专为生产级语音部署打造，结合由 Eleven v4 提供的行业领先 TTS、通过 Scribe v2 实现的实时 STT，以及专为企业规模设计的 智能体编排层。每个组件都旨在满足本框架所列基准，帮助你为客户提供高质量体验。

无论你仍在权衡选择，还是已准备开始构建，ElevenLabs 都能提供适合你的路径。探索 ElevenAgents 平台，了解它如何匹配你的用例；或 注册，立即开始构建。

语音智能体评估常见问题