衡量对话式 AI：成功的关键指标

对话式 AI 工具可大幅降低全天候提供客户支持的成本，无需安排夜班，也不必承担将岗位外包至海外带来的数据隐私风险。

但只有当 智能体 能解决客户问题时，节省成本才有意义。通过正确的关键绩效指标衡量对话式 AI，可了解它是否有效，尤其适用于处理大量客户咨询的企业。

本文介绍如何通过评估对话流程和回复准确性，保护客户体验与品牌形象。我们还会说明客户体验团队如何对来电问候语进行有效的 A/B 测试，以及如何维护可靠的多语言对话式 AI 平台。

摘要

• 系统衡量对话式 AI 的质量、体验和运营指标，可获得保护客户体验所需的数据。
• 自动评估工具可持续大规模跟踪和改进对话式 AI 指标，人工团队则定期进行抽查。
• 每次 A/B 测试只隔离一个特定变量，可准确定位问题所在，并部署直接解决已发现问题的修复措施。
• AI 公司经常更新底层模型，原本可靠的聊天机器人在生产环境中的表现可能因此改变，因此必须持续改进。

衡量对话式 AI 的含义与重要性

衡量 对话式 AI，是系统评估已测试或已部署的 AI 智能体处理客户请求、解决问题的能力。目标是根据你设定的性能标准，确定自动化系统在真实环境中处理多轮对话的效果。这些标准通常反映模型理解用户意图、保持品牌调性、提供准确回复及成功解决问题的能力。

对于旨在减少团队工作量的系统，模型评估似乎增加了许多额外工作。但若缺乏持续评估，就很难了解模型在实际应用中的表现。换言之，你知道 AI 系统降低了客户支持运营成本，但能否确认它让客户满意，而非促使他们另寻解决方案？

全面衡量需要从以下 3 个主要类别审视模型：

• 质量： 根据用户初始请求，评估 AI 回复的准确性、连贯性和相关性。核心问题是：AI 是否正确理解并给出正确答案，还是出现幻觉和错误？
• 体验： 评估客户体验，例如 AI 回复是否迅速、需要多少轮才能给出满意答案。核心问题是：这种体验对用户来说是否自然、有帮助，还是显得机械且令人沮丧？
• 运营： 判断系统是否可靠运行，以及是否仍是满足客户支持需求的高性价比方案。常见关注点包括：系统是否具备高可用性，投资回报是否足以证明其使用价值？

各团队对成功的定义不同，支持自动化前的初始痛点对此影响很大。例如，若团队最初难以维持 24/7 客户支持，AI 智能体全天候可用就能轻松提升客户支持表现。不过，所有这些类别都对整体成功至关重要：若系统虽然始终在线且很少崩溃，却显得机械并产生幻觉回答，也无法为客户带来多少价值。

应跟踪的核心对话式 AI 指标

跟踪清晰、可执行的数据，以评估智能体面对客户时的表现，以及当前实施方案是否产生实际业务价值。持续评估也为定期改进铺路。当你准确找出 workflow 中的瓶颈或需要调整之处，便拥有有效解决根本原因的数据。

评估语音通话和聊天机器人表现时，可从以下 对话式 AI 指标 开始：

• 自助解决率： 跟踪在自动化渠道内完全解决的咨询占比。目标因行业、场景、用例和机器人类型而异。例如，零售业 60–80% 较为常见，而旅游网站通常为 40–60%。
• 升级率： 衡量 AI 智能体无需转交人工即可处理通话的频率。主动型公司会设置自动阈值，在情绪转为负面时立即将通话转给人工。合适的升级率取决于行业和任务复杂度，目标可设为 15–30%。
• 词错误率（WER）： 跟踪 AI 在通话或转录中准确“听到”词语的能力。良好的行业标准为 5%，但在受监管领域，或处理医疗、金融和法律等敏感信息的用例中，需要更低的 WER。
• 意图识别准确率： 成功的 AI 智能体不仅要识别词语，更要准确理解用户的痛点和需求。准确率目标因用例和具体意图类别而异。
• 回复准确率： 判断模型提供真实且有意义回复的可靠程度。这对确保客户解决问题至关重要。一般客户服务咨询要求达到 80% 或更高，而支付等敏感用例则需达到 99% 或更高。
• 幻觉率： 虽与回复准确率密切相关，但幻觉率专门衡量基于知识库的回复事实准确性。低幻觉率对于提供帮助，以及确保模型不会作出公司无法兑现的承诺至关重要。
• 客户满意度（CSAT）： 通过通话后问卷收集客户情绪，以确定满意度。公司使用 5 分制收集这类数据，但通常以百分比表示结果。根据 SurveyMonkey 的数据，良好的 CSAT 分数 通常从约 70% 开始，有些公司则以 80% 或更高为目标。
• 平均意见分（MOS）： 这项以人为本的指标同样采用 5 分制，旨在衡量 AI 回复听起来是否自然，以及合成语音是否清晰。MOS 目标为 约 4.3–4.5。
• 端到端语音延迟： 计算用户完成请求到智能体开始回复之间的总延迟。生产级智能体的端到端首音频时间（TTFA）目标应低于 500 毫秒。ElevenLabs Flash v2.5 模型目前的内部模型推理延迟可达 约 75 ms。实际端到端延迟会因所在位置、所用端点类型等因素而异。
• 每次对话成本： 衡量每次自动化客户互动的总运营成本，并与人工会话比较。ElevenLabs 对话起价为 每分钟 10 美分，而客服代表的平均时薪表明，人工对话约为每分钟 32 美分。这意味着可节省约 70% 的成本，但价格可能因套餐和用量而异。请查看 ElevenLabs 定价页面 了解当前价格。

选择用于衡量模型表现的指标时，应考虑对所在行业和商业模式最重要的领域。例如，准确性和事实性对银行、患者信息等领域尤其重要，而 延迟、MOS 和升级率，则对优先考虑客户体验的公司最重要。

请注意，部分指标可解释其他指标的根本原因。例如，高延迟很可能导致较低的 MOS 分数，并进而造成以 CSAT 表示的低客户满意度。

如何衡量对话式 AI 准确性

从约 500 至 1,000 段真实历史对话中构建真实标注测试集，以衡量模型准确性。真实日志会捕捉合成数据往往遗漏的自然、复杂表达，例如错别字、俚语和用户操作错误。然后，根据这些真实日志，从意图识别、回复准确率和幻觉率方面评估系统。

使用 LLM 评委评分法对这些互动进行自动评估。但务必用人工标注系统验证自动评分，确保两者一致。人工审核人员随后每周按简单的 3 级标准抽查，以评估聊天机器人表现：

• 正确： 回复符合事实、与上下文相关，并直接满足用户主要意图。
• 可接受： 回复在技术上正确且有帮助，但存在少许风格问题、表述不自然或不符合品牌格式。
• 错误： 回复包含事实错误、严重幻觉，或完全误解用户意图，需要立即更正。

理想情况下，应按意图评估模型，因为 AI 智能体在某些场景表现良好，在另一些场景却可能严重失效。使用汇总数据会让高表现领域掩盖关键弱点。

我们将 Next Reply（场景）测试 直接集成到 ElevenAgents 测试中，简化了这一 workflow。Next Reply 功能评估智能体发送的后续消息，而非完整的多轮对话。不过，你需要提供评估节点前的聊天记录，并根据政策、语气和质量标准为回复评分。

如何对对话式 AI 回复进行 A/B 测试

A/B 测试收集真实反馈，避免猜测客户偏好。随后可利用实证数据微调 AI 模型表现。跟踪指标后，团队可能会列出希望改动的事项或要进行的实验。但同时更改多项内容，很难判断哪些有效、哪些无效。

因此，要进行有效测试，必须每次只隔离一个特定变量，同时保持其余底层知识库不变。可变更的元素包括：

• 问候文案： 将初始问候语从简单的“你好，我能帮你什么？”改为更具体的内容，例如“你好，选产品时遇到困难了吗？”。
• 音色： 在特定情境下，客户可能因男性或女性特质、语气、语调甚至口音，而对某些音色的反应更好。
• 模型路由： 高能力模型通常成本更高，因此高效且具成本效益的做法是相应地为复杂和简单咨询路由不同模型。
• 提示词： 提示词由多个部分组成，因此每次只更改一个方面，例如上下文、目标、风格、语气、受众或回复模板（CO-STAR）。

团队还应调整测试周期。对话流量通常远低于网页浏览量，因此需要运行数周而非数天，才能获得统计显著性。若流量极低，应测试幅度大且明显的改动，而非细微调整。

实用的 workflow 还需要 智能体版本管理、比较和回滚工具。我们已将这些功能直接集成到 ElevenAgents。

部署前如何测试对话式 AI 智能体

客户服务直接触达影响业务收益的人群，而 AI 有时会对微小改动产生不可预测的反应。因此，在生产环境发布新的或修订后的对话式 AI 智能体前，务必进行测试。仅凭“感觉测试”远远不够。

我们围绕 3 种主要测试类型设计了 ElevenAgents 测试框架，分别针对对话式 AI pipeline 的特定层级：

• 模拟测试： 运行一段完整的、与模拟用户进行的多轮对话，以确认对话是否达到预期性能水平。
• Next Reply 测试： 仅根据特定语气、政策或其他约束测试智能体的即时回复，以确认回复是否恰当且准确。
• 工具调用测试： 确保智能体正确调用已连接的 API，并传递高风险数据库查询或转接所需的准确参数。

许多攻击者试图出于恶意目的越狱模型，因此上线前还需要加入对抗测试层。与 QA 团队、提示词工程师和红队网络安全专家合作，测试提示词注入、偏题诱导和违反规则的尝试。

最后，采用分阶段发布：先向一小部分用户推出试点版本，并监控他们的真实使用行为。在向更大范围用户或全部客户发布前，为模型设定严格的通过标准。记得指定单一责任人监督发布，并制定回滚方案，以防调整导致性能指标下降。

在生产环境评估聊天机器人表现

发布对话式 AI 模型前，应为每个用例定义成功标准。这对高度监管领域的应用尤为重要，因为这些领域对准确性和数据隐私有更高基准和更严格要求。

自动回复便于大规模对模型进行 A/B 测试，但客观测试还需结合临时阅读对话记录和人工测试人员反馈。人工参与者能发现 AI 模型遗漏的对话细微差别，以及会在汇总数据中被掩盖的数据异常。全面的评估策略还应包括情绪分析和直接用户反馈。

持续改进进一步区分了能够提供高投资回报的成熟系统。竞争对手将测试和监控视为两项独立任务，而成熟的 pipeline 会将两者合二为一。在这种模式下，生产故障会直接纳入测试集，用于训练下一版优化后的智能体。

当 AI 公司更新智能体运行所依赖的基础模型时，也必须定期调整。这种变化常导致原本有效的提示词突然造成不可靠，甚至不恰当的回答。

我们已将这一反馈闭环直接构建到平台中。使用 对话分析工具 自动收集结构化数据，并轻松评估情绪。大型组织还使用我们的 企业级对话式 AI 基础设施，放心地在全球范围监控和扩展智能体。

使用 ElevenAgents 衡量客户服务指标

要成功大规模部署对话式 AI，仅有高质量音色和低延迟模型还不够。你需要一个集设计、构建、测试、部署和调整多智能体 workflow 于一体的生态系统。

ElevenAgents 提供所需的可扩展基础设施。团队可使用 Next Reply 验证、情绪跟踪和自动数据收集等工具，持续监控并优化模型，获得最佳效果。更重要的是，可在问题影响客户前发现性能回退。

准备好简化对话式 AI 衡量流程了吗？探索我们的 智能体测试功能，了解企业团队如何部署可靠的智能体来提升客户服务指标。

了解更多 ElevenAgents，或注册，立即开始使用。

关于衡量对话式 AI 的常见问题