什么是 AI 语音智能体？它如何工作？

企业处理的客户互动比以往更多。需要支持更多语言，电话也在下班后不断打来，许多团队仅靠自身已难以跟上节奏。

AI 语音智能体 可通过回答常见问题、完成常规任务，并在需要时将复杂情况转交人工客服，帮助应对这些挑战。

本文将介绍 AI 语音智能体是什么、如何工作、最适合哪些场景，以及如何使用 ElevenAgents 实现部署。

摘要

• AI 语音智能体让客户能在电话或浏览器中自然说话，无需操作按键菜单。
• AI 语音智能体已在大规模处理真实客户互动：Revolut 将工单解决时间缩短至原来的 1/8；Zingage 在保持 HIPAA 合规的同时，使用它处理超过 90% 的来电。
• 常见应用场景包括客户支持、预约安排、销售线索筛选、付款提醒和内部服务台 workflow。
• ElevenAgents 等平台让企业无需从头搭建底层基础设施即可部署语音智能体，首次音频响应通常不到 1 秒。

什么是 AI 语音智能体？

AI 语音智能体是利用人工智能理解自然语音并作出相应回应的系统，带来的对话体验更接近与人交谈，而不是操作菜单。

只要用户通过电话或网页与企业互动，语音智能体就特别有用。例如，它们可以用于：

• 客户支持：回答账单问题、提供订单更新，以及帮助客户查看账户信息。
• 预约 workflow：预约、修改或取消预约。
• 销售：筛选销售线索并将其转接给合适的销售代表。
• 运营：大规模处理外呼活动、付款提醒和核验电话。

关键在于，智能体不只是“说话”。它还会倾听、推理并采取行动。这正是语音 AI 与旧式自动化工具及大多数聊天机器人的区别。

AI 语音智能体与 IVR 和聊天机器人有何不同？

交互式语音应答（IVR）系统会让来电者进入预设菜单，但这很少符合人们自然沟通的方式。AI 聊天机器人擅长处理文本，但只能用于客户可以输入和阅读的场景。

AI 语音智能体将自然对话、语音和行动能力结合起来，因此在语音是最自然互动方式的场景中更适用。

AI 语音智能体有哪些优势？

语音智能体能改善客户对话，同时帮助企业高效处理更多互动。更好的对话通常意味着更佳的客户体验、更快的问题解决速度和更强的运营表现。

自然韵律和语调

高质量语音合成能在整个通话中保持自然的节奏、重音和对话流畅度。互动听起来更自然，而非机械化 时，客户更愿意持续参与，从而提升信任并减少挫败感。

插话与自然轮次切换

真实对话中会有打断、停顿和话题变化。支持插话和轮次切换的语音智能体能适应这些变化，不中断对话流程，帮助来电者更快获得答案。

原生口音的多语言支持

当客户能使用其偏好语言互动，并听到发音和节奏自然的回复时，沟通会更清晰、更易理解。企业无需为每种语言单独创建 workflow，也能服务不同受众。

大规模 24/7 全天候服务

语音智能体可在非工作时间接听电话、应对需求高峰，并支持外呼活动。客户能在需要时获得帮助，企业则可避免错失机会和人手不足的成本。

人工转接时保留完整上下文

当对话需要升级处理时，下一位客服代表可获得对话记录、识别出的意图及智能体已收集的信息。这能减少重复，并帮助人工客服延续对话，无需让客户重新开始。

更高的首次联系解决率

语音智能体能立即回答常见问题并完成常规任务，让客户在首次互动中就获得所需帮助。减少重复联系可同时提升客户满意度和运营效率。

何时该使用 AI 语音智能体，何时该使用人工客服？

一个实用原则是：将 AI 用于高量、可重复且结构化的任务；需要判断、共情、协商或处理例外情况时，则交由人工处理。

最有效的策略是让人工与 AI 语音智能体协同工作。例如，联络中心可使用客户服务 AI 语音智能体 处理订单跟踪、密码重置和预约提醒，同时将账单争议或情绪敏感的来电直接转给人工客服。

AI 可缩短等待时间，并为常规来电提供一致答案；人工则在最需要的地方发挥判断力与共情能力。

AI 语音智能体如何工作？

当有人与 AI 语音智能体交谈时，多个系统会在毫秒内协同理解请求、生成回复并自然延续对话。在 ElevenAgents 中，Flash 模型可实现约 75 ms 的模型推理延迟，整个流程的首次音频响应通常不到 1 秒。

如需详细了解 ElevenAgents 如何管理这条流程，请参阅解析 ElevenAgents 编排引擎。

1. 来电者说话，音频被转写

来电者开始说话，互动也随之开始。智能体使用语音转文本（STT）模型实时将来电者音频转换为文本，使系统能立即开始处理请求。

在 ElevenAgents 中，这一步由 Scribe 完成，它是 ElevenLabs 的语音识别模型。Scribe v2 Realtime 的延迟约为 150 ms，因此从来电者角度看，转写几乎是即时完成的。

2. 智能体理解请求并采取行动

语音转写后，大语言模型（LLM）会结合回复所需的全部上下文处理请求。智能体会将这些上下文整合为一个请求，其中包括：

• 对话历史，让智能体了解已讨论的内容。
• 通过检索增强生成（RAG）获取的相关业务知识，让回答基于自身的产品信息、政策、流程、定价和支持内容。
• 对话早先阶段中可用的工具输出或动态变量。
• 定义智能体角色、语调和规则的系统提示词。

具备这些上下文后，智能体会决定如何回复。如果能直接根据检索到的知识作答，便会直接回答；如果请求需要采取行动，智能体会通过集成工具 触发操作，再根据结果组织回复。常见操作包括：

• 查询客户信息。
• 安排预约。
• 更新记录。
• 发送确认信息。
• 转接对话。

ElevenAgents 支持 ElevenLabs 托管的 LLM，也支持 Anthropic、OpenAI 和 Google 的其他领先模型。

3. 回复转换回语音

生成回复后，Eleven V3，即 ElevenLabs 的文本转语音模型，会将文本转换为自然的音频并实时传回给来电者。因此，智能体能以自然的节奏、重音和对话流畅度进行回应，而不会像传统自动电话系统。

4. 轮次切换让对话更自然

专用的轮次切换模型可管理打断、停顿、静音检测和对话时机。来电者可自然打断、思考时暂停，或在对话中途改变方向，不会产生旧式语音系统常见的僵硬体验。

5. 语音信箱检测可智能处理外呼

对于外呼 workflow，系统会判断接听方是真人还是语音信箱。智能体不会将完整互动流程播放到语音信箱中，而是留下恰当留言、准确记录结果，并自动继续下一通电话。

AI 语音智能体最常用于哪些场景？

AI 语音智能体在通话频繁、重复性高或时间敏感的行业中最有效。它们最适合无需升级处理的清晰 workflow 和常见问题。智能体也适用于高度受监管的环境，内置合规认证和审计日志可让企业在部署前更轻松满足行业标准。

如何实现 AI 语音智能体？

成功实现 AI 语音智能体，不只是选择合适的模型。还需要明确使用场景、设定清晰的成功标准、配置智能体行为，并在它与客户交谈前，基于真实环境进行测试。

如需完整指南，请参阅如何在 1 小时内为企业创建 AI 智能体。

第 1 步：确定使用场景和成功标准

先从 1 或 2 个具体 workflow 开始，而不是试图一次性自动化所有客户互动。

例如：

• 预约安排。
• 查询订单状态。
• 账单咨询。
• 销售线索筛选。
• 内部 IT 支持。

针对每个 workflow，在实施前定义成功指标。视使用场景而定，指标可包括解决率、自助解决率、平均处理时长、预约完成率、CSAT 或转人工率。明确指标有助于判断部署是否真正改善了结果。

ElevenAgents 还提供预置模板，帮助你更快开始。

第 2 步：选择客户与智能体互动的渠道

确定 workflow 后，判断客户最可能通过哪个渠道与其互动。

• 通过 SIP 电话接入：最适合客户支持、预约安排、账单咨询、服务请求和其他高量语音 workflow。这通常是企业最先自动化的渠道，因为它符合现有客户习惯。ElevenAgents 可通过 Twilio 和其他 SIP 服务商连接。请注意，外呼电话有合规要求，例如美国的 TCPA 或欧洲通话录音的 GDPR。
• 网页小组件：适用于客户联系支持前经常访问网站的情况。ElevenAgents 的网页小组件可直接在浏览器中支持语音和聊天互动，访客无需拨打电话，就能按偏好进行互动。
• WhatsApp：适合以消息为主的 workflow、多语言受众，以及 WhatsApp 是主要客户渠道的市场。它也是很好的补充渠道，因为部分客户更喜欢通过文字而非语音与企业互动。

语音智能体上线后，扩展至其他渠道所需的改动很少。ElevenAgents 让团队无需从头重建，即可将同一智能体部署到电话、网页、WhatsApp 等渠道。

第 3 步：配置智能体的知识、音色和行为

选定渠道后，配置决定智能体行为的组件：LLM、知识源、音色和系统提示词。

• LLM：智能体背后的推理引擎。核心权衡在于延迟与能力。更小、更快的模型适合流畅自然的对话；推理能力更强的大型模型则更适合复杂工具调用、详细系统提示词和多步骤 workflow。请查看完整模型列表及权衡说明，找到最适合你的使用场景的模型。
• 知识库：智能体用于准确回答问题的文档、常见问题和标准操作流程（SOP）。核心权衡在于覆盖范围与准确度。更广的知识库会提供更多可用信息，但过多不聚焦的内容可能降低检索质量。先从最符合既定使用场景的内容开始，再逐步扩展。
• 音色：智能体在来电者听来是什么声音。ElevenAgents 可让你使用 10,000+ 种音色，涵盖不同口音、语言和风格，也可以克隆自己的音色。让音色与品牌和受众相匹配，并考虑按地区选择不同音色，让客户听到熟悉的声音。
• 系统提示词：智能体的操作说明，定义其角色、语调、应执行的任务、绝不能执行的任务、升级要求和合规限制。强提示词能带来可预测的行为；模糊的提示词会导致对话不一致。请参阅 ElevenAgents 提示词指南，了解完整说明。

这 4 个组件协同工作：LLM 负责推理，知识库提供准确答案，音色传达答案，系统提示词确保一切按计划进行。上线前正确配置每一项，是可靠智能体与不稳定智能体的分水岭。

第 4 步：定义转接规则

智能体应明确知道何时需要人工协助。常见的转接触发条件包括：

• 来电者要求人工客服。
• 智能体对其回复的置信度较低。
• 多次尝试回答同一问题失败。
• 敏感的账单或合规相关情况。
• 客户互动带有强烈情绪。

在 ElevenAgents 中，转接逻辑在Workflows（我们的可视化编辑器）中定义。该功能让非技术团队能够设计 AI 智能体处理对话的方式，包括定义每个阶段、设置将对话从一个智能体转至下一个的条件，以及在触发条件满足时转接人工。

它还支持多智能体路由。与其让一个智能体处理整通电话，不如创建专门负责特定任务的智能体。例如，分诊智能体接听电话并识别来电者需求，然后将其转给专门处理付款咨询的账单智能体。每个智能体都有独立的提示词和知识库，因此可专注于自身领域并保持准确，无需试图同时覆盖所有内容。

第 5 步：评估和模拟对话

在让客户使用系统前，应依据预先定义的评估标准进行测试。生产环境中的大多数失败并非源于选错 LLM 或音色不佳，而是来自只会在边缘场景暴露的系统提示词或知识库缺口。上线前测试能让你在真实客户发现问题前找到这些缺口。

ElevenAgents 提供 3 种互补的智能体测试方式：

• 下一回复测试：依据定义的成功标准评估对话回复。定义场景、设定优质回复的标准，再由 LLM 评估器判定通过或失败。
• 工具调用测试：验证智能体是否以正确参数调用正确工具，这对于转接、数据查询或付款处理等高风险操作至关重要。
• 模拟测试：与模拟用户进行完整多轮对话，验证完整互动能否达成预期结果，而不只是验证单次回复。

上线前运行这 3 类测试，再追溯每个失败的根源：提示词缺口、知识库内容缺失，或工具逻辑问题。不断迭代，直至持续通过标准。目标是在模拟环境中暴露问题，而不是在真实客户通话中。

第 6 步：部署、监控和优化

上线后，通过 ElevenAgents 分析仪表板监控客户结果和运营指标。

关键指标包括：

• 解决率。
• 自助解决率。
• 升级率。
• CSAT。
• 平均处理时长。
• 重复联系率。

大多数成功部署都会基于真实客户对话，持续优化提示词、知识源和 workflow。

使用 ElevenAgents 构建你的首个 AI 语音智能体

许多支持和运营团队希望自动化客户对话，却缺少在内部构建和维护整套语音 AI 技术栈的资源。

ElevenAgents 提供无需代码的语音智能体部署方式，同时处理实时对话背后的大量复杂性。团队可在一个平台中连接业务知识、定义 workflow、配置升级逻辑、测试性能，并部署到电话和网页语音体验。

对于希望获得更多实操支持的团队，ElevenAgents 提供驻场部署工程师，他们是直接融入团队、负责规划、构建和部署生产就绪智能体的 ElevenLabs 专家。他们不会交付平台后便退出，而会在上线期间及之后持续参与，并对团队正在跟踪的同一套 KPI 负责。

如果你准备迈出下一步，可以立即构建智能体，或联系销售团队，讨论我们如何为实施提供最佳支持。

常见问题