什么是 AI 语音智能体？它如何工作？

企业处理的客户互动比以往更多。需要支持更多语言，电话也常在下班后才打来，许多团队仅靠自身已难以跟上节奏。

AI 语音智能体可通过回答常规问题、完成常见任务，并在需要时将复杂情况升级给人工客服，帮助应对这些挑战。

本文将介绍 AI 语音智能体是什么、如何运作、最适合哪些场景，以及如何使用 ElevenAgents部署智能体。

摘要

• AI 语音智能体让客户能通过电话或直接在浏览器中自然交流，无需操作按键菜单。
• AI 语音智能体已在大规模处理真实客户互动。例如，Revolut将工单解决时间缩短了 8 倍，而Zingage在保持 HIPAA 合规的同时，使用它们处理了超过 90% 的来电。
• 常见应用包括客户支持、预约安排、销售线索筛选、付款提醒和内部服务台 workflow。
• ElevenAgents 等平台让企业无需从头搭建底层基础设施，即可部署语音智能体；首段音频生成时间通常不到 1 秒。

什么是 AI 语音智能体？

AI 语音智能体是利用人工智能理解自然语音并作出相应回应的系统，能够实现比操作菜单更接近与真人交谈的对话体验。

在用户通过电话或网页与企业互动的任何场景中，语音智能体都尤其有用。例如，它们可以用于：

• 客户支持：回答账单问题、提供订单更新，并帮助客户查询账户信息。
• 预约 workflow：预约、修改或取消预约。
• 销售：筛选销售线索，并将其转给合适的销售代表。
• 运营：大规模处理外呼活动、付款提醒和验证电话。

关键在于，智能体不只是“说话”。它还会倾听、推理并采取行动。这正是语音 AI 区别于旧式自动化工具和大多数聊天机器人的地方。

AI 语音智能体与 IVR 和聊天机器人有何不同？

交互式语音应答（IVR）系统会让来电者进入预设菜单，但这很少是人们自然沟通的方式。AI 聊天机器人擅长处理文本，但仅适用于客户能输入和阅读的场景。

AI 语音智能体将自然对话、语音和行动能力结合在一起，因此在语音是最自然交互方式的场景中更合适。

AI 语音智能体有哪些优势？

语音智能体能改善客户对话，同时帮助企业高效处理更多互动。更好的对话往往能带来更佳的客户体验、更快的问题解决速度和更强的运营表现。

自然韵律和语气

高质量语音合成能在整个通话中保持自然的节奏、重音和对话流畅度。互动听起来更自然，而非机械时，客户更愿意持续参与，从而提升信任并减少挫败感。

插话与自然轮次交替

真实对话包含打断、停顿和话题切换。支持插话和轮次交替的语音智能体能够适应这些变化，不会打断对话节奏，帮助来电者更快获得答案。

原生口音的多语言支持

当客户能使用其首选语言互动，并听到发音和节奏自然的回复时，沟通会更清晰、更易理解。企业无需为每种语言建立单独的 workflow，也能服务多元受众。

全天候大规模服务

语音智能体可在非工作时间接听电话、应对需求高峰，并支持外呼活动。客户可在需要时获得帮助，企业则能避免错失机会和人手不足的成本。

人工转接时保留完整上下文

对话需要升级时，下一位客服代表会收到对话记录、识别出的意图及智能体已收集的信息。这能减少重复，让人工客服无需让客户从头开始即可继续对话。

更高的首次联系解决率

语音智能体可立即回答常见问题并完成例行任务，让客户在首次互动时就获得所需帮助。更少的重复联系能同时提升客户满意度和运营效率。

何时该使用 AI 语音智能体，何时该使用人工客服？

一条实用原则是：将 AI 用于高频、可重复且结构化的任务；将需要判断、同理心、协商或处理例外情况的场景留给人工。

最有效的策略是让人工与 AI 语音智能体协同工作。例如，呼叫中心可使用客户服务 AI 语音智能体处理订单跟踪、密码重置和预约提醒，同时将账单争议或情绪敏感的来电直接转给人工客服。

AI 能缩短等待时间，并为常规来电提供一致的答复；人工则在最需要的地方发挥判断力和同理心。

AI 语音智能体如何运作？

当有人与 AI 语音智能体交谈时，多个系统会在毫秒内协同理解请求、生成回复并自然延续对话。在 ElevenAgents 中，Flash 模型实现了约 75ms 的模型推理延迟，完整流程的首段音频生成时间通常不到 1 秒。

如需详细了解 ElevenAgents 如何管理这条流程，请参阅解析 ElevenAgents 编排引擎。

1. 来电者说话，音频被转录

互动从来电者说话开始。智能体利用语音转文本（STT）模型实时将来电者音频转为文本，以便系统立即开始处理请求。

在 ElevenAgents 中，这一步由 Scribe完成，它是 ElevenLabs 的语音识别模型。Scribe v2 Realtime 的延迟约为 150ms，因此从来电者的角度看，转录几乎是即时完成的。

2. 智能体理解请求并采取行动

语音转录完成后，大语言模型（LLM）会结合回复所需的全部上下文处理请求。智能体会将这些上下文汇总为单个请求，其中包括：

• 对话历史，让智能体了解已讨论的内容。
• 通过以下方式检索到的相关业务知识：检索增强生成（RAG），使回答基于产品信息、政策、流程、定价和支持内容。
• 对话早期可用的工具输出或动态变量。
• 用于定义智能体角色、语气和规则的系统提示词。

具备这些上下文后，智能体会决定如何回复。若能根据检索到的知识直接回答，便会直接回答。若请求需要执行操作，智能体会通过集成工具触发操作，再利用结果形成回复。常见操作包括：

• 查询客户信息。
• 安排预约。
• 更新记录。
• 发送确认信息。
• 转接对话。

ElevenAgents 支持 ElevenLabs 托管的 LLM，以及 Anthropic、OpenAI 和 Google 的其他领先模型。

3. 回复被转换回语音

生成回复后，Eleven v4，即 ElevenLabs 的文本转语音模型，会将文本转换为自然语音，并实时流式传回给来电者。这使智能体能以自然的节奏、重音和对话流畅度回应，而不像传统自动电话系统。

4. 轮次交替让对话保持自然

专门的轮次交替模型负责管理打断、停顿、静音检测和对话时机。这让来电者可以自然插话、思考时暂停，或在对话中途改变方向，不会产生旧式语音系统常见的僵硬体验。

5. 语音信箱检测智能处理外呼电话

对于外呼 workflow，系统会判断接通的是本人还是语音信箱。智能体不会将完整互动流程播放到语音信箱中，而是留下合适的留言、准确记录结果，然后自动继续下一通电话。

AI 语音智能体最常用于哪些场景？

AI 语音智能体在通话高频、重复或时间敏感的行业中最有效。它们最适合清晰的 workflow 和无需升级处理的常见问题。智能体也很适合高度监管的环境，其中内置的合规认证和审计日志有助于在部署前满足行业标准。

如何部署 AI 语音智能体？

成功部署 AI 语音智能体不只是选择合适的模型。还需要明确应用场景、设定清晰的成功标准、配置智能体行为，并在与客户交流前于真实条件下进行测试。

如需完整指南，请参阅如何在 1 小时内为企业创建 AI 智能体。

第 1 步：明确应用场景和成功标准

先从 1 到 2 个具体 workflow 开始，而不是试图一次自动化所有客户互动。

例如：

• 预约安排。
• 订单状态查询。
• 账单咨询。
• 销售线索筛选。
• 内部 IT 支持。

针对每个 workflow，在实施前定义成功指标。视应用场景而定，指标可包括解决率、自助解决率、平均处理时长、预约完成率、CSAT 或转人工率。清晰的指标有助于判断部署是否真正改善了效果。

ElevenAgents 还提供预构建模板，帮助你更快开始。

第 2 步：选择客户与智能体互动的渠道

确定 workflow 后，判断客户最可能通过何处使用它。

• 通过 SIP 的电话：最适合客户支持、预约安排、账单咨询、服务请求及其他高通话量语音 workflow。这通常是企业最先自动化的渠道，因为它符合现有客户习惯。ElevenAgents 可通过 Twilio 和其他 SIP 服务商连接。请注意，外呼电话有合规要求，例如美国的 TCPA 或欧洲通话录音相关的 GDPR。
• 网页小组件：适用于客户联系支持团队前经常访问网站的情况。ElevenAgents 网页小组件可直接在浏览器中支持语音和聊天互动，访客无需拨打电话，可按偏好交流。
• WhatsApp：适合以消息为主的 workflow、多语言受众，以及 WhatsApp 是主要客户渠道的市场。它也是很好的补充渠道，因为部分客户更愿意通过文本而非语音与企业互动。

语音智能体上线后，扩展至更多渠道只需少量调整。ElevenAgents 可让团队将同一智能体部署到电话、网页、WhatsApp 等渠道，无需从头重建。

第 3 步：配置智能体的知识、语音和行为

选定渠道后，配置决定智能体行为的组件：LLM、知识来源、语音和系统提示词。

• LLM：智能体背后的推理引擎。主要权衡在于延迟与能力。较小、更快的模型适合流畅自然的对话；推理能力更强的大模型则更适合复杂工具调用、详细系统提示词和多步骤 workflow。请查看完整模型列表及权衡说明，为应用场景找到最合适的模型。
• 知识库：智能体据以准确回答问题的文档、常见问题和标准操作流程（SOP）。主要权衡在于广度和精确度。更广的知识库可为智能体提供更多信息，但过多不聚焦的内容会降低检索质量。先从与既定应用场景最相关的内容开始，再逐步扩展。
• 语音：智能体在来电者听来是什么声音。ElevenAgents 提供 10,000+ 种音色，涵盖口音、语言和风格，也可克隆自己的声音。选择与品牌和受众匹配的声音，并可考虑为不同地区选择不同声音，让客户听到熟悉的表达。
• 系统提示词：智能体的操作说明，用于定义其角色、语气、应执行和绝不能执行的任务、升级要求及合规限制。强提示词能产生可预测的行为；模糊提示词则会造成不一致的对话。请参阅 ElevenAgents 提示词指南，了解完整说明。

这 4 个组件协同工作：LLM 负责推理，知识库提供准确答案，语音负责传达，系统提示词确保一切按计划进行。上线前配置好每一项，是可靠智能体与表现不一致的智能体之间的关键差别。

第 4 步：定义转接规则

智能体应准确知道何时需要人工协助。常见转接触发条件包括：

• 来电者要求人工客服。
• 智能体对其回复的置信度较低。
• 多次尝试回答同一问题均失败。
• 涉及敏感账单或合规问题的情况。
• 客户互动中情绪强烈。

在 ElevenAgents 中，转接逻辑在Workflows中定义，这是我们的可视化编辑器。借助此功能，非技术团队可设计 AI 智能体如何处理对话，包括定义每个阶段、设置将对话从一个智能体转至下一个智能体的条件，以及在满足触发条件时转接人工。

它还支持多智能体路由。与其让一个智能体处理整通电话，不如创建专注于特定任务的专业智能体。例如，分诊智能体接听电话并识别来电者需求，随后将其转给专门处理付款咨询的账单智能体。每个智能体都有独立的提示词和知识库，因此能在自身领域保持专注和准确，而非试图一次覆盖所有内容。

第 5 步：评估和模拟对话

在让客户接触系统前，依据预定义评估标准进行测试。生产环境中的大多数失败并非源于错误的 LLM 或糟糕的语音，而是系统提示词或知识库中的缺口，这些缺口只会在边缘场景中暴露。上线前测试能让你比真实客户更早发现这些问题。

ElevenAgents 提供 3 种互补方式来测试智能体：

• 下一回复测试：根据定义的成功标准评估对话回复。定义场景、设定优质回复的标准，再由 LLM 评估器判定通过或失败。
• 工具调用测试：验证智能体是否以正确参数调用正确工具，这对转接、数据查询或支付处理等高风险操作至关重要。
• 模拟测试：与模拟用户运行完整的多轮对话，验证整个互动是否达成预期结果，而不只是验证单次回复。

上线前运行全部 3 类测试，再追溯任何失败的根源：提示词缺口、知识库内容缺失或工具逻辑问题。持续迭代，直至稳定通过标准。目标是在模拟环境中发现问题，而非在真实客户来电中。

第 6 步：部署、监控和改进

上线后，在 ElevenAgents 分析仪表板中同时监控客户结果和运营指标。

关键指标包括：

• 解决率。
• 自助解决率。
• 升级率。
• CSAT。
• 平均处理时长。
• 重复联系率。

大多数成功部署都会根据真实客户对话，持续优化提示词、知识来源和 workflow。

使用 ElevenAgents 构建第一个 AI 语音智能体

许多支持和运营团队希望自动化客户对话，但缺乏在内部构建和维护完整语音 AI 技术栈的资源。

ElevenAgents提供了无需代码即可部署语音智能体的途径，同时处理实时对话背后的大量复杂性。团队可在统一平台中连接业务知识、定义 workflow、配置升级逻辑、测试性能，并部署到电话和网页语音体验。

对于希望获得更多实操支持的团队，ElevenAgents 提供驻场部署工程师，即直接加入团队、协助确定范围、构建和部署可投入生产的智能体的 ElevenLabs 专家。他们不会只是交付平台后便退出，而会参与上线及后续工作，并对团队跟踪的同一组 KPI 负责。

如果已准备好迈出下一步，可以立即构建智能体，或联系销售团队，讨论我们如何为部署提供最合适的支持。

常见问题