语音 AI 基础设施：2026 年技术栈详解

语音 AI 基础设施由模型、连接、工具和服务组成，让 AI 智能体能够听取通话、决定行动、在其他系统中执行操作，并通过语音作答。借助 ElevenLabs 等领先服务商，这一切可在瞬间完成。

生产级语音智能体运行在由多层构成的技术栈上，包括语音识别、轮次管理、大语言模型、编排、工具、知识检索、语音合成、电话通信和监控。

本指南介绍可用语音智能体背后的 AI 智能体架构。各章节说明每一层的作用、它在整体基础设施中的重要性，以及 ElevenAgents 如何实现它，并以 Eleven v4 作为语音层示例。

语音 AI 基础设施如何协同运作

语音智能体将音频转为文本，基于输入进行推理并生成答案，然后再将回答转为客户听到的音频。这一连串操作由强大的 AI 智能体架构技术栈构成。

以下是 2026 年构成语音 AI 基础设施的主要层：

1. 语音识别：自动语音识别（ASR）技术将来电者音频转为可处理的文本。
2. 轮次管理：轮次管理决定来电者何时说完，以及何时停止说话，让对话更流畅、响应更及时。
3. 语言模型：在获取必要上下文后，理解转录的请求并生成回复。
4. 编排：AI 编排层在提示词、子智能体、工具和人工之间路由对话。
5. 工具和 MCP：将智能体连接到 CRM 平台或 联络中心等外部系统以执行任务。
6. 知识和记忆：通过 检索增强生成提供事实和来电者上下文。
7. 语音合成：使用 文本转语音将生成的文本回复转为音频。
8. 传输和电话通信：在智能体与来电者之间传输音频。
9. 安全护栏、测试和监控：确保智能体专注任务且可衡量。

这些组件共同实现 AI 智能体与来电客户之间的实时对话。

语音 AI 架构图

这个流程并非直线。ElevenAgents 从语言模型收到“足够的词和一个逗号”后便开始说话，也就是说，完整回复尚未生成时音频就已开始播放。工具调用和检索会在轮次中间运行。智能体生成语音时，也能自然处理随时发生的打断。

构建语音 AI 架构的两种方式

ElevenAgents 支持 两种语音模式。在 Custom 模式下，你可以自行选择语言模型、文本转语音模型和语音识别设置。

在 Realtime 模式下，你可选择 Eleven Realtime 模型，由 ElevenLabs 为你管理这些设置。Eleven Realtime v1 Mini 是默认模型，延迟和成本最低。Eleven Realtime v1 Max 会先推理再回复，适合更复杂的指令和需要多步骤使用工具的场景。

系统提示词、所选音色、工具、附加知识库和轮次设置在两种模式下均相同。当你需要特定语言模型、自定义 LLM 或特定 TTS 模型时，Custom 模式是更好的选择，可用于提升性能或优化延迟。

语音识别：将音频转为文本

语音识别，也称 ASR 或语音转文本，是技术栈的第一层。

作用

模型会在来电者说话时持续转录其音频。持续转录让后续管道可在句子结束前开始工作，从而降低延迟。先进模型能处理浓重口音、不同语速及背景噪声等情况。

为何对语音 AI 基础设施很重要

转录可谓技术栈中最重要的一层，因为此处的任何错误都会传递到后续所有阶段。听错预约参考编号？操作的就是错误客户记录。弄错药物名称？后果可能很严重。

ElevenLabs 在其医疗保健信任框架中展示了听错一个音节的严重性：hydroxyzine 与 hydralazine。

ElevenAgents 如何实现

ElevenAgents 使用 Scribe v2 Realtime，可在约 150 ms 内转录语音。ElevenLabs 针对嘈杂背景、多样口音及姓名、电子邮件和 ID 等标识符训练了该模型。在覆盖 30 种语言的 FLEURS 多语言基准测试中，ElevenLabs 报告了所有低延迟 ASR 模型中最低的词错误率。

可在智能体配置的“高级”部分启用它。在上文提到的同一份白皮书中，ElevenLabs 报告称，截至发布时，Scribe v2 Medical在公开的 Eka Medical ASR 基准测试中以 7.0% 的词错误率领先所有模型。

准确且快速的转录为后续各层提供所需的干净输入，同时不会显著增加延迟。

轮次管理：知道何时说话和何时停止

轮次管理是一组决定智能体何时回复、何时倾听的规则。能有效理解并响应对话轮次，正是对话与传统 IVR 电话菜单的区别所在。

作用

轮次管理组件为语音 AI 基础设施提供以下功能：

• 语音活动检测（VAD）：VAD每秒数十次将传入音频分类为语音或静音。
• 轮次结束检测：根据语调、节奏和词语上下文，判断来电者是否说完。
• 插话：允许来电者打断，此时智能体会停止说话，让用户继续表达。
• 附和语：如“嗯”之类不取得发言轮次的简短回应。

为何重要

人类对话中，说话者之间的典型间隔约为 200 ms。回答过早的智能体会打断来电者，等待过久则会造成沉默，让通话显得中断或无响应。

例如，一位来电者说：“我想预约周五下午，不过……”然后停顿。静音计时器会在停顿时回复，错过限制条件。能够理解词语和节奏的模型会等待，让用户说完：“不能在下午 3 点到 5 点之间，因为那时我有事。”

一个智能体误判来电者意图，将会议安排在错误时间。另一个具备有效轮次管理能力的智能体则会确保避开指定时间段。

ElevenAgents 如何实现

ElevenAgents 运行专有轮次管理模型，分析语调、节奏和词语上下文，而不只依赖静音计时器。来电者插话时，停止智能体的信号可在 200 ms 内到达。

ElevenLabs 测得，使用 ElevenAgents 上的 Eleven v4 Turbo时，从请求到听到语音的中位时间约为 150 ms。

可通过对话流程配置这些行为：

工作流可在通话中途调整轮次积极程度。客户端还会收到 vad_score 事件，即用户正在说话的 0 至 1 概率。

经过良好调优的轮次管理决定来电者感受到的是专注还是生硬的智能体。有关概念的更多信息，请查看完整的轮次管理指南。

语言模型：推理并生成回复

大语言模型（LLM）是推理层。它读取转录文本、指令和此前对话，然后编写回复或决定调用工具。

作用

脚本式语音机器人只能识别少数命令。LLM 能理解多种不同表述的请求、跨轮次保留上下文，并决定何时检索信息或转交处理。

为何重要

模型的推理深度、速度和成本各不相同。对于实时语音对话，响应时间与答案质量同样重要，因此选择模型既是延迟决策，也是成本决策。

ElevenAgents 如何实现

ElevenAgents 通过一个界面提供 Google、OpenAI 和 Anthropic 的模型，以及由 ElevenLabs 托管的开放模型。你还可以通过指定端点并将凭据存储为密钥来连接自己的 LLM。ElevenLabs 按服务商公布的费率转付第三方 LLM 成本，不加价。

可为每个子智能体选择模型。企业对话式智能体实战手册第 2 卷建议将高性能模型留给复杂推理，并对意图分类和常见问题等任务使用成本更低、延迟更低的模型。

服务商可能会发生故障，LLM 级联可处理此类情况：若主模型返回 API 错误、超时或发送空回复，ElevenAgents 会依次尝试备用模型。主模型到备用模型的默认超时为 4 秒，可调整为 2 至 15 秒；系统会在可用模型间至少尝试 3 次。

作为主模型使用的自定义 LLM 会自行重试至少 3 次，除非你定义了自己的备用顺序。为每项任务选择合适模型，可让智能体既快速又经济。

编排：在智能体和人工之间路由工作

智能体编排协调完成任务所涉及的提示词、子智能体、工具和人员。它决定通话中每个节点接下来发生什么。

作用

随着职责不断增加，一个智能体配一个长提示词会越来越难管理。编排将工作拆分为多个阶段，每个阶段各有指令、模型和工具，并在阶段间转移来电者。

为何重要

较小的提示词更易测试，运行成本也更低，因为每次交互加载的文本更少。拆分流程后，可让低成本模型处理分流和常见问题，仅在请求需要时交给更强的模型。

ElevenAgents 如何实现

ElevenAgents 中的工作流是用于构建分支对话图的可视化工具。

节点包括：

• 子智能体：更改或覆盖基础智能体，包括提示词、LLM、音色、工具和知识库。
• 说话：说出一条消息，可以是固定文本或 LLM 生成的句子。
• 调度工具：确保调用工具的专用步骤，包含独立的成功和失败路径。
• 更新状态：在流程经过时为动态变量赋值。
• 智能体转接：将通话交给另一智能体。
• 转接至号码：通过电话系统将通话从 AI 智能体转给人工。
• 结束通话：关闭对话。

节点之间的边带有 LLM 实时评估的自然语言条件。支持流程可先由使用快速模型的路由子智能体开始，将账单问题发送给使用更强模型的账单子智能体，并在来电者要求人工时以“转接至号码”节点结束。上线后，分析中的“工作流”标签会显示每个节点的进入次数、平均停留时间、终止次数和边分布。

编排将单个智能体变成一个可逐节点设计、衡量和改进的系统。

工具和 MCP：让智能体执行操作

函数调用，也称工具调用，让智能体可向已连接到技术栈的外部软件请求操作。

它将问答界面转变为可代表你完成工作并与其他工具交互的智能体式 AI 系统。

作用

假设来电者想将明天的预约改到周五。智能体会检索预约记录、检查周五是否有空、更新排期系统并确认变更。每一步都是执行操作的工具调用。

为何重要

工具是对话产生结果的环节。每个工具都需要清晰的输入和输出，而且智能体必须在告知来电者操作完成前知道调用是否成功。

ElevenAgents 如何实现

ElevenAgents 支持在用户应用中运行的客户端工具、调用外部 API 的Webhook 工具、在 ElevenLabs 基础设施沙盒中运行自定义 JavaScript 的代码工具、MCP 工具以及内置系统工具。

系统工具包括结束通话、语言检测、智能体转接、转接至号码、跳过轮次、播放按键音和语音信箱检测。工具运行时可添加环境音频，并控制来电者能否在执行期间打断。

模型上下文协议（MCP）是一项开放标准，规定应用如何向语言模型提供上下文和工具。ElevenAgents 通过 SSE 和流式 HTTP 连接 MCP 服务器。由于每个工作区默认禁用 MCP，工作区管理员需先选择启用。随后可为每台服务器选择审批模式：始终询问、细粒度工具审批或无需审批。

client_tool_call 和 mcp_tool_call 等客户端事件会报告工具活动，MCP 事件报告包含 4 种状态：加载中、等待审批、成功和失败。可靠的工具赋予智能体现实世界的执行能力，清晰的审批规则则让这种能力保持可控。

知识和记忆：事实与来电者上下文

检索增强生成（RAG）向智能体提供来自自有内容的事实，例如内部事实数据库或更广泛的客户历史记录。记忆和个性化功能则提供来电者上下文，帮助智能体提升业务的个性化程度和实用性。

作用

语言模型有训练截止日期，且无法访问文档或记录。RAG 会针对每个查询搜索知识库，检索最相关的段落并提供给模型，为生成有用回复补充所需上下文。

个性化数据让智能体了解谁在来电，以及哪些信息与其相关。

为何重要

将回复建立在经批准的内容上可保持答案准确。检索速度同样重要，因为增加的每一毫秒都意味着客户需要多等待一毫秒。个性化功能还能避免来电者在不同通话中重复提供信息，因为智能体在每次新会话开始时就能获取 CRM 记录。

ElevenAgents 如何实现

可将文件（PDF、DOCX、TXT、MD、HTML 或 EPUB，每个最大 20 MB）、URL 或粘贴文本添加到知识库。当提取文本可放入提示词时，文档会使用完整上下文，最多约 300,000 个字符。较大文档使用 RAG。检索可在每个轮次运行或按需运行，默认使用模式为 Auto，即启用 RAG 且文档已编入索引时使用 RAG。

ElevenLabs 直接致力于提升检索速度。其工程文章《我们如何降低 RAG 延迟》记录了通过在 ElevenLabs 已运营的基础设施上自托管模型，将 RAG 中位延迟从 326 ms 降至 155 ms。

对于来电者上下文，ElevenAgents 使用写作 {{ var_name }} 的动态变量，可填充消息、系统提示词和工具。对于通过 Twilio、SIP 中继、WhatsApp和 SMS 接入的呼入通话，ElevenAgents 可在对话开始前从服务器获取初始化数据。服务器通过 caller_id 查询来电者，并返回变量，例如来自 CRM 的变量，响应最大为 256 KB。通话结束后，通话后 Webhook 会将评估结果和提取数据传送到外部系统。

检索和个性化结合后，可让智能体同时掌握正确的事实和正确的来电者信息。

语音合成：赋予智能体声音

文本转语音（TTS）将语言模型的回复转为语音音频。这是来电者实际听到的一层。

作用

模型以自然的节奏和富有情感的表达将文本转为音频。在实时通话中，它会分块流式传输音频，因此可在完整回复生成前开始播放。

为何重要

延迟和表达方式都会影响来电者对通话的评价。实时应用中有两个关键指标：生成音频所需时间，以及来电者听到第一个声音前的时间。姓名、药物名称和技术术语也需要正确发音，否则来电者会失去对智能体的信任。

Eleven v4 如何驱动语音层

Eleven v4 是 ElevenLabs 迄今情感表现最丰富的文本转语音模型，基于全新架构构建。Eleven v4 Turbo 是适用于智能体等实时场景的低延迟版本，并与 ElevenAgents 作为一个系统进行了优化。

ElevenLabs 于 2026 年 9 月通过 WebSocket 流式传输测量了这些延迟数据，已剔除网络延迟。Eleven v4 在 2026 年 9 月的Artificial Analysis Provider Voice Arena 排行榜中排名第一*，并且约 75% 的听众在盲测中更偏好它**。

* Artificial Analysis，Provider Voice Arena 排行榜，2026 年 9 月

** 基于与 Cartesia Sonic 3.6、Inworld TTS-2、Google Gemini 3.8 Flash-Lite TTS 和 Google Gemini 3.8 Flash TTS 的一对一用户偏好测试。

Eleven v4 支持内嵌音频标签，例如用于表达方式的 [laughs]，并支持 IPA 音素以控制发音。在医疗智能体中，这种发音控制可覆盖医学术语。ElevenAgents 还提供智能体级控制。多音色支持让一个智能体能在多角色对话中切换音色。语速范围为 0.7x 至 1.2x。每种额外语言均可使用自己的音色。发音词典可为特定词语采用 IPA 或 CMU 标注。

快速的首次发声和准确、富有表现力的声音，会让智能体更像一位对话伙伴。

电话通信和传输：连接智能体与来电者

传输层在来电者与智能体之间传递音频。根据使用的电话通信渠道不同，此处纳入语音 AI 基础设施的集成也会不同。

作用

电话通话通过电话网络和 SIP传输，而浏览器和应用中的对话通过 WebRTC或 WebSocket 传输。网站小组件将浏览器连接封装在现成的界面中。

为何重要

每种渠道的设置需求和音频限制各不相同，因此应尽早确定渠道。以电话为主的部署需要中继和号码管理；产品部署需要 SDK。

ElevenAgents 如何实现

• SIP 中继：将电话系统直接连接到 ElevenLabs，支持呼入和呼出。它兼容 Twilio、Vonage、Sinch、Infobip、Telnyx 及其他标准服务商。信令通过端口 5060 上的 TCP 或端口 5061 上的 TLS 1.2 及更高版本运行，音频采用 G.711 或 G.722。每通电话至少预留 100 Kbps。并发通话限制取决于订阅等级；启用呼叫排队后，来电者会等待。
• 原生 Twilio 集成：导入已购买的 Twilio 号码，用于呼入和呼出。已验证的来电显示号码仅支持呼出。
• 批量通话：上传 CSV 或 XLS 收件人列表，每个额外列都会成为一个动态变量。可以立即运行或安排开始时间。批次使用工作区并发限制的 50% 与智能体并发限制的 70% 中较低的值，从而为呼入通话留出容量。
• WebRTC 和 WebSocket：SDK 默认使用 WebRTC 进行语音对话，使用 WebSocket 进行纯文本对话。私有智能体通过签名 URL 或在服务器上创建的对话令牌进行身份验证。WebSocket 端点为 wss://api.elevenlabs.io/v1/convai/conversation。
• SDK：Python、JavaScript、React、React Native、Swift、Kotlin 和 Unity。
• 小组件：将 <elevenlabs-convai> 元素添加到页面。它支持纯语音、语音加文本和聊天模式，智能体还可显示快捷回复和轮播内容。

一个智能体可服务电话、网页、WhatsApp、SMS 和电子邮件，让团队一次构建并跨渠道部署。

安全护栏：让智能体专注任务

安全护栏是将智能体行为限制在既定边界内的控制措施。它与事实依据机制协同工作：安全护栏会限制智能体能说什么，但无法保证其背后的事实正确。安全护栏与智能体对话并行运行，帮助确保 AI 智能体对话合规且准确。

作用

ElevenAgents 应用安全护栏的三个层级。系统提示词设定允许和禁止的行为，最好置于 # Guardrails 标题下。用户输入验证会筛查提示词注入。回复验证会在发送前检查每条回复。

为何重要

跑题或虚构政策的智能体会迅速损害信任。客户支持智能体应在回答前从经批准的来源检索退款政策，而安全护栏会强制执行这一边界。

ElevenAgents 如何实现

ElevenAgents 于 2026 年 9 月推出 Guardrails 2.0。以下是帮助安全护栏有效发挥作用的配置概览：

• 聚焦：让智能体保持主题相关，并与系统提示词一致。
• 操纵：检测提示词注入，并结束存在风险的对话。
• 内容：标记色情、暴力或政治敏感等类别。
• 自定义：以自然语言编写的业务规则，会对每条回复进行评估。

执行模式决定延迟权衡。流式模式允许在检查完成前开始回复，因此拦截结束通话前可播放不足 500 ms 的音频，ElevenLabs 建议语音智能体使用该模式。阻塞模式会等待验证，并增加约 200 至 500 ms 延迟。

自定义安全护栏触发时，触发操作会结束通话，或根据你编写的反馈最多重试回复 3 次。客户端可监听guardrail_triggered事件。

采用所选延迟配置的分层安全护栏，可在不拖慢每条回复的前提下保持行为可预测。

测试和实验：验证智能体可用

测试在上线前检查智能体。实验在上线后针对实时流量检验变更。

作用

ElevenAgents 有 3 种智能体测试类型。模拟会与模拟用户进行完整对话，并检查是否达成定义的结果，最多 50 个轮次（默认 5 个）。下一条回复测试仅根据你的标准评判智能体的下一条消息。工具调用测试验证智能体是否以正确参数使用正确工具，可通过精确值、正则表达式或 LLM 评估匹配。在模拟中，可以不模拟工具、模拟所有工具或模拟选定工具。

为何重要

一次通过表明智能体能够成功。重复运行测试则能显示它成功的频率。API 接受 2 至 20 的 repeat_count，结果会显示通过率。绿色表示 100%，黄色表示 80% 或更高，红色表示低于 80%。失败会按原因分组。提示词、模型、工作流和集成都会改变行为，因此上线后也要持续测试。

实验如何运作

实验是基于智能体版本控制的 A/B 测试。你可以从配置创建分支，更改系统提示词、工作流、音色、工具、知识库或 LLM 设置等一个变量，并将部分实时流量路由至该变体。ElevenLabs 建议从 5% 至 10% 开始。

路由由对话 ID 确定，因此给定用户会留在同一分支，且百分比总和必须为 100%。根据报告所述，ElevenLabs 客户 CARS24 按 5%、10%、20%、50% 和 100% 逐步提升流量，每一步保持两天。

上线前测试和实时实验结合，可将变更转化为可量化的改进。

可观测性：衡量生产环境中的情况

可观测性是指能够了解智能体做了什么、表现如何，以及必要时在何处失败。能在测试中正常工作的智能体，面对真实来电者时可能表现不同，因此全面可观测性和可审计记录必不可少。

作用

对话分析会为每通电话评分。成功评估应用你定义的目标达成和质量标准，数据收集则提取联系人详情和问题类型等结构化字段。分析仪表板还提供通话量、时长、成本、错误率和延迟。进行中的通话会实时更新，错误率激增时将触发警报。

为何重要

没有监控，一通糟糕的电话只是个例。有了监控，就能看到是哪个节点、工具或模型导致问题。

选择对具体任务最有用的指标。支持智能体侧重解决和升级转交，而外呼智能体主要关注接通和完成。

规模、可靠性和人工转交

无论服务 5 位客户还是 500,000 位客户，语音 AI 基础设施都需要可靠交付。即使在大规模运行时，这些组件也必须具备韧性，并能在需要时升级转交给人工。

作用

规模意味着在语音识别、LLM 推理、语音合成、集成和电话通信环节支持大量同时进行的对话。可靠性意味着这些依赖项都要有明确的故障处理路径。转交意味着要有清晰的人工处理路径。

虽然它们并非严格意义上的语音 AI 基础设施组件，但在实践中都是构成优秀系统的关键部分。

为何重要

能处理 10 通测试电话的系统，在处理 10,000 通电话时表现可能不同。预约工具超时时，绝不能让智能体确认一笔从未成功的预约。要求人工服务的来电者必须能在上下文完整保留的情况下联系到人工，通常通过暖转接实现。

ElevenAgents 如何实现

并发限制取决于订阅等级，达到上限时呼叫排队会让来电者等待。LLM 级联可应对模型故障。“转接至号码”节点、“转接至号码”系统工具和智能体转接都可实现转交，评估标准可以决定何时升级。静音时段按正常每分钟费率的 5% 计费。

ElevenLabs 报告了大规模生产环境成果。ElevenAgents 每周支持超过 1,000 万次对话。根据《构建企业级语音智能体》报告，Meesho 每天处理超过 60,000 通电话，将约 90% 的支持查询实现自动化。在捷克共和国，根据《政府对话式智能体现状》报告，ElevenLabs 驱动的智能体每天在国家福利热线处理约 5,000 通电话，并自主解决 85% 的咨询。

从一开始就规划负载、故障和转交，正是演示与真正部署之间的差别。

2026 年生产就绪语音 AI 基础设施的评估要点

使用此清单，根据需求评估任何语音 AI 平台。

• 语音识别：针对所需语言、口音和音频质量提供准确转录，包括姓名和标识符。
• 轮次管理：可配置的轮次结束行为、插话和可测量的打断响应时间。
• 模型选择：可为每个智能体或子智能体选择 LLM、支持自定义 LLM，以及自动回退。
• 编排：多步骤工作流和专业智能体之间的路由。
• 工具：Webhook、客户端工具、MCP 支持和审批控制。
• 知识：自有文档，以及可测量的检索延迟。
• 个性化：在说出第一个词前即可获取来电者数据。
• 语音：较短的首次发声时间，以及对发音和表达方式的控制。
• 渠道：电话、网页、移动端和消息渠道，配备 SDK 和 API。
• 安全护栏：可配置的行为限制及明确的延迟成本。
• 测试：模拟对话、工具调用检查和重复运行。
• 实验和分析：A/B 测试、延迟百分位数和错误细分。
• 规模和转交：有文档说明的并发、排队和人工升级转交。

ElevenAgents 等领先的AI 语音智能体系统可在一个平台中提供所有这些组件。

立即联系团队开始使用，或注册账户，自行构建 AI 智能体系统。

语音 AI 基础设施常见问题