交互模型：打造自然的人机对话

任何尝试在 AI 语音智能体说话过程中打断它的人，都知道一个并非为人类对话而设计的系统是什么感觉。节奏不对，声音与内容脱节，即使信息正确，交互仍让人觉得不自然：不像在与知识丰富的人交谈，更像在操作恰好会使用语言的软件。

这种不自然感的根源在于架构：许多语音 AI 系统是为处理轮次而非对话设计的。它们一次监听、处理并回应一轮交流。这对简单演示有效，但当对话变得带有情绪且难以预测时，就会失效。

交互模型是一类可通过音频和文本实时沟通的 AI 系统。它不仅能理解说了什么，还能感知何时说出，以及当下需要何种情感回应。本文将说明交互模型有何不同、为何对部署语音 AI 的企业至关重要，以及 ElevenLabs 如何朝这一方向构建。

摘要

• 大多数语音 AI 在真实对话中表现不佳，因为它无法处理打断、沉默或跨轮次延续的上下文。
• ElevenLabs 的交互技术栈专为处理打断、停顿和重叠语音而设计，不会丢失上下文或打乱对话节奏。
• ElevenLabs 正通过先进的级联架构、自研 语音转文本（STT）和 文本转语音（TTS），以及针对低延迟和自然双向对话优化的技术栈，构建真正的交互模型。

为何大多数人机语音沟通并不自然

大多数语音 AI 将对话视为一系列离散的输入和输出：系统等待一段语音，将其转换为文本，处理文本，然后回复。这适用于命令与响应式交互，但真实对话并不是一连串清晰的文本交换，而是充满停顿和插话的持续往来。

去除轮次之间的流动感和跨轮次延续的上下文，会导致 3 个具体问题：

• 它会打断你，或让你等待：系统无法区分思考时的停顿和已结束的一轮发言，因此会在你仍在说话时插话，或在你说完后陷入沉默。说到一半整理思路，就会被打断；讲完重点，又要等待一阵空白。
• 它一开口就无法回应：系统一开始回复，就不再继续聆听。如果你打断它来改变方向，它仍会继续回答你已经不再关注的问题，因为它无法察觉情况已有变化。
• 它会逐渐遗忘：每一轮都被独立处理，因此 5 轮前的上下文无法延续。结果你不得不重复说明，或者系统的回应仿佛对话刚刚开始。

最终，对话在功能上或许正确，体验却依然不对劲。

交互模型能做到哪些传统语音 AI 做不到的事

传统语音 AI 一次处理一轮对话，而交互模型会同时运行完整对话，兼顾正在说的内容以及接下来需要发生的事。功能上的差异在于，交互模型会根据实际交流状态做出回应，而非只针对最新输入。

交互模型具备：

• 实时响应：系统按对话节奏设计，端到端循环时间可根据配置缩短至 1 秒以内。
• 自然处理打断、沉默和重叠：它能区分思考时的停顿和已结束的一轮发言，因此不会打断对方或留下空白。当客户插话改变方向时，它也能处理重叠语音，不会丢失上下文或让对话中断。
• 全程保持连贯：系统不会在每一轮重置上下文，而是持续保留对话历史，因此第 10 轮的回复会反映从第一轮至今发生的一切。
• 自适应表达：可根据正在执行的任务类型，对声音进行编程调整，例如更平静、更直接或更安抚。
• 并行执行任务：系统可以同时检索信息、调用工具并持续说话，无需在查找信息时保持沉默。

检验交互模型的时刻，是一通进展不顺的电话。下方录音中，一位客户因航班取消而来电。他们情绪紧张，需要尽快解决问题。

智能体会立刻从客户的用词中识别出紧迫感和挫败感。它会调整语气，处理打断而不失去进度，并利用已连接的工具为取消的航班提供实际解决方案。最终，客户无需人工客服也能得到解决。

与如今常见的轮次式智能体相比，这类系统会等待每次停顿，以中性基调回答，完全错过客户的挫败感。几轮交流后，若仍未回应来电者的真实感受，电话很可能需要转交人工处理，让客户比一开始更加沮丧。

ElevenLabs 如何构建交互模型

我们的对话管道采用 先进的级联架构，而非融合架构。因此，不是由一个模型处理所有环节，而是让每个阶段由各自专门的组件负责。

这种方法的优势在于，我们可以独立优化管道的每个阶段，无需重建整个系统就能为任何组件替换更好的模型。由于这些组件均为自研，它们会协同优化以相互传递丰富的上下文，而不仅是数据。这意味着管道仍像一场连贯对话，而不是一串彼此独立的工具。

级联模型结构

融合模型结构

图片：级联模型与融合模型

当前构成该管道的技术包括：

• Scribe v2 Realtime：我们的 自研 STT 模型可在约 150 ms 内转写 90 多种语言的语音，并能应对背景噪声、口音、打断，以及笑声、停顿等非语言事件。它也专为处理领域专有词汇而构建，涵盖医学术语和金融行话。
• 预测式轮次管理：该系统通过理解对话流动来决定何时说话、停顿或等待，而非依赖固定的静音阈值。我们对 语音活动检测模型的改进，可帮助系统更好地过滤背景语音和简短回应，让轮次衔接更自然。
• Eleven v3 Conversational：我们最具 表现力的 TTS 模型之一，专为实时双向对话打造。它会将对话的情绪温度延续到后续轮次，因此智能体在第 10 轮的表达会反映此前发生的一切，而不只是最近一次回复。
• Expressive Mode：基于 Eleven v3 Conversational 和轮次管理系统构建，Expressive Mode可控制智能体当下的说话方式。客户感到沮丧时，它会缓和情绪；客户感到困惑时，它会给予安抚；需要清晰表达时，它则会更直接。它还可读取表达标签，因此模型能依据 [laughs]、[whispers] 或 [sighs] 等提示，塑造特定时刻的表达。
• Flash v2.5：我们的低延迟 TTS 模型支持 32 种语言，可在 75 ms 内生成语音。当延迟是首要考量时，它能将响应时间保持在人类自然对话节奏的范围内。
• Speech Engine：连接整个技术栈的中间层，通过 WebSocket 将服务器连接到我们的 ElevenAPI，每段对话使用一个连接。我们负责 STT 和 TTS，服务器则运行 LLM，因此技术团队可使用自有模型，并将对话逻辑保留在自己的基础设施上。

这些模型持续改进，新版本也在定期发布。每次发布都会缩小与软件交谈和与人交谈之间的差距，带来更快响应、更精准的情绪识别、更多语言和更流畅的表达。

边思考边说话

交互模型的每个部分并不都需要严格按顺序运行。ElevenAgents 可以在对话继续时在后台持续工作，而不是在问题与回答之间默认保持沉默。

多个核心系统协同工作，实现同时说话和思考：

• 并行工具调用：智能体可以查询数据库、运行工具，或在仍在说话时检查订单状态，因此检索不会让对话出现空白停顿。
• 软超时：如果 LLM 生成回复的时间超出预期，智能体会说出“让我想想”或“嗯……”等简短填充语，而不是留下尴尬的沉默。软超时有助于保持自然的对话流畅度，并减少被打断的可能性。
• 打断忽略词：系统不使用固定静音阈值，而是力求理解所说内容的含义，判断一轮发言何时真正结束。同样，“好的”或“嗯哼”等简短肯定语可配置为通过，而不会触发完整打断，这意味着来电者每次插话时，智能体都不会丢失进度。

这些系统共同确保智能体不会显得像在缓冲或加载回复。它们构成精简的对话引擎，像人一样自然填补间隙，同时在后台处理信息和组织思路。

使用 ElevenLabs 时，对话实际如何运作

上述组件并非整齐地一个接一个运行，而是相互重叠。以下是 ElevenLabs 智能体在客服通话中，如何处理来电者中途询问“我的订单已经发货了，还是仍在处理中？”的过程。

1. 来电者说话：音频通过 WebSocket 连接流式传输至 ElevenLabs，Scribe 随即开始实时转写，延迟约为语音后 150 ms。
2. 系统理解对话流：在 Scribe 仍在转写时，预测式轮次管理已在评估来电者是已经说完还是仍在思考中。句尾的“还是仍在处理中？”被识别为交接信号而非停顿，因此会触发下一步，而不是等待沉默。
3. LLM 整合上下文并回应：转写后的问题会连同对话历史、通过企业自有系统中的 RAG 检索到的订单记录、通话前段的工具输出和系统提示词，一并发送给 LLM。它会综合分析所有内容，生成基于来电者实际订单的回复，而非通用的状态消息。
4. TTS 模型合成回复：文本会转为自然的音频。如果启用了 Expressive Mode，回复会带有符合当下情境的表达提示，因此常规更新听起来轻松从容，而不是平淡。当延迟优先时，Flash 可在 75 ms 内完成合成。
5. 回复流式返回：音频会在合成完成前开始播放，因此其余内容仍在生成时，来电者就能先听到回答的开头。
6. 循环重复：每一轮新对话都会延续此前的语气、上下文和历史。

在这一快速过程中，对话感觉很自然。来电者不再需要迁就机器：无需放慢语速、过度咬字，或等待提示音。他们只需像与人交谈那样说话。

在企业各个环节部署自然的语音智能体

这里介绍的一切如今都已投入生产，而非停留在路线图上。从级联架构到亚秒级管道，全球企业已在使用 ElevenAgents 大规模处理真实客户对话。

这也适用于受监管的高风险环境，因为我们的智能体架构支持护栏、审计日志和合规控制。ElevenLabs 已获得 SOC 2 Type II、ISO 27001、HIPAA 和 PCI DSS Level 1 认证，并为需要将数据保留在特定边界内的团队提供 Zero Retention Mode 和区域数据驻留。

准备让智能体开始工作了吗？你可以创建智能体并在控制台中开始构建，或联系销售团队，讨论适配环境的部署方案。

交互模型常见问题