交互模型：打造自然的人机对话

如果你曾尝试在 AI 语音助手说话时打断它，就会明白系统不适合人类对话时的感觉：节奏不对、语音和内容脱节，即使信息没错，交流也很别扭——不像和懂行的人交流，更像是在操作一款会说话的软件。

这种不自然的原因在于结构：许多语音 AI 系统只处理轮流发言，而不是完整对话。它们一次只听、处理并回应一轮。这适合简单演示，但一旦对话变得情绪化或不可预测，就会出问题。

交互模型是一类 AI 系统，能实时跨音频和文本交流，不仅理解说了什么，还能把握说话时机和情绪需求。本文将介绍交互模型的不同之处、对部署语音 AI 的企业有何意义，以及 ElevenLabs 如何实现这一目标。

摘要

• 大多数语音 AI 在真实对话中表现不佳，因为无法处理打断、停顿或跨轮次的上下文。
• ElevenLabs 的交互技术栈专为处理打断、停顿和重叠语音而设计，既不丢失上下文，也不会中断对话流畅性。
• ElevenLabs 正在打造真正的交互模型，采用先进的级联架构、自研

为什么大多数人机语音交流不自然

大多数语音 AI 把对话当作一系列独立的输入输出：系统等待一段语音，转成文本，处理后再回复。这适合命令式交互，但真实对话不是一串整齐的文本交换，而是充满停顿和插话的连续交流。

去除轮次之间的流畅性和上下文，会导致三种具体问题：

• 会打断你，或让你等待： 系统无法区分思考的停顿和发言结束，要么你还没说完就插话，要么你说完后陷入沉默。中途思考时会被打断，说完后又要等一段冷场。
• 无法在说话时做出反应： 系统一旦开始回应就停止聆听。如果你打断想转向别的话题，它还是会继续回答你已经不关心的问题，因为它感知不到变化。
• 会遗忘上下文：每轮都是独立处理，五轮前的上下文无法延续。你只能重复自己，或者系统像刚开始对话一样回应。

结果就是对话功能上没错，但体验很别扭。

交互模型能做而传统语音 AI 做不到的事

传统语音 AI 只处理一轮，交互模型则贯穿整个对话，关注正在发生的内容和下一步需求。关键区别在于，交互模型响应的是对话的实际状态，而不仅仅是最近的输入。

交互模型具备：

• 实时响应： 系统以对话速度响应，端到端流程最快可在 1 秒内完成，具体取决于配置。
• 自然处理打断、停顿和重叠： 能区分思考停顿和发言结束，不会随意打断或冷场。客户插话时也能处理重叠，不丢失上下文，对话不中断。
• 全程上下文连贯： 系统不会每轮重置上下文，而是把对话历史持续带入后续内容，第 10 轮的回应能反映从第 1 轮以来的所有信息。
• 自适应表达： 语音可根据任务需求调整风格（更平静、更直接、更安抚）。
• 并行任务处理： 系统能边检索信息、边调用工具、边说话，不会在查找内容时陷入沉默。

检验交互模型的标准，是遇到棘手的通话。下面的录音中，客户因航班取消致电，情绪紧张，需要尽快解决问题。

智能体能立刻从客户用词中识别出紧迫感和沮丧，调整语气，处理打断时也不丢失进度，并通过集成工具为航班取消提供实际解决方案。最终，客户无需人工客服就能解决问题。

对比现在常见的轮流式智能体，这些系统会等每次停顿、用中性语气回答，完全忽略客户的情绪。几轮下来，问题得不到解决，最终还是要转人工，客户反而更沮丧。

ElevenLabs 如何打造交互模型

我们的对话流程采用先进的级联架构，不是单一模型包揽所有环节，而是每一步都有专门组件负责。

这种方式的好处是每个环节都能独立优化，随时替换更好的模型，无需重构整个系统。所有组件均为自研，能协同传递丰富上下文，而不仅仅是数据，让整个流程像一场连贯的对话，而不是一串独立工具。

级联模型结构

融合模型结构

图片：级联模型 vs 融合模型

目前流程包含以下技术：

• Scribe v2 实时转写： 我们的自研 STT 模型，可在约 150 毫秒内转写 90 多种语言，支持背景噪音、口音、打断及笑声、停顿等非语言事件。也能处理医疗、金融等领域专有词汇。
• 预测轮次切换：系统根据对话流判断何时说话、暂停或等待，不依赖固定静音阈值。语音活动检测模型的优化让其更好过滤背景语音和简短回应，使轮次切换更自然。
• Eleven v3 Conversational：我们最具表现力的 TTS 模型，专为实时对话打造。能把对话情绪贯穿多轮，智能体在第 10 轮的表达能反映之前的全部内容，而不仅是最近一次回应。
• 表现力模式：基于 Eleven v3 Conversational 和轮次切换系统，表现力模式可实时调整智能体语气——客户沮丧时缓和语气，困惑时安抚，需澄清时直接表达。还能识别 [笑]、[低语]、[叹气] 等标签，塑造特定表达效果。
• Flash v2.5：我们的低延迟 TTS 模型，支持 32 种语言，语音生成低于 75 毫秒。对延迟要求高的场景，能保证响应节奏贴近自然对话。
• 语音引擎：连接整个技术栈的中枢，将服务器与 ElevenAPI 通过 WebSocket 连接，每场对话独立一条链路。我们负责 STT 和 TTS，服务器可自带 LLM，业务逻辑完全掌控在自己基础设施上。

这些模型持续迭代，定期发布新版本。每次升级都让与软件对话更接近与人交流——响应更快、情绪识别更准、支持更多语言、表达更流畅。

边说边思考

交互模型的各环节无需严格顺序运行。ElevenAgents 可在对话进行时后台处理任务，不必在提问和回答之间陷入沉默。

以下核心系统协作，实现边说边思考：

• 并行工具调用：智能体可查询数据库、调用工具或查询订单状态时继续说话，检索过程不会让对话冷场。
• 软超时：如果 LLM 生成回复超时，智能体会说“让我想想”或“嗯……”等填充语，而不是让对话陷入尴尬沉默。软超时有助于保持自然对话流畅，减少被打断的概率。
• 打断忽略词： 系统不依赖固定静音阈值，而是理解语义，判断发言是否真正结束。像“好的”“嗯嗯”这类简短确认词也可设置为直接通过，不会触发完整打断，这样每次插话都不会让智能体丢失进度。

这些系统协同作用，让智能体不会像在“加载”或“缓冲”回应，而是像人一样自然填补对话空白，同时后台处理信息、整理思路。

ElevenLabs 对话实际如何运作

上述组件并非依次运行，而是重叠进行。以下是 ElevenLabs 智能体在支持通话中，遇到用户问“我的订单发货了吗，还是还在处理中？”时的处理流程：

1. 用户发言： 音频通过 WebSocket 实时传输到 ElevenLabs，Scribe 实时转写，延迟约 150 毫秒。
2. 系统感知对话流： Scribe 转写时，预测轮次切换已在判断用户是结束还是思考。“还是还在处理中？”被识别为话题递进而非停顿，系统直接进入下一步，无需等待。
3. LLM 组装上下文并生成回复： 转写后的问题与对话历史、业务系统检索到的订单记录、通话早期的工具输出和系统提示词一同送入 LLM，生成基于实际订单的回复，而非通用状态信息。
4. Eleven v3 合成语音回复： 文本转为自然语音。如果启用表现力模式，回复会带有符合场景的表达提示，例行更新听起来轻松自然，不会呆板。对延迟要求高时，Flash 可在 75 毫秒内完成合成。
5. 回复流式返回： 音频在合成未完成时就开始播放，用户能先听到部分答案，剩余内容边生成边播放。
6. 流程循环：每轮都带着对话的语气、上下文和历史继续推进。

整个流程快速流畅，对话体验自然。用户无需刻意配合机器，不用放慢语速、咬字清晰或等提示音，只需像和人交流一样自然说话。

在企业各场景部署自然语音智能体

上述功能现已上线，而非未来规划。从级联架构到亚秒级流程，全球各地的企业 已在用 ElevenAgents 大规模处理真实客户对话。

这也包括合规和高风险场景，因为我们的智能体架构支持防护措施、审计日志和合规控制。ElevenLabs 已通过 SOC 2 Type II、ISO 27001、HIPAA 和 PCI DSS Level 1 认证，支持零留存模式和区域数据驻留，满足数据本地化需求。

想让智能体为你工作？可以 创建智能体，在控制台直接搭建，或 联系销售团队，获取适合你业务环境的部署方案。

交互模型常见问题