Eleven Realtime 发布:更简单地构建自然语音智能体
- 作者
- Min Kim
- 发布时间
- 最近更新
收听收听本文
如今,要构建自然的语音智能体,需要做出许多决策。你需要选择语音识别、语音活动检测、轮次交接、底层 LLM 和文本转语音等各个组件。搭建这套技术栈本身就是一个项目,而让所有组件协同运行良好,则需要更多测试和调优。
Eleven Realtime 是一类全新的语音转语音模型,可消除这些障碍。每个模型都是针对不同用例优化的完整语音智能体。两者均支持超过 90 种语言,并可使用 ElevenLabs 声音库中超过 17,000 种音色:
今天,我们推出:
- Eleven Realtime v1 Mini:以低成本实现自然对话。这是 AI 助手、教师和互动角色的最佳选择,足以满足大多数用例。
- Eleven Realtime v1 Max:面向复杂任务。它非常适合客服、销售线索筛选和多步骤 workflow,智能体可按流程执行并逐步推理。
为什么构建实时模型
要构建自然的语音智能体,你不该先成为配置专家。让智能体的交互和声音恰到好处,取决于许多需要细致判断的小细节,例如停顿后应等待多久再回答、用户打断智能体时如何恢复,以及音色、提示词和模型如何协同工作。在 ElevenAgents 中,这些都可以调整。

对于已在使用实时 API 的开发者也是如此。我们的 API 兼容 OpenAI 的 Realtime API,因此试用 Eleven Realtime 只需在现有代码中更改端点和模型名称。
基于级联架构构建
Eleven Realtime 基于级联架构,将上述组件进行端到端调优。我们将其称为语音转语音模型,因为它能实现音频输入、音频输出,只需一个模型 ID,并且可与融合模型和双工模型在同一排行榜上评测。
融合模型最初为语音智能体的自然程度设定了标准;而级联方案意味着每次交接都会增加延迟,各组件也从未相互调优。Realtime 消除了这一取舍,过去需要你自己完成的调优,现在已经完成。
级联架构在生产环境中也有实际优势,因为每一步都会产生文本。你可以看到智能体听到了什么、决定说什么,因此能区分是听错了词,还是做出了错误决策。同样,这些文本也让 ElevenAgents 能够为 Realtime 智能体应用安全护栏和 PII 脱敏。
以下基准测试检验了这种取舍是否真的已被消除。在对话动态方面,两款模型的得分与融合模型处于同一区间。综合准确性和速度,在 Artificial Analysis 排行榜上,没有模型能同时比 v1 Max 更快且更准确。
性能表现
Artificial Analysis 在 3 项公开基准测试中独立评估了两款模型:用于语音推理的 Big Bench Audio、用于对话动态的 Full-Duplex-Bench,以及用于评估人类偏好和任务成功率的 Speech Agent Arena。

语音推理
Big Bench Audio 通过语音提出 1,000 道推理题,并对口头回答评分。Realtime v1 Max 的正确率为 98.8%,v1 Mini 为 75.9%。

速度
Big Bench Audio 通过语音提出 1,000 道推理题,并对口头回答评分。V1 Max 平均 0.57 秒开始说话,v1 Mini 平均为 0.62 秒。

准确性与速度的帕累托前沿
准确性和速度通常被视为一种取舍。在 Big Bench Audio 上得分最高的模型需要最长时间作答,而最快的模型往往要牺牲大量准确性。v1 Max 在两项指标上都表现出色。

对话动态与人类偏好
在测试停顿、轮次交接、打断和回应信号的 Full-Duplex-Bench 中,v1 Mini 得分为 95.8%,v1 Max 为 94.1%。在 Speech Agent Arena 中,人们通过盲测实时对话比较两款模型,v1 Max 得分 998,v1 Mini 得分 988。在工具使用任务中,v1 Max 的完成率为 87.1%,v1 Mini 为 60.3%,因此我们建议在频繁调用工具的用例中使用 Max。
开始使用
在 ElevenAgents 中使用(推荐)
创建智能体,或打开现有智能体,然后从下拉菜单中选择 Realtime 模型。接下来,你可以使用 ElevenAgents 提供的全部功能,在生产环境中部署和运行智能体,包括电话、网页、WhatsApp 和 CCaaS 渠道、workflow、知识库、安全护栏、测试和监控。
查看ElevenAgents 文档,了解更多详情。
通过 Realtime API 使用
如果你已集成 OpenAI 的 Realtime API,试用 Eleven Realtime 最快的方式是保留现有代码,只修改其指向的位置。Realtime API 通过 WebSocket 连接,并遵循 OpenAI Realtime 规范,因此可直接使用 OpenAI 的 SDK。
Realtime API 仅支持通过 WebSocket 连接,因此 WebRTC 集成需要先迁移到 WebSocket。它也与 ElevenAgents 独立运行;如果需要渠道、知识库或其他平台功能,建议从一开始就基于 ElevenAgents 构建。
迁移指南介绍了相关步骤以及与 OpenAI API 的差异。





