推出 Eleven v4认识 Eleven v4:迄今情感表现最丰富的模型。

跳至内容

Eleven Realtime 发布:更简单地构建自然语音智能体

作者
Min Kim
发布时间
最近更新

收听收听本文

如今,要构建自然的语音智能体,需要做出许多决策。你需要选择语音识别、语音活动检测、轮次交接、底层 LLM 和文本转语音等各个组件。搭建这套技术栈本身就是一个项目,而让所有组件协同运行良好,则需要更多测试和调优。

Eleven Realtime 是一类全新的语音转语音模型,可消除这些障碍。每个模型都是针对不同用例优化的完整语音智能体。两者均支持超过 90 种语言,并可使用 ElevenLabs 声音库中超过 17,000 种音色:

今天,我们推出:

  • Eleven Realtime v1 Mini:以低成本实现自然对话。这是 AI 助手、教师和互动角色的最佳选择,足以满足大多数用例。
  • Eleven Realtime v1 Max:面向复杂任务。它非常适合客服、销售线索筛选和多步骤 workflow,智能体可按流程执行并逐步推理。

为什么构建实时模型

要构建自然的语音智能体,你不该先成为配置专家。让智能体的交互和声音恰到好处,取决于许多需要细致判断的小细节,例如停顿后应等待多久再回答、用户打断智能体时如何恢复,以及音色、提示词和模型如何协同工作。在 ElevenAgents 中,这些都可以调整。

对于已在使用实时 API 的开发者也是如此。我们的 API 兼容 OpenAI 的 Realtime API,因此试用 Eleven Realtime 只需在现有代码中更改端点和模型名称。

基于级联架构构建

Eleven Realtime 基于级联架构,将上述组件进行端到端调优。我们将其称为语音转语音模型,因为它能实现音频输入、音频输出,只需一个模型 ID,并且可与融合模型和双工模型在同一排行榜上评测。

融合模型最初为语音智能体的自然程度设定了标准;而级联方案意味着每次交接都会增加延迟,各组件也从未相互调优。Realtime 消除了这一取舍,过去需要你自己完成的调优,现在已经完成。

级联架构在生产环境中也有实际优势,因为每一步都会产生文本。你可以看到智能体听到了什么、决定说什么,因此能区分是听错了词,还是做出了错误决策。同样,这些文本也让 ElevenAgents 能够为 Realtime 智能体应用安全护栏和 PII 脱敏。 

以下基准测试检验了这种取舍是否真的已被消除。在对话动态方面,两款模型的得分与融合模型处于同一区间。综合准确性和速度,在 Artificial Analysis 排行榜上,没有模型能同时比 v1 Max 更快且更准确。

性能表现

Artificial Analysis 在 3 项公开基准测试中独立评估了两款模型:用于语音推理的 Big Bench Audio、用于对话动态的 Full-Duplex-Bench,以及用于评估人类偏好和任务成功率的 Speech Agent Arena。

Benchmark table shows v1 Max outperforming Mini on speech reasoning and task success.

语音推理

Big Bench Audio 通过语音提出 1,000 道推理题,并对口头回答评分。Realtime v1 Max 的正确率为 98.8%,v1 Mini 为 75.9%。

Speech reasoning benchmark: Eleven Realtime v1 Max leads at 98.8%; Mini trails at 75.9%.

速度

Big Bench Audio 通过语音提出 1,000 道推理题,并对口头回答评分。V1 Max 平均 0.57 秒开始说话,v1 Mini 平均为 0.62 秒。

Eleven Realtime leads time to first audio at 570–620 ms, ahead of other models.

准确性与速度的帕累托前沿

准确性和速度通常被视为一种取舍。在 Big Bench Audio 上得分最高的模型需要最长时间作答,而最快的模型往往要牺牲大量准确性。v1 Max 在两项指标上都表现出色。

Pareto frontier for Realtime

对话动态与人类偏好

在测试停顿、轮次交接、打断和回应信号的 Full-Duplex-Bench 中,v1 Mini 得分为 95.8%,v1 Max 为 94.1%。在 Speech Agent Arena 中,人们通过盲测实时对话比较两款模型,v1 Max 得分 998,v1 Mini 得分 988。在工具使用任务中,v1 Max 的完成率为 87.1%,v1 Mini 为 60.3%,因此我们建议在频繁调用工具的用例中使用 Max。

开始使用

在 ElevenAgents 中使用(推荐)

创建智能体,或打开现有智能体,然后从下拉菜单中选择 Realtime 模型。接下来,你可以使用 ElevenAgents 提供的全部功能,在生产环境中部署和运行智能体,包括电话、网页、WhatsApp 和 CCaaS 渠道、workflow、知识库、安全护栏、测试和监控。

查看ElevenAgents 文档,了解更多详情。

通过 Realtime API 使用

如果你已集成 OpenAI 的 Realtime API,试用 Eleven Realtime 最快的方式是保留现有代码,只修改其指向的位置。Realtime API 通过 WebSocket 连接,并遵循 OpenAI Realtime 规范,因此可直接使用 OpenAI 的 SDK。

import { OpenAIRealtimeWebSocket, RealtimeAgent, RealtimeSession } from "@openai/agents-realtime";

const { value: clientSecret } = await fetch("/api/token").then((res) => res.json());

const agent = new RealtimeAgent({
  name: "ElevenLabs agent",
  instructions: "You are a helpful, friendly voice assistant. Keep replies concise.",
});

const transport = new OpenAIRealtimeWebSocket({
  url: "wss://api.elevenlabs.io/v1/convai/realtime",
});

const session = new RealtimeSession(agent, {
  transport,
  model: "eleven_realtime_v1_mini",
  config: {
    outputModalities: ["audio"],
    audio: { output: { voice: "brian" } },
  },
});

await session.connect({ apiKey: clientSecret });

Realtime API 仅支持通过 WebSocket 连接,因此 WebRTC 集成需要先迁移到 WebSocket。它也与 ElevenAgents 独立运行;如果需要渠道、知识库或其他平台功能,建议从一开始就基于 ElevenAgents 构建。

迁移指南介绍了相关步骤以及与 OpenAI API 的差异。

作者

Min 是 ElevenLabs 增长团队成员,负责 ElevenAPI 及本地部署/设备端产品。此前,他作为第 2 位 GTM 招聘员工在 Stainless 领导产品营销;更早之前,他是 WorkOS 的早期 PMM,推动产品发布、赋能、内容和增长。

相关内容

用高质量 AI 音频创作