Eleven Realtime 发布：更简单地构建自然语音智能体

作者: Min Kim
发布时间: 2026年10月20日

收听收听本文

0:00

0:000:00

如今，要构建听起来自然的语音智能体，需要做出许多决策。你要为语音识别、语音活动检测、轮次交接、底层 LLM 和文本转语音等单独组件进行选择。搭建这套技术栈本身就是一个项目，要让所有组件协同运作，还需要进行更多测试和调优。

Eleven Realtime 是一类全新的语音转语音模型，消除了这些障碍。每个模型都是完整的语音智能体，并针对不同用例进行了优化。两款模型均支持超过 90 种语言，可使用 ElevenLabs 声音库中超过 17,000 种音色：

今天，我们正式推出：

Eleven Realtime v1 Mini，以低成本实现自然对话。它是 AI 助手、教师和互动角色的理想选择，足以满足大多数用例。
Eleven Realtime v1 Max，适用于复杂任务。它非常适合客户支持、潜在客户筛选和多步骤 workflow，智能体可按流程执行并逐步推理。

我们为何构建实时模型

构建听起来自然的语音智能体，不应要求你成为配置专家。让智能体的感觉和声音恰到好处，取决于许多需要细致判断的小决策：例如暂停后等待多久再回答、用户打断智能体时如何恢复，以及音色、提示词和模型如何协同工作。在 ElevenAgents 中，这些都可调整。

对于已在使用实时 API 的开发者也是如此。我们的 API 兼容 OpenAI 的 Realtime API，因此试用 Eleven Realtime 只需在现有代码中更改端点和模型名称。

性能表现

Artificial Analysis 在 3 项公开基准测试中独立评估了两款模型：用于语音推理的 Big Bench Audio、用于对话动态的 Full-Duplex-Bench，以及衡量人类偏好和任务成功率的 Speech Agent Arena。

Benchmark table shows v1 Max outperforming Mini on speech reasoning and task success.

语音推理

Big Bench Audio 通过语音提出 1,000 道推理题，并为口头回答评分。Realtime v1 Max 的正确率为 98.8%，v1 Mini 为 75.9%。

Speech reasoning benchmark: Eleven Realtime v1 Max leads at 98.8%; Mini trails at 75.9%.

速度

Big Bench Audio 通过语音提出 1,000 道推理题，并为口头回答评分。V1 Max 平均在 0.57 秒后开始说话，v1 Mini 为 0.62 秒。

Eleven Realtime leads time to first audio at 570–620 ms, ahead of other models.

准确率与速度的帕累托前沿

准确率与速度通常被视为一种权衡。Big Bench Audio 得分最高的模型往往回答最慢，而最快的模型则会牺牲大量准确率。v1 Max 在两项指标上都表现出色。

对话动态与人类偏好

在测试停顿、轮次交接、打断和附和回应的 Full-Duplex-Bench 中，v1 Mini 得分为 95.8%，v1 Max 为 94.1%。在用户通过盲测实时对话比较两个模型的 Speech Agent Arena 中，v1 Max 得分 998，v1 Mini 得分 988。在工具使用任务中，v1 Max 的完成率为 87.1%，v1 Mini 为 60.3%，因此我们推荐在频繁调用工具的用例中使用 Max。

开始使用

在 ElevenAgents 中使用（推荐）

创建智能体或打开现有智能体，然后从下拉菜单中选择 Realtime 模型。之后，你可以使用 ElevenAgents 为生产部署智能体提供的全部功能，包括电话、网页、WhatsApp 和 CCaaS 渠道、workflow、知识库、防护机制、测试和监控。

查看 ElevenAgents 文档，了解更多详情。

通过 Realtime API 使用

如果你已集成 OpenAI 的 Realtime API，试用 Eleven Realtime 最快的方式就是保留现有代码，仅更改连接目标。Realtime API 通过 WebSocket 连接，并遵循 OpenAI Realtime 规范，因此可直接使用 OpenAI 的 SDK。

import { OpenAIRealtimeWebSocket, RealtimeAgent, RealtimeSession } from "@openai/agents-realtime";

const { value: clientSecret } = await fetch("/api/token").then((res) => res.json());

const agent = new RealtimeAgent({
  name: "ElevenLabs agent",
  instructions: "You are a helpful, friendly voice assistant. Keep replies concise.",
});

const transport = new OpenAIRealtimeWebSocket({
  url: "wss://api.elevenlabs.io/v1/convai/realtime",
});

const session = new RealtimeSession(agent, {
  transport,
  model: "eleven_realtime_v1_mini",
  config: {
    outputModalities: ["audio"],
    audio: { output: { voice: "brian" } },
  },
});

await session.connect({ apiKey: clientSecret });