Presentamos Eleven Realtime: una forma más sencilla de crear agentes de voz naturales

Hoy, crear un agente de voz que suene natural exige tomar muchas decisiones. Tienes que elegir componentes individuales como el reconocimiento de voz, la detección de actividad de voz, la gestión de turnos, el LLM subyacente y la conversión de texto a voz. Crear esta infraestructura ya es un proyecto en sí mismo, y conseguir que todos los componentes funcionen bien juntos requiere más pruebas y ajustes.

Eleven Realtime es una nueva categoría de modelos de voz a voz que elimina esos obstáculos. Cada modelo es un agente de voz completo, optimizado para casos de uso distintos. Ambos admiten más de 90 idiomas y pueden utilizar cualquiera de las más de 17.000 voces de la biblioteca de ElevenLabs:

Hoy lanzamos:

• Eleven Realtime v1 Mini para conversaciones naturales a bajo coste. Es la mejor opción para asistentes de IA, profesores y personajes interactivos, y será suficiente para la mayoría de los casos de uso.
• Eleven Realtime v1 Max para tareas complejas. Es ideal para atención al cliente, cualificación de leads y workflows de varios pasos, en los que el agente debe seguir un proceso y razonar cada paso.

Por qué creamos modelos en tiempo real

No deberías tener que convertirte en experto en configuración para crear un agente de voz que suene natural. Conseguir que un agente tenga el tono y la sensación adecuados depende de pequeñas decisiones que requieren matices, como cuánto esperar tras una pausa antes de responder, cómo reaccionar cuando el usuario interrumpe al agente y cómo funcionan juntos la voz, los prompts y el modelo. En ElevenAgents, puedes ajustar todos estos parámetros.

Lo mismo ocurre con desarrolladores que ya usan una API en tiempo real. La nuestra es compatible con la API Realtime de OpenAI, así que probar Eleven Realtime solo requiere cambiar la ruta de API y el nombre del modelo en el código que quizá ya tengas.

Cómo rinden

Artificial Analysis evaluó ambos modelos de forma independiente en tres benchmarks públicos: Big Bench Audio para el razonamiento por voz, Full-Duplex-Bench para la dinámica conversacional y Speech Agent Arena para la preferencia humana y el éxito en tareas.

Razonamiento por voz

Big Bench Audio plantea 1.000 preguntas de razonamiento por voz y puntúa la respuesta hablada. Realtime v1 Max respondió correctamente al 98,8 % de las preguntas y v1 Mini al 75,9 %.

Velocidad

Big Bench Audio plantea 1.000 preguntas de razonamiento por voz y puntúa la respuesta hablada. V1 Max empieza a hablar en 0,57 segundos de media y v1 Mini en 0,62 segundos.

La frontera de Pareto entre precisión y velocidad

La precisión y la velocidad suelen considerarse una compensación. Los modelos que obtienen las puntuaciones más altas en Big Bench Audio son los que más tardan en responder, y los más rápidos sacrifican mucha precisión. v1 Max destaca en ambas métricas.

Dinámica conversacional y preferencias humanas

En Full-Duplex-Bench, que evalúa pausas, gestión de turnos, interrupciones y señales de escucha, v1 Mini obtiene un 95,8 % y v1 Max un 94,1 %. En Speech Agent Arena, donde personas comparan dos modelos en conversaciones en directo a ciegas, v1 Max obtuvo 998 y v1 Mini 988. En tareas de uso de herramientas, v1 Max completó el 87,1 % y v1 Mini el 60,3 %, por lo que recomendamos Max para casos de uso con muchas llamadas a herramientas.

Primeros pasos

En ElevenAgents (recomendado)

Crea un agente, o abre uno existente, y selecciona un modelo Realtime en el menú desplegable. A partir de ahí, tienes todo lo que ofrece ElevenAgents para desplegar agentes en producción: canales de teléfono, web, WhatsApp y CCaaS, workflows, una base de conocimientos, medidas de protección, pruebas y monitorización.

Consulta la documentación de ElevenAgents para obtener más información.

A través de la API Realtime

Si ya tienes una integración con la API Realtime de OpenAI, la forma más rápida de probar Eleven Realtime es conservar tu código y cambiar a dónde apunta. La API Realtime se conecta mediante WebSocket y sigue las especificaciones de OpenAI Realtime, así que el SDK de OpenAI funciona tal cual.

import { OpenAIRealtimeWebSocket, RealtimeAgent, RealtimeSession } from "@openai/agents-realtime";

const { value: clientSecret } = await fetch("/api/token").then((res) => res.json());

const agent = new RealtimeAgent({
  name: "ElevenLabs agent",
  instructions: "You are a helpful, friendly voice assistant. Keep replies concise.",
});

const transport = new OpenAIRealtimeWebSocket({
  url: "wss://api.elevenlabs.io/v1/convai/realtime",
});

const session = new RealtimeSession(agent, {
  transport,
  model: "eleven_realtime_v1_mini",
  config: {
    outputModalities: ["audio"],
    audio: { output: { voice: "brian" } },
  },
});

await session.connect({ apiKey: clientSecret });

La API Realtime solo se conecta mediante WebSocket, así que una integración con WebRTC debe pasar primero a WebSocket. También funciona por separado de ElevenAgents, por lo que, si necesitas canales, una base de conocimientos u otras funciones de la plataforma, crea tu solución con ElevenAgents desde el principio.

La guía de migración explica los pasos y las diferencias con la API de OpenAI.