Apresentamos o Eleven Realtime: uma maneira mais simples de criar agentes de voz naturais

Hoje, criar um agente de voz que soe natural exige muitas decisões. É preciso escolher componentes individuais, como reconhecimento de fala, detecção de atividade de voz, alternância de turnos, o LLM subjacente e conversão de texto em fala. Montar essa stack já é um projeto por si só, e fazer todos os componentes funcionarem bem juntos exige mais testes e ajustes.

Eleven Realtime é uma nova classe de modelos Speech to Speech que elimina esses obstáculos. Cada modelo é um agente de voz completo, otimizado para casos de uso específicos. Ambos oferecem suporte a mais de 90 idiomas e podem usar qualquer uma das mais de 17.000 vozes da biblioteca da ElevenLabs:

Hoje, lançamos:

• Eleven Realtime v1 Mini para conversas naturais a baixo custo. É a melhor opção para assistentes de IA, professores e personagens interativos, sendo suficiente para a maioria dos casos de uso.
• Eleven Realtime v1 Max para tarefas complexas. É ideal para atendimento ao cliente, qualificação de leads e workflows de várias etapas, nos quais o agente precisa seguir um processo e raciocinar ao longo das etapas.

Por que criamos modelos em tempo real

Você não deveria precisar se tornar especialista em configuração para criar um agente de voz que soe natural. Fazer com que um agente pareça e soe adequado envolve pequenas decisões que exigem nuances, como quanto tempo esperar após uma pausa antes de responder, como se recuperar quando o usuário interrompe o agente e como voz, prompts e modelo funcionam juntos. No ElevenAgents, todas essas configurações podem ser ajustadas.

O mesmo vale para desenvolvedores que já usam uma API em tempo real. A nossa é compatível com a API Realtime da OpenAI, então experimentar o Eleven Realtime é simplesmente mudar o endpoint e o nome do modelo no código que você talvez já tenha.

Desempenho

A Artificial Analysis avaliou os dois modelos de forma independente em três benchmarks públicos: Big Bench Audio para raciocínio por fala, Full-Duplex-Bench para dinâmica conversacional e Speech Agent Arena para preferência humana e sucesso em tarefas.

Raciocínio por fala

O Big Bench Audio faz 1.000 perguntas de raciocínio por voz e avalia a resposta falada. O Realtime v1 Max respondeu corretamente a 98,8% das perguntas, e o v1 Mini a 75,9%.

Velocidade

O Big Bench Audio faz 1.000 perguntas de raciocínio por voz e avalia a resposta falada. Em média, o V1 Max começa a falar em 0,57 segundos, e o v1 Mini, em 0,62 segundos.

A fronteira de Pareto entre precisão e velocidade

Precisão e velocidade costumam ser vistas como uma relação de troca. Os modelos com as maiores pontuações no Big Bench Audio levam mais tempo para responder, e os mais rápidos abrem mão de muita precisão. O v1 Max se destaca nas duas métricas.

Dinâmica conversacional e preferências humanas

No Full-Duplex-Bench, que testa pausas, alternância de turnos, interrupções e sinais de acompanhamento, o v1 Mini alcança 95,8% e o v1 Max, 94,1%. No Speech Agent Arena, em que pessoas comparam dois modelos em conversas ao vivo às cegas, o v1 Max obteve 998 pontos e o v1 Mini, 988. Em tarefas de uso de ferramentas, o v1 Max concluiu 87,1% e o v1 Mini, 60,3%. Por isso, recomendamos o Max para casos de uso com muitas chamadas de ferramentas.

Comece agora

No ElevenAgents (recomendado)

Crie um agente ou abra um já existente e selecione um modelo Realtime no menu suspenso. A partir daí, você tem tudo o que o ElevenAgents oferece para operar agentes em produção. Isso inclui canais de telefone, web, WhatsApp e CCaaS, workflows, uma base de conhecimento, guardrails, testes e monitoramento.

Confira a documentação do ElevenAgents para mais detalhes.

Pela API Realtime

Se você já tem uma integração com a API Realtime da OpenAI, a maneira mais rápida de experimentar o Eleven Realtime é manter seu código e mudar para onde ele aponta. A API Realtime se conecta por WebSocket e segue as especificações Realtime da OpenAI, então o SDK da OpenAI funciona sem alterações.

import { OpenAIRealtimeWebSocket, RealtimeAgent, RealtimeSession } from "@openai/agents-realtime";

const { value: clientSecret } = await fetch("/api/token").then((res) => res.json());

const agent = new RealtimeAgent({
  name: "ElevenLabs agent",
  instructions: "You are a helpful, friendly voice assistant. Keep replies concise.",
});

const transport = new OpenAIRealtimeWebSocket({
  url: "wss://api.elevenlabs.io/v1/convai/realtime",
});

const session = new RealtimeSession(agent, {
  transport,
  model: "eleven_realtime_v1_mini",
  config: {
    outputModalities: ["audio"],
    audio: { output: { voice: "brian" } },
  },
});

await session.connect({ apiKey: clientSecret });

A API Realtime se conecta apenas por WebSocket, portanto uma integração com WebRTC precisa migrar primeiro para WebSocket. Ela também funciona separadamente do ElevenAgents. Portanto, se você precisa de canais, uma base de conhecimento ou outros recursos da plataforma, desenvolva no ElevenAgents desde o início.

O guia de migração explica as etapas e as diferenças em relação à API da OpenAI.