Maak kennis met Eleven Realtime: een eenvoudigere manier om natuurlijke spraakagenten te bouwen

Een spraakagent bouwen die natuurlijk klinkt, vereist vandaag de dag veel beslissingen. Je moet keuzes maken voor afzonderlijke onderdelen, zoals spraakherkenning, detectie van stemactiviteit, beurtwisseling, het onderliggende LLM en text to speech. Deze stack bouwen is al een project op zich, en alle onderdelen goed laten samenwerken vraagt om meer testen en afstemmen.

Eleven Realtime is een nieuwe klasse Speech to Speech-modellen die deze obstakels wegneemt. Elk model is een complete spraakagent, geoptimaliseerd voor verschillende use cases. Beide ondersteunen meer dan 90 talen en kunnen elke stem uit de ElevenLabs-bibliotheek met meer dan 17.000 stemmen gebruiken:

Vandaag introduceren we:

• Eleven Realtime v1 Mini voor natuurlijke gesprekken tegen lage kosten. Dit is de beste keuze voor AI-assistenten, docenten en interactieve personages, en is voldoende voor de meeste use cases.
• Eleven Realtime v1 Max voor complexe taken. Dit is ideaal voor klantenservice, leadkwalificatie en workflows met meerdere stappen, waarbij de agent een proces moet volgen en stappen moet beredeneren.

Waarom we realtime modellen hebben gebouwd

Je zou geen configuratie-expert moeten hoeven worden om een natuurlijk klinkende spraakagent te bouwen. Een agent goed laten aanvoelen en klinken draait om kleine afwegingen die nuance vereisen, zoals hoe lang je na een pauze wacht voordat je antwoordt, hoe je herstelt wanneer de gebruiker de agent onderbreekt, en hoe stem, prompts en een model samenwerken. In ElevenAgents kun je dit allemaal instellen.

Hetzelfde geldt voor ontwikkelaars die al een realtime API gebruiken. Onze API is compatibel met de Realtime API van OpenAI, dus Eleven Realtime proberen betekent simpelweg dat je het endpoint en de modelnaam wijzigt in de code die je misschien al hebt.

Hoe ze presteren

Artificial Analysis heeft beide modellen onafhankelijk beoordeeld aan de hand van drie openbare benchmarks: Big Bench Audio voor spraakredenering, Full-Duplex-Bench voor gespreksdynamiek en de Speech Agent Arena voor menselijke voorkeur en taaksucces.

Spraakredenering

Big Bench Audio stelt 1.000 redeneervragen via spraak en beoordeelt het gesproken antwoord. Realtime v1 Max beantwoordde 98,8% van de vragen correct en v1 Mini 75,9%.

Snelheid

Big Bench Audio stelt 1.000 redeneervragen via spraak en beoordeelt het gesproken antwoord. V1 Max begint gemiddeld na 0,57 seconden te spreken en v1 Mini na 0,62 seconden.

De Pareto-grens voor nauwkeurigheid en snelheid

Nauwkeurigheid en snelheid worden meestal gezien als een afweging. De modellen die het hoogst scoren op Big Bench Audio doen er het langst over om te antwoorden, en de snelste leveren veel nauwkeurigheid in. v1 Max blinkt uit in beide metrics.

Gespreksdynamiek en menselijke voorkeuren

Op Full-Duplex-Bench, waarin pauzes, beurtwisseling, onderbrekingen en backchannels worden getest, scoort v1 Mini 95,8% en v1 Max 94,1%. In de Speech Agent Arena, waarin mensen twee modellen vergelijken in blinde live gesprekken, scoorde v1 Max 998 en v1 Mini 988. Bij taken met toolgebruik voltooide v1 Max 87,1% en v1 Mini 60,3%. Daarom raden we Max aan voor use cases met intensief tool calling.

Aan de slag

In ElevenAgents (aanbevolen)

Maak een agent of open een bestaande agent en selecteer een Realtime-model in het dropdownmenu. Daar vind je alles wat ElevenAgents biedt om agents in productie te gebruiken. Dat omvat kanalen voor telefoon, web, WhatsApp en CCaaS, workflows, een kennisbank, guardrails, testen en monitoring.

Bekijk de ElevenAgents-documentatie voor meer informatie.

Via de Realtime API

Als je al een integratie met de Realtime API van OpenAI hebt, is de snelste manier om Eleven Realtime te proberen je code te behouden en te wijzigen waar die naartoe verwijst. De Realtime API maakt verbinding via WebSocket en volgt de OpenAI Realtime-specificaties, dus de SDK van OpenAI werkt zonder aanpassingen.

import { OpenAIRealtimeWebSocket, RealtimeAgent, RealtimeSession } from "@openai/agents-realtime";

const { value: clientSecret } = await fetch("/api/token").then((res) => res.json());

const agent = new RealtimeAgent({
  name: "ElevenLabs agent",
  instructions: "You are a helpful, friendly voice assistant. Keep replies concise.",
});

const transport = new OpenAIRealtimeWebSocket({
  url: "wss://api.elevenlabs.io/v1/convai/realtime",
});

const session = new RealtimeSession(agent, {
  transport,
  model: "eleven_realtime_v1_mini",
  config: {
    outputModalities: ["audio"],
    audio: { output: { voice: "brian" } },
  },
});

await session.connect({ apiKey: clientSecret });

De Realtime API maakt alleen verbinding via WebSocket, dus een WebRTC-integratie moet eerst overstappen op WebSocket. De API werkt ook los van ElevenAgents. Als je dus kanalen, een kennisbank of andere platformfuncties nodig hebt, bouw dan vanaf het begin met ElevenAgents.

De migratiehandleiding behandelt de stappen en de verschillen met de API van OpenAI.