Vi presenterar Eleven Realtime: ett enklare sätt att bygga naturliga röstagenter

Att bygga en röstagent som låter naturlig kräver i dag många beslut. Du behöver välja enskilda komponenter som taligenkänning, röstaktivitetsdetektering, turordning, underliggande LLM och Text to Speech. Att bygga den här stacken är ett projekt i sig, och det krävs mer testning och finjustering för att få alla komponenter att fungera bra tillsammans.

Eleven Realtime är en ny klass av Speech to Speech-modeller som undanröjer de här hindren. Varje modell är en komplett röstagent, optimerad för olika användningsområden. Båda har stöd för över 90 språk och kan använda vilken som helst av de över 17 000 rösterna i ElevenLabs bibliotek:

I dag lanserar vi:

• Eleven Realtime v1 Mini för naturliga samtal till låg kostnad. Det här är det bästa valet för AI-assistentar, lärare och interaktiva karaktärer, och räcker för de flesta användningsområden.
• Eleven Realtime v1 Max för komplexa uppgifter. Den passar perfekt för kundsupport, kvalificering av leads och arbetsflöden i flera steg, där agenten behöver följa en process och resonera sig igenom stegen.

Därför byggde vi realtime-modeller

Du ska inte behöva bli expert på konfiguration för att bygga en röstagent som låter naturlig. För att en agent ska kännas och låta rätt krävs små bedömningar med nyanser, som hur länge den ska vänta efter en paus innan den svarar, hur den ska hantera när användaren avbryter den och hur röst, prompter och en modell fungerar tillsammans. I ElevenAgents kan du justera alla dessa inställningar.

Samma sak gäller utvecklare som redan använder ett realtime API. Vårt är kompatibelt med OpenAI:s Realtime API, så att testa Eleven Realtime innebär bara att ändra endpoint och modellnamn i koden du kanske redan har.

Så presterar de

Artificial Analysis utvärderade båda modellerna oberoende av varandra i tre offentliga benchmarktester: Big Bench Audio för talbaserat resonemang, Full-Duplex-Bench för samtalsdynamik och Speech Agent Arena för mänskliga preferenser och framgång med uppgifter.

Talbaserat resonemang

Big Bench Audio ställer 1 000 resonemangsfrågor med röst och poängsätter det talade svaret. Realtime v1 Max besvarade 98,8 % av frågorna korrekt och v1 Mini 75,9 %.

Hastighet

Big Bench Audio ställer 1 000 resonemangsfrågor med röst och poängsätter det talade svaret. V1 Max börjar tala efter i genomsnitt 0,57 sekunder och v1 Mini efter 0,62 sekunder.

Paretofronten för noggrannhet och hastighet

Noggrannhet och hastighet ses vanligtvis som en avvägning. Modellerna som får högst resultat i Big Bench Audio tar längst tid på sig att svara, medan de snabbaste offrar mycket noggrannhet. v1 Max utmärker sig på båda dessa mått.

Samtalsdynamik och mänskliga preferenser

I Full-Duplex-Bench, som testar pauser, turordning, avbrott och återkopplingssignaler, får v1 Mini 95,8 % och v1 Max 94,1 %. I Speech Agent Arena, där människor jämför två modeller i blinda livesamtal, fick v1 Max 998 och v1 Mini 988. I uppgifter som använder verktyg slutförde v1 Max 87,1 % och v1 Mini 60,3 %, vilket är varför vi rekommenderar Max för användningsområden med många verktygsanrop.

Kom igång

I ElevenAgents (rekommenderas)

Skapa en agent, eller öppna en befintlig, och välj en Realtime-modell i rullgardinsmenyn. Därifrån får du allt som ElevenAgents erbjuder för att köra agenter i produktion. Det omfattar kanaler för telefon, webb, WhatsApp och CCaaS, arbetsflöden, en kunskapsbas, skyddsräcken, testning och övervakning.

Läs ElevenAgents dokumentation för mer information.

Via Realtime API

Om du redan har en integration med OpenAI:s Realtime API är det snabbaste sättet att testa Eleven Realtime att behålla din kod och ändra vart den pekar. Realtime API ansluter via WebSocket och följer OpenAI Realtime-specifikationerna, så OpenAI:s SDK fungerar som det är.

import { OpenAIRealtimeWebSocket, RealtimeAgent, RealtimeSession } from "@openai/agents-realtime";

const { value: clientSecret } = await fetch("/api/token").then((res) => res.json());

const agent = new RealtimeAgent({
  name: "ElevenLabs agent",
  instructions: "You are a helpful, friendly voice assistant. Keep replies concise.",
});

const transport = new OpenAIRealtimeWebSocket({
  url: "wss://api.elevenlabs.io/v1/convai/realtime",
});

const session = new RealtimeSession(agent, {
  transport,
  model: "eleven_realtime_v1_mini",
  config: {
    outputModalities: ["audio"],
    audio: { output: { voice: "brian" } },
  },
});

await session.connect({ apiKey: clientSecret });

Realtime API ansluter endast via WebSocket, så en WebRTC-integration behöver först flyttas till WebSocket. Det körs också separat från ElevenAgents, så om du behöver kanaler, en kunskapsbas eller andra plattformsfunktioner bör du bygga på ElevenAgents från början.

I migreringsguiden beskrivs stegen och skillnaderna jämfört med OpenAI:s API.