Eleven Realtime: Natürliche Sprachagenten einfacher entwickeln

Die Entwicklung eines natürlich klingenden Sprachagenten erfordert heute viele Entscheidungen. Sie müssen einzelne Komponenten auswählen, etwa Spracherkennung, Voice Activity Detection, Sprecherwechsel, das zugrunde liegende LLM und Text to Speech. Dieser Stack ist bereits ein eigenes Projekt, und damit alle Komponenten gut zusammenarbeiten, sind weitere Tests und Anpassungen nötig.

Eleven Realtime ist eine neue Klasse von Speech-to-Speech-Modellen, die diese Hürden beseitigt. Jedes Modell ist ein vollständiger Sprachagent, optimiert für bestimmte Anwendungsfälle. Beide unterstützen mehr als 90 Sprachen und können jede der über 17.000 Stimmen in der ElevenLabs-Stimmbibliothek nutzen:

Heute veröffentlichen wir:

• Eleven Realtime v1 Mini für natürliche Gespräche zu niedrigen Kosten. Es ist die beste Wahl für KI-Assistenten, Lehrkräfte und interaktive Charaktere und reicht für die meisten Anwendungsfälle aus.
• Eleven Realtime v1 Max für komplexe Aufgaben. Es eignet sich ideal für Kundenservice, Lead-Qualifizierung und mehrstufige Workflows, bei denen der Agent einem Prozess folgen und Schritte durchdenken muss.

Warum wir Echtzeitmodelle entwickelt haben

Sie sollten kein Konfigurationsexperte werden müssen, um einen natürlich klingenden Sprachagenten zu entwickeln. Damit sich ein Agent richtig anfühlt und klingt, braucht es viele kleine, differenzierte Entscheidungen: wie lange er nach einer Pause warten soll, bevor er antwortet, wie er reagiert, wenn Nutzende ihn unterbrechen, und wie Stimme, Prompts und Modell zusammenspielen. In ElevenAgents können Sie all diese Einstellungen anpassen.

Dasselbe gilt für Entwickler, die bereits eine Echtzeit-API nutzen. Unsere API ist mit der Realtime API von OpenAI kompatibel. Um Eleven Realtime auszuprobieren, müssen Sie daher nur den Endpunkt und Modellnamen in Ihrem vorhandenen Code ändern.

Leistung der Modelle

Artificial Analysis hat beide Modelle unabhängig in drei öffentlichen Benchmarks bewertet: Big Bench Audio für Sprachlogik, Full-Duplex-Bench für Gesprächsdynamik und Speech Agent Arena für menschliche Präferenzen und Aufgabenerfolg.

Sprachlogik

Big Bench Audio stellt 1.000 Logikfragen per Sprache und bewertet die gesprochene Antwort. Realtime v1 Max beantwortete 98,8 % der Fragen korrekt, v1 Mini 75,9 %.

Geschwindigkeit

Big Bench Audio stellt 1.000 Logikfragen per Sprache und bewertet die gesprochene Antwort. V1 Max beginnt im Durchschnitt nach 0,57 Sekunden zu sprechen, v1 Mini nach 0,62 Sekunden.

Die Pareto-Grenze für Genauigkeit und Geschwindigkeit

Genauigkeit und Geschwindigkeit gelten meist als Zielkonflikt. Die Modelle mit den höchsten Ergebnissen bei Big Bench Audio benötigen am längsten für ihre Antworten, während die schnellsten deutlich an Genauigkeit verlieren. v1 Max überzeugt bei beiden Kennzahlen.

Gesprächsdynamik und menschliche Präferenzen

Bei Full-Duplex-Bench, das Pausen, Sprecherwechsel, Unterbrechungen und Rückmeldesignale testet, erreicht v1 Mini 95,8 % und v1 Max 94,1 %. In der Speech Agent Arena, in der Menschen zwei Modelle in blinden Live-Gesprächen vergleichen, erreichte v1 Max 998 Punkte und v1 Mini 988. Bei Aufgaben mit Tool-Nutzung schloss v1 Max 87,1 % und v1 Mini 60,3 % ab. Deshalb empfehlen wir Max für Anwendungsfälle mit umfangreichen Tool-Aufrufen.

Erste Schritte

In ElevenAgents (empfohlen)

Erstellen Sie einen Agenten oder öffnen Sie einen bestehenden und wählen Sie im Dropdown-Menü ein Realtime-Modell aus. Anschließend stehen Ihnen alle Funktionen von ElevenAgents für den produktiven Einsatz von Agenten zur Verfügung. Dazu gehören Telefon-, Web-, WhatsApp- und CCaaS-Kanäle, Workflows, eine Wissensdatenbank, Guardrails, Tests und Monitoring.

Weitere Details finden Sie in der ElevenAgents-Dokumentation.

Über die Realtime API

Wenn Sie bereits eine Integration mit der Realtime API von OpenAI haben, können Sie Eleven Realtime am schnellsten ausprobieren, indem Sie Ihren Code beibehalten und nur sein Ziel ändern. Die Realtime API verbindet sich über WebSocket und folgt den OpenAI-Realtime-Spezifikationen, sodass das SDK von OpenAI unverändert funktioniert.

import { OpenAIRealtimeWebSocket, RealtimeAgent, RealtimeSession } from "@openai/agents-realtime";

const { value: clientSecret } = await fetch("/api/token").then((res) => res.json());

const agent = new RealtimeAgent({
  name: "ElevenLabs agent",
  instructions: "You are a helpful, friendly voice assistant. Keep replies concise.",
});

const transport = new OpenAIRealtimeWebSocket({
  url: "wss://api.elevenlabs.io/v1/convai/realtime",
});

const session = new RealtimeSession(agent, {
  transport,
  model: "eleven_realtime_v1_mini",
  config: {
    outputModalities: ["audio"],
    audio: { output: { voice: "brian" } },
  },
});

await session.connect({ apiKey: clientSecret });

Die Realtime API verbindet sich ausschließlich über WebSocket. Eine WebRTC-Integration muss daher zunächst auf WebSocket umgestellt werden. Sie läuft zudem getrennt von ElevenAgents. Wenn Sie also Kanäle, eine Wissensdatenbank oder andere Plattformfunktionen benötigen, sollten Sie von Anfang an auf ElevenAgents setzen.

Der Migrationsleitfaden erläutert die Schritte und Unterschiede zur API von OpenAI.