Przedstawiamy Eleven Realtime: prostszy sposób na tworzenie naturalnych agentów głosowych

Stworzenie agenta głosowego, który dziś brzmi naturalnie, wymaga wielu decyzji. Trzeba wybrać poszczególne elementy, takie jak rozpoznawanie mowy, wykrywanie aktywności głosowej, zarządzanie turami, bazowy LLM i zamiana tekstu na mowę. Zbudowanie takiego zestawu to projekt sam w sobie, a sprawne współdziałanie wszystkich elementów wymaga dodatkowych testów i dostrajania.

Eleven Realtime to nowa klasa modeli Speech to Speech, która usuwa te przeszkody. Każdy model jest kompletnym agentem głosowym, zoptymalizowanym pod inne zastosowania. Oba obsługują ponad 90 języków i mogą korzystać z dowolnego z ponad 17 000 głosów w bibliotece ElevenLabs:

Dziś wprowadzamy:

• Eleven Realtime v1 Mini do naturalnych rozmów przy niskim koszcie. To najlepszy wybór dla asystentów AI, nauczycieli i postaci interaktywnych. Sprawdzi się w większości zastosowań.
• Eleven Realtime v1 Max do złożonych zadań. Idealnie nadaje się do obsługi klienta, kwalifikacji leadów i wieloetapowych workflow, w których agent musi realizować proces i analizować kolejne kroki.

Dlaczego stworzyliśmy modele realtime

Nie musisz zostać ekspertem od konfiguracji, by stworzyć agenta głosowego, który brzmi naturalnie. To, czy agent brzmi i reaguje odpowiednio, zależy od drobnych decyzji wymagających wyczucia: jak długo czekać po pauzie przed odpowiedzią, jak reagować, gdy użytkownik przerwie agentowi, oraz jak współpracują głos, prompty i model. W ElevenAgents możesz dostosować wszystkie te ustawienia.

To samo dotyczy deweloperów, którzy już korzystają z realtime API. Nasze API jest zgodne z Realtime API od OpenAI, więc wypróbowanie Eleven Realtime wymaga tylko zmiany endpointu i nazwy modelu w kodzie, który być może już masz.

Jak wypadają w testach

Artificial Analysis niezależnie oceniło oba modele w trzech publicznych benchmarkach: Big Bench Audio dla rozumowania w mowie, Full-Duplex-Bench dla dynamiki rozmowy oraz Speech Agent Arena dla preferencji użytkowników i skuteczności zadań.

Rozumowanie w mowie

Big Bench Audio zadaje głosowo 1000 pytań sprawdzających rozumowanie i ocenia wypowiedzianą odpowiedź. Realtime v1 Max poprawnie odpowiedział na 98,8% pytań, a v1 Mini na 75,9%.

Szybkość

Big Bench Audio zadaje głosowo 1000 pytań sprawdzających rozumowanie i ocenia wypowiedzianą odpowiedź. V1 Max zaczyna mówić średnio po 0,57 sekundy, a v1 Mini po 0,62 sekundy.

Granica Pareto dla dokładności i szybkości

Dokładność i szybkość zwykle są postrzegane jako kompromis. Modele z najwyższymi wynikami w Big Bench Audio odpowiadają najdłużej, a najszybsze tracą sporo na dokładności. v1 Max wyróżnia się w obu tych metrykach.

Dynamika rozmowy i preferencje użytkowników

W Full-Duplex-Bench, który testuje pauzy, zarządzanie turami, przerwania i sygnały podtrzymujące rozmowę, v1 Mini uzyskał 95,8%, a v1 Max 94,1%. W Speech Agent Arena, gdzie ludzie porównują dwa modele w ślepych rozmowach na żywo, v1 Max uzyskał 998 punktów, a v1 Mini 988. W zadaniach z użyciem narzędzi v1 Max ukończył 87,1%, a v1 Mini 60,3%, dlatego polecamy Maxa do zastosowań z intensywnym wywoływaniem narzędzi.

Zacznij teraz

W ElevenAgents (zalecane)

Utwórz agenta lub otwórz istniejącego, a następnie wybierz model Realtime z listy rozwijanej. Otrzymasz wtedy wszystko, co oferuje ElevenAgents do wdrażania agentów na produkcji: kanały telefoniczne, webowe, WhatsApp i CCaaS, workflow, bazę wiedzy, zabezpieczenia, testowanie i monitoring.

Zobacz dokumentację ElevenAgents , aby poznać szczegóły.

Przez Realtime API

Jeśli masz już integrację z Realtime API od OpenAI, najszybszy sposób na wypróbowanie Eleven Realtime to zachowanie kodu i zmiana adresu, z którym się łączy. Realtime API łączy się przez WebSocket i jest zgodne ze specyfikacją OpenAI Realtime, więc SDK OpenAI działa bez zmian.

import { OpenAIRealtimeWebSocket, RealtimeAgent, RealtimeSession } from "@openai/agents-realtime";

const { value: clientSecret } = await fetch("/api/token").then((res) => res.json());

const agent = new RealtimeAgent({
  name: "ElevenLabs agent",
  instructions: "You are a helpful, friendly voice assistant. Keep replies concise.",
});

const transport = new OpenAIRealtimeWebSocket({
  url: "wss://api.elevenlabs.io/v1/convai/realtime",
});

const session = new RealtimeSession(agent, {
  transport,
  model: "eleven_realtime_v1_mini",
  config: {
    outputModalities: ["audio"],
    audio: { output: { voice: "brian" } },
  },
});

await session.connect({ apiKey: clientSecret });

Realtime API łączy się wyłącznie przez WebSocket, więc integrację WebRTC trzeba najpierw przenieść na WebSocket. Działa też niezależnie od ElevenAgents, więc jeśli potrzebujesz kanałów, bazy wiedzy lub innych funkcji platformy, od początku buduj na ElevenAgents.

Nasz przewodnik po migracji opisuje kolejne kroki i różnice względem API OpenAI.