Przedstawiamy Eleven Realtime: prostszy sposób na tworzenie naturalnych agentów głosowych

Stworzenie agenta głosowego, który brzmi naturalnie, wymaga dziś wielu decyzji. Trzeba wybrać poszczególne komponenty, takie jak rozpoznawanie mowy, wykrywanie aktywności głosowej, zarządzanie turami, bazowy LLM i zamiana tekstu na mowę. Zbudowanie takiego stosu to projekt sam w sobie, a sprawne współdziałanie wszystkich komponentów wymaga dodatkowych testów i dostrajania.

Eleven Realtime to nowa klasa modeli Speech to Speech, która eliminuje te przeszkody. Każdy model to kompletny agent głosowy zoptymalizowany pod inne zastosowania. Oba obsługują ponad 90 języków i mogą korzystać z dowolnego z ponad 17 000 głosów w bibliotece ElevenLabs:

Dziś wprowadzamy:

• Eleven Realtime v1 Mini do naturalnych rozmów przy niskim koszcie. To najlepszy wybór dla asystentów AI, nauczycieli i interaktywnych postaci, wystarczający w większości zastosowań.
• Eleven Realtime v1 Max do złożonych zadań. Idealnie sprawdza się w obsłudze klienta, kwalifikacji leadów i wieloetapowych workflow, gdzie agent musi realizować proces i analizować kolejne kroki.

Dlaczego stworzyliśmy modele realtime

Nie musisz zostać ekspertem od konfiguracji, by stworzyć agenta głosowego brzmiącego naturalnie. To, czy agent dobrze brzmi i sprawia właściwe wrażenie, zależy od drobnych decyzji wymagających wyczucia: jak długo czekać po pauzie przed odpowiedzią, jak reagować, gdy użytkownik przerwie agentowi, oraz jak głos, prompty i model współpracują ze sobą. W ElevenAgents możesz dostosować wszystkie te ustawienia.

To samo dotyczy deweloperów, którzy już korzystają z realtime API. Nasze API jest zgodne z Realtime API OpenAI, więc aby wypróbować Eleven Realtime, wystarczy zmienić endpoint i nazwę modelu w kodzie, który możesz już mieć.

Oparte na architekturze kaskadowej

Eleven Realtime opiera się na architekturze kaskadowej z opisanych wyżej komponentów, dostrojonych end-to-end. Nazywamy je modelami Speech to Speech, bo właśnie to otrzymujesz: audio na wejściu, audio na wyjściu, jeden identyfikator modelu i system, który można mierzyć w tych samych rankingach co modele fused i duplex.

Modele fused początkowo wyznaczyły poziom naturalności, jaki może osiągnąć agent głosowy, podczas gdy konfiguracja kaskadowa zwiększała opóźnienie przy każdym przekazaniu i obejmowała komponenty, które nigdy nie były dostrajane względem siebie. Realtime eliminuje ten kompromis, a dostrajanie, które wcześniej było twoim projektem, jest już gotowe.

Architektura kaskadowa ma też praktyczne zalety w produkcji, ponieważ każdy etap generuje tekst. Możesz zobaczyć, co agent usłyszał i co zdecydował się powiedzieć, więc odróżnisz źle usłyszane słowo od błędnej decyzji. Ten sam tekst pozwala ElevenAgents stosować zabezpieczenia i redakcję danych osobowych (PII) w agencie Realtime. 

Poniższe benchmarki sprawdzają, czy ten kompromis rzeczywiście zniknął. W dynamice rozmowy oba modele osiągają wyniki na poziomie modeli fused. Pod względem łącznej dokładności i szybkości żaden model w rankingu Artificial Analysis nie jest jednocześnie szybszy i dokładniejszy niż v1 Max.

Wyniki modeli

Artificial Analysis niezależnie oceniło oba modele w trzech publicznych benchmarkach: Big Bench Audio dla rozumowania głosowego, Full-Duplex-Bench dla dynamiki rozmowy oraz Speech Agent Arena dla preferencji ludzi i skuteczności zadań.

Rozumowanie głosowe

Big Bench Audio zadaje głosowo 1000 pytań wymagających rozumowania i ocenia wypowiedzianą odpowiedź. Realtime v1 Max poprawnie odpowiedział na 98,8% pytań, a v1 Mini na 75,9%.

Szybkość

Big Bench Audio zadaje głosowo 1000 pytań wymagających rozumowania i ocenia wypowiedzianą odpowiedź. V1 Max zaczyna mówić średnio po 0,57 sekundy, a v1 Mini po 0,62 sekundy.

Granica Pareto dla dokładności i szybkości

Dokładność i szybkość zwykle postrzega się jako kompromis. Modele z najwyższymi wynikami w Big Bench Audio odpowiadają najdłużej, a najszybsze tracą dużo na dokładności. v1 Max wyróżnia się w obu tych wskaźnikach.

Dynamika rozmowy i preferencje użytkowników

W Full-Duplex-Bench, który testuje pauzy, zmianę tur, przerwania i sygnały podtrzymujące rozmowę, v1 Mini uzyskał 95,8%, a v1 Max 94,1%. W Speech Agent Arena, gdzie ludzie porównują dwa modele w ślepych rozmowach na żywo, v1 Max uzyskał 998 punktów, a v1 Mini 988. W zadaniach z użyciem narzędzi v1 Max ukończył 87,1%, a v1 Mini 60,3%, dlatego polecamy Max do zastosowań wymagających intensywnego wywoływania narzędzi.

Zacznij

W ElevenAgents (zalecane)

Utwórz agenta lub otwórz istniejącego, a następnie wybierz model Realtime z listy rozwijanej. Otrzymasz wtedy wszystko, co ElevenAgents oferuje do działania agentów na produkcji. Obejmuje to kanały telefoniczne, internetowe, WhatsApp i CCaaS, workflow, bazę wiedzy, zabezpieczenia, testowanie i monitorowanie.

Więcej informacji znajdziesz w dokumentacji ElevenAgents.

Przez Realtime API

Jeśli masz już integrację z Realtime API OpenAI, najszybszy sposób na wypróbowanie Eleven Realtime to zachowanie kodu i zmiana adresu, z którym się łączy. Realtime API łączy się przez WebSocket i jest zgodne ze specyfikacją OpenAI Realtime, więc SDK OpenAI działa bez zmian.

import { OpenAIRealtimeWebSocket, RealtimeAgent, RealtimeSession } from "@openai/agents-realtime";

const { value: clientSecret } = await fetch("/api/token").then((res) => res.json());

const agent = new RealtimeAgent({
  name: "ElevenLabs agent",
  instructions: "You are a helpful, friendly voice assistant. Keep replies concise.",
});

const transport = new OpenAIRealtimeWebSocket({
  url: "wss://api.elevenlabs.io/v1/convai/realtime",
});

const session = new RealtimeSession(agent, {
  transport,
  model: "eleven_realtime_v1_mini",
  config: {
    outputModalities: ["audio"],
    audio: { output: { voice: "brian" } },
  },
});

await session.connect({ apiKey: clientSecret });

Realtime API łączy się wyłącznie przez WebSocket, więc integrację WebRTC trzeba najpierw przenieść na WebSocket. Działa też niezależnie od ElevenAgents, więc jeśli potrzebujesz kanałów, bazy wiedzy lub innych funkcji platformy, od początku buduj na ElevenAgents.

Nasz przewodnik po migracji opisuje kroki i różnice względem API OpenAI.