Presentazione di Eleven Realtime: un modo più semplice per creare agenti vocali naturali

Oggi, creare un agente vocale dal suono naturale richiede molte decisioni. Devi scegliere singoli componenti come il riconoscimento vocale, il rilevamento dell'attività vocale, la gestione dei turni, l'LLM sottostante e il text to speech. Creare questo stack è già di per sé un progetto e far funzionare bene insieme tutti i componenti richiede ulteriori test e ottimizzazioni.

Eleven Realtime è una nuova classe di modelli Speech to Speech che elimina questi ostacoli. Ogni modello è un agente vocale completo, ottimizzato per casi d'uso specifici. Entrambi supportano oltre 90 lingue e possono utilizzare una qualsiasi delle oltre 17.000 voci nella libreria di ElevenLabs:

Oggi lanciamo:

• Eleven Realtime v1 Mini per conversazioni naturali a basso costo. È la scelta migliore per assistenti IA, insegnanti e personaggi interattivi, ed è sufficiente per la maggior parte dei casi d'uso.
• Eleven Realtime v1 Max per attività complesse. È ideale per l'assistenza clienti, la qualificazione dei lead e i workflow in più passaggi, in cui l'agente deve seguire un processo e ragionare attraverso le varie fasi.

Perché abbiamo creato modelli realtime

Non dovresti dover diventare un esperto di configurazione per creare un agente vocale dal suono naturale. Far sì che un agente abbia il tono e il comportamento giusti dipende da piccole valutazioni che richiedono sfumature: quanto aspettare dopo una pausa prima di rispondere, come gestire le interruzioni dell'utente e come voce, prompt e modello interagiscono tra loro. In ElevenAgents puoi modificare tutte queste impostazioni.

Lo stesso vale per gli sviluppatori che già utilizzano una API realtime. La nostra è compatibile con la Realtime API di OpenAI, quindi per provare Eleven Realtime basta modificare l'endpoint e il nome del modello nel codice che potresti già avere.

Prestazioni

Artificial Analysis ha valutato entrambi i modelli in modo indipendente su tre benchmark pubblici: Big Bench Audio per il ragionamento vocale, Full-Duplex-Bench per le dinamiche conversazionali e Speech Agent Arena per le preferenze umane e il successo nelle attività.

Ragionamento vocale

Big Bench Audio pone vocalmente 1.000 domande di ragionamento e valuta la risposta pronunciata. Realtime v1 Max ha risposto correttamente al 98,8% delle domande, mentre v1 Mini al 75,9%.

Velocità

Big Bench Audio pone vocalmente 1.000 domande di ragionamento e valuta la risposta pronunciata. V1 Max inizia a parlare in media in 0,57 secondi e v1 Mini in 0,62 secondi.

La frontiera di Pareto per accuratezza e velocità

Accuratezza e velocità sono solitamente considerate un compromesso. I modelli che ottengono i punteggi più alti in Big Bench Audio impiegano più tempo a rispondere, mentre quelli più veloci rinunciano a molta accuratezza. v1 Max eccelle in entrambe le metriche.

Dinamiche conversazionali e preferenze umane

In Full-Duplex-Bench, che testa pause, gestione dei turni, interruzioni e segnali di ascolto, v1 Mini ottiene il 95,8% e v1 Max il 94,1%. Nello Speech Agent Arena, dove le persone confrontano due modelli in conversazioni live alla cieca, v1 Max ha ottenuto 998 punti e v1 Mini 988. Nelle attività di utilizzo degli strumenti, v1 Max ha completato l'87,1% e v1 Mini il 60,3%; per questo consigliamo Max per i casi d'uso che richiedono molte chiamate agli strumenti.

Inizia

In ElevenAgents (consigliato)

Crea un agente, oppure aprine uno esistente, e seleziona un modello Realtime dal menu a discesa. Da lì hai a disposizione tutto ciò che ElevenAgents offre per usare gli agenti in produzione: canali telefonici, web, WhatsApp e CCaaS, workflow, una knowledge base, guardrail, test e monitoraggio.

Consulta la documentazione di ElevenAgents per maggiori dettagli.

Tramite la Realtime API

Se hai già un'integrazione con la Realtime API di OpenAI, il modo più rapido per provare Eleven Realtime è mantenere il tuo codice e modificare l'endpoint a cui punta. La Realtime API si connette tramite WebSocket e segue le specifiche di OpenAI Realtime, quindi l'SDK di OpenAI funziona così com'è.

import { OpenAIRealtimeWebSocket, RealtimeAgent, RealtimeSession } from "@openai/agents-realtime";

const { value: clientSecret } = await fetch("/api/token").then((res) => res.json());

const agent = new RealtimeAgent({
  name: "ElevenLabs agent",
  instructions: "You are a helpful, friendly voice assistant. Keep replies concise.",
});

const transport = new OpenAIRealtimeWebSocket({
  url: "wss://api.elevenlabs.io/v1/convai/realtime",
});

const session = new RealtimeSession(agent, {
  transport,
  model: "eleven_realtime_v1_mini",
  config: {
    outputModalities: ["audio"],
    audio: { output: { voice: "brian" } },
  },
});

await session.connect({ apiKey: clientSecret });

La Realtime API si connette esclusivamente tramite WebSocket, quindi un'integrazione WebRTC deve prima passare a WebSocket. Funziona inoltre separatamente da ElevenAgents: se hai bisogno di canali, una knowledge base o altre funzionalità della piattaforma, crea la tua soluzione su ElevenAgents fin dall'inizio.

La guida alla migrazione illustra i passaggi e le differenze rispetto all'API di OpenAI.