Présentation d’Eleven Realtime : une façon plus simple de concevoir des agents vocaux naturels

Concevoir aujourd’hui un agent vocal naturel implique de prendre de nombreuses décisions. Vous devez choisir chaque composant : reconnaissance vocale, détection d’activité vocale, gestion des tours de parole, grand modèle de langage sous-jacent et synthèse vocale. Constituer cette pile est déjà un projet en soi, et faire fonctionner tous les composants de manière optimale demande davantage de tests et d’ajustements.

Eleven Realtime est une nouvelle catégorie de modèles de parole à parole qui élimine ces obstacles. Chaque modèle est un agent vocal complet, optimisé pour des cas d’usage distincts. Tous deux prennent en charge plus de 90 langues et peuvent utiliser l’une des plus de 17 000 voix de la bibliothèque ElevenLabs :

Aujourd’hui, nous lançons :

• Eleven Realtime v1 Mini pour des conversations naturelles à moindre coût. C’est le meilleur choix pour les assistants IA, les enseignants et les personnages interactifs, et il répondra aux besoins de la plupart des cas d’usage.
• Eleven Realtime v1 Max pour les tâches complexes. Il est idéal pour l’assistance client, la qualification de prospects et les workflows en plusieurs étapes, lorsque l’agent doit suivre un processus et raisonner étape par étape.

Pourquoi nous avons conçu des modèles temps réel

Vous ne devriez pas avoir à devenir expert en configuration pour concevoir un agent vocal naturel. Pour qu’un agent semble et sonne juste, il faut prendre des décisions subtiles : déterminer combien de temps attendre après une pause avant de répondre, savoir comment réagir lorsque l’utilisateur interrompt l’agent, et faire fonctionner ensemble la voix, les prompts et le modèle. Dans ElevenAgents, vous pouvez ajuster tous ces paramètres.

Il en va de même pour les développeurs qui utilisent déjà une API temps réel. La nôtre est compatible avec l’API Realtime d’OpenAI. Pour essayer Eleven Realtime, il suffit donc de modifier l’endpoint et le nom du modèle dans votre code existant.

Performances

Artificial Analysis a évalué les deux modèles de façon indépendante sur trois benchmarks publics : Big Bench Audio pour le raisonnement vocal, Full-Duplex-Bench pour les dynamiques conversationnelles et Speech Agent Arena pour les préférences humaines et la réussite des tâches.

Raisonnement vocal

Big Bench Audio pose 1 000 questions de raisonnement à l’oral et évalue la réponse prononcée. Realtime v1 Max a répondu correctement à 98,8 % des questions, contre 75,9 % pour v1 Mini.

Vitesse

Big Bench Audio pose 1 000 questions de raisonnement à l’oral et évalue la réponse prononcée. V1 Max commence à parler en 0,57 seconde en moyenne, contre 0,62 seconde pour v1 Mini.

Frontière de Pareto entre précision et vitesse

La précision et la vitesse sont généralement considérées comme un compromis. Les modèles qui obtiennent les meilleurs scores sur Big Bench Audio sont les plus longs à répondre, tandis que les plus rapides sacrifient une part importante de précision. v1 Max excelle sur ces deux indicateurs.

Dynamiques conversationnelles et préférences humaines

Sur Full-Duplex-Bench, qui teste les pauses, la gestion des tours de parole, les interruptions et les signaux d’écoute, v1 Mini obtient 95,8 % et v1 Max 94,1 %. Dans Speech Agent Arena, où des personnes comparent deux modèles lors de conversations en direct à l’aveugle, v1 Max a obtenu 998 points et v1 Mini 988. Pour les tâches impliquant l’utilisation d’outils, v1 Max a accompli 87,1 % des tâches, contre 60,3 % pour v1 Mini. C’est pourquoi nous recommandons Max pour les cas d’usage impliquant de nombreux appels d’outils.

Pour commencer

Dans ElevenAgents (recommandé)

Concevez un agent, ou ouvrez-en un existant, puis sélectionnez un modèle Realtime dans le menu déroulant. Vous bénéficiez alors de tout ce qu’offre ElevenAgents pour déployer des agents en production : canaux par téléphone, sur le web, via WhatsApp et via des centres de contact en tant que service, workflows, base de connaissances, garde-fous, tests et gestion.

Consultez la documentation d’ElevenAgents pour plus de détails.

Via l’API Realtime

Si vous disposez déjà d’une intégration avec l’API Realtime d’OpenAI, le moyen le plus rapide d’essayer Eleven Realtime consiste à conserver votre code et à modifier sa destination. L’API Realtime se connecte via WebSocket et suit les spécifications Realtime d’OpenAI. Le SDK d’OpenAI fonctionne donc tel quel.

import { OpenAIRealtimeWebSocket, RealtimeAgent, RealtimeSession } from "@openai/agents-realtime";

const { value: clientSecret } = await fetch("/api/token").then((res) => res.json());

const agent = new RealtimeAgent({
  name: "ElevenLabs agent",
  instructions: "You are a helpful, friendly voice assistant. Keep replies concise.",
});

const transport = new OpenAIRealtimeWebSocket({
  url: "wss://api.elevenlabs.io/v1/convai/realtime",
});

const session = new RealtimeSession(agent, {
  transport,
  model: "eleven_realtime_v1_mini",
  config: {
    outputModalities: ["audio"],
    audio: { output: { voice: "brian" } },
  },
});

await session.connect({ apiKey: clientSecret });

L’API Realtime se connecte uniquement via WebSocket. Une intégration WebRTC doit donc d’abord être migrée vers WebSocket. Elle fonctionne également séparément d’ElevenAgents. Si vous avez besoin de canaux, d’une base de connaissances ou d’autres fonctionnalités de la plateforme, concevez votre solution sur ElevenAgents dès le départ.

Le guide de migration présente les étapes à suivre et les différences avec l’API d’OpenAI.