Eleven Realtimeのご紹介：自然な音声エージェントをより簡単に構築

今日、自然に聞こえる音声エージェントを構築するには、多くの判断が必要です。音声認識、音声アクティビティ検出、ターンテイキング、基盤となるLLM、テキスト読み上げといった個々のコンポーネントを選ばなければなりません。このスタックの構築自体が一つのプロジェクトであり、すべてのコンポーネントをうまく連携させるには、さらにテストとチューニングが必要です。

Eleven Realtimeは、こうした障壁を取り除く新しいスピーチtoスピーチモデルです。各モデルは、用途ごとに最適化された完全な音声エージェントです。どちらも90以上の言語をサポートし、ElevenLabsライブラリにある17,000種類以上の音声を利用できます。

本日、次のモデルをリリースします。

• Eleven Realtime v1 Miniは、低コストで自然な会話を実現します。AIアシスタント、教師、インタラクティブキャラクターに最適で、ほとんどのユースケースに十分対応できます。
• Eleven Realtime v1 Maxは、複雑なタスク向けです。エージェントがプロセスに従い、段階的に推論する必要があるカスタマーサポート、リードの選別、複数ステップのワークフローに最適です。

リアルタイムモデルを開発した理由

自然に聞こえる音声エージェントを構築するために、設定の専門家になる必要はありません。エージェントを自然に感じさせ、自然に聞こえるようにするには、回答前に一時停止のあとどれだけ待つか、ユーザーがエージェントを中断したときにどう対応するか、音声・プロンプト・モデルをどう連携させるかなど、細かなニュアンスを要する判断が重要です。ElevenAgentsでは、これらをすべて設定できます。

すでにリアルタイムAPIを利用しているデベロッパーにも同じことが言えます。ElevenLabsのAPIはOpenAIのRealtime APIと互換性があるため、既存のコードのエンドポイントとモデル名を変更するだけでEleven Realtimeを試せます。

パフォーマンス

Artificial Analysisは、音声推論のBig Bench Audio、会話のダイナミクスを測るFull-Duplex-Bench、人間の好みとタスク成功率を評価するSpeech Agent Arenaという3つの公開ベンチマークで、両モデルを独自に評価しました。

音声推論

Big Bench Audioでは、音声で1,000問の推論問題を出題し、音声による回答を採点します。Realtime v1 Maxの正答率は98.8%、v1 Miniは75.9%でした。

速度

Big Bench Audioでは、音声で1,000問の推論問題を出題し、音声による回答を採点します。V1 Maxは平均0.57秒、v1 Miniは平均0.62秒で発話を開始します。

精度と速度のパレートフロンティア

精度と速度は、通常トレードオフと見なされます。Big Bench Audioで高得点のモデルほど回答に時間がかかり、最速のモデルは精度を大きく犠牲にします。v1 Maxは、両方の指標で優れた性能を発揮します。

会話のダイナミクスと人間の好み

間、ターンテイキング、中断、相づちをテストするFull-Duplex-Benchでは、v1 Miniが95.8%、v1 Maxが94.1%を記録しました。人々がライブ会話で2つのモデルをブラインド比較するSpeech Agent Arenaでは、v1 Maxは998点、v1 Miniは988点でした。ツール利用タスクでは、v1 Maxの完了率は87.1%、v1 Miniは60.3%でした。そのため、多数のツール呼び出しを伴うユースケースにはMaxを推奨します。

はじめる

ElevenAgentsで（推奨）

エージェントを作成するか既存のエージェントを開き、ドロップダウンからRealtimeモデルを選択します。そこから、ElevenAgentsが本番環境でのエージェント運用のために提供するすべての機能を利用できます。電話、Web、WhatsApp、CCaaSチャネル、ワークフロー、ナレッジベース、ガードレール、テスト、モニタリングなどが含まれます。

詳細はElevenAgentsドキュメントをご覧ください。

Realtime APIを通じて

すでにOpenAIのRealtime APIとインテグレーションしている場合、Eleven Realtimeを試す最も速い方法は、コードはそのままに接続先を変更することです。Realtime APIはWebSocket経由で接続し、OpenAI Realtimeの仕様に準拠しているため、OpenAIのSDKをそのまま利用できます。

import { OpenAIRealtimeWebSocket, RealtimeAgent, RealtimeSession } from "@openai/agents-realtime";

const { value: clientSecret } = await fetch("/api/token").then((res) => res.json());

const agent = new RealtimeAgent({
  name: "ElevenLabs agent",
  instructions: "You are a helpful, friendly voice assistant. Keep replies concise.",
});

const transport = new OpenAIRealtimeWebSocket({
  url: "wss://api.elevenlabs.io/v1/convai/realtime",
});

const session = new RealtimeSession(agent, {
  transport,
  model: "eleven_realtime_v1_mini",
  config: {
    outputModalities: ["audio"],
    audio: { output: { voice: "brian" } },
  },
});

await session.connect({ apiKey: clientSecret });

Realtime APIはWebSocket経由でのみ接続するため、WebRTCインテグレーションではまずWebSocketへ移行する必要があります。また、ElevenAgentsとは別に動作するため、チャネル、ナレッジベース、その他のプラットフォーム機能が必要な場合は、最初からElevenAgents上で構築してください。

手順とOpenAI APIとの違いについては、移行ガイドをご覧ください。