Eleven Realtimeとは？

Eleven Realtimeは、自然な音声エージェントを構築するための新しいスピーチtoスピーチモデルです。各モデルは、音声認識、ターンテイキング、LLM、テキスト読み上げを1つのシステムとして最適化して組み合わせています。そのため、モデルを1つ選ぶだけで高性能なエージェントを利用できます。ElevenAgentsとRealtime APIで利用可能です。

v1 Miniとv1 Maxの違いは？

V1 Miniは、AIアシスタント、チューター、インタラクティブキャラクターなど、よりシンプルなユースケース向けの低コストな選択肢です。V1 Maxは、カスタマーサポート、リード選別、ツール呼び出しを伴う複数ステップのワークフローなど、より複雑なタスク向けに推論機能を追加しています。

ElevenAgentsでRealtimeモデルを使うには？

エージェントを作成するか、既存のエージェントを開き、モデルのドロップダウンからv1 Miniまたはv1 Maxを選択します。プロンプト、ツール、ナレッジベース、チャネル、設定は従来どおり動作します。既存のエージェントは、更新しない限り変更されません。

Realtime APIの使い方は？

OpenAI互換です。すでにOpenAIのRealtime APIを使用している場合は、既存コードのエンドポイントとモデル名を変更するか、 npx skills add elevenlabs/skills --skill openai-realtime-migration を実行すると、スキルがセットアップを処理します。OpenAIのSDKはそのまま動作します。相違点は移行ガイドで確認できます。ゼロから始める場合は、ElevenAgentsをおすすめします。

Realtime APIはWebRTCに対応していますか？

ローンチ時点では対応していません。WebSocket経由で接続するため、WebRTCインテグレーションはまずWebSocketへ移行する必要があります。

Realtime APIでElevenAgentsの機能を使えますか？

いいえ。Realtime APIとElevenAgentsは別々に動作し、異なる接続プロトコルを使用します。電話、WhatsApp、コンタクトセンターのチャネル、ナレッジベース、ガードレール、テスト、モニタリングが必要な場合は、ElevenAgentsで構築してください。

Eleven Realtimeの料金は？

ElevenAgentsでは、Realtimeモデルに標準のElevenAgents分単位料金と、トークンごとのLLMコストがかかります。アプリのモデルセレクターには、1分あたりの推定コストが表示されます。Realtime APIでは、接続されたオーディオの分数とトークンに対して支払います。トークン価格はすべてのプランで同一です。最新料金は料金ページをご確認ください。

ベンチマーク結果はどのように測定されましたか？

Artificial Analysisが、音声推論にはBig Bench Audio、会話ダイナミクスにはFull-Duplex-Bench、人間の選好とタスク成功にはSpeech Agent Arenaを使用して、両モデルを独立して評価しました。最初の音声までの時間は、Big Bench Audioで測定した平均値です。

Max

Mini

即時会話Eleven Realtimeで

ElevenAgentsで構築ドキュメントを見る

自然に話す音声エージェントを構築するための、新しいスピーチtoスピーチモデルです。自然な会話にはv1 Mini、複雑なタスクにはv1 Maxを選択してください。

1つのシステムとして最適化

音声認識、ターンテイキング、LLM、音声をエンドツーエンドで最適化。ElevenAgentsとRealtime APIで利用できます。

Eleven Realtime v1 Mini自然な会話に最適化

ElevenAgentsで試す

AIアシスタント、教育チューター、インタラクティブキャラクターなど、自然で表現力豊かな会話を中心としたユースケースに最適です。

自然に流れる会話のために設計

中断や素早い会話の往復でも、自然なタイミングとトーンを維持します。

アシスタント

チューター

キャラクター

ドキュメントを見る

ベンチマーク結果

テンポを逃さない会話を支えるパフォーマンス指標です。

最初の音声までの時間: 620ms
Full-Duplex-Bench: 95.8%
Speech Agent Arena Elo: 988

Eleven Realtime v1 Max複雑なタスクに最適化

ElevenAgentsで試す

カスタマーサポートやリード選別など、正確で思慮深い応答が必要なユースケースに最適です。

ベンチマーク結果

推論する会話を支えるパフォーマンス指標です。

最初の音声までの時間: 570ms
Big Bench Audio: 98.8%
タスク成功率: 87.1%

複雑なビジネス対話のために設計

複雑な質問を推論し、会話を遅らせることなくツールを呼び出してタスクを完了します。

リード選別

カスタマーサポート

アシスト付きスケジューリング

ドキュメントを見る

Eleven Realtimeで構築ElevenAgentsで

エージェント作成時にRealtimeモデルを選択すれば、すぐに会話を始められます。

ElevenAgentsで試す

Model selection menu with Eleven Realtime v1 Mini selected and Max option listed.

エージェントのモデルをv1 Miniまたはv1 Maxに設定してください。文字起こし、ターンテイキング、音声はすでに構成されています。

Channels menu listing telephony, WhatsApp, widget, Zendesk, Genesys, and support integrations.

電話、Webウィジェット、WhatsApp、コンタクトセンタープラットフォームに、チャネルごとの個別インテグレーションを維持せず同じエージェントをデプロイできます。

ナレッジベースを追加し、ガードレールを定義し、スクリプト化したシナリオでテストして、本番環境のすべての会話を監視できます。

OpenAI互換のRealtime API

Eleven RealtimeはRealtime APIでも利用できます。OpenAIのRealtime APIと互換性があるため、エンドポイントとモデル名を変更するだけで、残りのコードはそのまま使えます。

npx skills add elevenlabs/skills \
  --skill realtime

スキルを使って1コマンドでインストール

スキルを実行するだけでセットアップが完了します。数分でリアルタイム音声をプロダクトに導入できます。

同じイベント、同じハンドラー

すべてのクライアントおよびサーバーイベントはOpenAIから届く場合と同様に届くため、構築済みのハンドラー、ログ、ツールは引き続き動作します。

監査可能な会話

専用のUI／ダッシュボードで会話を表示・監査できます。すべての会話はログに記録され、検索可能。コンプライアンス要件にも対応できます。

OpenAIのSDKと接続

すでに使用しているRealtime SDKを利用できます。WebSocketトランスポートの接続先をElevenLabsに設定し、Realtimeモデルと音声を選んで、クライアントシークレットで接続してください。

ドキュメントを見る

import { OpenAIRealtimeWebSocket, RealtimeAgent, RealtimeSession } from "@openai/agents-realtime";

const { value: clientSecret } = await fetch("/api/token").then((res) => res.json());

const agent = new RealtimeAgent({
  name: "ElevenLabs agent",
  instructions: "You are a helpful, friendly voice assistant. Keep replies concise.",
});

const transport = new OpenAIRealtimeWebSocket({
  url: "wss://api.elevenlabs.io/v1/convai/realtime",
});

const session = new RealtimeSession(agent, {
  transport,
  model: "eleven_realtime_v1_mini",
  config: {
    outputModalities: ["audio"],
    audio: { output: { voice: "brian" } },
  },
});

await session.connect({ apiKey: clientSecret });