LiveAvatar | ElevenLabs Documentation

概要

LiveAvatarインテグレーションは、ElevenAgentsとHeyGenのLiveAvatarプラットフォームを接続し、インタラクティブなアバター体験を実現します。このインテグレーションでは、ElevenLabs Agents（音声インタラクションを処理）とLiveAvatarのリアルタイムアバタービデオストリーミングを組み合わせ、AIアバターとの低レイテンシーなビジュアル会話を可能にします。

このインテグレーションでは、次のことができます。

視覚的なアバター表現を備えた会話型AIエージェントをデプロイする
リアルなアバターによるインタラクティブなカスタマーサービス体験を作成する
ウェブサイトやアプリケーション向けの魅力的なバーチャルアシスタントを構築する

仕組み

このインテグレーションでは、LiveAvatarのLITEセッションモードを使用します。このモードでは、2つのプラットフォームで役割を分担します。

ElevenLabs：音声入力と出力のストリーミングおよびオーケストレーションを処理
LiveAvatar：アバターのレンダリングとリアルタイムビデオストリーミングを管理

ElevenAgents設定でLITEモードセッションを開始すると、LiveAvatarはElevenLabsエージェントに接続するワーカーをディスパッチします。エージェントの音声出力が、アバターのリップシンクとアニメーションをリアルタイムで駆動します。

前提条件

インテグレーションを設定する前に、以下をご用意ください。

APIアクセス権のあるElevenLabsアカウント
APIアクセス権のあるHeyGen LiveAvatarアカウント
ElevenLabsエージェント（クイックスタートガイドに従って作成）

ElevenLabs Agentでは、音声入力および出力フォーマットをPCM 24000 Hzに設定する必要があります。これは、 Voice settings＞TTS output formats、およびAdvanced＞User input audio formatで設定できます。

セットアップ

ElevenLabs認証情報を取得

ElevenLabsアカウントから、次の2つが必要です。

エージェントID：Agents Platform ＞ Agentsに移動し、使用するエージェントのIDをコピーします
APIキー：Settings ＞ API Keysに移動し、新しいAPIキーを生成します（または既存のキーを使用します）

APIキーには、convai_read、user_read、voices_readの権限が必要です。

ElevenLabs APIキーをLiveAvatarに登録

LiveAvatarでは、secretsエンドポイントを通じてElevenLabs APIキーを登録する必要があります。この登録により、Amazon KMSを使用してキーが暗号化され、セッションで使用するsecret_idが返されます。

LiveAvatarのsecretsエンドポイントにPOSTリクエストを送信します。

curl -X POST "https://api.liveavatar.com/v1/secrets" \
  -H "Content-Type: application/json" \
  -H "X-Api-Key: <your_heygen_api_key>" \
  -d '{
    "secret_type": "ELEVENLABS_API_KEY",
    "secret_value": "<your_secret_value>",
    "secret_name": "<your_secret_name>"
  }'

レスポンスにはsecret_idが含まれます。セッション開始時に使用するため、このsecret_idを保存してください。

LiveAvatarセッションを開始

LiveAvatarセッションを開始する際は、LITEモードを使用し、ElevenAgents設定を含めます。

{
  "mode": "LITE",
  "elevenlabs_agent_config": {
    "secret_id": "xxxxxxxxxxxxxxxx",
    "agent_id": "agent_xxxxxxxxxxxxxxxx"
  },
  "avatar_id": "xxxxx"
}

セッション管理の詳細については、LiveAvatarセッションAPIドキュメントを参照してください。

イベントとコールバック

このインテグレーションは、LiveAvatarのFULLモードと同じイベント構造を使用して、LiveKitルーム経由でイベントを配信します。これにより、次のことができます。

会話状態の変化を監視する
エージェントの発話・リスニングモードを追跡する
接続および切断イベントを処理する
文字起こしとエージェントの応答を処理する

イベントハンドラーは、LiveAvatarイベントドキュメントに従って設定してください。

料金

このインテグレーションでは、両プラットフォームからそれぞれ料金が請求されます。

コンポーネント	料金
LiveAvatar（アバタービデオ）	セッション1分あたり1クレジット
ElevenLabs（会話型AI）	サブスクリプションプランに基づき、ElevenLabsアカウントに請求されます

アバターストリーミングの料金はビデオコンポーネントに対してのみ請求され、エージェントのすべての利用分（音声とLLM）はElevenLabsアカウントを通じて別途請求されます。

概要

仕組み