May 25, 2026 | ElevenLabs Documentation

Speech Engineのご紹介

ElevenLabs Speech Engineは、独自のチャットエージェントやLLMにリアルタイム音声機能を追加します。ElevenLabsがスピーチtoテキスト、ターンテイキング、テキスト読み上げ、ブラウザでの再生を処理し、サーバー側ではエージェントロジックを管理して、Speech Engine WebSocket経由で応答テキストをストリーミングします。完全ホスト型のElevenAgents設定ではなく、カスタムランタイムで音声機能を使いたい場合に利用できます。

クイックスタート

Speech Engine SDKを使って、数分で音声対応エージェントを構築できます。

エージェントスキル

Speech Engineを統合するAIコーディングアシスタント向けのガイドです。

APIリファレンス

REST APIでSpeech Engineリソースを作成、更新、管理できます。

ElevenAgents

テキスト動作オーバーライド：チャネル固有のエージェント動作のために、任意のverbosity、output_format、interaction_budgetフィールドを持つBehaviorOverrideオブジェクトをConversationInitiationSourceごとにマッピングするtext_behavior_overridesを追加しました。
インテグレーションソース：Intercom、Telegram、Freshdeskを追加しました。
OTLP会話トレース：会話の詳細を取得が任意のformatクエリパラメータに対応しました。format=otlp_tracesを設定すると、標準の会話ペイロードとともにOTLP互換のトレースデータを返します。
ASRキーワードオーバーライド：任意のkeywords配列を持つASRConversationalConfigOverrideおよびASRConversationalConfigOverrideConfigスキーマを追加し、会話設定のクライアントオーバーライドモデルに組み込みました。
Webhook認証メタデータ：Webhookツール設定スキーマで、認証接続から解決されるURLプレースホルダーを示す任意のauth_resolved_params（文字列配列）が利用可能になりました。

音楽

生成モード：MusicGenerationMode（track、loop、ambience）と、音楽プロンプトリクエストボディの任意のgeneration_modeフィールドを追加しました。
ビデオから音楽へのモデル：ビデオから音楽（POST /v1/music/video-to-music）が任意のmodel_id（文字列、デフォルトはmusic_v1）に対応しました。

ElevenCreative Studio

変換クレジット：チャプターおよび音声変換統計のレスポンスモデルに、変換前に必要なクレジットを示す任意のcredits_needed_to_convert（整数）が追加されました。

ワークスペース

リソースタイプ：WorkspaceResourceTypeにstudio_projectsを追加しました。

SDKリリース

Python SDK

v2.50.0 - 2026年5月25日のAPIスキーマに合わせてSDKを再生成しました。
v2.49.1 - Speech Engine API呼び出しが完全なレスポンスオブジェクトを返すよう更新しました。
v2.49.0 - ElevenAgentsのテキスト動作オーバーライド、音楽のgeneration_mode、ワークスペースのstudio_projectsを含む、2026年5月18日～25日のAPIスキーマに合わせてSDKを再生成しました。

JavaScript SDK

v2.50.0 - 不足していたMusic APIメソッドとテストを追加し、2026年5月25日のAPIスキーマに合わせてSDKを再生成しました。
v2.49.1 - Speech Engine API呼び出しが完全なレスポンスオブジェクトを返すよう更新しました。
v2.49.0 - ElevenAgentsのテキスト動作オーバーライド、音楽のgeneration_mode、ワークスペースのstudio_projectsを含む、2026年5月18日～25日のAPIスキーマに合わせてSDKを再生成しました。

パッケージ

@elevenlabs/client@1.8.1 - 最初のユーザージェスチャーでAudioContextをアンロックし、audio workletの読み込み後に再生グラフを初期化することで、WebSocket音声セッションでiOS Safariが最初のエージェントメッセージを失う問題を修正しました。
@elevenlabs/convai-widget-core@0.12.8 and @elevenlabs/convai-widget-embed@0.12.8 - strip_audio_tagsがオフの場合に音声文字起こし内の感情タグとオーディオタグをスタイル設定し、トップレベルのterms_htmlまたはterms_textがnullの場合は利用規約モーダルの無効化スイッチとして扱うようにしました。
@elevenlabs/convai-widget-core@0.12.7 and @elevenlabs/convai-widget-embed@0.12.7 - ウィジェットの依存関係を@elevenlabs/client@1.8.1に更新しました。

API

APIの変更を表示

更新されたエンドポイントとスキーマ

ElevenAgents

会話の詳細を取得 - GET /v1/convai/conversations/{conversation_id}
- 任意のformatクエリパラメータを追加しました。otlp_tracesはOTLP互換のトレースデータを返します
エージェント設定スキーマ
- ConversationInitiationSourceをキーとし、BehaviorOverride値（verbosity、output_format、interaction_budget）を持つtext_behavior_overridesマップを追加しました
ConversationInitiationSource列挙型
- intercom_integration、telegram_integration、freshdesk_integrationを追加しました
ASRオーバーライドスキーマ
- 任意のkeywords（文字列配列）を持つASRConversationalConfigOverrideおよびASRConversationalConfigOverrideConfigを追加しました
Webhookツールスキーマ
- Webhook設定モデルに任意のauth_resolved_params（文字列配列）を追加しました

音楽

ビデオから音楽 - POST /v1/music/video-to-music
- 任意のmodel_id（文字列、デフォルトはmusic_v1）を追加しました
音楽プロンプトリクエストスキーマ
- MusicGenerationMode（track、loop、ambience）を参照する任意のgeneration_modeを追加しました

ElevenCreative Studio

チャプターおよび音声変換統計スキーマ
- 任意のcredits_needed_to_convert（整数）を追加しました

ワークスペース

WorkspaceResourceType列挙型
- studio_projectsを追加しました