Music v2のご紹介
Music v2がElevenLabs APIで利用可能になりました。新しいモデルを使用するには、音楽を生成、音楽をストリーミング、詳細な音楽を生成、音楽をアップロードでmodel_idをmusic_v2に設定してください。Music v2では、GenerationChunkおよびAudioRefChunkセグメントで構成されるチャンクベースのコンポジションプランを導入し、プロンプトベースのmusic_v1フローよりも構造、ペーシング、アレンジを細かく制御できます。
生成およびアップロードリクエストではmusic_v2コンポジションプランを使用するか、コンポジションプランエンドポイントで先にプランを生成してください。リクエストおよびレスポンスボディはv1またはv2のプラン形式を受け付けるため、エンドポイントごとに移行できます。MusicPromptは引き続きmusic_v1でのみ利用できます。
- アップロードのタイムスタンプ:音楽をアップロードでオプションの
with_timestampsを受け付けるようになりました。レスポンスにはwords_timestampsが含まれる場合があります。
ElevenAgents
- 会話評価を実行:
RunConversationEvaluationsRequestを使用して、完了した会話に対して単一の評価基準を再実行する会話評価を実行エンドポイント(POST /v1/convai/conversations/{conversation_id}/analysis/evaluations/run)を追加しました。 - ワークフローのエントリー動作:ワークフローのoverride-agentノードに、サブエージェントが先に発話するかユーザー入力を待つかを制御するオプションの
entry_behavior(generate_immediately、wait_for_user、auto)が追加されました。 - プロシージャ終了システムツール:対応するエラーステータスとともに
end_procedureシステムツール設定を追加しました。start_procedureツールのエラーステータスにはalready_activeが追加されます。 - 転送時のTTSオーバーライド:
AgentTransfer、ワークフローのスタンドアロンエージェントノード、成功したtransfer_to_agentツール結果に、転送後もクライアント側TTSオーバーライドを維持するオプションのpreserve_client_tts_overrides(ブール値)が追加されました。 - インタラクション予算enum:
InteractionBudgetからasyncを削除し、5_minutes、10_minutes、1_hourを追加しました。引き続きasyncを参照している設定またはSDK enumを更新してください。 - カスタムガードレールモデルの選択:カスタムガードレール設定に、Gemini、Claude、GPTのバリアントを持つオプションの
modelが追加されました。ガードレール設定にはオプションのhistory_message_count(整数)も追加されました。 - 電話番号一覧フィルター:電話番号一覧に、インポートした番号をフィルタリングするためのオプションの
provider、agent_id、branch_idクエリパラメーターが追加されました。 - WhatsAppアカウントのフィルタリング:WhatsAppアカウント一覧に、割り当てられたエージェントでアカウントをフィルタリングするオプションの
agent_idクエリパラメーターが追加されました。 - トピックの期間フィルター:エージェント会話トピックを取得に、トピック検出結果の期間を限定するオプションの
from_unix_secsおよびto_unix_secsクエリパラメーターが追加されました。 - SIPコーデック設定:送信SIPトランクのリクエストおよびレスポンスモデルに、オプションの
enabled_codecs(MediaCodecenum)が追加されました。 - メモリツール型:メモリツールのエラー処理用に
LoadableMemoryEntryおよびLoadMemoryEntryToolErrorStatusスキーマを追加しました。 - エージェントテストのバッチ上限:エージェントテストのアタッチ、実行、再送信リクエストスキーマで、添付可能なテストの最大数を1000から5000に引き上げました。
- 音素タグのサポート:エージェントTTS設定に、オプトインのV3 SSML音素処理用オプション
enable_phoneme_tags(ブール値)が追加されました。 - 配列スキーマの省略オーバーライド:配列JSONスキーマプロパティに、オプションの
is_omitted(他の値ソースと相互排他的)が追加されました。ConstantSchemaOverrideで配列の定数値を使用できるようになりました。 - 転送エラーコンテキスト:電話番号への転送のエラーペイロードに、オプションの
agent_message(文字列)を含められるようになりました。
ワークスペース
- サービスアカウントAPIキーの更新:サービスアカウントAPIキーを更新でリクエストボディが不要になりました。編集フィールドでは、
no_updateおよびnull許容のnameを介した部分更新がサポートされ、permissionsおよびcharacter_limitも対象です。 - 使用量のタイムゾーンバケット:ワークスペースのプロダクト別経時使用量リクエストに、オプションの
time_zone(IANAタイムゾーン文字列)が追加され、interval_secondsバケットのルールが明確化されました。 - 履歴ソースフィルター:履歴一覧および詳細の
sourceフィルターにFlowsが追加されました。
ElevenCreative Studio
- プロジェクトの音声参照:プロジェクトモデル、チャプターTTSノード、音声一覧、音声統計で、標準の音声フィールドが
project_voice_ref_idに移行されます。従来のvoice_idフィールドは、互換性のため非推奨の読み取り専用ミラーとしてレスポンスに残ります。
スピーチtoテキスト
- 話者ライブラリ話者分離:音声をテキストに変換に、バッチ文字起こしでの話者分離用オプション
use_speaker_library(ブール値、デフォルトはfalse)が追加されました。
音声
- 共有音声の並べ替え:共有音声一覧の
sortクエリパラメーターに明示的なenum、created_dateのデフォルト値、更新された説明が追加されました。
SDKリリース
JavaScript SDK
- v2.53.0 - 最新のOpenAPIスキーマから再生成されました。会話評価の再実行サポート、music v2コンポジションプランユニオン、ワークフローの
entry_behavior、電話番号およびWhatsApp一覧フィルター、トピック期間パラメーター、アラートスキーマ更新、Studioのproject_voice_ref_idフィールド、拡張されたエージェントテストバッチ上限が含まれます。
Python SDK
- v2.53.0 - 最新のOpenAPIスキーマから再生成されました。会話評価の再実行サポート、music v2コンポジションプラン、ワークフローのエントリー動作およびプロシージャ終了ツール、テレフォニーフィルターパラメーター、アラートおよびサービスアカウント部分更新モデル、Studio音声参照フィールドが含まれます。
パッケージ
- @elevenlabs/client@1.11.0 - Unity SDK WebGLブリッジ用の
@elevenlabs/client/internal/unityサブパスエクスポートを追加し、MediaDeviceInput、MediaDeviceOutput、接続アタッチヘルパー、WebRTCアダプター型を公開しました。 - @elevenlabs/client@1.11.1、@elevenlabs/react@1.6.7、@elevenlabs/react-native@1.2.7、@elevenlabs/convai-widget-core@0.14.2、@elevenlabs/convai-widget-embed@0.14.2 -
@elevenlabs/client@1.11.1および@elevenlabs/types@0.14.1との依存関係を整合させました。 - @elevenlabs/types@0.14.1 - ライセンスチェッカーとの互換性のため、
package.jsonに"license": "MIT"を追加しました。
iOS SDK
- v3.2.1 - シンガポールのデータレジデンシーをサポートし、WebRTCセッションで
singlePeerConnectionを有効化しました。
API
APIの変更を表示
新しいエンドポイント
ElevenAgents
- 会話評価を実行 -
POST /v1/convai/conversations/{conversation_id}/analysis/evaluations/run- リクエストボディで
RunConversationEvaluationsRequestを使用し、単一の評価基準を再実行
- リクエストボディで
更新されたエンドポイント
ElevenAgents
- 電話番号一覧 -
GET /v1/convai/phone-numbers- オプションの
provider、agent_id、branch_idクエリパラメーターを追加
- オプションの
- エージェント会話トピックを取得 -
GET /v1/convai/agents/{agent_id}/topics- オプションの
from_unix_secsおよびto_unix_secsクエリパラメーターを追加
- オプションの
- WhatsAppアカウント一覧 -
GET /v1/convai/whatsapp-accounts- オプションの
agent_idクエリパラメーターを追加
- オプションの
音楽
- 音楽を生成、詳細な音楽を生成、音楽をストリーミング、音楽をアップロード
- サポート対象の
model_id値にmusic_v2を追加 - アップロードにオプションの
with_timestampsを追加。レスポンスにはwords_timestampsが含まれる場合があります
- サポート対象の
スピーチtoテキスト
- 音声をテキストに変換 -
POST /v1/speech-to-text- オプションの
use_speaker_libraryクエリパラメーター(ブール値、デフォルトはfalse)を追加
- オプションの
音声
- 共有音声一覧 -
GET /v1/shared-voicessortクエリパラメーターで、created_dateをデフォルトとする明示的なenumを使用するようになりました
スキーマの変更
ElevenAgents
- ワークフローのoverride-agentノード
- オプションの
entry_behaviorenum(generate_immediately、wait_for_user、auto)を追加
- オプションの
- システムツール
end_procedureツール設定およびエラーステータスを追加
- 転送およびインタラクションスキーマ
- 転送および転送ツール結果にオプションの
preserve_client_tts_overridesを追加 InteractionBudgetからasyncを削除し、5_minutes、10_minutes、1_hourを追加
- 転送および転送ツール結果にオプションの
- ガードレールおよびTTS
- カスタムガードレールにオプションの
modelおよびhistory_message_countを追加 - エージェントTTS設定にオプションの
enable_phoneme_tagsを追加
- カスタムガードレールにオプションの
- テレフォニー
- SIPトランクモデルにオプションの
enabled_codecs(MediaCodecenum)を追加
- SIPトランクモデルにオプションの
- メモリおよびコードツール
LoadableMemoryEntryおよびLoadMemoryEntryToolErrorStatusを追加
- エージェントテスト
- 実行および再送信リクエストで、添付テストの上限を1000から5000に引き上げ
- ツールJSONスキーマプロパティ
- 配列プロパティにオプションの
is_omittedを追加
- 配列プロパティにオプションの
ワークスペース
- サービスアカウント
- APIキーPATCHで
no_updateセンチネルによる部分更新をサポート
- APIキーPATCHで
- 使用量および履歴
- プロダクト別経時使用量にオプションの
time_zoneを追加 - 履歴の
sourceフィルターにFlowsを追加
- プロダクト別経時使用量にオプションの
音楽
- コンポジションプラン
music_v2向けに、チャンクベースのCompositionPlan、GenerationChunk、AudioRefChunkを追加- リクエストおよびレスポンスボディでv1またはv2のプラン形式の
anyOfを受け付け
ElevenCreative Studio
- プロジェクト音声モデル
- 標準の音声参照として
project_voice_ref_idを追加 - 非推奨の読み取り専用
voice_idミラーをレスポンスに保持
- 標準の音声参照として