Music v2のご紹介

Music v2がElevenLabs APIで利用可能になりました。新しいモデルを使用するには、音楽を生成、音楽をストリーミング、詳細な音楽を生成、音楽をアップロードでmodel_idをmusic_v2に設定してください。Music v2では、GenerationChunkおよびAudioRefChunkセグメントで構成されるチャンクベースのコンポジションプランを導入し、プロンプトベースのmusic_v1フローよりも構造、ペーシング、アレンジを細かく制御できます。

生成およびアップロードリクエストではmusic_v2コンポジションプランを使用するか、コンポジションプランエンドポイントで先にプランを生成してください。リクエストおよびレスポンスボディはv1またはv2のプラン形式を受け付けるため、エンドポイントごとに移行できます。MusicPromptは引き続きmusic_v1でのみ利用できます。

  • アップロードのタイムスタンプ:音楽をアップロードでオプションのwith_timestampsを受け付けるようになりました。レスポンスにはwords_timestampsが含まれる場合があります。

ElevenAgents

  • 会話評価を実行:RunConversationEvaluationsRequestを使用して、完了した会話に対して単一の評価基準を再実行する会話評価を実行エンドポイント(POST /v1/convai/conversations/{conversation_id}/analysis/evaluations/run)を追加しました。
  • ワークフローのエントリー動作:ワークフローのoverride-agentノードに、サブエージェントが先に発話するかユーザー入力を待つかを制御するオプションのentry_behavior(generate_immediately、wait_for_user、auto)が追加されました。
  • プロシージャ終了システムツール:対応するエラーステータスとともにend_procedureシステムツール設定を追加しました。start_procedureツールのエラーステータスにはalready_activeが追加されます。
  • 転送時のTTSオーバーライド:AgentTransfer、ワークフローのスタンドアロンエージェントノード、成功したtransfer_to_agentツール結果に、転送後もクライアント側TTSオーバーライドを維持するオプションのpreserve_client_tts_overrides(ブール値)が追加されました。
  • インタラクション予算enum:InteractionBudgetからasyncを削除し、5_minutes、10_minutes、1_hourを追加しました。引き続きasyncを参照している設定またはSDK enumを更新してください。
  • カスタムガードレールモデルの選択:カスタムガードレール設定に、Gemini、Claude、GPTのバリアントを持つオプションのmodelが追加されました。ガードレール設定にはオプションのhistory_message_count(整数)も追加されました。
  • 電話番号一覧フィルター:電話番号一覧に、インポートした番号をフィルタリングするためのオプションのprovider、agent_id、branch_idクエリパラメーターが追加されました。
  • WhatsAppアカウントのフィルタリング:WhatsAppアカウント一覧に、割り当てられたエージェントでアカウントをフィルタリングするオプションのagent_idクエリパラメーターが追加されました。
  • トピックの期間フィルター:エージェント会話トピックを取得に、トピック検出結果の期間を限定するオプションのfrom_unix_secsおよびto_unix_secsクエリパラメーターが追加されました。
  • SIPコーデック設定:送信SIPトランクのリクエストおよびレスポンスモデルに、オプションのenabled_codecs(MediaCodec enum)が追加されました。
  • メモリツール型:メモリツールのエラー処理用にLoadableMemoryEntryおよびLoadMemoryEntryToolErrorStatusスキーマを追加しました。
  • エージェントテストのバッチ上限:エージェントテストのアタッチ、実行、再送信リクエストスキーマで、添付可能なテストの最大数を1000から5000に引き上げました。
  • 音素タグのサポート:エージェントTTS設定に、オプトインのV3 SSML音素処理用オプションenable_phoneme_tags(ブール値)が追加されました。
  • 配列スキーマの省略オーバーライド:配列JSONスキーマプロパティに、オプションのis_omitted(他の値ソースと相互排他的)が追加されました。ConstantSchemaOverrideで配列の定数値を使用できるようになりました。
  • 転送エラーコンテキスト:電話番号への転送のエラーペイロードに、オプションのagent_message(文字列)を含められるようになりました。

ワークスペース

  • サービスアカウントAPIキーの更新:サービスアカウントAPIキーを更新でリクエストボディが不要になりました。編集フィールドでは、no_updateおよびnull許容のnameを介した部分更新がサポートされ、permissionsおよびcharacter_limitも対象です。
  • 使用量のタイムゾーンバケット:ワークスペースのプロダクト別経時使用量リクエストに、オプションのtime_zone(IANAタイムゾーン文字列)が追加され、interval_secondsバケットのルールが明確化されました。
  • 履歴ソースフィルター:履歴一覧および詳細のsourceフィルターにFlowsが追加されました。

ElevenCreative Studio

  • プロジェクトの音声参照:プロジェクトモデル、チャプターTTSノード、音声一覧、音声統計で、標準の音声フィールドがproject_voice_ref_idに移行されます。従来のvoice_idフィールドは、互換性のため非推奨の読み取り専用ミラーとしてレスポンスに残ります。

スピーチtoテキスト

  • 話者ライブラリ話者分離:音声をテキストに変換に、バッチ文字起こしでの話者分離用オプションuse_speaker_library(ブール値、デフォルトはfalse)が追加されました。

音声

  • 共有音声の並べ替え:共有音声一覧のsortクエリパラメーターに明示的なenum、created_dateのデフォルト値、更新された説明が追加されました。

SDKリリース

JavaScript SDK

  • v2.53.0 - 最新のOpenAPIスキーマから再生成されました。会話評価の再実行サポート、music v2コンポジションプランユニオン、ワークフローのentry_behavior、電話番号およびWhatsApp一覧フィルター、トピック期間パラメーター、アラートスキーマ更新、Studioのproject_voice_ref_idフィールド、拡張されたエージェントテストバッチ上限が含まれます。

Python SDK

  • v2.53.0 - 最新のOpenAPIスキーマから再生成されました。会話評価の再実行サポート、music v2コンポジションプラン、ワークフローのエントリー動作およびプロシージャ終了ツール、テレフォニーフィルターパラメーター、アラートおよびサービスアカウント部分更新モデル、Studio音声参照フィールドが含まれます。

パッケージ

iOS SDK

  • v3.2.1 - シンガポールのデータレジデンシーをサポートし、WebRTCセッションでsinglePeerConnectionを有効化しました。

API

新しいエンドポイント

ElevenAgents

  • 会話評価を実行 - POST /v1/convai/conversations/{conversation_id}/analysis/evaluations/run
    • リクエストボディでRunConversationEvaluationsRequestを使用し、単一の評価基準を再実行

更新されたエンドポイント

ElevenAgents

音楽

スピーチtoテキスト

  • 音声をテキストに変換 - POST /v1/speech-to-text
    • オプションのuse_speaker_libraryクエリパラメーター(ブール値、デフォルトはfalse)を追加

音声

  • 共有音声一覧 - GET /v1/shared-voices
    • sortクエリパラメーターで、created_dateをデフォルトとする明示的なenumを使用するようになりました

スキーマの変更

ElevenAgents

  • ワークフローのoverride-agentノード
    • オプションのentry_behavior enum(generate_immediately、wait_for_user、auto)を追加
  • システムツール
    • end_procedureツール設定およびエラーステータスを追加
  • 転送およびインタラクションスキーマ
    • 転送および転送ツール結果にオプションのpreserve_client_tts_overridesを追加
    • InteractionBudgetからasyncを削除し、5_minutes、10_minutes、1_hourを追加
  • ガードレールおよびTTS
    • カスタムガードレールにオプションのmodelおよびhistory_message_countを追加
    • エージェントTTS設定にオプションのenable_phoneme_tagsを追加
  • テレフォニー
    • SIPトランクモデルにオプションのenabled_codecs(MediaCodec enum)を追加
  • メモリおよびコードツール
    • LoadableMemoryEntryおよびLoadMemoryEntryToolErrorStatusを追加
  • エージェントテスト
    • 実行および再送信リクエストで、添付テストの上限を1000から5000に引き上げ
  • ツールJSONスキーマプロパティ
    • 配列プロパティにオプションのis_omittedを追加

ワークスペース

  • サービスアカウント
    • APIキーPATCHでno_updateセンチネルによる部分更新をサポート
  • 使用量および履歴
    • プロダクト別経時使用量にオプションのtime_zoneを追加
    • 履歴のsourceフィルターにFlowsを追加

音楽

  • コンポジションプラン
    • music_v2向けに、チャンクベースのCompositionPlan、GenerationChunk、AudioRefChunkを追加
    • リクエストおよびレスポンスボディでv1またはv2のプラン形式のanyOfを受け付け

ElevenCreative Studio

  • プロジェクト音声モデル
    • 標準の音声参照としてproject_voice_ref_idを追加
    • 非推奨の読み取り専用voice_idミラーをレスポンスに保持