Eleven v3

v3がアルファ版を終了しました。より安定し、精度と低レイテンシーも向上しています。Eleven v3の詳細。

テキストtoダイアログ

  • WAV出力形式:テキストtoダイアログのエンドポイントで、既存のMP3、PCM、OPUSなどに加え、WAV出力形式(wav_8000、wav_16000、wav_22050、wav_24000、wav_32000、wav_44100、wav_48000)をサポートしました。サンプルレートが44.1kHzのWAV形式には、プロ以上のサブスクリプションが必要です。

Agentsプラットフォーム

  • エージェントブランチの名前変更:ブランチを更新エンドポイントを使用して、エージェントブランチの名前を変更できるようになりました。新しい任意のnameフィールドには1~140文字を指定できます。
  • アラインメントガードレール:会話のセーフティ制御を強化するため、GuardrailsV1スキーマにAlignmentGuardrail型を追加しました。
  • 投機的ターン設定:エージェントのターンテイキング動作を微調整するため、ターン設定にspeculative_turnフィールドを追加しました。
  • プロシージャ参照:エージェントのパッチリクエストで、再利用可能なプロシージャを参照するためのprocedure_refsをサポートしました。
  • Webhookレスポンスフィルタリング:Webhookオーバーライドにresponse_filter_modeとresponse_filtersフィールドを追加し、通過させるレスポンスデータを制御する新しいResponseFilterMode列挙型を追加しました。
  • ツールイベントのエラー詳細:デバッグを改善するため、APIインテグレーションWebhook、システム、ワークフローツールイベントモデルにraw_error_messageフィールドを追加しました。
  • 柔軟なツール呼び出し照合:テストモデルにcheck_any_tool_matchesオプションを追加し、エージェントテスト中のツール呼び出し照合要件を緩和できるようにしました。
  • シークレットのページネーション:ワークスペースシークレットを取得エンドポイントで、page_size(最大100)およびcursorクエリパラメータによるページネーションをサポートし、レスポンスでnext_cursorとhas_moreを返すようになりました。

ワークスペース

  • 権限の明確化:ワークスペースのグループおよび招待エンドポイントで、ワークスペース管理者ステータスを必要とする代わりに、具体的な権限要件(グループメンバー操作にはgroup_members_manage、ワークスペース招待にはWORKSPACE_MEMBERS_INVITE)を記載しました。
  • 新しい権限タイプ:PermissionType列挙型にgroup_members_manageとterms_of_service_acceptを追加しました。

ユーザー

  • コンプライアンス規約の表示:ユーザーレスポンスモデルにshow_compliance_termsフィールドを追加しました。

メトリクス

  • ASRプロバイダーの追跡:自動音声認識プロバイダーの使用状況を追跡するため、メトリクスにconvai_asr_providerフィールドを追加しました。

SDKリリース

Python SDK

  • v2.34.0 - テキストtoダイアログ向けWAV出力形式、Webhookレスポンスフィルタリング、エージェントブランチの名前変更、シークレットのページネーション、投機的ターン設定を追加
  • v2.33.1 - ScribeでのURLストリーミングに関するバグを修正
  • v2.33.0 - エージェント初期化とuser_id処理のバグを修正し、エージェント会話向けのオーディオアラインメントコールバックを追加

JavaScript SDK

  • v2.34.0 - テキストtoダイアログ向けWAV出力形式、Webhookレスポンスフィルタリング、エージェントブランチの名前変更、シークレットのページネーション、投機的ターン設定を追加

ReactおよびClient SDK

  • @elevenlabs/client@0.14.0-beta.0 - エージェント会話の低レイテンシー化のため、オーディオチャンク長を250msから100msに短縮
  • @elevenlabs/react@0.14.0-beta.0 - エージェント会話の低レイテンシー化のため、オーディオチャンク長を250msから100msに短縮
  • @elevenlabs/client@0.13.1 - マイク権限の取り消し後に入力オーディオが再確立されない問題を修正
  • @elevenlabs/react@0.13.1 - マイク権限の取り消し後に入力オーディオが再確立されない問題を修正

ウィジェットパッケージ

API

更新されたエンドポイント

テキストtoダイアログ

  • テキストtoダイアログ、タイムスタンプ付きテキストtoダイアログ
    • output_formatパラメータにWAV出力形式を追加:wav_8000、wav_16000、wav_22050、wav_24000、wav_32000、wav_44100、wav_48000
    • サンプルレートが44.1kHzのWAV形式にはプロのサブスクリプションが必要であることを明確にするため、説明を更新
    • 非ストリーミングエンドポイント向けにNonStreamingOutputFormatsスキーマ参照を追加

Agentsプラットフォーム

ワークスペース

ユーザー

スキーマの変更

新しいスキーマ

  • NonStreamingOutputFormats - WAVバリアントを含む非ストリーミングオーディオ出力形式の列挙型
  • ResponseFilterMode - Webhookレスポンスフィルタリングモードの列挙型
  • AlignmentGuardrail - アラインメントベースの会話ガードレールの設定

変更されたスキーマ

  • SongMetadata - bpmおよびtime_signatureフィールドを削除
  • PermissionType - group_members_manageおよびterms_of_service_accept列挙値を追加
  • TurnConfig - speculative_turnフィールドを追加
  • GetWorkspaceSecretsResponseModel - next_cursorおよびhas_moreページネーションフィールドを追加
  • UserResponseModel - show_compliance_termsフィールドを追加
  • WebhookToolApiConfigOutput - response_filter_modeおよびresponse_filtersフィールドを追加
  • AgentTestingCriteriaEvaluateToolCall - check_any_tool_matchesフィールドを追加
  • 複数のツールイベントモデル(ApiIntegrationWebhookToolEventModel、SystemToolEventModel、WorkflowToolEventModel) - raw_error_messageフィールドを追加