Scribe v2 Realtime
ライブ音声認識モデルとして最速かつ最高精度のScribe v2 Realtimeを正式リリースしました。92以上の言語で最先端の精度を実現し、レイテンシーはわずか150msです。[詳細はこちら]。
Agents Platform
- ウィジェットの通話終了時フィードバック:ウィジェットで、評価フィールドやコメントフィールドを任意で設定できる通話終了時のフィードバック収集をサポートしました。エージェントとの会話内で直接ユーザーフィードバックを収集できます。
- ソフトタイムアウト設定:会話中の間をエージェントがどう扱うかを制御する包括的なソフトタイムアウト設定を追加しました。ターンレベルと会話レベルで、プロンプトと動作を設定できます。
- 高度な会話フィルタリング:conversationsエンドポイントで、通話時間の範囲、評価パラメータ、データ収集パラメータ、特定のツール名によるフィルタリングが可能になりました。
- 会話フィードバックの強化:評価やコメントを含む構造化されたフィードバックタイプに対応し、ユーザー体験の追跡を改善しました。
ElevenCreative Studio
- プロジェクトメタデータの拡張:プロジェクトに、ビデオサムネイル、外部オーディオ参照、オーディオ時間を含む拡張スナップショット情報などの包括的なアセット追跡機能を追加しました。
請求
- 請求書詳細の強化:請求書レスポンスに新しい
discounts配列による詳細な割引情報が含まれるようになりました。非推奨のdiscount_percent_offフィールドとdiscount_amount_offフィールドを置き換えます。subtotal_centsフィールドとtax_centsフィールドにより、請求書の内訳をより明確に確認できます。
Music API
- ステム分離のレイテンシー改善:ステム分離エンドポイントを更新し、オーディオファイルをより適切に処理するとともに、処理リクエストのレイテンシーをより予測しやすくしました。
SDKリリース
JavaScript SDK
- v2.23.0 - Speech to Text(Scribe)エンドポイントを
scribe_realtimeに更新し、デベロッパー体験の向上のため追加のTypeScript型をエクスポートしました。 - v2.22.0 - 会話フィルタリング、ソフトタイムアウト設定、ウィジェットフィードバック機能を含む最新のAPIスキーマ変更に対応しました。
Python SDK
- v2.22.1 - Speech to Text(Scribe)エンドポイントを
scribe_realtimeに更新し、安定性向上のため循環インポートの問題を修正しました。 - v2.22.0 - 会話フィルタリング、ソフトタイムアウト設定、ウィジェットフィードバック機能を含む最新のAPIスキーマ変更に対応しました。
Agentsパッケージ
- @elevenlabs/client@0.10.0 - リアルタイムエンドポイント設定を更新し、ドキュメントを改善しました。
- @elevenlabs/react@0.10.0 - リアルタイムエンドポイント設定を更新し、ドキュメントを改善しました。
- @elevenlabs/types@0.2.0 - 最新のAPIスキーマ変更に合わせて型定義を更新しました。
- @elevenlabs/react@0.9.2 - 軽微なバグ修正と安定性の改善を行いました。
- @elevenlabs/convai-widget-embed@0.5.1 - 通話終了時フィードバックに対応するよう、ウィジェット埋め込み機能を更新しました。
- @elevenlabs/convai-widget-core@0.5.1 - ウィジェットコアに通話終了時フィードバック設定を追加しました。
- @elevenlabs/convai-widget-embed@0.5.0 - カスタマイズ可能な通話終了時フィードバック収集に対応しました。
- @elevenlabs/convai-widget-core@0.5.0 - フィードバック処理用に
WidgetEndFeedbackConfigとWidgetEndFeedbackTypeを導入しました。 - @elevenlabs/client@0.9.2 - 最新のAPI変更に合わせてクライアント設定を更新しました。
Android SDK
- v0.5.0 - プログラムによるオーディオ制御のために
setVolume関数とgetVolume関数を追加しました。サンプルアプリには音量シークバーを含む実装例も追加しています。
API
APIの変更を表示
更新されたエンドポイント
Agents Platform
会話管理
-
- 最小通話時間で会話をフィルタリングする
call_duration_min_secsクエリパラメータ(整数)を追加 - 最大通話時間で会話をフィルタリングする
call_duration_max_secsクエリパラメータ(整数)を追加 - 評価基準でフィルタリングする
evaluation_paramsクエリパラメータ(文字列の配列)を追加 - データ収集パラメータでフィルタリングする
data_collection_paramsクエリパラメータ(文字列の配列)を追加 - 特定のツールを使用した会話をフィルタリングする
tool_namesクエリパラメータ(文字列の配列)を追加
- 最小通話時間で会話をフィルタリングする
-
- 構造化されたフィードバックタイプを持つ
ConversationFeedbackRequestModelを使用するようになりました - フィードバックカテゴリを指定する
typeフィールドを追加 - 数値フィードバック用の
ratingフィールドを追加 - テキストフィードバック用の
commentフィールドを追加
- 構造化されたフィードバックタイプを持つ
エージェント設定
- エージェントウィジェットを取得
- 通話終了時フィードバック収集を設定するための
WidgetEndFeedbackConfigを持つend_feedbackフィールドを追加 - フィードバックフォームで任意の評価フィールドとコメントフィールドに対応
- 通話終了時フィードバック収集を設定するための
- エージェントを取得&エージェントを更新
- 新しいプラットフォーム設定オプションを含むようレスポンススキーマを更新
- 追加の設定フィールドでリクエストスキーマを拡張
ターンと会話の設定
-
エージェントを作成、会話をシミュレート、会話ストリームをシミュレート
- 会話中の間の動作を制御する
soft_timeout_configフィールドを追加 TurnConfigOverrideおよびTurnConfigOverrideConfigによるturn設定のオーバーライドを追加- 初期応答タイミングを制御する
initial_wait_timeをTurnConfigに追加 - 会話レベルとワークフローオーバーライドレベルで設定可能
- 会話中の間の動作を制御する
テスト
-
- ワークフロー式のサポートに向けてリクエストスキーマを拡張
- 追加のテスト結果フィールドを含むようレスポンススキーマを更新
-
- レスポンスに拡張されたテスト結果データを含む
- ワークフロー式の結果用スキーマを更新
ElevenCreative Studio
-
- ビデオと外部オーディオ参照を含む必須の
assetsフィールドを追加 - ビデオアセットメタデータ用に
ProjectVideoResponseModelを導入 - 外部オーディオ追跡用に
ProjectExternalAudioResponseModelを導入 - ビデオサムネイル用に
ProjectVideoThumbnailSheetResponseModelを導入
- ビデオと外部オーディオ参照を含む必須の
-
- 新しい
ProjectSnapshotExtendedResponseModelでレスポンスを再構成 - スナップショットデータに必須の
audio_duration_secsフィールドを追加 ProjectSnapshotResponseModelからcharacter_alignmentsを削除- スナップショットコレクション用に
ProjectSnapshotsResponseModelを導入
- 新しい
請求
- サブスクリプションを取得
DiscountResponseModelエントリを持つ必須のdiscounts配列を追加discount_percent_offフィールドを非推奨化(引き続き利用可能ですが、削除予定です)discount_amount_offフィールドを非推奨化(引き続き利用可能ですが、削除予定です)- 税引き前請求書合計用に
subtotal_centsフィールド(整数、nullable)を追加 - 税額用に
tax_centsフィールド(整数、nullable)を追加 - 新しい割引フィールドと合計フィールドを含むよう請求書の例を更新
Speech to Text
- オーディオを書き起こし
- 拡張された文字起こしデータを含むようレスポンススキーマを更新
Text to Speech
-
タイムスタンプ付きテキスト読み上げ&タイムスタンプ付きテキスト読み上げをストリーミング
- 拡張されたタイムスタンプデータを含むようレスポンススキーマを更新
-
タイムスタンプ付きテキストから対話音声へ&タイムスタンプ付きテキストから対話音声へのストリーミング
- 拡張されたタイムスタンプおよび音声セグメントデータを含むようレスポンススキーマを更新
音声管理
-
- 新しい音声メタデータおよび設定フィールドを含むようレスポンススキーマを更新
-
- 音声設定の変更用にリクエストスキーマを更新
-
- 新しい音声生成データを含むようレスポンススキーマを更新
プロフェッショナルボイスクローン(PVC)
- PVCサンプルオーディオを取得&PVC分離スピーカーオーディオを取得
- オーディオサンプル取得用にレスポンススキーマを更新
言語プリセット
- 言語プリセットモデルに、ローカライズされたソフトタイムアウトメッセージ用の
soft_timeout_translationフィールドを追加
APIインテグレーショントリガー
- 新しいAPIコレクション
convai_api_integration_trigger_connectionsを登録
非推奨
- 請求書フィールド
discount_percent_offおよびdiscount_amount_offは非推奨です。代わりにdiscounts配列を使用してください