ElevenAgentsのExperiments機能を紹介

本日、ElevenAgentsにExperiments機能を追加しました。これは、本番トラフィックでA/Bテストを安全に実施し、広く変更を適用する前に効果を測定できる仕組みです。

会話型エージェントがサポートや営業、オペレーションなど重要な業務で活躍する中、ちょっとした設定変更がビジネス成果に大きく影響することがあります。プロンプトの構成やワークフローの分岐、声の種類やガードレールの強化などによって、CSATやコンテインメント、コンバージョン、応答速度、コストが変わります。

Experimentsを使えば、チームは安全性やコントロールを損なうことなく、実際のトラフィックと測定可能な成果を使って、こうした変更を体系的にテストできます。

設定変更から成果の可視化まで

体系的な実験がなければ、最適化は直感に頼りがちです。「このプロンプトの調整は良さそう」「ワークフローを変えればコンテインメントが上がるはず」「新しいエスカレーション経路は効率的に見える」など。

Experimentsは、こうした推測を証拠に変えます。チームは管理されたバリアントを作成し、実際の顧客とのやり取りの一部に適用して、ビジネスや運用指標への影響を測定できます。

これにより、主観的な判断ではなく本番データを使った、現代的なA/Bテストを会話型エージェントにも導入できます。

Experimentsの仕組み

ExperimentsはElevenLabs Agentsに直接組み込まれており、シンプルで監査可能なワークフローに従います。

1. 新しいバリアントを作成

既存のエージェントバージョンからバリアントを作成します。

プロンプトやワークフロー、ツール、声、ナレッジベース、ガードレールなどを変更できます。各変更は特定のバージョン管理された設定に紐づき、差分や変更者も明確です。

2. トラフィックの一部を制御して振り分け

新しいバリアントにどのくらいの割合の会話を振り分けるかを設定します。

トラフィックの分割は管理・監査可能で、多くのユーザーに影響を与えず安全にテストできます。

3. 主要指標で効果を測定

実際の本番会話を使って、バリアントごとのパフォーマンスを比較します。

チームは以下のような成果を測定できます：

• CSAT（顧客満足度）
• コンテインメント率
• コンバージョン
• 平均対応時間
• エージェントの中央値応答遅延
• エージェント解決あたりのコスト

テストは実際のトラフィックで行うため、結果は合成ベンチマークではなく、実際のユーザー行動を反映します。

4. 成果の高いバリアントを本番化

バリアントで明確な改善が見られたら、より多くのトラフィックを高パフォーマンスのバージョンに移行できます。

すべてのバージョン履歴が保存されているので、必要に応じてすぐにロールバックも可能です。

さまざまなチームでの活用例

Experimentsは、顧客対応や運用ワークフローの継続的な最適化をサポートします。

• CXチームは、エスカレーションフローの見直しがCSATを向上させつつ対応時間を増やさないかどうかをテストできます。
• 収益チームは、より直接的なトーンや異なる条件分岐がコンバージョン率を上げるかどうかを検証できます。
• オペレーションチームは、ツールのロジック変更が平均対応時間やインフラコストを削減するかどうかを測定できます。

各実験は特定のエージェントバージョンに紐づいており、パフォーマンスの変化がどの設定変更によるものか明確です。

エンタープライズ対応設計

ExperimentsはElevenLabs Agentsのバージョン管理と監査ログの上に構築されています。

すべての実験には以下が含まれます：

• 制御・監査可能なトラフィック振り分け
• 特定のエージェントバージョンへの明確な紐付け
• 体系的なロールバック
• バージョン状態に紐づいた全会話履歴

これにより、コンプライアンスやトレーサビリティ、ガバナンスを維持しながら、迅速な運用が可能です。

スピードとコントロール、どちらかを選ぶ必要はありません。両方を実現できます。

会話型エージェントの継続的最適化

会話型エージェントは静的なものではなく、本番データから学びながら継続的に進化すべきです。

このワークフローを使えば、チームは体系的に改善を重ね、効果を数値化し、自信を持って高パフォーマンスな会話型エージェントを展開できます。

チームは今後、実際の本番データを活用して、会話型エージェントの設定・展開・最適化を自信を持って行えます。