AIエージェントのための多層的なセーフティフレームワーク

AIエージェントが重要度の高い業務を担うようになる中、チームには、エージェントが安全かつ予測どおりに動作するという確信が必要です。 

ElevenAgentsでは、会話のあらゆる段階におけるガードレール、リリース前の敵対的テスト、本番環境でのモニタリング、データ保護、独立した検証を網羅する、多層的なセーフティアーキテクチャを採用しています。 

すべてのリスクから保護できる非決定論的システムは存在しませんが、この包括的なセーフティフレームワークにより、ElevenAgentsを活用する主要企業や政府機関は、障害が起こりにくく、問題発生時にも適切に復旧し、高い安全基準を満たすエージェントを設計できます。

会話のあらゆる段階を保護

各やり取りの3つの段階を保護するコントロールを、簡単に有効化・設定できます。これはElevenAgentsのGuardrails 2.0の基盤です。

入力 - ユーザーが送信する内容をリアルタイムでチェックします。

• 操作防止ガードレールはユーザー入力を独立して分析し、プロンプトインジェクションの兆候がある会話を終了できます。

判断 - エージェントが行動を判断する際に、どのように誘導され、軌道を維持するか。

• システムプロンプトには、不適切な話題を避けること、エージェント自身をどう表現するか、対応範囲を制限することなど、明確な指示を含める必要があります。
• ワークフローと手順では、アカウント情報を共有する前に発信者の本人確認を行うなど、特に機密性の高い操作をツール呼び出しの後に限定できます。
• Focusガードレールは既存のシステム指示を強化し、特に長時間または複雑なやり取りで重要となる逸脱を軽減します。

出力 - 独立したバリデーターが応答生成と並行して実行され、遅延は最小限に抑えられます。機密性の高いコンテンツを含む、またはポリシーに違反する応答をブロックするよう有効化できます。

• コンテンツガードレールは、カテゴリごとのしきい値に基づいて機密性の高いカテゴリをチェックします。
• カスタムガードレールは、自然言語で記述されたドメイン固有のルールを適用します。各ルールは軽量モデルによって評価されます。
• 退出戦略では、ガードレールが作動した場合に、通話を終了する、人間の担当者へ転送する、修正指示を添えて応答を再試行するなど、実行する処理を定義できます。

堅牢なリリース前テスト

ElevenAgentsは、プラットフォーム上で構築するチームが、エージェントまたは設定変更を本番リリースする前に問題を見つけて修正できる、堅牢なテスト機能を提供します。

シミュレーション では、実際のやり取りの前に、シミュレートされたユーザーとの完全なマルチターン会話を実行できます。シナリオを定義すると、シミュレーターが実際またはモックのツール呼び出しを含め、解決に至るまで会話を進めます。シミュレートするユーザーは自由に設定できるため、敵対的または操作的なユーザーにできます。これにより、通常の経路を検証する仕組みと同じ仕組みで、敵対的な経路もテストできます。

以下の機能により、テスト範囲をさらに拡張できます。

• 繰り返し実行 では、テストを何度も実行し、失敗を理由別にグループ化して、エラーパターンやエッジケースを特定できます。
• 次の応答とツール呼び出しのテストでは、個別の応答と重要なアクションを確認します。
• チャネル別テスト では、エージェントの出力をチャネルごとに調整できるため（例：通話では簡潔に、メールでは詳しく）、公開先のすべてのチャネルで期待どおりに動作することを検証します。
• API経由のレッドチーミング。 レッドチーミングSDKを使用して、API経由でテストを実行することもできます。

リリース後のエージェントの評価と改善

エージェントをデプロイすると、実際の会話を継続的に評価します。LLMを評価者として使うアプローチにより、各通話を設定した基準に照らして自動評価できます。ダッシュボードで会話の結果を確認し、検索可能な文字起こし、ソース、ツール呼び出し、ガードレールの作動履歴を含む詳細な会話ログで問題を追跡できます。

本番環境で見つかった問題は、簡単にテストスイートへフィードバックできます。変更案がある場合は、Experimentsを使用して、実際のトラフィックの一部をバリアントに振り分け、広く適用する前に実際の結果を測定できます。

段階的にデプロイすることをおすすめします。トラフィックの限られた一部をエージェントに振り分けて会話を評価し、期待どおりに動作することを確認したら、対象のユースケース、チャネル、地域を拡大してください。

機密データの保護

エージェントは支払い情報、健康情報、個人識別子を扱うことがあるため、どのデータが、どこに、どのくらいの期間保存されるかを検討することが重要です。 

データを保護するために、さまざまな仕組みを提供しています。

• Zero Retention Modeは、規制要件が厳しい環境向けに設計されており、対象サービスで有効化すると特定の種類のデータが保存されないようにできます。
• 会話履歴の編集は、通話後に機密エンティティを削除し、テキストではプレースホルダーに、オーディオではビープ音に置き換えます。エンティティの種類ごとに設定できます。
• 設定可能な保持期間により、保存期間を規制要件に合わせられます。
• データレジデンシーにより、処理を指定された管轄区域内に維持できます。
• プライベートデプロイメント（VPC）は、機密性の高いワークロード向けに環境を分離します。
• 暗号化により、転送中および保存中のデータを保護します。

プラットフォームレベルのセーフガードと外部検証

上記のすべては、より広範な プラットフォームレベルのセーフガードに基づいています。これは、コンテンツの来歴、悪用の検知、禁止用途の取り締まり、モデルのレッドチーミングを網羅する包括的なプログラムです。Safety Partnership Programを通じて、AIセーフティの最前線にいる企業とも連携し、そのプロダクトや新たな業界標準の発展に貢献しています。

SOC 2 Type II、ISO 27001、GDPRなどの一般的なセキュリティ・プライバシー基準に加え、決済処理向けのPCI DSS Level 1や米国の医療向けのHIPAAといった業界・ユースケース固有の認証についても、独立した審査を受けています。詳しくは トラストセンターをご覧ください。

AI管理システムを規定するISO 42001や、AIUC-1といった新しいAIネイティブの基準にも対応しています。AIUC-1では、AIエージェントが独立評価者による四半期ごとの敵対的シミュレーションに耐えられることが求められます。AIUC-1を支える機能により、業界初となるエージェント保険の一部にもアクセスできます。

大規模または複雑な展開では、Forward Deployed Engineersがチームと連携し、設定、ガードレール、テスト、モニタリング、展開戦略を含むエージェント戦略の設計・実装を支援します。 

まとめ

ElevenAgentsのセーフティアプローチは多層的で、各要素が互いを補強します。

• エージェント設定： 動作を形づくるシステムプロンプト、ワークフロー、手順。特に機密性の高い操作はツール呼び出しの後に限定されます。
• ガードレール： 各段階での独立したチェック。入力時の操作検知、判断時のFocus、出力時のコンテンツおよびカスタムバリデーターに加え、設定可能な退出戦略を備えています。
• テスト： リリース前の敵対的シミュレーション、繰り返し実行、チャネル別テスト、レッドチーミング。
• モニタリング： 段階的な展開、その後の継続的な評価、検索可能なログと文字起こし、リリース後のフィードバックループ。
• データ保護： 編集、Zero Retention Mode、設定可能な保持期間、データレジデンシー、プライベート（VPC）デプロイメント、暗号化。
• 外部検証： 認証、AIUC-1の独立した敵対的テスト、エージェント保険、レッドチーミング、専門家による支援。