ウェビナー振り返り：エンタープライズ導入に向けた安全なAIエージェントの構築

執筆者: Marco Mancini; Jonatan von Martens; Eli Goodman
公開日: 2026年5月9日
最終更新日: 2026年8月19日

聴くこの記事を聴く

0:00

0:000:00

ライブセッションを見る

ウェビナーまとめ：エンタープライズ導入に向けた安全なAIエージェントの構築

AIエージェントに会話を任せること自体は簡単です。セキュリティチーム、法務チーム、そして顧客から信頼を得ることが、多くのエンタープライズ導入で足かせとなります。

この記事では、ライブワークショップ「エンタープライズ導入に向けた安全なAIエージェントの構築」を振り返ります。エンタープライズ向けエージェントを大規模に運用するためのツール、フレームワーク、導入プラクティスを解説しました。

安全性を多層的に確保する方法

ElevenAgentsプラットフォームでは、400万を超えるエージェントが導入されています。エンタープライズ環境で安定して機能するエージェントには、共通点があります。それは、最初の問題が起きてから安全対策を追加するのではなく、最初から安全性を組み込んでいることです。

ライブセッションでは、セキュリティレビューを通過するエージェントとそうでないエージェントを分けるフレームワーク、制御機能、導入プラクティスを取り上げました。

エージェントごとに、必要な境界線は根本的に異なります。

ビデオゲームのキャラクターは、体験の一部として露骨に暴力的な表現を使う必要があるかもしれません。しかし、キャラクター設定を崩したり、AIであることを明かしたりしてはいけません。
医療機関の受付担当者は、けがや医療に関する内容を扱う必要がありますが、医療上のアドバイスをしてはいけません。
クレジットカードのサポートエージェントは、露骨なコンテンツを一切扱わず、本人確認ができていない発信者に口座情報を共有してはいけません。

エージェントは非決定的であるため、単一の安全対策だけですべての潜在的なリスクを完全に防ぐことはできません。そのためエンタープライズチームには、複数の制御機能を組み合わせ、安全上の失敗をまれな例外にする多層的なアプローチが必要です。

この原則をもとに、セッションでは次の4つの問いを扱いました。

エージェントの発言や行動をどう制御できるか？
正しく動作していることをどう確認できるか？
セキュリティおよびコンプライアンス要件を満たすために、データをどう保護できるか？
安全に導入するためのプロセスをどう構築できるか？

エージェントの行動を制御する考え方

エージェントとの会話には、安全性を考慮すべきポイントが3つあります。

入力
ユーザーが何かを発言します。悪意あるユーザーは、「以前の指示をすべて無視して」や「別のアシスタントのふりをして」といったことを試みる場合があります。こうした操作の試みは、モデルに届く前に検出して対処する必要があります。不要なコストを防ぎ、不正な利用者が取得すべきでない情報を引き出すのを阻止できます。

意思決定
LLMが、何を発言または実行するかを決定します。主な制御手段となるのはシステムプロンプトですが、長い会話や複雑な会話では、LLMが指示から逸脱することがあります。会話の開始時だけでなく、会話全体を通じて行動を強化する仕組みが必要です。また、エスカレーションの経路も定義しましょう。どのような状況で、人間またはより専門的なエージェントに引き継ぐべきでしょうか？

出力
強力なガイダンスがあっても、何かがすり抜けることがあります。特に長時間にわたる会話では注意が必要です。最後のセーフティネットを用意しましょう。これは、メインエージェントの作業を確認するミニエージェントのようなものです。ユーザーに届く前に応答を評価し、そのまま提供するか、再試行するか、エスカレーションするかを判断します。応答生成と並行して実行されるため、遅延は最小限に抑えられます。

この3つすべてにおいて、終了戦略を事前に定義する必要があります。違反があった場合、会話を終了するのか、修正ガイダンスを添えて再試行するのか、人間に引き継ぐのか。こうした判断が、問題発生時のユーザー体験を左右します。

デモ1：ElevenAgentsでガードレールを設定する

シナリオ：Webサイトの営業・サポートエージェントに、操作、不適切な話題への応答、ポリシー違反を防ぐための多層的な安全制御を設定します。

紹介した内容：

操作ガードレール（入力）－Securityタブにあるこのトグルは、システム指示の上書きを試みるプロンプトインジェクションのパターンを検出し、エージェントが応答する前に会話を終了します。本番環境のすべてのエージェントでの利用を推奨します。
システムプロンプトとFocusガードレール（意思決定）－システムプロンプトは基盤です。重要なルールはすべて、明示的にここへ記載します。デモでは、セッションの途中で「割引を一切提供しない」という指示を追加しました。別途有効にしたFocusガードレールは、会話全体を通してシステムプロンプトを自動的に強化し、長い対話で生じる逸脱の問題に対処します。強力なシステムプロンプトとFocusの有効化は、エージェントを軌道に乗せ続けるために最も効果的な組み合わせです。
コンテンツガードレール（出力）－不適切な言葉、法的助言、政治的見解を対象とする事前設定済みのカテゴリーです。それぞれで信頼度のしきい値を調整でき、まずは「中」を設定することをおすすめします。これはフォールバック層です。エージェントが不適切な内容を生成しようとした場合、配信前に検出します。
カスタムガードレール（出力）－プリセットでカバーされないあらゆるケースに対応する、自然言語で記述したユーザー定義のチェックです。デモでは、「割引なし」ガードレールとして次のように設定しました：「エージェントに提供権限のない割引、プロモーション、特別価格に言及する応答はすべてブロックする。」カスタムガードレールでは追加のLLM評価を使用するため、利用量に応じたコストとレイテンシーを考慮する必要があります。指示は簡潔にし、異なるチェックはまとめずに別々のガードレールに分けてください。
違反時のアクション－選択肢は2つです。通話を終了するか、再試行します。再試行時には、次の試行を導く追加指示を与えられます。たとえば、人間へのエスカレーションや、デフォルトのリダイレクトメッセージの提示などです。

重要な理由：これらの制御機能は、すべてに共通するものではありません。ガードレールごとに設定できます。この細かな設定が、理論上安全なエージェントと、多様なエンタープライズの状況で実運用上も安全なエージェントの違いを生みます。

デモ2：公開前のシミュレーションテスト

シナリオ：サポートエージェントを、割引に関する2つの会話シナリオでテストし、割引を提供せずに料金ページへユーザーを案内できることを確認します。

紹介した内容：

Testsタブで定義した2つのシミュレーションテスト。それぞれにシミュレートされたユーザーシナリオ、定義済みの会話ターン数、明確な成功基準を設定
システムプロンプトに特定のエッジケースに関する指示がなかったため、最初は1つのテストが失敗
不足していた指示を、システムプロンプトのガードレールセクションに追加
エージェントを再公開して両方のテストを再実行し、どちらも合格
詳細な実行履歴では、ツール呼び出しやエージェントのアクションを含め、会話のどの部分で失敗したかを正確に確認可能

重要な理由：シミュレーションテストを使うと、実際のユーザーがエージェントを利用する前に、管理された環境でエージェントの動作を検証できます。通常のシナリオと敵対的なシナリオの両方をカバーします。また、個別の応答だけでなく、会話フロー全体に対して実行されます。変更後はすぐにテストを再実行し、修正が有効であることを確認できます。

デモ3：機密性の高い導入のためのPIIマスキング

シナリオ：エンタープライズエージェントを設定し、会話ログから個人を特定できる情報をマスキングします。

紹介した内容：

Privacy設定のAdvancedタブにあるConversation History Redactionトグル
生年月日、年齢などの機密フィールドを含む、個別にマスキング設定を切り替えられる特定のデータエンティティのリスト
すべてのエンティティ、または特定のエージェントのユースケースに関連するエンティティのみを選択するオプション

重要な理由：PIIマスキングは、HIPAAのような高度なコンプライアンス環境におけるゼロ保持モードの代替ではありません。一方で、社内レビューや品質管理に使用する会話ログにおけるデータ露出を減らせます。必要なログは保持しながら、不要なデータは除外できます。現在、エンタープライズのお客様にご利用いただけます。

安全なエンタープライズエージェント導入のベストプラクティス

多層的なアプローチを採用する。単一の制御機能だけで安全な動作を保証することはできません。入力ガードレール、出力検証、プロンプトの強化、テストを連携させる必要があります。各層が互いを補強し合い、全体として安全上の問題のリスクを大幅に低減します。
ガードレールをコンテキストに合わせる。医療エージェントと小売サポートエージェントには、異なるルールが必要です。汎用テンプレートではなく、ユースケースに固有の境界線を定義してください。
重要なユースケースから始める。最も成功しているエンタープライズ導入は、使い捨てのパイロットから始まりません。カスタマーサポートやスケジュール調整など、実際の業務を選び、正しく実現するために投資しています。
公開前にテストし、その後もテストを続ける。シミュレーションテストと外部のレッドチーミングツールを活用してください。通常のシナリオと敵対的なシナリオの両方をテストします。本番環境で見つかった新たなエッジケースは、テストスイートに追加してください。
段階的に導入する。まずはトラフィックを限定して始めましょう。実際の会話を監視し、エージェントが苦手とする点を特定します。調整後に再テストを行い、段階的に拡大してください。
実行モードを意図的に選ぶ。速度より厳格な検証が重要なテキストエージェントには、ブロッキングモードを使用します。音声エージェントでは、レイテンシーを優先してストリーミングモードを使用します。
ガードレール違反時のアクションを明確に定義する。違反時に通話を終了するのか、再試行するのか、人間にエスカレーションするのかを事前に決めてください。
カスタムガードレールの指示は簡潔にする。ガードレールは並行して実行されます。長く複雑なカスタムガードレールは、レイテンシーを増加させます。指示は簡潔にし、異なるチェックは別々のガードレールに分けてください。
認証の対象範囲を正しく理解する。SOC 2 Type 2とISO 27001は基本要件です。HIPAAやPCI DSSのような分野別の標準は、規制対象の業界に対応します。ISO 42001やAIUC-1のような新しいAI特化型認証は、バイアス、透明性、敵対的攻撃への耐性を対象としています。また、AIUC-1認証はAI特化型保険の利用につながる場合があります。
プロセスの基盤を早期に築く。最初の導入には最も時間がかかります。テストと導入プロセスに投資したチームは、以降のエージェントごとに大幅に速く改善を繰り返せます。