テストと継続的改善：大規模運用で信頼性を維持する

第1巻から第3巻では、高性能なエージェントの構築方法を解説しました。本巻では、エージェントが実際に機能することを検証し、ユーザーが想定外の使い方をしたり、設定が変化したりしても、その状態を維持する方法を取り上げます。

信頼性を測定可能にする実践方法を解説します。リリースごとに実行するシミュレーション、次の応答、ツール呼び出しのゴールデンテストセット、単一の合否判定ではなく合格率を示す確率的なテスト実行、安全に改善を重ねるためのバージョンとブランチ、実際のトラフィックを使った実験、そして本番環境のすべての会話を採点するLLM-as-a-Judge評価を取り上げます。

最後のセクションでは、これらを1つの改善サイクルにまとめます。本番環境での失敗を一つひとつテストに変え、変更を段階的にリリースする仕組みです。

リリース後のエージェントを担当し、その場限りの修正ではなく、繰り返し使えるプロセスを必要とするチーム向けです。