前 3 卷介绍了如何构建功能完善的智能体。本卷将讲解如何验证它是否真正有效,并在用户以意想不到的方式使用它、配置不断演变时,持续保持这种效果。
本卷介绍如何让可靠性可衡量:每次发布都运行的一套基准模拟、下一回复和工具调用测试;报告通过率而非单一结论的概率测试运行;支持安全迭代的版本和分支;面向实时流量的实验;以及对每段生产环境对话评分的 LLM 评委评估。
最后一节将这些方法整合为一个改进闭环:生产环境中的每次失败都会转化为测试,每项变更都逐步发布。
适合在智能体上线后负责维护、需要可重复流程而非一次性修复的团队。