परीक्षण और निरंतर सुधार: बड़े पैमाने पर विश्वसनीयता बनाए रखना

पहले तीन खंडों में एक सक्षम एजेंट बनाने का तरीका बताया गया था। यह खंड इस बात की पुष्टि करने पर केंद्रित है कि वह वास्तव में काम करता है, और उसे ऐसा बनाए रखने पर भी—जब यूज़र उसे उन दिशाओं में ले जाएं जिनका आपने अनुमान नहीं लगाया था और आपका कॉन्फ़िगरेशन विकसित होता रहे।

इसमें उन तरीकों के बारे में बताया गया है जो विश्वसनीयता को मापने योग्य बनाते हैं: सिमुलेशन, अगला-उत्तर और टूल-इनवोकेशन टेस्ट का एक गोल्डन सेट, जो हर रिलीज़ पर चलता है; प्रायिकता-आधारित टेस्ट रन, जो एक ही नतीजे के बजाय पास दर रिपोर्ट करते हैं; सुरक्षित बदलावों के लिए वर्ज़न और ब्रांच; लाइव ट्रैफ़िक पर प्रयोग; और हर प्रोडक्शन बातचीत पर स्कोर किए जाने वाले LLM-as-a-judge मूल्यांकन।

अंतिम सेक्शन इन्हें एक ही सुधार चक्र में जोड़ता है, जहां प्रोडक्शन में होने वाली हर विफलता एक टेस्ट बन जाती है और हर बदलाव धीरे-धीरे रिलीज़ किया जाता है।

उन टीम्स के लिए जो लॉन्च के बाद एजेंट की ज़िम्मेदारी संभालती हैं और एकमुश्त सुधारों के बजाय दोहराई जा सकने वाली प्रक्रिया चाहती हैं।