ElevenAgents में Experiments पेश कर रहे हैं

आज हम ElevenAgents में Experiments पेश कर रहे हैं — प्रोडक्शन ट्रैफिक पर कंट्रोल्ड तरीके से A/B टेस्ट चलाने और बड़े बदलाव लागू करने से पहले यह मापने का तरीका कि क्या काम करता है।

जैसे-जैसे कन्वर्सेशनल एजेंट्स सपोर्ट, सेल्स और ऑपरेशंस में अहम वर्कफ़्लो संभाल रहे हैं, छोटे-छोटे कॉन्फ़िगरेशन बदलाव भी बिज़नेस नतीजों पर असर डाल सकते हैं। अलग प्रॉम्प्ट स्ट्रक्चर, बेहतर वर्कफ़्लो ब्रांच, नई वॉइस या सख्त गार्डरेल — ये सब CSAT, कंटेनमेंट, कन्वर्ज़न, लेटेंसी और लागत बदल सकते हैं।

Experiments टीमों को लाइव ट्रैफिक और मापने योग्य नतीजों के साथ इन बदलावों को टेस्ट करने का स्ट्रक्चर्ड तरीका देता है — बिना सुरक्षा या कंट्रोल खोए।

कॉन्फ़िगरेशन बदलाव से मापने योग्य सुधार तक

अगर स्ट्रक्चर्ड एक्सपेरिमेंटेशन न हो, तो ऑप्टिमाइज़ेशन सिर्फ अनुमान पर चलता है। कोई प्रॉम्प्ट बदलाव "बेहतर लगता" है। वर्कफ़्लो एडजस्टमेंट से "कंटेनमेंट बढ़ना चाहिए"। नई एस्केलेशन पाथ "ज्यादा असरदार लगती" है।

Experiments अनुमान की जगह सबूत देता है। टीमें कंट्रोल्ड वेरिएंट्स बना सकती हैं, उन्हें असली कस्टमर इंटरैक्शन के एक हिस्से में टेस्ट कर सकती हैं, और बिज़नेस व ऑपरेशनल मेट्रिक्स पर असर माप सकती हैं।

यह कन्वर्सेशनल एजेंट्स के लिए मॉडर्न A/B टेस्टिंग लाता है — सब्जेक्टिव जजमेंट की जगह प्रोडक्शन डेटा के साथ।

Experiments कैसे काम करता है

Experiments सीधे ElevenLabs Agents में बना है और एक सिंपल, ऑडिटेबल वर्कफ़्लो फॉलो करता है।

1. नया वेरिएंट बनाएं

मौजूदा एजेंट वर्शन से शुरू करें और एक वेरिएंट बनाएं।

प्रॉम्प्ट्स, वर्कफ़्लो, टूल्स, वॉइस, नॉलेज बेस या गार्डरेल्स बदलें। हर बदलाव एक खास, वर्शन किए गए कॉन्फ़िगरेशन से जुड़ा होता है, जिसमें क्लियर डिफ्स और एट्रिब्यूशन होता है।

2. ट्रैफिक का कंट्रोल्ड हिस्सा रूट करें

तय करें कि कितने प्रतिशत लाइव कन्वर्सेशन नए वेरिएंट पर भेजे जाएं।

ट्रैफिक स्प्लिटिंग कंट्रोल्ड और ऑडिटेबल है, जिससे टीमें बिना ज्यादातर यूज़र्स को डिस्टर्ब किए सुरक्षित टेस्ट कर सकती हैं।

3. अहम मेट्रिक्स पर असर मापें

असली प्रोडक्शन कन्वर्सेशन के जरिए वेरिएंट्स की परफॉर्मेंस तुलना करें।

टीमें इन नतीजों को माप सकती हैं:

• CSAT
• कंटेनमेंट रेट
• कन्वर्ज़न
• औसत हैंडलिंग समय
• मीडियन एजेंट रिस्पॉन्स लेटेंसी
• प्रति एजेंट रिज़ॉल्यूशन लागत

क्योंकि टेस्टिंग लाइव ट्रैफिक पर होती है, नतीजे असली यूज़र बिहेवियर दिखाते हैं, न कि सिंथेटिक बेंचमार्क।

4. विनर को प्रमोट करें

जब कोई वेरिएंट मापने योग्य सुधार दिखाता है, तो टीमें ज्यादा ट्रैफिक उस बेहतर वर्शन पर भेज सकती हैं।

पूरा वर्शन हिस्ट्री सेव रहता है, जिससे जरूरत पड़ने पर फास्ट रोलबैक किया जा सकता है।

हर टीम के लिए यूज़ केस

Experiments कस्टमर-फेसिंग और ऑपरेशनल वर्कफ़्लो में लगातार ऑप्टिमाइज़ेशन को सपोर्ट करता है।

• CX टीमें टेस्ट कर सकती हैं कि नया एस्केलेशन फ्लो CSAT बढ़ाता है या नहीं, वो भी हैंडलिंग टाइम बढ़ाए बिना।
• रेवेन्यू टीमें देख सकती हैं कि ज्यादा डायरेक्ट टोन या अलग क्वालिफिकेशन लॉजिक से कन्वर्ज़न बढ़ता है या नहीं।
• ऑपरेशंस टीमें माप सकती हैं कि टूल लॉजिक बदलने से औसत हैंडलिंग टाइम या इन्फ्रास्ट्रक्चर लागत कम होती है या नहीं।

हर एक्सपेरिमेंट एक खास एजेंट वर्शन से जुड़ा होता है, जिससे हर परफॉर्मेंस बदलाव एक तय कॉन्फ़िगरेशन चेंज से लिंक रहता है।

एंटरप्राइज के लिए तैयार, डिजाइन से

Experiments ElevenLabs Agents के वर्शनिंग और ऑडिट ट्रेल पर बना है।

हर एक्सपेरिमेंट में शामिल है:

• कंट्रोल्ड, ऑडिटेबल ट्रैफिक रूटिंग।
• खास एजेंट वर्शन से क्लियर एट्रिब्यूशन।
• स्ट्रक्चर्ड रोलबैक।
• वर्शन स्टेट से जुड़ी पूरी कन्वर्सेशन हिस्ट्री।

इससे टीमें तेज़ी से काम कर सकती हैं, साथ ही कंप्लायंस, ट्रेसबिलिटी और गवर्नेंस बनाए रखती हैं।

स्पीड और कंट्रोल में से किसी एक को चुनने की बजाय, टीमों को दोनों मिलते हैं।

कन्वर्सेशनल एजेंट्स के लिए लगातार ऑप्टिमाइज़ेशन

कन्वर्सेशनल एजेंट्स को स्थिर नहीं रहना चाहिए। जैसे-जैसे टीमें प्रोडक्शन डेटा से सीखती हैं, उन्हें लगातार बेहतर होना चाहिए।

इस वर्कफ़्लो के साथ, टीमें सिस्टमेटिकली बदलाव कर सकती हैं, असर माप सकती हैं, और बेहतर कन्वर्सेशनल एजेंट्स कॉन्फिडेंस के साथ डिप्लॉय कर सकती हैं।

अब टीमें असली प्रोडक्शन डेटा के साथ भरोसे के साथ बेहतर कन्वर्सेशनल एजेंट्स कॉन्फ़िगर, डिप्लॉय और ऑप्टिमाइज़ कर सकती हैं।