एनालिटिक्स

ओवरव्यू

एनालिटिक्स डैशबोर्ड आपके कन्वर्सेशनल एजेंट्स के लिए विस्तृत, रियल-टाइम मेट्रिक्स देता है। प्रोडक्शन में आपके एजेंट्स कैसा प्रदर्शन कर रहे हैं, यह समझने के लिए आप एजेंट, ब्रांच, समयावधि, भाषा, कॉल टाइप, मॉडल और अन्य कई आयामों के आधार पर प्रदर्शन का विश्लेषण कर सकते हैं।

एनालिटिक्स डेटा हाई-परफॉर्मेंस कॉलमनर डेटाबेस पर चलता है, जिससे बड़े पैमाने के बातचीत डेटा पर लचीली फ़िल्टरिंग और ग्रुपिंग के साथ तेज़ क्वेरीज़ की जा सकती हैं।

बातचीत-स्तर के विषयों के लिए, रियल-टाइम इनसाइट्स, सेंटिमेंट एनालिसिस, टॉपिक डिस्कवरी और हर विषय के पीछे की बातचीत देखने के लिए Spotlight का उपयोग करें।

एनालिटिक्स एक्सेस करना

अपने एजेंट्स डैशबोर्ड में एनालिटिक्स टैब पर जाएं। आप पूरे वर्कस्पेस की मेट्रिक्स देख सकते हैं या किसी खास एजेंट के लिए फ़िल्टर कर सकते हैं।

एक्सपेरिमेंट्स चलाते समय, आप एजेंट कॉन्फ़िगरेशन पेज से एनालिटिक्स देखें बटन का उपयोग करके सीधे ब्रांच-फ़िल्टर किए गए एनालिटिक्स पर जा सकते हैं। इससे एजेंट और ब्रांच फ़िल्टर पहले से लागू हो जाते हैं, ताकि आप तुरंत वेरिएंट के प्रदर्शन की तुलना कर सकें।

समय सीमा और ग्रैन्युलैरिटी

डैशबोर्ड के सबसे ऊपर मौजूद डेट पिकर से अपने विश्लेषण की समय सीमा चुनें। आप प्रीसेट रेंज चुन सकते हैं या कस्टम विंडो तय कर सकते हैं।

आपकी चुनी गई रेंज के आधार पर डैशबोर्ड टाइम-सीरीज़ चार्ट की ग्रैन्युलैरिटी अपने-आप एडजस्ट करता है — छोटी रेंज के लिए प्रति घंटे के बकेट और लंबी रेंज के लिए दैनिक या साप्ताहिक।

उपलब्ध मेट्रिक्स

बातचीत

• कॉल संख्या — चुनी गई अवधि में बातचीत की कुल संख्या
• कुल अवधि — बातचीत का कुल समय
• औसत अवधि — बातचीत की औसत लंबाई
• कुल लागत — सभी बातचीत पर कुल खर्च
• औसत लागत — प्रति बातचीत औसत लागत

प्रदर्शन

• एजेंट रिस्पॉन्स लेटेंसी — एजेंट को जवाब देने में लगा समय (मीडियन और परसेंटाइल)
• एरर रेट — एरर वाली बातचीत का प्रतिशत
• एरर ब्रेकडाउन — प्रकार के आधार पर वर्गीकृत एरर (टूल फेलियर, LLM एरर, कनेक्शन संबंधी समस्याएं)

सफलता मूल्यांकन

अगर आपने मूल्यांकन मानदंड कॉन्फ़िगर किए हैं, तो डैशबोर्ड हर मानदंड के लिए सफलता, असफलता और अज्ञात दरें दिखाता है। एक्सपेरिमेंट्स में व्यावसायिक परिणाम मापने का यह मुख्य तरीका है।

डेटा कलेक्शन

अगर आपने डेटा कलेक्शन कॉन्फ़िगर किया है, तो कलेक्ट किए गए मान डैशबोर्ड में फ़िल्टर किए जा सकने वाले आयामों के रूप में उपलब्ध होते हैं।

भाषा के अनुसार विश्लेषण

भाषाओं में बातचीत का वितरण देखें। यह बहुभाषी अपनाव को समझने और अलग-अलग भाषाओं में एजेंट के प्रदर्शन की तुलना करने के लिए उपयोगी है।

सक्रिय कॉल

डैशबोर्ड रियल टाइम में सक्रिय कॉल की वर्तमान संख्या दिखाता है। यह आपके वर्कस्पेस में चल रहे सेशन दिखाता है और API के ज़रिए भी उपलब्ध है।

फ़िल्टरिंग

किसी भी संयोजन वाले आयामों पर फ़िल्टर लागू करके अपना एनालिटिक्स व्यू सीमित करें:

ग्रुपिंग

कुल संख्याओं का विश्लेषण करने के लिए मेट्रिक्स को किसी भी फ़िल्टर किए जा सकने वाले आयाम के आधार पर ग्रुप करें।

उदाहरण के लिए:

• एक्सपेरिमेंट वेरिएंट की साथ-साथ तुलना करने के लिए ब्रांच के अनुसार ग्रुप करें
• भाषाओं में एजेंट्स कैसा प्रदर्शन करते हैं, यह देखने के लिए भाषा के अनुसार ग्रुप करें
• मॉडल प्रदर्शन और लागत की तुलना करने के लिए LLM मॉडल के अनुसार ग्रुप करें
• इनबाउंड और आउटबाउंड कॉल के अंतर समझने के लिए कॉल टाइप के अनुसार ग्रुप करें

गहन विश्लेषण के लिए कई ग्रुपिंग आयामों को जोड़ा जा सकता है।

वर्कफ़्लो एनालिटिक्स

वर्कफ़्लो वाले एजेंट्स के लिए, एनालिटिक्स डैशबोर्ड में वर्कफ़्लो टैब वर्कफ़्लो ग्राफ पर सीधे उपयोग मेट्रिक्स ओवरले करता है। ग्राफ व्यू चालू करने के लिए ऐसा एजेंट चुनें जो वर्कफ़्लो का उपयोग करता हो — इसके बाद आप वर्कफ़्लो कैनवस पर बातचीत का फ्लो और ट्रैफ़िक वॉल्यूम सीधे देख सकते हैं, साथ ही हर नोड के लिए विस्तृत इनफ़्लो और आउटफ़्लो भी देख सकते हैं।

नोड मेट्रिक्स

इंस्पेक्टर खोलने और ये चीज़ें देखने के लिए वर्कफ़्लो ग्राफ में किसी भी नोड पर क्लिक करें:

• एंट्रीज़ — चुनी गई समय सीमा में कितनी बातचीत नोड में आईं
• औसत बिताया गया समय — इन एंट्रीज़ में नोड औसतन कितने समय तक सक्रिय रहा
• टर्मिनेशन — नोड सक्रिय होने के दौरान कितनी बातचीत समाप्त हुईं
• इनकमिंग और आउटगोइंग फ्लो — हर अपस्ट्रीम एज से आने और हर डाउनस्ट्रीम एज से बाहर जाने वाली बातचीत का वितरण

बातचीत में गहराई से जाना

नोड इंस्पेक्टर से बातचीत इतिहास पेज पर जाने के लिए बातचीत देखें पर क्लिक करें, जो उस नोड के लिए फ़िल्टर किया गया होगा। इससे नोड में प्रवेश किया फ़िल्टर लागू होता है — यह किसी खास एजेंट के दायरे में आने वाला हिस्ट्री फ़िल्टर है, जो हर उस बातचीत को दिखाता है जिसकी ट्रांसक्रिप्ट कम से कम एक बार चुने गए वर्कफ़्लो नोड में गई हो।

नोड में प्रवेश किया फ़िल्टर बातचीत इतिहास पेज से भी सीधे उपलब्ध है।

एक्सपेरिमेंट्स के साथ एनालिटिक्स का उपयोग

एक्सपेरिमेंट के नतीजे मापने के लिए एनालिटिक्स मुख्य टूल है। सुझाया गया वर्कफ़्लो:

आप अपनी ट्रैफ़िक डिप्लॉयमेंट सेटिंग्स के पास एनालिटिक्स देखें बटन पर क्लिक करके एजेंट कॉन्फ़िगरेशन पेज से सीधे इस व्यू पर जा सकते हैं। इससे सही एजेंट और ब्रांच फ़िल्टर पहले से लागू हो जाते हैं।

अगले चरण