एनालिटिक्स

ओवरव्यू

एनालिटिक्स डैशबोर्ड आपके कन्वर्सेशनल एजेंट्स के लिए विस्तृत, रीयल-टाइम मेट्रिक्स देता है। प्रोडक्शन में आपके एजेंट्स कैसा प्रदर्शन कर रहे हैं, यह ठीक से समझने के लिए आप प्रदर्शन को कई आयामों में बाँट सकते हैं — एजेंट, ब्रांच, समयावधि, भाषा, कॉल प्रकार, मॉडल व अन्य के आधार पर।

एनालिटिक्स डेटा को एक हाई-परफॉर्मेंस कॉलमनर डेटाबेस संचालित करता है, जिससे लचीली फ़िल्टरिंग और ग्रुपिंग के साथ बड़ी मात्रा में बातचीत के डेटा पर तेज़ क्वेरी की जा सकती हैं।

बातचीत-स्तर की थीम्स के लिए, रीयल-टाइम इनसाइट्स, सेंटिमेंट एनालिसिस, टॉपिक डिस्कवरी और हर टॉपिक के पीछे की बातचीत देखने के लिए Spotlight का उपयोग करें।

एनालिटिक्स एक्सेस करना

अपने एजेंट्स डैशबोर्ड में Analytics टैब पर जाएँ। आप पूरे वर्कस्पेस के मेट्रिक्स देख सकते हैं या किसी खास एजेंट के लिए फ़िल्टर कर सकते हैं।

एक्सपेरिमेंट्स चलाते समय, आप एजेंट कॉन्फ़िगरेशन पेज से View Analytics बटन का इस्तेमाल करके सीधे ब्रांच-फ़िल्टर्ड एनालिटिक्स पर जा सकते हैं। इससे एजेंट और ब्रांच फ़िल्टर पहले से लागू हो जाते हैं, ताकि आप तुरंत वेरिएंट प्रदर्शन की तुलना कर सकें।

समय सीमा और ग्रैन्युलैरिटी

डैशबोर्ड के सबसे ऊपर मौजूद डेट पिकर से अपने विश्लेषण की समय सीमा चुनें। आप प्रीसेट रेंज चुन सकते हैं या अपनी कस्टम विंडो तय कर सकते हैं।

डैशबोर्ड आपकी चुनी हुई रेंज के आधार पर टाइम-सीरीज़ चार्ट की ग्रैन्युलैरिटी अपने-आप समायोजित करता है — छोटी रेंज के लिए प्रति घंटे के बकेट और लंबी रेंज के लिए दैनिक या साप्ताहिक।

उपलब्ध मेट्रिक्स

बातचीत

• कॉल की संख्या — चुनी गई अवधि में बातचीत की कुल संख्या
• कुल अवधि — बातचीत का कुल समय
• औसत अवधि — बातचीत की औसत लंबाई
• कुल लागत — सभी बातचीत पर कुल खर्च
• औसत लागत — प्रति बातचीत औसत लागत

प्रदर्शन

• एजेंट रिस्पॉन्स लेटेंसी — एजेंट के जवाब देने में लगा समय (मीडियन और परसेंटाइल)
• एरर रेट — एरर वाली बातचीत का प्रतिशत
• एरर ब्रेकडाउन — प्रकार के अनुसार वर्गीकृत एरर (टूल फ़ेल्यर, LLM एरर, कनेक्शन समस्याएँ)

सफलता मूल्यांकन

अगर आपने मूल्यांकन मानदंड कॉन्फ़िगर किए हैं, तो डैशबोर्ड हर मानदंड के लिए सफलता, विफलता और अज्ञात दरें दिखाता है। एक्सपेरिमेंट्स में व्यावसायिक नतीजे मापने का यह मुख्य तरीका है।

डेटा कलेक्शन

अगर आपने डेटा कलेक्शन कॉन्फ़िगर किया है, तो एकत्र किए गए वैल्यू डैशबोर्ड में फ़िल्टर किए जा सकने वाले आयामों के रूप में उपलब्ध होंगे।

भाषा ब्रेकडाउन

भाषाओं में बातचीत का वितरण देखें। यह बहुभाषी अपनाने को समझने और अलग-अलग भाषाओं में एजेंट प्रदर्शन की तुलना करने के लिए उपयोगी है।

सक्रिय कॉल

डैशबोर्ड रीयल टाइम में सक्रिय कॉल की मौजूदा संख्या दिखाता है। यह आपके वर्कस्पेस में चल रहे सेशन दर्शाता है और API से भी उपलब्ध है।

फ़िल्टरिंग

आयामों के किसी भी संयोजन पर फ़िल्टर लागू करके अपने एनालिटिक्स व्यू को सीमित करें:

ग्रुपिंग

कुल संख्याओं का ब्रेकडाउन देखने के लिए मेट्रिक्स को किसी भी फ़िल्टर किए जा सकने वाले आयाम के आधार पर ग्रुप करें।

उदाहरण के लिए:

• एक्सपेरिमेंट वेरिएंट्स की साथ-साथ तुलना करने के लिए ब्रांच के अनुसार ग्रुप करें
• एजेंट अलग-अलग भाषाओं में कैसा प्रदर्शन करते हैं, यह देखने के लिए भाषा के अनुसार ग्रुप करें
• मॉडल प्रदर्शन और लागत की तुलना करने के लिए LLM मॉडल के अनुसार ग्रुप करें
• इनबाउंड और आउटबाउंड कॉल के अंतर समझने के लिए कॉल प्रकार के अनुसार ग्रुप करें

गहरा विश्लेषण करने के लिए कई ग्रुपिंग आयामों को जोड़ा जा सकता है।

वर्कफ़्लो एनालिटिक्स

वर्कफ़्लो वाले एजेंट्स के लिए, एनालिटिक्स डैशबोर्ड का Workflow टैब उपयोग के मेट्रिक्स सीधे वर्कफ़्लो ग्राफ़ पर दिखाता है। ग्राफ़ व्यू चालू करने के लिए ऐसा एजेंट चुनें जो वर्कफ़्लो इस्तेमाल करता हो — फिर आप वर्कफ़्लो कैनवास पर बातचीत का प्रवाह और ट्रैफ़िक वॉल्यूम सीधे देख सकते हैं, साथ ही हर नोड के लिए विस्तृत इनफ़्लो और आउटफ़्लो भी।

नोड मेट्रिक्स

इंस्पेक्टर खोलने के लिए वर्कफ़्लो ग्राफ़ में किसी भी नोड पर क्लिक करें और देखें:

• एंट्रीज़ — चुनी गई समय सीमा में कितनी बातचीत नोड में आईं
• बिताया गया औसत समय — उन एंट्रीज़ में नोड औसतन कितनी देर सक्रिय रहा
• टर्मिनेशन — नोड सक्रिय रहने के दौरान कितनी बातचीत समाप्त हुईं
• इनकमिंग और आउटगोइंग फ़्लो — हर अपस्ट्रीम एज से आने और हर डाउनस्ट्रीम एज से जाने वाली बातचीत का वितरण

बातचीत की गहराई में जाना

नोड इंस्पेक्टर से बातचीत के इतिहास पेज पर जाने के लिए See conversations पर क्लिक करें, जो उस नोड के लिए फ़िल्टर होगा। इससे Node entered फ़िल्टर लागू होता है — किसी खास एजेंट तक सीमित हिस्ट्री फ़िल्टर, जो हर ऐसी बातचीत दिखाता है जिसके ट्रांसक्रिप्ट ने चुने गए वर्कफ़्लो नोड में कम-से-कम एक बार प्रवेश किया हो।

Node entered फ़िल्टर बातचीत के इतिहास पेज से भी सीधे उपलब्ध है।

एक्सपेरिमेंट्स के साथ एनालिटिक्स का उपयोग

एक्सपेरिमेंट के नतीजे मापने के लिए एनालिटिक्स मुख्य टूल है। सुझाया गया वर्कफ़्लो:

आप अपने ट्रैफ़िक डिप्लॉयमेंट सेटिंग्स के पास View Analytics बटन पर क्लिक करके एजेंट कॉन्फ़िगरेशन पेज से सीधे इस व्यू पर जा सकते हैं। इससे सही एजेंट और ब्रांच फ़िल्टर पहले से लागू हो जाते हैं।

अगले चरण