हमारे डॉक के लिए एक प्रभावी वॉइस एजेंट बनाना

ElevenLabs में, हमने हाल ही में अपने डॉक में एक कन्वर्सेशनल AI एजेंट को जोड़ा है ताकि डॉक्यूमेंटेशन से संबंधित सवालों के लिए सपोर्ट का बोझ कम किया जा सके (इसे आज़माएं यहां)। हमारा सपोर्ट एजेंट अब सफलतापूर्वक संभाल रहा है 80% से अधिक यूज़र पूछताछ को 200 कॉल्स प्रति दिन। ये परिणाम AI की क्षमता को पारंपरिक डॉक्यूमेंटेशन सपोर्ट को बढ़ाने के लिए दिखाते हैं, जबकि जटिल प्रश्नों के लिए मानव समर्थन की निरंतर महत्वता को उजागर करते हैं। इस पोस्ट में, मैं हमारे सफल होने की प्रक्रिया को विस्तार से बताऊंगा जिसे आप भी अपना सकते हैं।

हमारे लक्ष्य

हमने एक ऐसा एजेंट बनाने का लक्ष्य रखा जो:

• सपोर्ट सवालों को हल कर सके जो हमारे प्रोडक्ट और सपोर्ट डॉक्यूमेंटेशन के संदर्भ से उत्तरित हो सकते हैं
• यूज़र्स को संबंधित डॉक्यूमेंटेशन सेक्शन में रीडायरेक्ट कर सके
• जटिल प्रश्नों को ईमेल/डिस्कॉर्ड सपोर्ट पर फॉरवर्ड कर सके जब आवश्यक हो
• एक सहज और प्राकृतिक बातचीत कर सके, कम विलंबता और वास्तविक इंटरप्शन हैंडलिंग के साथ

परिणाम और प्रभाव

हमने मूल्यांकन के दो स्तर लागू किए:

(1) AI मूल्यांकन टूलिंग: प्रत्येक कॉल के लिए, हमारा बिल्ट-इन मूल्यांकन टूलिंग समाप्त बातचीत के माध्यम से चलता है और मूल्यांकन करता है कि एजेंट सफल रहा है या नहीं। मानदंड पूरी तरह से अनुकूलन योग्य है। हम पूछते हैं कि क्या एजेंट ने यूज़र की पूछताछ को हल किया, या उन्हें संबंधित सपोर्ट चैनल पर रीडायरेक्ट कर सका।

हम LLM की क्षमता को लगातार सुधारने में सक्षम रहे हैं ताकि पूछताछ को सफलतापूर्वक हल या रीडायरेक्ट किया जा सके, हमारे मूल्यांकन टूलिंग के अनुसार 80% तक पहुंच गया।

उन कॉल्स को छोड़कर जिनमें बातचीत में 1 से कम टर्न थे, जो दर्शाता है कि कॉलर द्वारा कोई प्रश्न / समस्या नहीं उठाई गई।

अब, यह महत्वपूर्ण है कि सभी प्रकार की सपोर्ट पूछताछ या प्रश्न LLM द्वारा हल नहीं किए जा सकते, विशेष रूप से एक स्टार्टअप के लिए जो तेजी से निर्माण करता है और लगातार नवाचार करता है, और अत्यधिक तकनीकी और रचनात्मक यूज़र्स के साथ। एक अतिरिक्त अस्वीकरण के रूप में, एक मूल्यांकन LLM 100% समय सही मूल्यांकन नहीं करेगा।

(2) मानव सत्यापन: हमारे LLM सत्यापन टूलिंग की प्रभावशीलता के विपरीत, हमने 150 वार्तालापों का मानव सत्यापन किया, उसी मूल्यांकन मानदंड का उपयोग करते हुए जो LLM टूलिंग को प्रदान किया गया था:

• solved_user_inquiry: सफलता के रूप में परिभाषित किया गया जब एजेंट ने यूज़र के प्रश्नों का उत्तर प्रासंगिक जानकारी के साथ दिया या उन्हें संबंधित पेज / सपोर्ट चैनल पर रीडायरेक्ट कर सका।
• • LLM और मानव ने सहमति जताई 81% मामलों में
• hallucination_kb: यह मानदंड अंतिम ट्रांसक्रिप्ट की जांच करेगा और सत्यापित करेगा कि ElevenLabs प्रोडक्ट्स के बारे में LLM द्वारा दिए गए उत्तर ज्ञान आधार में जानकारी का पालन करते हैं या उससे आगे जाते हैं।
• • LLM और मानव ने सहमति जताई 83%मामलों में

मानव मूल्यांकन ने यह भी खुलासा किया कि 89% संबंधित सपोर्ट प्रश्नों का उत्तर या रीडायरेक्ट सही तरीके से डॉक्यूमेंटेशन एजेंट द्वारा किया गया।

अन्य निष्कर्ष:

• कई कॉलर्स सिर्फ खेलना चाहते थे और बिना सपोर्ट प्रश्न पूछे विभिन्न भाषाओं में बात करने की कोशिश कर रहे थे।
• • वर्तमान में, हमारा कन्वर्सेशनल AI विभिन्न भाषाओं का समर्थन करता है, लेकिन इन्हें बातचीत की शुरुआत में परिभाषित करना होता है।
• कई कॉलर्स ऐसी बातचीत में शामिल होते हैं जो एजेंट के उद्देश्य से संबंधित नहीं होती, जैसे ElevenLabs, इसके प्रोडक्ट्स और डॉक्यूमेंटेशन के बारे में बात करना। प्रॉम्प्ट गार्ड रेल्स ने अधिकांश समय मदद की, लेकिन हमेशा नहीं।
• कई कॉलर्स कोडिंग या डिबगिंग सपोर्ट की तलाश में थे।

ताकत और सीमाएं

ताकत

LLM-संचालित एजेंट स्पष्ट और विशिष्ट प्रश्नों को हल करने में सक्षम है जो हमारे डॉक्यूमेंटेशन के साथ उत्तरित हो सकते हैं, कॉलर्स को संबंधित डॉक्यूमेंटेशन की ओर इंगित करता है, और अधिक जटिल प्रश्नों पर कुछ प्रारंभिक मार्गदर्शन प्रदान करता है। इन अधिकांश मामलों में, एजेंट त्वरित, सीधा और सही उत्तर प्रदान करता है जो तुरंत सहायक होते हैं।

प्रश्न शामिल हैं:

• क्या ElevenLabs के पास वॉइस डिलीट करने के लिए API एंडपॉइंट है?
• मैं अपने एजेंट में कन्वर्सेशन ओवरराइड्स को कैसे कॉन्फ़िगर कर सकता हूँ?
• मैं टेलीफोनी के साथ कैसे इंटीग्रेट करूं?
• क्या ElevenLabs स्पेनिश भाषा का समर्थन करता है?

सिफारिशें:

• ऐसी ऑडियंस को लक्षित करें जिनके पास ज्यादातर स्पष्ट / विशिष्ट प्रश्न होंगे जिनका उत्तर LLM डॉक्यूमेंटेशन और टूल्स के साथ देने में सक्षम है।
• अन्य चैनलों पर रीडायरेक्ट का लाभ उठाएं अस्पष्ट प्रश्नों / उन प्रश्नों के लिए जिनकी जांच की आवश्यकता है। यह बहुत मदद करता है!
• सभी पूछे गए प्रश्नों को कैप्चर करने और उनकी निगरानी करने के लिए मूल्यांकन टूलिंग जोड़ें -> सीखने के साथ प्रॉम्प्ट को समायोजित करें। सफलता और ज्ञान आधार से विचलन के लिए मूल्यांकन टूलिंग जोड़ें।

सीमाएं

दूसरी ओर, एजेंट खाता मुद्दों, मूल्य निर्धारण/छूट प्रश्नों, या गैर-विशिष्ट प्रश्नों के साथ कम सहायक है जिनसे गहरी जांच / पूछताछ का लाभ होगा। इसके अलावा, जो मुद्दे काफी अस्पष्ट और सामान्य हैं -> प्रश्न पूछने के लिए प्रेरित होने के बावजूद, LLM आमतौर पर कुछ ऐसा उत्तर देने का पक्षधर होता है जो डॉक्यूमेंटेशन से प्रासंगिक लग सकता है।

प्रश्न शामिल हैं:

• मेरे PVC का सत्यापन चरण बार-बार विफल हो रहा है। क्यों?
• एक AI एजेंट की लागत कितनी होगी? क्या मुझे छूट मिल सकती है?
• मुझे JS SDK के साथ एक त्रुटि मिल रही है? -> एजेंट संबंधित डॉक्यूमेंटेशन को रीडायरेक्ट कर सकता है, लेकिन वॉइस के माध्यम से समस्या को आसानी से खोज और हल नहीं कर सकता।

सिफारिशें

• कोड साझा करने के लिए वॉइस सही माध्यम नहीं है। इसे न करने के लिए प्रेरित करें, बल्कि उदाहरणों के साथ पेजों पर रीडायरेक्ट करें या डिस्कॉर्ड/सपोर्ट पर रीडायरेक्ट करें।
• जब मुद्दे / प्रश्न अधिक जटिल हों तो एजेंट को लंबी सिफारिशों की सूची में उत्तर न देने के लिए प्रेरित करें। यह टेक्स्ट में काम करता है, लेकिन वॉइस के माध्यम से कम।
• LLMs प्रश्न पूछने के बजाय उत्तर देने का पक्ष लेते हैं - यदि सपोर्ट उपयोग के मामले के लिए आवश्यक हो तो इसके लिए आक्रामक रूप से प्रेरित करें। (यानी आगे बढ़ने से पहले ये 3 प्रश्न पूछें)। यह निश्चित स्क्रिप्ट के साथ आउटबाउंड उपयोग के मामलों के लिए आसान है।

हमने इसे कैसे बनाया

एजेंट कॉन्फ़िगरेशन:

सिस्टम प्रॉम्प्ट

“आप एक तकनीकी सपोर्ट एजेंट हैं जिसका नाम एलेक्सिस है। आप ElevenLabs प्रोडक्ट्स के बारे में यूज़र के किसी भी प्रश्न का उत्तर देने की कोशिश करेंगे। आपको ElevenLabs प्रोडक्ट्स पर डॉक्यूमेंटेशन दिया जाएगा और आपको केवल इस जानकारी का उपयोग करके ElevenLabs के बारे में प्रश्नों का उत्तर देना चाहिए। आपको सहायक, मित्रवत और पेशेवर होना चाहिए। यदि आप प्रश्न का उत्तर देने में असमर्थ हैं, तो कॉलर्स को redirectToEmailSupport के साथ रीडायरेक्ट करें (जो उनके अंत में सपोर्ट के लिए एक ईमेल खोलता है), यदि यह काम नहीं करता है, तो वे सीधे ईमेल कर सकते हैं team@elevenlabs.io।

यदि प्रश्न या समस्या पूरी तरह से स्पष्ट या पर्याप्त विशिष्ट नहीं है, तो अधिक विवरण और किस प्रोडक्ट के लिए वे समर्थन मांग रहे हैं, पूछें। यदि प्रश्न अस्पष्ट या बहुत व्यापक है, तो उनसे अधिक विशेष रूप से पूछें कि वे क्या हासिल करने की कोशिश कर रहे हैं और कैसे।

बातचीत में अपने पहले संदेश की भाषा का सख्ती से पालन करें, भले ही किसी अन्य भाषा में पूछा या बात की जाए। कहें कि यह बेहतर है कि वे कॉल समाप्त करें और पुनः आरंभ करें, वांछित वैकल्पिक भाषा का चयन करें।

आपका आउटपुट एक टेक्स्ट टू स्पीच मॉडल द्वारा पढ़ा जाएगा इसलिए इसे उच्चारण के रूप में स्वरूपित किया जाना चाहिए। उदाहरण के लिए: "कृपया संपर्क करें team@elevenlabs.io" के बजाय "कृपया संपर्क करें 'टीम एट इलेवनलैब्स डॉट आई ओ'" आउटपुट करें। अपने टेक्स्ट उत्तर को बुलेट पॉइंट्स, बोल्ड या हेडर के साथ स्वरूपित न करें। लंबी सूचियों को वापस न करें बल्कि उन्हें संक्षेप में बताएं और पूछें कि यूज़र किस भाग में रुचि रखते हैं। कोड नमूने वापस न करें बल्कि सुझाव दें कि यूज़र हमारे डॉक्यूमेंटेशन में कोड नमूने देखें। उत्तर को सीधे वापस करें, "एजेंट:" या कुछ इसी तरह से उत्तर शुरू न करें। वर्तनी की गलतियों को सही न करें, बस उन्हें अनदेखा करें।

कुछ वाक्यों में संक्षेप में उत्तर दें और यूज़र को यह बताने दें कि कहां अधिक विवरण देना है।

आपके पास निम्नलिखित टूल्स उपलब्ध हैं। यूज़र के अनुरोध के आधार पर उन्हें उपयुक्त रूप से उपयोग करें:

`redirectToDocs`:

- कब उपयोग करें: अधिकांश स्थितियों में, विशेष रूप से जब यूज़र को अधिक विस्तृत जानकारी या मार्गदर्शन की आवश्यकता होती है।

- क्यों: जटिल विषयों के लिए सीधे डॉक्यूमेंटेशन तक पहुंच प्रदान करना सहायक होता है, यह सुनिश्चित करते हुए कि यूज़र स्वयं सामग्री की समीक्षा और समझ कर सकते हैं।

`redirectToEmailSupport`:

- कब उपयोग करें: यदि यूज़र को व्यक्तिगत या खाता-विशिष्ट मुद्दों में सहायता की आवश्यकता है।

- क्यों: खाता-संबंधित पूछताछ को हमारे सपोर्ट टीम द्वारा ईमेल के माध्यम से सबसे अच्छा संभाला जाता है, जहां वे सुरक्षित रूप से संबंधित विवरणों तक पहुंच सकते हैं।

`redirectToExternalURL`:

- कब उपयोग करें: यदि यूज़र एंटरप्राइज-स्तरीय समाधानों के बारे में पूछते हैं या हमारे डिस्कॉर्ड सर्वर जैसी बाहरी समुदायों में शामिल होना चाहते हैं। यदि वे ElevenLabs के साथ तकनीकी कठिनाइयों का सामना कर रहे डेवलपर प्रतीत होते हैं।

- क्यों: एंटरप्राइज पूछताछ और सामुदायिक इंटरैक्शन सीधे इन-प्लेटफ़ॉर्म सपोर्ट के दायरे से बाहर हैं और बाहरी लिंक के माध्यम से बेहतर तरीके से संभाले जाते हैं।

गार्डरेल्स:

- Elevenlabs संबंधित विषयों और प्रोडक्ट्स पर टिके रहें। यदि कोई गैर-elevenlabs विषयों के बारे में पूछता है, तो कहें कि आप केवल Elevenlabs प्रोडक्ट्स के बारे में उत्तर देने के लिए यहां हैं।

- कॉलर को एक बार में केवल एक पेज पर रीडायरेक्ट करें, क्योंकि प्रत्येक रीडायरेक्ट पिछले एक को ओवरराइड करता है।

- लंबी सूचियों या कोड के साथ उत्तर न दें। इसके बजाय कोडिंग नमूनों के लिए डॉक्यूमेंटेशन की ओर निर्देशित करें।”

ज्ञान आधार

प्रॉम्प्ट के साथ, हम LLM को प्रासंगिक जानकारी का ज्ञान आधार दे रहे हैं। इस ज्ञान आधार में सभी ElevenLabs डॉक्यूमेंटेशन का संक्षिप्त, लेकिन फिर भी बड़ा (80k अक्षर) संस्करण शामिल है, साथ ही कुछ संबंधित URLs।

हम ज्ञान आधार के हिस्से के रूप में स्पष्टीकरण और FAQs भी जोड़ रहे हैं।

टूल्स

हमने तीन टूल्स कॉन्फ़िगर किए हैं:

• redirectToExternalURL: बिक्री से संपर्क करने या डिस्कॉर्ड पर रीडायरेक्ट करता है।
• redirectToEmailSupport: ईमेल खोलें team@elevenlabs.io
• redirectToDocs: यह टूल कॉलर को हमारे डॉक्यूमेंटेशन के भीतर संबंधित पृष्ठों पर रीडायरेक्ट करने के लिए कॉन्फ़िगर किया गया है।

बिल्ट-इन मूल्यांकन

हमारे मूल्यांकन टूलिंग में एक LLM शामिल है जो अंतिम ट्रांसक्रिप्ट की समीक्षा करता है और परिभाषित मानदंडों के खिलाफ बातचीत का आकलन करता है।

मूल्यांकन मानदंड (सफलता / विफलता / अज्ञात)

• hallucination_kb: यह मानदंड अंतिम ट्रांसक्रिप्ट की जांच करेगा और सत्यापित करेगा कि ElevenLabs प्रोडक्ट्स के बारे में LLM द्वारा दिए गए उत्तर ज्ञान आधार में जानकारी का पालन करते हैं या उससे आगे जाते हैं।
• इंटरैक्शन: मूल्यांकन करता है कि बातचीत एक टर्न से आगे बढ़ी या नहीं। यह जल्दी से चिह्नित करने का एक तरीका है कि बातचीत शुरू की गई थी लेकिन कभी संलग्न नहीं हुई।
• solved_user_inquiry: सफलता के रूप में परिभाषित किया गया जब एजेंट ने यूज़र के प्रश्नों का उत्तर प्रासंगिक जानकारी के साथ दिया या उन्हें संबंधित पेज / सपोर्ट चैनल पर रीडायरेक्ट कर सका।
• सकारात्मक इंटरैक्शन: मूल्यांकन करता है कि बातचीत बिना नकारात्मक कॉलर प्रतिक्रियाओं के चली।

डेटा संग्रह:

• Issue_type: बातचीत को बग, सपोर्ट मुद्दा, fr या अन्य के रूप में वर्गीकृत करें
• प्रोडक्ट श्रेणी: संबंधित प्रोडक्ट (TTS, ConvAI, आदि) निकालें
• सभी प्रश्न: कॉलर द्वारा पूछे गए सभी प्रश्न निकालें
• अनसुलझा प्रश्न: प्रश्न निकालें जिनका उत्तर LLM द्वारा प्रासंगिक जानकारी के साथ नहीं दिया गया
• रीडायरेक्ट्स: एजेंट द्वारा ट्रिगर किए गए रीडायरेक्ट पथ और कॉलर की प्रतिक्रिया निकालें

सारांश

हमारा डॉक्यूमेंटेशन एजेंट यूज़र्स को सामान्य प्रोडक्ट और सपोर्ट प्रश्नों को नेविगेट करने में मदद करने के लिए प्रभावी साबित हुआ है, और हमारे डॉक्यूमेंट्स को नेविगेट करने वाले यूज़र्स के लिए एक आकर्षक सह-पायलट है। हम लगातार स्वचालित और मैनुअल निगरानी के माध्यम से अपने एजेंट को लगातार सुधारने में सक्षम हैं। हम मानते हैं कि सभी प्रकार की सपोर्ट पूछताछ या प्रश्न LLM द्वारा हल नहीं किए जा सकते, विशेष रूप से एक स्टार्टअप के लिए जो तेजी से निर्माण करता है और लगातार नवाचार करता है, और अत्यधिक तकनीकी और रचनात्मक यूज़र्स के साथ। लेकिन हमने पाया है कि जितना अधिक हम स्वचालित कर सकते हैं, उतना ही अधिक समय हमारी टीम उन जटिल और दिलचस्प समस्याओं को हल करने में केंद्रित कर सकती है जो हमारी समुदाय AI ऑडियो के साथ क्या संभव है की सीमाओं को धकेलते हुए सामने आती हैं।

हमारा एजेंट द्वारा संचालित है ElevenLabs कन्वर्सेशनल AI। यदि आप मेरे परिणामों को पुन: उत्पन्न करना चाहते हैं, तो आप मुफ़्त में खाता बनाएं और मेरे चरणों का पालन करें। यदि आप फंस जाते हैं, तो आप हमारे द्वारा तैनात एजेंट से बात कर सकते हैं हमारे डॉक पर या मुझसे और मेरी टीम से संपर्क करें डिस्कॉर्ड। उच्च मात्रा उपयोग के मामलों के लिए (>100 कॉल्स प्रति दिन), वॉल्यूम छूट के लिए हमारी बिक्री टीम से संपर्क करें।