अपने स्वयं के दस्तावेज़ों के लिए एक प्रभावी वॉयस एजेंट का निर्माण करना

80% से अधिक उपयोगकर्ता पूछताछ का सफलतापूर्वक समाधान

Docs Blog Cover 1x1

ElevenLabs में, हमने हाल ही में अपने दस्तावेज़ों में एक वार्तालाप AI एजेंट को शामिल किया है, ताकि दस्तावेज़ीकरण-संबंधी प्रश्नों के लिए समर्थन बोझ को कम करने में मदद मिल सके (इसका परीक्षण करें यहाँ. हमारा सहायता एजेंट अब सफलतापूर्वक काम कर रहा है 80% से अधिक उपयोगकर्ता पूछताछ के पार प्रतिदिन 200 कॉल. ये परिणाम पारंपरिक दस्तावेज़ीकरण सहायता को बढ़ाने के लिए एआई की क्षमता को प्रदर्शित करते हैं, साथ ही जटिल प्रश्नों के लिए मानवीय सहायता के निरंतर महत्व पर प्रकाश डालते हैं। इस पोस्ट में, मैं हमारी पुनरावृत्तीय प्रक्रिया के बारे में विस्तार से बताऊंगा जिसका अनुसरण करके आप हमारी सफलता को दोहरा सकते हैं। 

हमारे लक्ष्य

हमने एक ऐसा एजेंट बनाने का लक्ष्य रखा जो:

  • ऐसे समर्थन प्रश्नों का समाधान करें जिनका उत्तर हमारे उत्पाद और समर्थन दस्तावेज़ के संदर्भ से दिया जा सकता है
  • उपयोगकर्ताओं को प्रासंगिक दस्तावेज़ अनुभागों पर पुनर्निर्देशित करें
  • आवश्यकता पड़ने पर जटिल प्रश्नों को ईमेल/डिस्कोर्ड सहायता को अग्रेषित करें
  • कम विलंबता और यथार्थवादी व्यवधान प्रबंधन के साथ प्रवाहपूर्ण और स्वाभाविक बातचीत करें

परिणाम और प्रभाव

हमने मूल्यांकन की दो परतें क्रियान्वित कीं:

(1) एआई मूल्यांकन टूलींग. प्रत्येक कॉल के लिए, हमारा अंतर्निहित मूल्यांकन टूल समाप्त वार्तालाप को चलाता है और मूल्यांकन करता है कि क्या एजेंट सफल रहा है। मानदंड पूरी तरह से अनुकूलन योग्य है। हम पूछते हैं कि क्या एजेंट ने उपयोगकर्ता की पूछताछ का समाधान किया, या उन्हें किसी प्रासंगिक सहायता चैनल पर पुनर्निर्देशित करने में सक्षम था। 

Solved User Inquiry Chart

हम एलएलएम की जांच को सफलतापूर्वक हल करने या पुनर्निर्देशित करने की क्षमता में लगातार सुधार करने में सक्षम रहे हैं, जो हमारे मूल्यांकन टूल के अनुसार 80% तक पहुंच गया है। 

वार्तालाप में 1 से कम बारी वाले कॉल को छोड़कर, जिसका अर्थ है कि कॉल करने वाले द्वारा कोई प्रश्न/मुद्दा नहीं उठाया गया था। 

अब, यह विचार करना महत्वपूर्ण है कि सभी प्रकार के समर्थन प्रश्नों या सवालों को एलएलएम द्वारा हल नहीं किया जा सकता है, विशेष रूप से एक स्टार्टअप के लिए जो तेजी से निर्माण करता है और लगातार नवाचार करता है, और अत्यंत तकनीकी और रचनात्मक उपयोगकर्ताओं के साथ। एक अतिरिक्त अस्वीकरण के रूप में, मूल्यांकन एलएलएम हर बार 100% सही ढंग से मूल्यांकन नहीं करेगा।

(2) मानव सत्यापन. हमारे एलएलएम सत्यापन टूल की प्रभावकारिता के बीच तुलना करने के लिए, हमने एलएलएम टूल को प्रदान किए गए समान मूल्यांकन मानदंडों का उपयोग करते हुए, 150 वार्तालापों का मानव सत्यापन किया:

  • हल_उपयोगकर्ता_पूछताछ: इसे सफलता के रूप में परिभाषित किया जाता है जब एजेंट ने प्रासंगिक जानकारी के साथ उपयोगकर्ता के प्रश्नों का उत्तर दिया या प्रासंगिक पृष्ठ / सहायता चैनल पर पुनर्निर्देशित करने में सक्षम था। 
    • एलएलएम और मानव इस बात पर सहमत हुए 81 मामलों की 
  • मतिभ्रम_kbयह मानदंड अंतिम प्रतिलिपि की जांच करेगा और सत्यापित करेगा कि क्या एलएलएम द्वारा ElevenLabs उत्पादों के बारे में दिए गए उत्तर ज्ञान आधार में दी गई जानकारी के अनुरूप हैं या उससे आगे जाते हैं। 
    • एलएलएम और मानव इस बात पर सहमत हुए 83 मामलों की

मानव मूल्यांकन से यह भी पता चला कि 89 प्रासंगिक समर्थन प्रश्नों में से 10 का उत्तर दस्तावेज़ीकरण एजेंट द्वारा सही ढंग से दिया गया या पुनर्निर्देशित किया गया।

अन्य निष्कर्ष: 

  • कई कॉल करने वाले लोग सिर्फ इधर-उधर घूमना चाहते थे और सहायता के लिए कोई प्रश्न पूछे बिना विभिन्न भाषाओं में बात करना चाहते थे। 
    • वर्तमान में, हमारा वार्तालाप AI विभिन्न भाषाओं का समर्थन करता है, लेकिन इन्हें बातचीत की शुरुआत में ही परिभाषित करना होता है। 
  • कई कॉल करने वाले लोग एजेंट के उद्देश्य से इलेवेनलैब्स, उसके उत्पादों और दस्तावेजों के बारे में बात करने के लिए असंबंधित बातचीत में संलग्न होते हैं। अधिकांश समय त्वरित सुरक्षा रेलिंग से मदद मिली, लेकिन हमेशा नहीं। 
  • कई कॉल करने वाले लोग कोडिंग या डिबगिंग सहायता की तलाश में थे। 

ताकत और सीमाएं

ताकत

एलएलएम-संचालित एजेंट स्पष्ट और विशिष्ट प्रश्नों को हल करने में कुशल है, जिनका उत्तर हमारे दस्तावेज़ों से दिया जा सकता है, कॉल करने वालों को प्रासंगिक दस्तावेज़ों की ओर संकेत करता है, तथा अधिक जटिल प्रश्नों पर कुछ प्रारंभिक मार्गदर्शन प्रदान करता है। इनमें से अधिकांश मामलों में, एजेंट त्वरित, सीधे और सही उत्तर प्रदान करता है जो तुरंत मददगार होते हैं। 

प्रश्नों में शामिल हैं: 

  • क्या ElevenLabs के पास आवाज़ हटाने के लिए API एंडपॉइंट है? 
  • मैं अपने एजेंट में वार्तालाप ओवरराइड कैसे कॉन्फ़िगर कर सकता हूँ? 
  • मैं टेलीफ़ोनी के साथ एकीकरण कैसे करूँ?
  • क्या ElevenLabs स्पेनिश भाषा का समर्थन करता है?

अनुशंसाएँ:

  • ऐसे दर्शकों को लक्षित करें जिनके पास अधिकतर स्पष्ट/विशिष्ट प्रश्न होंगे, जिनका उत्तर देने में दस्तावेज़ीकरण और उपकरणों के साथ एलएलएम अच्छा है। 
  • अस्पष्ट प्रश्नों / जांच की आवश्यकता वाले प्रश्नों के लिए अन्य चैनलों पर पुनर्निर्देशन का लाभ उठाएं। इससे बहुत मदद मिलती है! 
  • सभी पूछे गए प्रश्नों को प्राप्त करने तथा उन पर निगरानी रखने के लिए मूल्यांकन टूल जोड़ें -> सीख के साथ संकेत समायोजित करें। ज्ञान आधार से सफलता और भ्रम/विचलन के लिए मूल्यांकन टूलिंग जोड़ें। 

सीमाएँ

दूसरी ओर, एजेंट खाता संबंधी समस्याओं, मूल्य निर्धारण/छूट संबंधी प्रश्नों, या गैर-विशिष्ट प्रश्नों के संबंध में कम मददगार होता है, जिनके लिए गहन जांच/पूछताछ से लाभ मिल सकता है। इसके अलावा, जो मुद्दे काफी अस्पष्ट और सामान्य हैं -> प्रश्न पूछने के लिए प्रेरित किए जाने के बावजूद, एलएलएम आमतौर पर कुछ ऐसे उत्तर के साथ उत्तर देने का पक्षधर है जो दस्तावेज़ से प्रासंगिक लग सकता है। 

प्रश्नों में शामिल हैं: 

  • मेरे PVC का सत्यापन चरण बार-बार विफल हो रहा है। क्यों? 
  • एक AI एजेंट की लागत कितनी होगी? क्या मुझे छूट मिल सकती है? 
  • मुझे JS SDK के साथ एक त्रुटि मिल रही है? -> एजेंट प्रासंगिक दस्तावेज़ को पुनर्निर्देशित कर सकता है, लेकिन आवाज के माध्यम से आसानी से समस्या का पता नहीं लगा सकता और हल नहीं कर सकता। 

सिफारिशों

  • कोड साझा करने के लिए आवाज़ सही माध्यम नहीं है। उसे ऐसा करने का प्रयास न करने के लिए कहें, बल्कि उदाहरणों वाले पृष्ठों पर रीडायरेक्ट करने या डिस्कॉर्ड/सपोर्ट पर रीडायरेक्ट करने के लिए कहें।
  • जब मुद्दे/प्रश्न अधिक जटिल हों तो एजेंट को सिफारिशों की लंबी सूची में उत्तर न देने के लिए कहें। यह पाठ में तो काम करता है, लेकिन आवाज के माध्यम से कम।
  • एलएलएम प्रश्न पूछने की अपेक्षा उत्तर देने को प्राथमिकता देते हैं - यदि समर्थन के लिए आवश्यक हो तो इसके लिए आक्रामक तरीके से प्रेरित करें। (अर्थात आगे बढ़ने से पहले ये 3 प्रश्न पूछें)। निश्चित स्क्रिप्ट वाले आउटबाउंड उपयोग मामलों के लिए यह आसान है।

हमने इसे कैसे बनाया?

एजेंट कॉन्फ़िगरेशन: 

सिस्टम प्रॉम्प्ट

“आप एलेक्सिस नामक एक तकनीकी सहायता एजेंट हैं। आप ElevenLabs उत्पादों के बारे में उपयोगकर्ता के किसी भी प्रश्न का उत्तर देने का प्रयास करेंगे। आपको ElevenLabs उत्पादों पर दस्तावेज़ दिए जाएंगे और आपको इस जानकारी का उपयोग केवल ElevenLabs के बारे में प्रश्नों के उत्तर देने के लिए करना चाहिए। आपको मददगार, मित्रवत और पेशेवर होना चाहिए। यदि आप प्रश्न का उत्तर देने में असमर्थ हैं, तो कॉल करने वालों को redirectToEmailSupport (जो उनके अंत में समर्थन के लिए एक ईमेल खोलता है) के साथ पुनर्निर्देशित करें, यदि यह काम नहीं करता है, तो वे सीधे ईमेल कर सकते हैं टीम@elevenlabs.io.

यदि प्रश्न या समस्या पूरी तरह स्पष्ट या विशिष्ट नहीं है, तो अधिक विवरण के लिए पूछें और पूछें कि वे किस उत्पाद के लिए समर्थन का अनुरोध कर रहे हैं। यदि प्रश्न अस्पष्ट या बहुत व्यापक है, तो उनसे अधिक विशिष्ट रूप से पूछें कि वे क्या हासिल करना चाहते हैं और कैसे। 

बातचीत में अपने पहले संदेश की भाषा का ही प्रयोग करें, भले ही आपसे भिन्न भाषा में पूछा जाए या बात की जाए। उन्हें बताएं कि बेहतर होगा कि वे वांछित वैकल्पिक भाषा का चयन करके कॉल समाप्त करके पुनः आरंभ करें।

आपका आउटपुट टेक्स्ट टू स्पीच मॉडल द्वारा पढ़ा जाएगा, इसलिए इसका प्रारूपण उसके उच्चारण के अनुसार होना चाहिए। उदाहरण के लिए: "कृपया संपर्क करें team@elevenlabs.io" के स्थान पर आपको "कृपया संपर्क करें 'team at elevenlabs dot I O'" आउटपुट करना चाहिए। अपने पाठ्य उत्तर को बुलेट पॉइंट, बोल्ड या हेडर के साथ प्रारूपित न करें। लंबी सूची न लौटाएं बल्कि उनका सारांश दें और पूछें कि उपयोगकर्ता की रुचि किस भाग में है। कोड नमूने न लौटाएं, बल्कि उपयोगकर्ता को हमारे दस्तावेज़ में कोड नमूने देखने का सुझाव दें। प्रतिक्रिया को सीधे लौटाएं, प्रतिक्रिया को "एजेंट:" या इसी तरह के किसी शब्द से शुरू न करें। वर्तनी की गलतियों को सुधारें नहीं, उन्हें अनदेखा करें।

कुछ वाक्यों में संक्षिप्त उत्तर दें और उपयोगकर्ता को यह बताने दें कि आपको कहां अधिक विवरण देना है। 

आपके पास निम्नलिखित उपकरण उपलब्ध हैं। उपयोगकर्ता के अनुरोध के आधार पर उनका उपयुक्त उपयोग करें:

`रीडायरेक्टटूडॉक्स`:

- कब उपयोग करें: अधिकांश स्थितियों में, विशेषकर जब उपयोगकर्ता को अधिक विस्तृत जानकारी या मार्गदर्शन की आवश्यकता होती है।

- क्यों: जटिल विषयों के लिए दस्तावेज़ीकरण तक सीधी पहुंच प्रदान करना उपयोगी है, जिससे यह सुनिश्चित होता है कि उपयोगकर्ता स्वयं सामग्री की समीक्षा और समझ कर सके।

`रीडायरेक्टटूईमेलसपोर्ट`:

- कब उपयोग करें: यदि उपयोगकर्ता को व्यक्तिगत या खाता-विशिष्ट समस्याओं में सहायता की आवश्यकता हो।

- क्यों: खाते से संबंधित पूछताछ का सबसे अच्छा समाधान हमारी सहायता टीम द्वारा ईमेल के माध्यम से किया जाता है, जहां वे प्रासंगिक विवरणों तक सुरक्षित रूप से पहुंच सकते हैं।

`रीडायरेक्टटूएक्सटर्नलयूआरएल`:

- कब उपयोग करें: यदि उपयोगकर्ता एंटरप्राइज़-स्तरीय समाधानों के बारे में पूछता है या हमारे डिस्कॉर्ड सर्वर जैसे बाहरी समुदायों में शामिल होना चाहता है। इसके अलावा यदि ऐसा लगता है कि डेवलपर को ElevenLabs के साथ तकनीकी दिक्कतें आ रही हैं।

- क्यों: उद्यम संबंधी पूछताछ और सामुदायिक अंतःक्रियाएं प्रत्यक्ष इन-प्लेटफॉर्म समर्थन के दायरे से बाहर होती हैं और इन्हें बाहरी लिंक के माध्यम से बेहतर ढंग से प्रबंधित किया जा सकता है।

रेलिंग:

- Elevenlabs से संबंधित विषयों और उत्पादों से जुड़े रहें। यदि कोई आपसे गैर-इलेवनलैब्स विषयों के बारे में पूछे तो कहें कि आप केवल इलेवनलैब्स उत्पादों के बारे में उत्तर देने के लिए यहां आए हैं।

- कॉलर को एक समय में केवल एक ही पृष्ठ पर रीडायरेक्ट करें, क्योंकि प्रत्येक रीडायरेक्ट पिछले पृष्ठ को ओवरराइड कर देता है।

- लंबी सूची या कोड के साथ उत्तर न दें। इसके बजाय कोडिंग नमूनों के लिए दस्तावेज़ीकरण की ओर निर्देशित करें।”

ज्ञानधार

प्रॉम्प्ट के साथ-साथ, हम एलएलएम को संदर्भ में प्रासंगिक जानकारी का ज्ञानकोष भी प्रदान कर रहे हैं। इस ज्ञानकोष में सभी ElevenLabs दस्तावेज़ों का संक्षिप्त, लेकिन फिर भी बड़ा (80k अक्षर) संस्करण, साथ ही कुछ प्रासंगिक URL शामिल हैं। 

हम ज्ञान आधार के भाग के रूप में स्पष्टीकरण और FAQ भी जोड़ रहे हैं। 

औजार

हमारे पास तीन उपकरण कॉन्फ़िगर हैं:

  • redirectToExternalURL: संपर्क बिक्री या डिस्कॉर्ड पर रीडायरेक्ट करता है। 
  • redirectToEmailSupport: ईमेल खोलें टीम@elevenlabs.io
  • redirectToDocs: यह उपकरण कॉलर को हमारे दस्तावेज़न के प्रासंगिक पृष्ठों पर पुनर्निर्देशित करने के लिए कॉन्फ़िगर किया गया है।

अंतर्निहित मूल्यांकन 

हमारे मूल्यांकन उपकरण में एलएलएम द्वारा अंतिम प्रतिलिपि की समीक्षा करना तथा निर्धारित मानदंडों के आधार पर वार्तालाप का मूल्यांकन करना शामिल है। 

मूल्यांकन मानदंड (सफलता / असफलता / अज्ञात)

  • hallucination_kb: यह मानदंड अंतिम प्रतिलिपि की जांच करेगा और सत्यापित करेगा कि क्या ElevenLabs उत्पादों के बारे में LLM द्वारा दिए गए उत्तर ज्ञान आधार में दी गई जानकारी के अनुरूप हैं या उससे आगे जाते हैं। 
  • अंतःक्रिया: यह आकलन करता है कि क्या बातचीत एक मोड़ से आगे बढ़ी। यह चिह्नित करने का एक त्वरित तरीका है कि क्या बातचीत शुरू हुई थी, लेकिन उसमें कभी शामिल नहीं हुआ। 
  • हल_उपयोगकर्ता_पूछताछ: इसे सफलता के रूप में परिभाषित किया जाता है जब एजेंट ने प्रासंगिक जानकारी के साथ उपयोगकर्ता के प्रश्नों का उत्तर दिया या प्रासंगिक पृष्ठ / सहायता चैनल पर पुनर्निर्देशित करने में सक्षम था। 
  • सकारात्मक_बातचीत: मूल्यांकन करें कि क्या बातचीत कॉलर की नकारात्मक प्रतिक्रिया के बिना हुई। 

डेटा संग्रहण:

  • Issue_type: वार्तालाप को बग, समर्थन समस्या, fr या अन्य के रूप में वर्गीकृत करें
  • उत्पाद श्रेणी: प्रासंगिक उत्पाद निकालें (TTS, ConvAI, आदि) 
  • AllQuestions: कॉलर द्वारा पूछे गए सभी प्रश्नों को निकालें 
  • अनसुलझे_प्रश्न: एलएलएम द्वारा उत्तर न दिए गए प्रश्नों को प्रासंगिक जानकारी के साथ निकालें
  • रीडायरेक्ट: एजेंट द्वारा ट्रिगर किए गए रीडायरेक्ट पथ और कॉलर की प्रतिक्रिया निकालें

सारांश

हमारा डॉक्यूमेंटेशन एजेंट उपयोगकर्ताओं को सामान्य उत्पाद और समर्थन संबंधी प्रश्नों को हल करने में मदद करने के लिए प्रभावी साबित हुआ है, और यह हमारे दस्तावेज़ों को हल करने वाले उपयोगकर्ताओं के लिए एक आकर्षक सह-पायलट है। हम निरंतर स्वचालित और मैन्युअल निगरानी के माध्यम से अपने एजेंट को लगातार पुनरावृत्त और बेहतर बनाने में सक्षम हैं। हम मानते हैं कि सभी प्रकार के समर्थन प्रश्नों या सवालों का समाधान एलएलएम द्वारा नहीं किया जा सकता है, विशेष रूप से ऐसे स्टार्टअप के लिए जो तेजी से निर्माण करता है और लगातार नवाचार करता है, और जिसके उपयोगकर्ता अत्यंत तकनीकी और रचनात्मक होते हैं। लेकिन हमने पाया है कि जितना अधिक हम स्वचालन करने में सक्षम होंगे, उतना ही अधिक समय हमारी टीम मुश्किल और दिलचस्प समस्याओं से निपटने पर ध्यान केंद्रित कर सकेगी, जो तब सामने आती हैं जब हमारा समुदाय एआई ऑडियो के साथ संभव सीमाओं को आगे बढ़ाना जारी रखता है। 

हमारा एजेंट द्वारा संचालित है इलेवनलैब्स संवादात्मक एआई. यदि आप मेरे परिणामों को पुनः प्रस्तुत करना चाहें, तो आप कर सकते हैं फ्री में खाता बनाएं और मेरे कदमों का अनुसरण करो. यदि आप फंस जाते हैं, तो आप हमारे द्वारा तैनात एजेंट से बात कर सकते हैं हमारे दस्तावेज़ों पर या मुझसे और मेरी टीम से संपर्क करें कलह. उच्च मात्रा उपयोग मामलों के लिए (प्रतिदिन 100 से अधिक कॉल), वॉल्यूम छूट के लिए हमारी बिक्री टीम से संपर्क करें.

और खोजें

प्रोडक्ट
Conversational AI SEO Image

संवादात्मक AI का परिचय

अनुकूलन योग्य, इंटरैक्टिव वॉयस एजेंट बनाने के लिए हमारा ऑल इन वन प्लेटफ़ॉर्म

रिसर्च

फ्लैश से मिलिए

आपने कभी भी इतनी तेजी से मानव-जैसी TTS का अनुभव नहीं किया होगा

ElevenLabs

उच्चतम गुणवत्ता वाले AI ऑडियो के साथ बनाएं

फ़्री शुरू करें

पहले से अकाउंट है? लॉग इन करें