AI वॉइस असिस्टेंट कैसे बनाएं: ब्रांड के अनुरूप वॉइस AI

कल्पना कीजिए कि आप रिफंड के लिए किसी रिटेल स्टोर को कॉल करते हैं, वहां आपका स्वागत इंसान जैसी AI करती है और कुछ ही मिनटों में पैसे आपके बैंक खाते में आ जाते हैं। हर इंटरैक्शन बिना किसी मानव सहायता कर्मचारी के सहजता से होता है। कभी काल्पनिक माने जाने वाले जटिल काम संभाल सकने वाले AI-पावर्ड वॉइस असिस्टेंट अब हकीकत हैं। 

ज़्यादा एंटरप्राइज़ ग्राहक-सामने वाले ऐप्लिकेशन के लिए AI वॉइस असिस्टेंट अपना रहे हैं। अत्याधुनिक वॉइस एजेंट और जनरेटिव AI से चलने वाले ये असिस्टेंट इंटेंट मैचिंग, कम-लेटेंसी वाले जवाब और अलग-अलग उपयोग मामलों में कार्यात्मक इंटीग्रेशन देते हैं। 

ElevenAgents जैसे टूल्स के साथ, वॉइस असिस्टेंट को अपने कस्टमर सपोर्ट वर्कफ़्लो में जोड़ना पहले से कहीं आसान है। AI वॉइस असिस्टेंट बनाने के लिए, पहले उसका काम तय करें, फिर स्पीच टू टेक्स्ट, एक LLM और टेक्स्ट टू स्पीच को एक रियल-टाइम पाइपलाइन में जोड़ें। अपना नॉलेज बेस और बिज़नेस टूल्स जोड़ें, सिस्टम निर्देश और फ़ॉलबैक नियम लिखें, लेटेंसी और सुरक्षा की जांच करें और लॉन्च के बाद नतीजे मापें।

यह गाइड दिखाती है कि अपने ब्रांड के साथ करीबी तालमेल वाला AI वॉइस असिस्टेंट कैसे बनाएं। 

सारांश

• एक AI वॉइस असिस्टेंट, कन्वर्सेशनल AI बनाने के लिए स्पीच टू टेक्स्ट, LLM और टेक्स्ट टू स्पीच को जोड़ता है, जो कार्रवाई कर सकता है। 
• राउंड-ट्रिप रिस्पॉन्स को 500 ms से कम रखें और वॉइस एक्टिविटी डिटेक्शन (VAD) का इस्तेमाल करें, ताकि वॉइस AI प्राकृतिक लगे और कॉल छोड़ने की दर कम हो।
• अलग-अलग स्थितियों में संदर्भ के अनुरूप, सटीक और मददगार AI जवाब देने के लिए आंतरिक नॉलेज बेस और टूल्स के साथ इंटिग्रेट करें।
• स्पष्ट मौखिक पुष्टि की मांग करने वाले सुरक्षा उपाय लागू करें और भावनात्मक या जटिल सवालों के लिए किसी लाइव मानव एजेंट को हैंडऑफ करें।
• लाइव इंटरैक्शन के लिए बनाए गए उच्च-सटीकता वाले इंटरैक्टिव वॉइस और ऑडियो मॉडल पाने के लिए ElevenAPI का इस्तेमाल करें। 

AI वॉइस असिस्टेंट क्या है? 

AI वॉइस असिस्टेंट ऐसा सॉफ़्टवेयर है जो बोली गई भाषा समझता है और यूज़र्स को कनेक्टेड सिस्टम्स के साथ इंटरैक्ट करने देता है। यह बातचीत को कार्रवाई में बदलने के लिए स्पीच टू टेक्स्ट, AI मॉडल और टेक्स्ट टू स्पीच तकनीकों को मिलाता है। 

टेक्स्ट ट्रांसक्राइब करने के अलावा, AI वॉइस असिस्टेंट ऐप लॉन्च करने, डेटा पाने और मशीनों को नियंत्रित करने जैसे काम कर सकते हैं। आपके इस्तेमाल किए गए वॉइस मॉडल के आधार पर, कुछ AI असिस्टेंट इंसानी रिकॉर्डिंग से लगभग अलग न लगने वाले हो सकते हैं।

हालांकि, AI वॉइस असिस्टेंट नई तकनीक नहीं हैं। कई उपभोक्ता सरल कमांड का जवाब देने वाले व्यावसायिक वॉइस असिस्टेंट, जैसे Siri, Alexa और Google Assistant, इस्तेमाल करते हैं। लेकिन AI तकनीक के विकसित होने के साथ, अधिक संगठन जटिल एंटरप्राइज़ वर्कफ़्लो के लिए AI वॉइस असिस्टेंट बना रहे हैं। 

उदाहरण के लिए, Admiral, एक बीमा प्रदाता, ने लाखों ग्राहकों को सहायता देने के लिए AI वॉइस असिस्टेंट बनाया। यह AI असिस्टेंट सवालों के जवाब देता है, दस्तावेज़ खोजता है और मानव एजेंटों को दोहराए जाने वाले कामों से मुक्त करता है। 

अगर आप व्यावसायिक या औद्योगिक वर्कफ़्लो के लिए AI वॉइस असिस्टेंट बनाने की योजना बना रहे हैं, तो आगे पढ़ें। हम मुख्य इम्प्लीमेंटेशन विवरण समझाने के लिए Python AI वॉइस असिस्टेंट का उदाहरण लेते हुए, इसे बनाने के चरण बताएंगे। 

AI वॉइस असिस्टेंट कैसे बनाएं: अपने AI वॉइस एजेंट का काम तय करें 

वॉइस AI आमतौर पर कॉल सेंटरों में कस्टमर सपोर्ट को ऑटोमेट करता है। लेकिन AI वॉइस एजेंट की व्यापक क्षमताओं को देखते हुए, आप लगभग किसी भी उपयोग मामले के लिए AI वॉइस असिस्टेंट बना सकते हैं, जिनमें सेल्स, प्रोडक्ट और HR. 

भी शामिल हैं। आपके वॉइस एजेंट का उपयोग चाहे जो भी हो, सुनिश्चित करें कि वह बिज़नेस लॉजिक के अनुरूप है। बेहतर प्रदर्शन करने वाला वॉइस असिस्टेंट बनाने के लिए, आम एंड-यूज़र चुनौतियों पर डोमेन एक्सपर्ट्स से सलाह लें। फिर ग्राहक इंटरैक्शन यात्रा को मैप करें और मापे जा सकने वाले संकेतक तय करें। 

उदाहरण के लिए, अगर आप सेल्स फ़नल के लिए वॉइस AI इस्तेमाल कर रहे हैं, तो एजेंट को प्री-क्वालिफ़िकेशन सवाल पूछने आने चाहिए। 

हमारे AI सेल्स डेवलपमेंट रिप्रेज़ेंटेटिव (SDR), Dom ने ऐसा करके 92% क्वालिफ़िकेशन सटीकता. 

हासिल की। सफलता मेट्रिक्स, चैनल और एस्केलेशन पथ चुनें

एंटरप्राइज़ वातावरण में तैनात होने पर, एजेंट को तय लक्ष्यों के मुताबिक लगातार प्रदर्शन करना चाहिए। लक्ष्य जितना सीमित होगा, एजेंट का आकलन और फ़ाइन-ट्यूनिंग उतनी आसान होगी।

इसलिए, डेवलपमेंट की शुरुआत में ऐसे सवाल पूछें:

• स्वीकार्य रिस्पॉन्स लेटेंसी कितनी है? 
• अपेक्षित कंटेनमेंट रेट क्या है? 
• क्या एजेंट को कई भाषाओं में बात करनी है? 
• क्या AI असिस्टेंट मानव हस्तक्षेप के बिना शुरू से अंत तक बुनियादी अनुरोध संभाल सकता है?
• किन परिस्थितियों में एजेंट को मानव सहायता तक एस्केलेट करना चाहिए? 

रॉ API से बनाएं या ElevenAgents इस्तेमाल करें?

कोड लिखने से पहले तय करें कि आप वॉइस स्टैक का कितना हिस्सा खुद संभालना चाहते हैं। आप ElevenAPI के जरिए स्पीच टू टेक्स्ट, LLM और टेक्स्ट टू स्पीच को खुद जोड़ सकते हैं, या इन हिस्सों को एक साथ देने वाला मैनेज्ड प्लेटफ़ॉर्म ElevenAgents इस्तेमाल कर सकते हैं।

रॉ API से बनाने पर आपको हर लेयर पर पूरा नियंत्रण मिलता है। आप LLM चुनते हैं, ऑर्केस्ट्रेशन कोड लिखते हैं और टर्न-टेकिंग, इंटरप्शन हैंडलिंग, टेलीफोनी और मॉनिटरिंग संभालते हैं। यह तरीका खास आर्किटेक्चर आवश्यकताओं वाली टीम्स के लिए उपयुक्त है, और इस गाइड का Python वॉकथ्रू इसी पर आधारित है।

ElevenAgents मॉडल्स, टूल्स, नॉलेज बेस और वर्कफ़्लो को एक डैशबोर्ड में लाता है। यह Twilio और Amazon Connect जैसे टेलीफोनी प्रदाताओं को Salesforce, Zendesk और HubSpot जैसे बिज़नेस टूल्स से जोड़ता है। इसमें लॉन्च से पहले सिमुलेशन और ऑटोमेटेड टेस्ट के साथ-साथ, बाद में सक्सेस रेट, CSAT और ट्रांसक्रिप्ट की एनालिटिक्स भी शामिल है।

चुनने के लिए इन सवालों का उपयोग करें:

• स्पीड: ElevenAgents टीम को डैशबोर्ड से एजेंट कॉन्फ़िगर और लॉन्च करने देता है, जबकि रॉ API में पूरी पाइपलाइन बनानी और बनाए रखनी होती है।
• नियंत्रण: रॉ API से आप कोड में हर चरण कस्टमाइज़ कर सकते हैं, जबकि ElevenAgents कॉन्फ़िगरेशन के जरिए आम जरूरतें पूरी करता है।
• ऑपरेशंस: ElevenAgents में टेस्टिंग और एनालिटिक्स शामिल हैं, जबकि रॉ API के लिए आपको अपनी मॉनिटरिंग बनानी होगी।
• टीम: ElevenAgents प्रोडक्ट, सपोर्ट और ऑपरेशंस स्टाफ वाली मिश्रित टीम्स के लिए उपयुक्त है, जबकि रॉ API समर्पित इंजीनियरों वाली टीम्स के लिए बेहतर हैं।

एक व्यावहारिक तरीका यह है कि पहले ElevenAgents में उपयोग मामले को वैलिडेट करें, फिर अधिक नियंत्रण की जरूरत होने पर ही खास लेयर्स को कस्टम कोड में ले जाएं।

AI वॉइस असिस्टेंट आर्किटेक्चर मैप करें 

बिज़नेस लक्ष्य तय करने के बाद, एजेंट के फ़ंक्शन को सही तकनीकों से मैप करें। AI वॉइस असिस्टेंट कई अहम कंपोनेंट्स पर निर्भर करता है, जो स्पीच को टेक्स्ट में बदलने, कार्रवाई ट्रिगर करने और सुसंगत जवाब देने के लिए मिलकर काम करते हैं। 

• स्पीच टू टेक्स्ट मॉडल बोलकर कही गई बात को कैप्चर करता है, फ़ोनीम पहचानता है और बातचीत के ट्रांसक्रिप्ट बनाता है। 
• सरल नियम-आधारित एल्गोरिदम या नेचुरल लैंग्वेज प्रोसेसिंग लाइब्रेरी से लेकर लार्ज लैंग्वेज मॉडल (LLM) तक का AI इंजन, वॉइस असिस्टेंट के दिमाग की तरह काम करता है। 
• टेक्स्ट टू स्पीच मॉडल इंसान जैसी आवाज़ों में संवादात्मक जवाब बनाता है और ब्रांड दिशानिर्देशों का पालन करता है। 

ElevenLabs स्पीच टू टेक्स्ट और टेक्स्ट टू डायलॉग वॉइस व ऑडियो मॉडल देता है, जो प्रोडक्ट और इंजीनियरिंग टीम्स को अपने AI वॉइस असिस्टेंट आर्किटेक्ट करने में मदद करते हैं। हमारे मॉडल बारीक इंटोनेशन, भावनात्मक समझ और कम-लेटेंसी रिस्पॉन्स देते हैं। आप वॉइस मॉडल ElevenAPI के जरिए एक्सेस कर सकते हैं। 

AI मॉडल के लिए आपका चुनाव वॉइस असिस्टेंट के लक्ष्यों और आवश्यकताओं पर काफी निर्भर करता है। OpenAI GPT मॉडल, Gemini और Claude जैसे LLM तर्क करने में अच्छे हैं, लेकिन डोमेन-विशिष्ट जरूरतों को पूरा करने के लिए उन्हें अतिरिक्त फ़ाइन-ट्यूनिंग चाहिए। कभी-कभी सरल न्यूरल नेटवर्क या नियम-आधारित पार्सर का इस्तेमाल अधिक व्यावहारिक होता है। 

वॉइस और AI मॉडल के अलावा, आपको ऐसा कस्टम सॉफ़्टवेयर भी चाहिए जो बातचीत या यूज़र अनुरोधों से खास एंटिटीज़ निकाले। उदाहरण के लिए, जब कॉलर कहता है, “मैं Sales Department से बात करना चाहता हूं”, तो आपके कोड को “Sales Department” पहचानकर सही कार्रवाई ट्रिगर करनी चाहिए।

API key बनाएं और स्पीच टू टेक्स्ट, LLM, टूल्स व टेक्स्ट टू स्पीच कनेक्ट करें

स्पीच और लैंग्वेज मॉडल से कनेक्ट करने से पहले API key बनाएं। इसी तरह, बाहरी सर्विस टूल्स को अपने वॉइस असिस्टेंट में इंटिग्रेट करते समय API अनुरोध करने के लिए भी API key चाहिए। 

• ElevenLabs API key बनाने के लिए, यहां क्लिक करें। 
• OpenAI LLM इस्तेमाल करने के लिए, अपनी key यहां पाएं। 
• अगर आप थर्ड-पार्टी CRM, ERP और अन्य टूल्स कनेक्ट कर रहे हैं, तो API key बनाने और समर्थित API खोजने के लिए आधिकारिक दस्तावेज़ देखें। 

API key पाने के बाद, उन्हें अपने डेवलपमेंट एनवायरनमेंट में स्टोर करें। 

फिर सही आर्ग्युमेंट्स API को पास करके टूल्स, LLM और ऑडियो मॉडल इनिशिएट और एक्सेस करें। 

1. सबसे पहले, ऑटोमैटिक स्पीच रिकग्निशन करने के लिए ElevenLabs Scribe v2 Realtime से कनेक्ट करें। ElevenLabs Scribe v2 Realtime आपको कम लेटेंसी वाले वॉइस एजेंट बनाने देता है, जो बातचीत को 150 ms से कम समय में टेक्स्ट में बदल देते हैं (नेटवर्क और एप्लिकेशन समय को छोड़कर)। 

नीचे दिया Python कोड स्निपेट ElevenLabs Scribe v2 Realtime से माइक रिकॉर्डिंग कैप्चर करता है।

async def run(
    self,
    audio_queue: asyncio.Queue[bytes],
    on_partial: Callable[[str], None],
    on_committed: TranscriptHandler,
) -> None:
    audio_format = AudioFormat(f"pcm_{self.settings.audio_sample_rate}")
    connection = await self.client.speech_to_text.realtime.connect(
        RealtimeAudioOptions(
            model_id="scribe_v2_realtime",
            audio_format=audio_format,
            sample_rate=self.settings.audio_sample_rate,
            commit_strategy=CommitStrategy.VAD,
            vad_silence_threshold_secs=0.45,
            min_speech_duration_ms=120,
        )
    )

2. इसके बाद, जवाब बनाने के लिए ट्रांसक्रिप्ट को मजबूत रीजनिंग क्षमता वाले LLM पर भेजें। इस उदाहरण में हम OpenAI GPT-4o mini इस्तेमाल कर रहे हैं। 

अपने Python कोड में ट्रांसक्रिप्ट को LLM पर इस तरह भेजें। 

async def _stream_completion(self) -> tuple[str, list[dict[str, str]]]:
    response = await self.client.chat.completions.create(
        model=self.settings.openai_model,
        messages=[self.messages[0], *self.messages[-12:]],
        tools=TOOLS,
        tool_choice="auto",
        parallel_tool_calls=False,
        temperature=0.4,
        stream=True,
    )

3. LLM का आउटपुट मिलने के बाद, उसे ElevenLabs v4 Turbo के साथ एक वास्तविक जैसी मौखिक प्रतिक्रिया में बदलें। हमारा टेक्स्ट टू स्पीच मॉडल बेहद भावपूर्ण है, रियल-टाइम इंटरैक्शन के लिए डिज़ाइन किया गया है और इसकी अल्ट्रा-लो लेटेंसी लगभग 100 ms है (यह केवल मॉडल इन्फ़रेंस समय को दर्शाता है। वास्तविक एंड-टू-एंड लेटेंसी आपके स्थान और इस्तेमाल किए गए एंडपॉइंट के प्रकार जैसे कारकों के अनुसार अलग हो सकती है)।

नीचे का कोड दिखाता है कि एजेंट ElevenLabs टेक्स्ट टू डायलॉग API के साथ वॉइस रिस्पॉन्स स्ट्रीम करने के लिए WebSocket कैसे इस्तेमाल करता है।

async def stream(self, text: str) -> AsyncIterator[bytes]:
    query = urlencode(
        {
            "model_id": self.settings.elevenlabs_tts_model_id,
            "output_format": "pcm_24000",
        }
    )
    url = f"wss://api.elevenlabs.io/v1/text-to-dialogue/stream-input?{query}"
    voice_id = self.settings.elevenlabs_voice_id


    async with websockets.connect(url, max_size=2**20, ping_interval=20) as socket:
        await socket.send(
            json.dumps(
                {
                    "voices": [voice_id],
                    "xi_api_key": self.settings.elevenlabs_api_key,
                }
            )
        )
        await socket.send(
            json.dumps(
                {
                    "inputs": [
                        {"text": text, "voice_id": voice_id, "new_turn": False}
                    ]
                }
            )
        )
        await socket.send(json.dumps({"close_socket": True}))

आपके ऑटोमैटिक स्पीच रिकग्निशन एजेंट को मल्टी-टर्न बातचीत आसानी से संभालनी चाहिए। इसके लिए ऐसा वॉइस एजेंट चाहिए जो जान सके कि बोलना कब शुरू और कब बंद हुआ। 

ऐसी बातचीत डिज़ाइन करें जो प्राकृतिक लगे और विषय पर रहे  

पारंपरिक इंटरैक्टिव वॉइस रिस्पॉन्स (IVR) सिस्टम उन स्थितियों से आगे काम नहीं करते जिनके लिए उन्हें प्रोग्राम किया गया है। जब उनसे ऐसी समस्या हल करने को कहा जाता है जो उनके नियमों में परिभाषित नहीं है, तो ये IVR संतोषजनक जवाब देने में विफल रहते हैं। साथ ही, वे हमेशा प्राकृतिक नहीं लगते, जिससे ग्राहक अनुभव खराब होता है।

उन्नत AI और वॉइस मॉडल के साथ वॉइस असिस्टेंट अधिक प्राकृतिक ढंग से जवाब दे सकता है और एज केस संभाल सकता है। आप उन अलग-अलग स्थितियों का आर्किटेक्चर बना सकते हैं जिनका एजेंट को अनुमान लगाना चाहिए, और उन मामलों के लिए एस्केलेशन पथ बना सकते हैं जिन्हें वह हल नहीं कर सकता। उदाहरण के लिए, कुछ ग्राहक शिपिंग स्टेटस पूछने के लिए कॉल करते हैं, जबकि दूसरे खराब प्रोडक्ट से निराश होकर CX मैनेजर से बात करने की मांग कर सकते हैं। 

सिस्टम निर्देश, टर्न-टेकिंग नियम और फ़ॉलबैक जवाब लिखें

अलग-अलग स्थितियां संभालने के लिए, आप खास लॉजिक-हैंडलिंग कोड और सिस्टम प्रॉम्प्ट AI वॉइस एजेंट ऐप्लिकेशन में बनाते हैं। 

उदाहरण के लिए, नीचे दिया सिस्टम प्रॉम्प्ट निराशा पहचानता है और LLM को अधिक सहानुभूतिपूर्वक जवाब देने को कहता है। 

SYSTEM_PROMPT = ""You are a calm, empathetic voice assistant for customer support.
Speak naturally in short, clear sentences that are easy to hear. Answer from
retrieved company information when relevant; say when the answer is uncertain
rather than inventing a policy. Use tools for customer lookup and support
requests. Before creating a ticket or transferring a caller, request explicit
verbal confirmation through the tool flow and wait for a clear yes. Never ask
for passwords, full payment card numbers, or authentication codes. Do not claim
a ticket was created, a contact was found, or a transfer completed unless the
tool confirms it. Keep responses concise and avoid markdown when speaking.
"""

AI बातचीत कभी जल्दबाज़ी वाली या बाधित नहीं लगनी चाहिए। वॉइस मॉडल को पता लगाना चाहिए कि यूज़र ने कब बोलना बंद किया है और समय पर जवाब देना चाहिए। माइक्रोफ़ोन इनपुट सुनते समय ElevenLabs Scribe v2 Realtime आपको VAD सक्रिय करने देता है। पारंपरिक VAD के विपरीत, जो सिर्फ़ चुप्पी की अवधि पर निर्भर करता है, ElevenLabs Scribe v2 Realtime यह तय करने के लिए डीप लर्निंग एल्गोरिदम इस्तेमाल करता है कि ग्राहक ने बोलना पूरा कर लिया है या नहीं। 

VAD सक्षम करने के लिए, स्पीच टू टेक्स्ट API के साथ इंटरैक्ट करते समय अपने कोड में पैरामीटर सेट करें। 

commit_strategy=CommitStrategy.VAD,

इसके बाद, अगर एजेंट ग्राहक के अनुरोध का संतोषजनक जवाब न दे सके, तो विनम्र और सम्मानजनक फ़ॉलबैक जवाब दें। इसी तरह, बातचीत ट्रांसक्राइब करते समय AI एजेंट को एरर मिल सकती है। आपके कोड को तकनीकी समस्याएं संभालनी चाहिए और ग्राहकों से साफ़-साफ़ बात करनी चाहिए। 

फ़ॉलबैक जवाब देने के लिए, अपने कोड में कंडीशनल लॉजिक इस्तेमाल करें। उदाहरण के लिए, नीचे का कोड स्निपेट स्पीच टू टेक्स्ट API से एरर स्टेटस कैप्चर करता है और उचित जवाब ट्रिगर करता है। 

connection.on(RealtimeEvents.ERROR, handle_error)
connection.on(RealtimeEvents.AUTH_ERROR, handle_error)
connection.on(RealtimeEvents.CLOSE, stopped.set)

भरोसेमंद जवाबों के लिए नॉलेज और टूल लेयर बनाएं 

LLM मजबूत रीजनिंग क्षमताएं देते हैं, जिससे AI वॉइस असिस्टेंट प्राकृतिक ढंग से जवाब दे पाता है। हालांकि, संवादात्मक जवाब हमेशा सटीक नहीं होता। ग्राउंडिंग डेटा के बिना LLM हैलुसिनेट कर सकते हैं, जिससे वॉइस एजेंट भरोसेमंद लगने वाले लेकिन गलत जवाब दे सकता है। 

उदाहरण के लिए, जब आप GPT-4o mini से हाल ही में लॉन्च किए गए प्रोडक्ट के बारे में पूछते हैं, तो वह भरोसे के साथ जवाब नहीं दे सकता। इसके लिए LLM को अपने आंतरिक नॉलेज बेस से रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) सिस्टम के जरिए कनेक्ट करना होगा। RAG, LLM को आंतरिक प्रोडक्ट गाइड्स देखने और सटीक जवाब देने देता है। 

रिट्रीवल, API कार्रवाई, अनुमतियां और मानव हैंडऑफ जोड़ें

RAG इस्तेमाल करने के लिए, आपको वेक्टर डेटाबेस बनाना होगा। वेक्टर डेटाबेस दस्तावेज़ों को बहुआयामी स्पेस में संख्यात्मक प्रतिनिधित्व के रूप में स्टोर करता है। नीचे का कोड स्निपेट दिखाता है कि LLM को क्वेरी करने से पहले वॉइस एजेंट वेक्टर स्टोर से प्रासंगिक दस्तावेज़ कैसे पाता है। 

def search(self, query: str, top_k: int = 3) -> list[dict[str, str | float]]:
    query_vector = _vectorize(query)
    ranked = sorted(
        (
            (_cosine(query_vector, chunk.vector), chunk)
            for chunk in self.chunks
        ),
        key=lambda item: item[0],
        reverse=True,
    )
    return [
        {"source": chunk.source, "text": chunk.text, "score": score}
        for score, chunk in ranked[: max(0, top_k)]
        if score > 0

RAG के अलावा, आपके AI वॉइस असिस्टेंट को संभवतः CRM, ERP और अन्य एंटरप्राइज़ सिस्टम्स तक एक्सेस चाहिए होगा। इससे वॉइस एजेंट जवाब बनाते समय ग्राहक डेटा, पुराने लेनदेन और बाज़ार रुझान जैसी जरूरी जानकारी को संदर्भ के रूप में सामने ला सकता है।

उदाहरण के लिए, आप API का इस्तेमाल करके ElevenLabs को HubSpot के साथ इंटिग्रेट कर सकते हैं। इस तरह, CRM नॉलेज बेस के इस्तेमाल से आम समस्याएं हल कर सकते हैं, टिकट बना सकते हैं और पूरे बातचीत संदर्भ के साथ सपोर्ट एस्केलेट कर सकते हैं। 

यहां एक कोड स्निपेट है जो वॉइस एजेंट को HubSpot में सपोर्ट टिकट बनाने देता है।

esponse = await self.client.post(
    "/crm/v3/objects/tickets",
    json={
        "properties": {
            "subject": title,
            "content": description,
            "hs_pipeline": "0",
            "hs_pipeline_stage": "1",
        }
    },
)
response.raise_for_status()
ticket = response.json()
if contact_email:
    contact_response = await self.search_contact(contact_email)
    results = contact_response.get("results", [])
    if results:
        await self.client.put(
            f"/crm/v4/objects/tickets/{ticket['id']}/associations/contacts/{results[0]['id']}",
            json=[{"associationCategory": "HUBSPOT_DEFINED", "associationTypeId": 16}],
        )
return {"mode": "live", "id": ticket.get("id"), "title": title}

हालांकि AI वॉइस एजेंट समस्या समाधान तेज़ कर सकते हैं, ग्राहकों को अपने विकल्प पता होने चाहिए, खासकर तब जब उनके बदलाव अकाउंट को काफी प्रभावित कर सकते हों। टेक्स्ट-आधारित चैटबॉट के विपरीत, मौखिक रूप से विकल्प बताने के लिए ज़्यादा सुरक्षा उपाय चाहिए। एक बार विकल्प चुनने के बाद, कॉल पर उसे बदलना मुश्किल हो सकता है।

ऐसे मामले में, हम कॉलर को ऑथेंटिकेट करने और मौखिक पुष्टि लेने की सलाह देते हैं। उदाहरण के लिए, अगर ग्राहक खरीदारी रद्द करना चाहता है, तो आपके वॉइस एजेंट को स्पष्ट रूप से पूछना चाहिए, “क्या आप वाकई ऑर्डर रद्द करना चाहते हैं?” और जवाब का इंतज़ार करना चाहिए। 

नीचे एक उदाहरण दिया गया है। 

def request(self, name: str, arguments: dict[str, Any]) -> str:
    self.pending = PendingAction(name=name, arguments=arguments)
    if name == "create_support_ticket":
        return "I can create that support ticket. Would you like me to submit it?"
    return "I can transfer you to a human support agent. Should I start the transfer?"

def resolve(self, text: str) -> tuple[ConfirmationState, PendingAction | None]:
    if self.pending is None:
        return ConfirmationState.NONE, None

    answer = re.sub(r"[^a-z']+", " ", text.lower()).strip()
    if answer in {
        "yes", "yes please", "yeah", "yeah please", "yep", "sure",
        "please do", "confirm", "do it",
    }:
        action, self.pending = self.pending, None
        return ConfirmationState.CONFIRMED, action
    if answer in {"no", "nope", "dont", "do not", "cancel", "stop"}:
        self.pending = None
        return ConfirmationState.DECLINED, None
    return ConfirmationState.PENDING, None

AI वॉइस एजेंट से कॉलर की पहचान कैसे सत्यापित करें

AI वॉइस एजेंट अकाउंट की जानकारी साझा करने या अकाउंट में बदलाव करने से पहले, उसे पुष्टि करनी चाहिए कि वह किससे बात कर रहा है। कॉलर का फ़ोन नंबर उपयोगी संकेत है, लेकिन पहचान साबित नहीं करता। इसे अन्य जांचों के साथ मिलाएं:

• कॉलर के नंबर का अपने CRM में ग्राहक रिकॉर्ड से मिलान करें।
• ऐसी जानकारी पूछें जो सिर्फ़ अकाउंट होल्डर को पता हो, जैसे हाल के ऑर्डर की तारीख।
• अपने रिकॉर्ड के आधार पर टूल कॉल से जवाबों को वैलिडेट करें और वे सही हैं या नहीं, यह तय करने के लिए कभी LLM पर निर्भर न रहें।
• असत्यापित कॉलर की कार्रवाइयां सीमित रखें, जैसे उसे ऑर्डर स्टेटस जांचने दें लेकिन रद्द करने न दें।

ऊपर दिए सिस्टम प्रॉम्प्ट के निर्देशानुसार, पासवर्ड, पूरे पेमेंट-कार्ड नंबर और ऑथेंटिकेशन कोड को बातचीत से बाहर रखें।

लाइव कॉल ट्रांसफ़र और एस्केलेशन वाला AI वॉइस एजेंट

लाइव ट्रांसफर में कॉलर को अपनी बात दोहराने की ज़रूरत नहीं पड़ती और उसे सीधे किसी मानव एजेंट से जोड़ा जाता है। वॉर्म ट्रांसफर में, कॉल कनेक्ट होने से पहले वॉइस एजेंट ट्रांसक्रिप्ट और संदर्भ मानव एजेंट को भेज देता है। इसके सामान्य ट्रिगर ये हैं:

• कॉलर किसी व्यक्ति से बात करने के लिए कहता है।
• कॉलर निराश लगता है या बातचीत भावनात्मक हो जाती है।
• एजेंट अपने फ़ॉलबैक जवाबों के बाद भी अनुरोध हल नहीं कर पाता।
• अनुरोध के लिए ऐसी कार्रवाई चाहिए जिसे मानव मंज़ूरी की जरूरत है।

कुछ मामलों में, AI एजेंट को कॉल किसी मानव एजेंट तक एस्केलेट करनी होती है। अक्सर वॉइस एजेंट निराशा दर्शाने वाले इंटेंट या ट्रांसफर ट्रिगर करने वाले खास शब्दों का पता लगाता है। आपके कोड में कॉल ट्रांसफर बिना रुकावट के होना चाहिए और ग्राहकों को इसकी तकनीकी प्रक्रिया का पता नहीं चलना चाहिए। 

स्विचओवर से पहले, आप ट्रांसक्रिप्ट, ग्राहक विवरण और अन्य सहायक संदर्भ लाइव सपोर्ट डेस्क को भेजते हैं। ElevenLabs एक ट्रांसफ़र-टू-नंबर टूल देता है, जो AI एजेंट द्वारा संभाली जा रही कॉल को SIP ट्रंक या Twilio फ़ोन नंबर पर रूट करता है।

नीचे का कोड स्निपेट Twilio कॉन्फ़्रेंस हैंडऑफ दिखाता है। 

account = self.settings.twilio_account_sid
call_sid = self.settings.twilio_call_sid
conference = f"support-{call_sid}"
room = xml.sax.saxutils.escape(conference)
twiml = f"<Response><Dial><Conference>{room}</Conference></Dial></Response>"
api = f"https://api.twilio.com/2010-04-01/Accounts/{account}"
auth = (account, self.settings.twilio_auth_token)
async with httpx.AsyncClient(timeout=15.0, auth=auth) as client:
    agent_call = await client.post(
        f"{api}/Calls.json",
        data={
            "To": self.settings.handoff_number,
            "From": self.settings.twilio_from_number,
            "Twiml": twiml,
        },
    )
    agent_call.raise_for_status()
    caller_call = await client.post(
        f"{api}/Calls/{call_sid}.json",
        data={"Twiml": twiml},
    )
    caller_call.raise_for_status()

ElevenAgents में बिना कोड के AI वॉइस असिस्टेंट बनाएं

अगर आपको कस्टम कोड की जरूरत नहीं है, तो आप वही असिस्टेंट ElevenAgents में लॉन्च कर सकते हैं। चरण ऊपर के आर्किटेक्चर जैसे ही हैं, लेकिन कोड लिखने के बजाय आप हर लेयर को डैशबोर्ड में कॉन्फ़िगर करते हैं।

1. एजेंट बनाएं और सिस्टम प्रॉम्प्ट में उसका काम बताएं, जिसमें टोन, दायरा और एस्केलेट करने का समय शामिल हो।
2. वॉइस लाइब्रेरी से वॉइस चुनें, या अपनी वॉइस डिज़ाइन या क्लोन करें, और एजेंट की बोलने वाली भाषाएं सेट करें।
3. अपना नॉलेज बेस जोड़ें, ताकि एजेंट आपके दस्तावेज़ों के आधार पर जवाब दे सके।
4. अपने CRM या हेल्प डेस्क जैसे टूल्स और इंटीग्रेशन जोड़ें, ताकि एजेंट कार्रवाई कर सके।
5. उन कॉल्स के लिए मानव एजेंट को ट्रांसफ़र सेट अप करें जिन्हें असिस्टेंट हल नहीं कर सकता।
6. लॉन्च से पहले व्यवहार जांचने के लिए सिमुलेशन और ऑटोमेटेड टेस्ट चलाएं।
7. एजेंट को फ़ोन नंबर या चैनल पर डिप्लॉय करें, फिर सक्सेस रेट, CSAT और ट्रांसक्रिप्ट देखें।

नीचे दिए सेक्शन की टेस्टिंग और मापन गाइडेंस, कोड से या बिना कोड के बनाने पर समान रूप से लागू होती है।

अपने ब्रांड के अनुकूल AI वॉइस असिस्टेंट कैसे बनाएं 

संगठन AI एजेंट की वॉइस को अपने ब्रांड के अनुरूप बना सकते हैं। बातचीत के दौरान एक जैसा टोन भरोसा बनाने में मदद करता है। ElevenLabs के साथ AI एजेंट की वॉइस कस्टमाइज़ करने के कई तरीके हैं। 

• ElevenLabs वॉइस लाइब्रेरी में 90+ भाषाओं में प्राकृतिक ढंग से बोली गई 20,000+ AI वॉइस हैं। एनर्जेटिक से लेकर शांत और आत्मविश्वासी तक, अपने ब्रांड टोन के लिए कोई भी वॉइस ब्राउज़ और इस्तेमाल कर सकते हैं। 
• ElevenLabs वॉइस डिज़ाइन आपको टेक्स्ट प्रॉम्प्ट से एक अनोखी वॉइस पहचान बनाने देता है। अपनी मनचाही वॉइस पाने के लिए गति, टोन, भावना और अन्य मौखिक विशेषताओं का वर्णन करें। 
• ElevenLabs AI वॉइस क्लोनिंग आपकी बोलकर की गई रिकॉर्डिंग के सैंपल का विश्लेषण करके आपकी वॉइस की डिजिटल प्रतिकृति बनाती है। 

भावना और बारीकियां सही होने के अलावा, AI वॉइस के उच्चारण की जांच करना भी महत्वपूर्ण है, खासकर विशेष नामों के लिए। जरूरत होने पर उच्चारण शब्दकोश बनाएं, जिसे आपका वॉइस मॉडल रेफ़र कर सके। 

लॉन्च से पहले लेटेंसी, इंटरप्शन, सटीकता और सुरक्षा टेस्ट करें 

लॉन्च से पहले अपने AI वॉइस एजेंट का कड़ाई से टेस्ट करें, ताकि वह अलग-अलग स्थितियों में भरोसेमंद प्रदर्शन करे। 

• लेटेंसी टेस्ट: जिस एजेंट को जवाब देने में 700 ms से ज्यादा लगते हैं, वह ग्राहकों को अप्राकृतिक लगेगा। आपके सेटअप के आधार पर नेटवर्क स्पीड, LLM, वॉइस मॉडल और थर्ड-पार्टी API लेटेंसी को प्रभावित कर सकते हैं। आदर्श रूप से, संवादात्मक लेटेंसी 500 ms से कम रखें। 
• इंटरप्शन टेस्ट: जांचें कि एजेंट बातचीत के बीच में होने वाला इंटरप्शन संभालता है या नहीं। खास तौर पर, एजेंट को आउटपुट ऑडियो फ़्रेम छोड़ने, TTS रोकने और संदर्भ खोए बिना मौखिक इनपुट कैप्चर करना फिर शुरू करना चाहिए। 
• टर्न-टेकिंग टेस्ट: यूज़र के बोलना बंद करने पर, एजेंट को स्वाभाविक रूप से बात संभालनी चाहिए। जांचें कि एजेंट सही समय पर बात संभालता है या बीच में बाधित करता है। विस्तृत गाइड के लिए पढ़ें कि ElevenLabs टर्न-टेकिंग कैसे संभालता है। 
• सटीकता टेस्ट: STT लेयर की कोई भी असटीकता आगे तक फैलती है। सुनिश्चित करें कि वॉइस असिस्टेंट शोर वाले वातावरण में भी स्पीच समझ सके। साथ ही, वॉइस मॉडल को अलग-अलग एक्सेंट में कही गई स्पीच लगातार सटीकता से ट्रांसक्राइब करनी चाहिए। 
• सुरक्षा टेस्ट: सुनिश्चित करें कि गार्डरेल्स ब्रांड पॉलिसी का उल्लंघन करने वाले सिस्टम व्यवहार को रोकें। अगर इंटरैक्शन भावनात्मक हो जाए, तो एजेंट को तय दिशानिर्देशों के अनुसार मानव एजेंट को वॉर्म हैंडओवर कराना चाहिए।

नतीजे मापें और अपने वॉइस असिस्टेंट डेवलपमेंट को बेहतर बनाएं 

आंतरिक टेस्टिंग मानदंड पूरे करना आपके AI वॉइस एजेंट को वास्तविक दुनिया में डिप्लॉयमेंट के लिए तैयार करता है। हालांकि, यह डेवलपमेंट लाइफ़साइकल का अंतिम लक्ष्य नहीं है। डिप्लॉयमेंट के बाद दोहराव से सुधार करना भी उतना ही महत्वपूर्ण है, ताकि आपका AI वॉइस एजेंट ग्राहक अनुरोध हल करता रहे।

आप कन्वर्सेशनल AI मेट्रिक्स से मिलने वाले फ़ीडबैक का उपयोग अपने AI असिस्टेंट में कमियां पहचानने के लिए करते हैं। फिर, कन्वर्सेशनल AI प्रदर्शन सुधारने के लिए ऐप्लिकेशन लॉजिक, API इंटीग्रेशन, मॉडल विकल्पों और अन्य टेक स्टैक कंपोनेंट्स को धीरे-धीरे बेहतर बनाएं।

कंटेनमेंट, रेज़ोल्यूशन, ग्राहक संतुष्टि और फ़ेल्यर मोड ट्रैक करें

अपने AI असिस्टेंट को लगातार इंडस्ट्री बेंचमार्क के आधार पर मापें। ट्रैक किए जाने वाले कुछ मेट्रिक्स हैं: 

• कंटेनमेंट: ट्रैक करता है कि AI एजेंट कितनी बातचीत सफलतापूर्वक हल करता है। 
• एस्केलेशन रेट: उन कॉल्स को मापता है जिनमें आखिरकार मानव हस्तक्षेप चाहिए होता है। 
• वर्ड एरर रेट: एक सटीकता बेंचमार्क, जो बताता है कि AI ऑडियो को कितनी सटीकता से ट्रांसक्राइब करता है। 
• हैलुसिनेशन रेट: उन घटनाओं को दर्शाता है जहां LLM गलत लेकिन भरोसेमंद लगने वाले जवाब बनाते हैं। 
• CSAT: ग्राहक फ़ीडबैक, जो बताता है कि ग्राहक AI वॉइस एजेंट से कितने संतुष्ट हैं। 

कन्वर्सेशनल AI मेट्रिक्स के बारे में और जानें।

AI वॉइस असिस्टेंट के लिए ElevenAPI से शुरुआत करें 

ElevenAPI AI वॉइस असिस्टेंट डेवलपमेंट को आसान बनाता है। बेहतरीन टेक्स्ट टू स्पीच और स्पीच टू टेक्स्ट मॉडल के साथ, आप संदर्भ के अनुरूप कन्वर्सेशनल AI एजेंट बना सकते हैं जो आपके एंटरप्राइज़ वर्कफ़्लो में सहजता से फिट होते हैं। हमारे वॉइस और ऑडियो मॉडल लगातार उच्च सटीकता और कम लेटेंसी देते हैं, जिससे प्राकृतिक ग्राहक अनुभव मिलता है। 

अपनी ElevenAPI API key यहाँ प्राप्त करें और बनाना शुरू करने के लिए हमारे आधिकारिक दस्तावेज़ देखें। 

FAQ: AI वॉइस असिस्टेंट बनाना