कन्वर्सेशनल AI लेटेंसी क्या है और इसे कौन से कारक प्रभावित करते हैं?

कन्वर्सेशनल AI के लिए, लेटेंसी ही अच्छे और बेहतरीन ऐप्लिकेशन के बीच अंतर पैदा करती है।

कन्वर्सेशनल AI स्वभाव से ही महत्वाकांक्षी है। इसका लक्ष्य इंसान से बात करने जैसा अनुभव देना है—भावनाओं की वही रेंज, पिच और लय के साथ। इसमें आपके बोलना बंद करने और AI एजेंट के जवाब देना शुरू करने के बीच का स्वाभाविक लगने वाला विराम भी जोड़ दें, तो आपको इंसानों के वास्तविक संवाद पर आधारित एक लेटेंसी लक्ष्य मिलता है।

जो व्यवसाय बड़े स्तर पर कन्वर्सेशनल AI एजेंट तैनात करना चाहते हैं, उन्हें इस स्वाभाविक अनुभव के लिए लेटेंसी को जितना हो सके उतना कम करना होगा। इस लेख में बताया गया है कि कन्वर्सेशनल AI लेटेंसी क्या है, पूरे पाइपलाइन में देरी किन वजहों से होती है और उन्हें कम करने के तरीके क्या हैं।

सारांश

• कन्वर्सेशनल AI लेटेंसी, यूज़र के बोलना बंद करने से लेकर एजेंट का पहला शब्द सुनाई देने तक की कुल एंड-टू-एंड देरी है।
• 700 ms से अधिक लेटेंसी वाले एजेंट अस्वाभाविक लग सकते हैं, जबकि 1,200 ms से अधिक लेटेंसी वाले एजेंटों में कॉल छोड़ने की दर अधिक होती है।
• कन्वर्सेशनल AI पाइपलाइन के हर चरण में लेटेंसी जुड़ती जाती है।
• ElevenAgents एक ही आर्किटेक्चर में पूरी पाइपलाइन संभालता है, जिससे आपके व्यवसाय के लिए कम-लेटेंसी वाला कन्वर्सेशनल AI सुलभ बनता है।

कन्वर्सेशनल AI लेटेंसी क्या है?

कन्वर्सेशनल AI लेटेंसी का मतलब है आपके बोलने के बाद सिस्टम को जवाब देने में लगने वाला कुल समय। आधुनिक AI मॉडल्स के लिए लेटेंसी को ms में मापा जाता है। बैकग्राउंड में, कुल लेटेंसी कई अलग-अलग प्रक्रियाओं से बनती है, जिनमें से हर एक एंड-टू-एंड पाइपलाइन का एक हिस्सा पूरा करती है।

एक सामान्य कन्वर्सेशनल AI पाइपलाइन इस तरह दिखती है:

1. यूज़र बोलता है
2. ऑडियो को स्पीच टू टेक्स्ट मॉडल ट्रांसक्राइब करता है
3. ट्रांसक्रिप्ट को LLM मॉडल को भेजा जाता है, जो जवाब तैयार करता है
4. फिर LLM के टेक्स्ट को टेक्स्ट टू स्पीच मॉडल से ऑडियो में बदला जाता है
5. फिर यूज़र को ऑडियो सुनाया जाता है

इनमें से हर चरण कन्वर्सेशनल AI सिस्टम में लेटेंसी जोड़ता है। इसलिए, लेटेंसी पर बात करते समय कुछ अलग-अलग संक्षिप्त शब्दों को समझना उपयोगी है।

मॉडल इन्फरेंस लेटेंसी

मॉडल इन्फरेंस लेटेंसी वह समय है जो मॉडल आउटपुट जनरेट करने में लगाता है। इसे आंतरिक रूप से मापा जाता है और इसमें बाहरी कारक शामिल नहीं होते। यह बताता है कि सामान्य इनपुट के लिए आपका इंजन कितनी तेज़ी से काम करता है। उदाहरण के लिए, Flash v2.5 की मॉडल इन्फरेंस लेटेंसी करीब 75 ms है। इससे आप अलग-अलग कंपनियों के मॉडल्स की गति की तुलना कर सकते हैं।

हालांकि, ध्यान रखें कि यूज़र वास्तव में इस लेटेंसी को अनुभव नहीं करता। यह केवल मॉडल के आउटपुट जनरेट करने में लगने वाले कुल समय के लिए है।

LLM टाइम-टू-फर्स्ट-टोकन

लार्ज लैंग्वेज मॉडल (LLM) टाइम-टू-फर्स्ट-टोकन (TTFT), किसी प्रॉम्प्ट को प्रोसेस करके आउटपुट का पहला उपयोगी टोकन जनरेट करने में LLM द्वारा लिया गया कुल समय है।

आपके LLM से पहला टोकन आते ही TTS जनरेशन शुरू हो जाती है, इसलिए यह बताता है कि LLM को आपके TTS मॉडल को चलने का संकेत देने में कितना समय लगता है। ज़्यादातर एंड-टू-एंड कन्वर्सेशनल AI सिस्टम्स में LLM TTFT, कुल लेटेंसी का एक बड़ा हिस्सा होता है।

TTS टाइम-टू-फर्स्ट-ऑडियो (TTFA)

TTS टाइम-टू-फर्स्ट-ऑडियो (TTFA), पहली TTS रिक्वेस्ट से लेकर मॉडल से पहला ऑडियो चंक निकलने तक का समय मापता है। यह मॉडल इन्फरेंस लेटेंसी को बताने का एक तरीका है, लेकिन खास तौर पर TTS इंजनों के लिए।

एंड-टू-एंड टाइम-टू-फर्स्ट-ऑडियो (TTFA)

एंड-टू-एंड TTFA ही कुल कन्वर्सेशनल AI लेटेंसी है। इसमें स्पीच रिकग्निशन, LLM TTFT, TTS, TTFA और हर चरण के बीच होने वाले सभी नेटवर्क ट्रांसमिशन शामिल होते हैं। कन्वर्सेशनल AI लेटेंसी की बात करते समय, यूज़र इसी मेट्रिक को अनुभव करता है।

यूज़र के बोलने के बाद, एजेंट से कुछ सुनने से पहले उसे एंड-टू-एंड TTFA तक इंतज़ार करना होगा। यह एक समग्र माप है, यानी पाइपलाइन के किसी भी हिस्से को बेहतर करने से इसमें सुधार होगा।

कन्वर्सेशनल AI लेटेंसी क्यों मायने रखती है

जब यूज़र आपके AI एजेंट से बात करता है, तो लेटेंसी उस अनुभव के बारे में उसकी राय तय करने वाला मुख्य कारक बन जाती है। कम लेटेंसी से यूज़र को जवाब के लिए कम इंतज़ार करना पड़ता है, जिससे बातचीत स्वाभाविक लगती है और आपका एजेंट सक्षम दिखाई देता है।

ज़्यादा लेटेंसी वाले एजेंट कृत्रिम और कम सक्षम लगते हैं, भले ही उनके जवाबों की गुणवत्ता समान हो। व्यवसायों के लिए, कुछ सौ ms का अंतर भी बहुत लंबा महसूस हो सकता है, जिससे आपका कस्टमर सपोर्ट एजेंट धीमा और बेअसर लगता है।

यहां कुछ उदाहरण दिए गए हैं, जो दिखाते हैं कि व्यवहार में कन्वर्सेशनल AI लेटेंसी क्यों मायने रखती है:

• 500 ms से कम: कन्वर्सेशनल एजेंट तेज़ और सहज लगता है। यूज़र को अपने बोलना बंद करने और पहला जवाब मिलने के बीच की देरी शायद महसूस भी न हो, जिससे बातचीत आसानी से चलती रहती है।
• 500 ms से 1000 ms: यूज़र के बोलना बंद करने और जवाब मिलने के बीच की देरी महसूस होने लग सकती है। यह बस थोड़ा ज़्यादा लंबा समय होता है, इसलिए यूज़र खुद को दोहराने लग सकते हैं या यह देखने के लिए रुक सकते हैं कि एजेंट ने उन्हें समझा भी है या नहीं।
• 1000 ms से अधिक: देरी धीमी लगने लगती है। ऐसे विराम से कुछ यूज़र्स को लग सकता है कि AI एजेंट बातचीत की गति के साथ पूरी तरह नहीं चल पा रहा है। ट्रांसक्रिप्ट में कभी-कभी बीच में बोलना या किसी मानव एजेंट से बात करने के अनुरोध दिख सकते हैं। कुछ मामलों में यूज़र कॉल छोड़ सकते हैं।

इनमें से हर सीमा का सीधा असर वास्तविक व्यावसायिक नतीजों पर पड़ता है।

लेटेंसी स्पेक्ट्रम के निचले सिरे पर, आपके पास ऐसा कस्टमर सर्विस एजेंट होगा जो आने वाले सवालों को स्वाभाविक रूप से संभाल सके और यूज़र्स को बिना अतिरिक्त मदद के उनकी समस्याएं हल करने में मदद करे। इससे आपके मानव एजेंटों का बोझ कम होता है और ग्राहक संतुष्टि बनी रहती है। स्पेक्ट्रम के ऊपरी सिरे पर, बहुत देर तक हिचकिचाता दिखने वाला एजेंट ग्राहकों को निराश करेगा।

हमने एक अन्य लेख में वॉइस एजेंट लेटेंसी बजट बेंचमार्क बताए हैं, जिनसे P50 और P95 वैल्यू पर अच्छी लेटेंसी का अंदाज़ा मिलता है।

कन्वर्सेशनल AI लेटेंसी किन वजहों से होती है?

कन्वर्सेशनल AI लेटेंसी एक ऐसा शब्द है जो कई अलग-अलग प्रक्रियाओं का सार बताता है, और हर हिस्सा कुल देरी में योगदान देता है। इसलिए, कम लेटेंसी की बाधा केवल बेहतर मॉडल चुनकर हल होने वाली समस्या नहीं है, बल्कि सिस्टम स्तर की समस्या है। आखिरकार, पाइपलाइन में कई मॉडल्स एक साथ काम करते हैं।

डेवलपर्स के लिए, हमने वॉइस एजेंट लेटेंसी ऑप्टिमाइज़ेशन पर एक विस्तृत तकनीकी गाइड लिखी है, जिससे आप एंड-टू-एंड टाइम-टू-फर्स्ट-ऑडियो (TTFA) के हर चरण को बेहतर बना सकते हैं।

मुख्य पाइपलाइन के अलावा, टेलीफोनी और फंक्शन कॉलिंग जैसे कारक भी लेटेंसी जोड़ते हैं, भले ही वे मॉडल इन्फ्रास्ट्रक्चर का आंतरिक हिस्सा न हों।

यहां उन सभी कारकों का सारांश है जो कन्वर्सेशनल AI लेटेंसी में योगदान देते हैं।

ऑटोमैटिक स्पीच रिकग्निशन

स्पीच रिकग्निशन की लेटेंसी ट्रांसक्रिप्ट जनरेट करने में लगने वाला समय नहीं है। यूज़र के बोलते समय ट्रांसक्रिप्शन प्रक्रिया बैकग्राउंड में चलती रहती है, इसलिए बोलना खत्म होने तक टेक्स्ट काफी हद तक तैयार होता है।

यहां लेटेंसी वास्तव में बोलना खत्म होने और ट्रांसक्रिप्ट फाइनल होकर अगले चरण में भेजे जाने के बीच का अंतर है। Scribe v2 Realtime इस अंतर को लगभग 150 ms तक कम करता है और लगातार स्ट्रीम करता है, ताकि टर्न खत्म होते ही आउटपुट तैयार हो।

टर्न-टेकिंग और एंडपॉइंटिंग

स्पीच रिकग्निशन और लैंग्वेज मॉडल के बीच एक वॉइस एक्टिविटी डिटेक्टर (VAD) होता है। इसका काम तय करना है कि यूज़र ने वास्तव में बोलना कब खत्म किया है।

गलतियों से बचने के लिए, VAD टर्न खत्म होने का फैसला करने से पहले लगातार चुप्पी की एक तय अवधि तक इंतज़ार करता है। लैंग्वेज मॉडल के किसी शब्द को प्रोसेस करने से पहले का यह इंतज़ार लेटेंसी जोड़ता है। यह अतिरिक्त लेटेंसी समय तो बढ़ाती है, लेकिन सिस्टम को यूज़र के बोलते समय ही जवाब देना शुरू करने से भी रोकती है।

तकनीकी रूप से, अगर कन्वर्सेशनल AI के बाकी सभी घटकों में शून्य लेटेंसी हो, तो टर्न-टेकिंग से जुड़ी लेटेंसी अच्छी बात होती। इंसान भी बात का जवाब देने से पहले थोड़ा ठहरते हैं। मशीन का ऐसा ही विराम बातचीत को ज़्यादा वास्तविक बनाता है। हालांकि, कन्वर्सेशनल AI के अन्य घटक पहले से लेटेंसी जोड़ते हैं, इसलिए न्यूनतम लेटेंसी आदर्श है।

लैंग्वेज मॉडल प्रोसेसिंग

जब स्पीच टू टेक्स्ट (STT) इंजन से ट्रांसक्रिप्ट तैयार हो जाता है, तो लैंग्वेज मॉडल जवाब जनरेट करता है। यहां लेटेंसी पूरे जवाब को जनरेट करने में नहीं, बल्कि टोकन जनरेट करना शुरू करने में लगने वाला समय है। ये टोकन आते ही सीधे TTS चरण में स्ट्रीम हो जाते हैं, इसलिए TTFT सबसे अधिक मायने रखता है।

मॉडल के चुनाव के अलावा, प्रॉम्प्ट की लंबाई और नॉलेज बेस का आकार भी इस चरण को प्रभावित करते हैं। LLM को जितना अधिक संदर्भ देखना होगा, उतना अधिक समय लगेगा। इन सिस्टम्स को बड़े स्तर पर डिज़ाइन करते समय, गति बनाए रखने के लिए उपयोगी नॉलेज बेस और छोटे प्रॉम्प्ट के बीच सही संतुलन बनाना ज़रूरी है।

स्पीच सिंथेसिस

TTS लेटेंसी, लैंग्वेज मॉडल से पहले टोकन मिलने और ऑडियो शुरू होने के बीच का समय है। टोकन मानव भाषण के चलने की गति से तेज़ आते हैं, इसलिए सिंथेसिस मॉडल पूरे जवाब का इंतज़ार नहीं करता। TTS लेटेंसी केवल पहले ऑडियो चंक तक पहुंचने का समय है।

पहले यह चरण कन्वर्सेशनल AI लेटेंसी में सबसे बड़ा योगदान देता था, क्योंकि पुराने मॉडल्स को स्पीच जनरेट करना शुरू करने में 2-3 सेकंड लगते थे। ElevenLabs का Flash v2.5 इसे सीधे हल करता है। यह लगभग 75 ms लेटेंसी के साथ स्पीच सिंथेसिस देता है और इस बाधा को सेकंड्स से घटाकर सेकंड के एक छोटे हिस्से तक ले आता है।

नेटवर्क लेटेंसी

डेटा को एक जगह से दूसरी जगह भेजने में हमेशा लेटेंसी जुड़ती है, और भौगोलिक दूरी राउंड-ट्रिप नेटवर्क लेटेंसी को और बढ़ा देती है।

एंड-टू-एंड जवाब के लिए कई घटक मिलकर काम करते हैं, इसलिए नेटवर्क हॉप्स के कई चरणों में काफी लेटेंसी जमा हो सकती है।

फंक्शन कॉलिंग

फंक्शन कॉल्स, LLM चरण में API राउंड-ट्रिप्स जोड़ती हैं। तेज़ आंतरिक लुकअप में कुछ दर्जन मिलीसेकंड लगते हैं, जबकि पेमेंट प्रोसेसर या इन्वेंटरी सिस्टम में कई सेकंड लग सकते हैं। लेटेंसी पूरी तरह उस सर्विस पर निर्भर करती है जिसे कॉल किया जा रहा है, इसलिए इस चरण को सीधे ऑप्टिमाइज़ करना सबसे मुश्किल है।

सबसे प्रभावी तरीका यह है कि टूल कॉल पूरा होने से पहले ही LLM को जवाब देने का निर्देश दिया जाए। "मैं आपके लिए यह जांचता हूं" जैसा वाक्य बाहरी कॉल पूरी होने तक यूज़र को बातचीत में बनाए रखता है, बजाय इसके कि चुप्पी बनी रहे। टूल के समानांतर चलने के दौरान वॉइस जवाब शुरू हो जाता है।

कन्वर्सेशनल AI लेटेंसी कैसे कम करें

कन्वर्सेशनल AI लेटेंसी कम करने के लिए, प्रभाव के क्रम में पाइपलाइन के हर चरण को संबोधित करना होगा। आपके अलग-अलग सुधार लेटेंसी पर असर डालते हैं, लेकिन सबसे बड़ा बदलाव देखने के लिए पूरी पाइपलाइन पर एक साथ काम करना होगा।

यहां कुछ सिद्धांत दिए गए हैं जो आपको उच्च स्तर पर कन्वर्सेशनल AI लेटेंसी कम करने में मदद कर सकते हैं:

• TTS मॉडल का चयन: Flash v2.5 जैसे स्पीड-ऑप्टिमाइज़्ड TTS मॉडल्स, गुणवत्ता के लिए ऑप्टिमाइज़्ड Eleven v3 जैसे मॉडल्स से अलग आर्किटेक्चर इस्तेमाल करते हैं। रियल-टाइम वॉइस एजेंट्स के लिए सही विकल्प वह सबसे उच्च-गुणवत्ता वाला मॉडल है जो आपके लेटेंसी लक्ष्य को पूरा करे—और यह लगभग हमेशा स्पीड के लिए ऑप्टिमाइज़्ड मॉडल होता है।
• LLM मॉडल का चयन: छोटे और तेज़ LLM आमतौर पर बड़े मॉडल्स की तुलना में कम टाइम-टू-फर्स्ट-टोकन देते हैं। ऐसा सबसे तेज़ LLM चुनना जो आपके काम के लिए गुणवत्ता मानक भी पूरा करे, TTS मॉडल चुनने जितना ही महत्वपूर्ण है।
• स्ट्रीमिंग: स्ट्रीमिंग TTS, सिंथेसिस के दौरान ऑडियो को चंक्स में लौटाता है। इसलिए यूज़र पहला शब्द तब सुनता है जब मॉडल बाकी ऑडियो जनरेट कर रहा होता है। यह अवधारणा LLM आउटपुट पर भी लागू होती है: लैंग्वेज मॉडल के अगले वाक्य जनरेट करने के दौरान पहले वाक्य से TTS सिंथेसिस शुरू करने पर पाइपलाइन की लेटेंसी कम की जा सकती है।
• सिस्टम प्रॉम्प्ट डिज़ाइन: यूज़र्स सिस्टम प्रॉम्प्ट को सरल बना सकते हैं। इसके लिए निर्देशों को हर निर्णय चरण में रखने के बजाय प्रक्रियाओं या वर्कफ़्लोज़ में डालें। इससे हर टर्न पर मॉडल को विचार करने के लिए कम संदर्भ मिलेगा।
• गार्डरेल्स: स्ट्रीमिंग मॉडल में गार्डरेल्स चलाने से गार्डरेल जांच पूरी होने से पहले ही आउटपुट चलना शुरू हो सकता है, बजाय इसके कि जांच खत्म होने तक प्लेबैक रोका जाए।
• मॉडल कोलोकेशन: जहां संभव हो, एक ही स्थान पर होस्ट किए गए मॉडल्स का उपयोग करें, जैसे ElevenLabs Agents स्टैक। इससे घटक एक-दूसरे के पास रहते हैं और अलग-अलग होस्ट किए गए मॉडल्स के बीच हॉप्स के कारण लेटेंसी नहीं जुड़ती।
• भौगोलिक स्थिति: आपके सर्वर्स और यूज़र्स के बीच कम दूरी लेटेंसी को काफी कम कर सकती है, क्योंकि इससे एंड-टू-एंड TTFA में नेटवर्क का योगदान सीधे घटता है।

इन कारकों के अलावा, अधिक जानकारी के लिए आप लेटेंसी ऑप्टिमाइज़ करने की इस तकनीकी गाइड का उपयोग कर सकते हैं।

ElevenAgents के साथ कम-लेटेंसी वाला कन्वर्सेशनल AI शुरू करें

एजेंट्स बनाते और तैनात करते समय कन्वर्सेशनल AI लेटेंसी एक महत्वपूर्ण पहलू है। ElevenAgents के साथ, लेटेंसी ऑप्टिमाइज़ेशन प्रक्रिया में ही शामिल है। ओवरलैप तकनीकों से रिकवर टाइम कम करने से लेकर अलग-अलग घटकों की कम मॉडल इन्फरेंस लेटेंसी तक, ElevenAgents आपके व्यवसाय के लिए कम-लेटेंसी वाले कन्वर्सेशनल AI स्टैक्स बनाता है।

आखिरकार, लक्ष्य वास्तविक अनुभव बनाना है। यूज़र को कंप्यूटर प्रोग्राम के फायदे लेते हुए इंसान से बात करने जैसी सहजता महसूस होनी चाहिए। उप-प्रक्रियाओं को तेज़ करके, यह अब संभव है।

ElevenAgents के बारे में अधिक जानें या सेल्स टीम से संपर्क करें और आज ही शुरू करें।

कन्वर्सेशनल AI लेटेंसी: अक्सर पूछे जाने वाले सवाल