कन्वर्सेशनल AI लेटेंसी क्या है और इसे कौन से कारक प्रभावित करते हैं?

कन्वर्सेशनल AI के लिए कन्वर्सेशनल AI में, लेटेंसी ही अच्छी ऐप्लिकेशन और बेहतरीन ऐप्लिकेशन के बीच का अंतर तय करती है।

कन्वर्सेशनल AI स्वभाव से ही मानव-जैसी बातचीत का अनुभव देने की कोशिश करता है। यह इंसान से बात करने जैसी भावना को दोहराने के लिए भावनाओं की रेंज, पिच और लय की नकल करता है। जब आप बोलना बंद करते हैं और AI एजेंट जवाब देना शुरू करता है, उसके बीच का जो अंतराल स्वाभाविक लगता है, उसे भी शामिल करें, तो आपको ऐसा लेटेंसी लक्ष्य मिलता है जो इंसानों के वास्तविक संवाद के तरीके पर आधारित है। 

जो व्यवसाय बड़े पैमाने पर कन्वर्सेशनल AI एजेंट तैनात करना चाहते हैं, उन्हें उस स्वाभाविक अनुभव को पाने के लिए लेटेंसी को जितना हो सके कम करना होगा। इस लेख में बताया गया है कि कन्वर्सेशनल AI लेटेंसी क्या है, पूरी पाइपलाइन में देरी किन वजहों से होती है और उन्हें कम करने के मुख्य तरीके क्या हैं। 

सारांश

• कन्वर्सेशनल AI लेटेंसी, यूज़र के बोलना बंद करने से लेकर एजेंट का पहला शब्द सुनाई देने तक की कुल एंड-टू-एंड देरी है।
• 700 ms से ज़्यादा लेटेंसी वाले एजेंट अस्वाभाविक लग सकते हैं, जबकि 1,200 ms से ऊपर वाले एजेंटों में कॉल छोड़ने की दर अधिक होती है।
• कन्वर्सेशनल AI पाइपलाइन के हर चरण में लेटेंसी जुड़ती जाती है।
• ElevenAgents एक ही एकीकृत आर्किटेक्चर में पूरी पाइपलाइन संभालता है, जिससे आपके व्यवसाय के लिए कम-लेटेंसी कन्वर्सेशनल AI सुलभ बनता है।

कन्वर्सेशनल AI लेटेंसी क्या है?

कन्वर्सेशनल AI लेटेंसी वह कुल समय है जो आपके बोलने के बाद सिस्टम को जवाब देने में लगता है। आधुनिक AI मॉडल्स के लिए लेटेंसी को ms में मापा जाता है। पर्दे के पीछे, कुल लेटेंसी कई अलग-अलग प्रक्रियाओं से मिलकर बनती है, जिनमें से हर एक एंड-टू-एंड पाइपलाइन का हिस्सा होती है। 

एक सामान्य कन्वर्सेशनल AI पाइपलाइन इस तरह होती है:

1. एक यूज़र बोलता है
2. स्पीच टू टेक्स्ट मॉडल ऑडियो को ट्रांसक्राइब करता है
3. ट्रांसक्रिप्ट को LLM मॉडल के पास भेजा जाता है, जो जवाब तैयार करता है
4. फिर LLM के टेक्स्ट को टेक्स्ट टू स्पीच मॉडल से ऑडियो में बदला जाता है
5. फिर यूज़र को ऑडियो सुनाया जाता है

इनमें से हर चरण कन्वर्सेशनल AI सिस्टम में लेटेंसी जोड़ता है। इसलिए, लेटेंसी पर चर्चा करते समय कुछ अलग-अलग संक्षिप्त शब्दों को समझना ज़रूरी है।

मॉडल इन्फ़रेंस लेटेंसी

मॉडल इन्फ़रेंस लेटेंसी वह समय है जो मॉडल आउटपुट बनाने में लगाता है। इसे आंतरिक रूप से मापा जाता है और इसमें बाहरी कारक शामिल नहीं होते। यह बताती है कि सामान्य इनपुट पर आपका इंजन कितनी तेज़ी से काम करता है। उदाहरण के लिए, Flash v2.5 की मॉडल इन्फ़रेंस लेटेंसी लगभग 75 ms है। इससे आप प्रतिस्पर्धियों के मॉडल्स की गति की तुलना कर सकते हैं।

हालाँकि, याद रखें कि यूज़र को वास्तव में यही लेटेंसी अनुभव नहीं होती। यह केवल मॉडल द्वारा आउटपुट बनाने में लगे कुल समय को दर्शाती है।

LLM टाइम-टू-फ़र्स्ट-टोकन

लार्ज लैंग्वेज मॉडल (LLM) टाइम-टू-फ़र्स्ट-टोकन (TTFT), प्रॉम्प्ट को प्रोसेस करने और पहला उपयोगी आउटपुट टोकन बनाने में LLM को लगने वाला कुल समय है।

आपके LLM से पहला टोकन आते ही TTS जनरेशन शुरू हो जाती है। इसलिए यह मापता है कि LLM को आपके TTS मॉडल को चलने के लिए प्रेरित करना शुरू करने में कितना समय लगता है। ज़्यादातर एंड-टू-एंड कन्वर्सेशनल AI सिस्टम्स में LLM TTFT कुल लेटेंसी का एक बड़ा हिस्सा होता है। 

TTS टाइम-टू-फ़र्स्ट-ऑडियो (TTFA)

TTS टाइम-टू-फ़र्स्ट-ऑडियो (TTFA), पहली TTS रिक्वेस्ट से लेकर मॉडल से पहला ऑडियो चंक वास्तव में निकलने तक का समय मापता है। यह मॉडल इन्फ़रेंस लेटेंसी को बताने का तरीका है, लेकिन खास तौर पर TTS इंजनों के लिए। 

एंड-टू-एंड टाइम-टू-फ़र्स्ट-ऑडियो (TTFA)

एंड-टू-एंड TTFA ही कुल कन्वर्सेशनल AI लेटेंसी है। इसमें पाइपलाइन का हर हिस्सा शामिल होता है—स्पीच रिकग्निशन, LLM TTFT, TTS, TTFA और चरणों के बीच होने वाले सभी नेटवर्क ट्रांसमिशन। पूरी कन्वर्सेशनल AI लेटेंसी की बात करें, तो यूज़र इसी मेट्रिक को महसूस करता है।

जब यूज़र बोलते हैं, तो उन्हें आपके एजेंट से कुछ सुनाई देने से पहले एंड-टू-एंड TTFA का इंतज़ार करना पड़ता है। यह एक समग्र माप है, यानी पाइपलाइन के किसी भी हिस्से को बेहतर बनाने से इसमें सुधार होगा। 

कन्वर्सेशनल AI लेटेंसी क्यों मायने रखती है

जब कोई यूज़र आपके AI एजेंट से बात करता है, तो वह अनुभव उसे कैसा लगता है, इसमें लेटेंसी अहम भूमिका निभाती है। कम लेटेंसी से यूज़र को जवाब के लिए कम इंतज़ार करना पड़ता है, जिससे बातचीत स्वाभाविक लगती है और आपका एजेंट सक्षम दिखता है। 

ज़्यादा लेटेंसी वाले एजेंट कृत्रिम और कम सक्षम लगते हैं, भले ही उनके जवाबों की गुणवत्ता समान हो। व्यवसायों के लिए, कुछ 100 ms का अंतर भी बहुत लंबा लग सकता है और आपके कस्टमर सपोर्ट एजेंट को बोझिल और अप्रभावी बना सकता है।

कन्वर्सेशनल AI लेटेंसी व्यवहार में क्यों मायने रखती है, यह दिखाने के लिए कुछ स्थितियाँ यहाँ दी गई हैं:

• 500 ms से कम: कन्वर्सेशनल एजेंट तेज़ और सहज लगता है। यूज़र के बोलना बंद करने और पहला जवाब मिलने के बीच की देरी शायद यूज़र को महसूस भी न हो, जिससे बातचीत आसानी से चलती रहती है।
• 500 ms से 1000 ms: यूज़र के बोलना बंद करने और जवाब मिलने के बीच की देरी महसूस होने लगती है। यह बस थोड़ी ज़्यादा लंबी होती है, इसलिए यूज़र खुद को दोहराकर या रुककर पहले से ही यह देखने की कोशिश कर सकते हैं कि एजेंट ने उन्हें समझा भी है या नहीं।
• 1000 ms से ज़्यादा: देरी धीमी लगने लगती है। विराम से कुछ यूज़र्स को लग सकता है कि AI एजेंट बातचीत की गति के साथ पूरी तरह नहीं चल पा रहा है। ट्रांसक्रिप्ट में कभी-कभार बीच में बोलने या किसी मानव एजेंट से बात करने के अनुरोध दिख सकते हैं। कुछ मामलों में, यूज़र कॉल छोड़ सकते हैं।

इनमें से हर सीमा वास्तविक व्यावसायिक नतीजों में बदलती है। 

लेटेंसी स्पेक्ट्रम के निचले सिरे पर, आपके पास ऐसा कस्टमर सर्विस एजेंट होगा जो आने वाले सवालों को स्वाभाविक रूप से संभाल सकता है और यूज़र्स को बिना अतिरिक्त मदद के उनकी समस्याएँ हल करने में मदद कर सकता है। इससे आपके मानव एजेंटों का दबाव कम होता है और ग्राहक संतुष्टि ऊँची रहती है। स्पेक्ट्रम के ऊपरी सिरे पर, बहुत देर तक हिचकिचाता दिखने वाला एजेंट आपके ग्राहकों को निराश करेगा। 

हमने दूसरे लेख में वॉइस एजेंट लेटेंसी बजट बेंचमार्क्स तय किए हैं, ताकि बताया जा सके कि P50 और P95, दोनों वैल्यूज़ पर अच्छी लेटेंसी कैसी दिखती है। 

कन्वर्सेशनल AI लेटेंसी किन वजहों से होती है?

कन्वर्सेशनल AI लेटेंसी एक ऐसा शब्द है जो कई अलग-अलग प्रक्रियाओं का सार बताता है, जिसमें हर हिस्सा कुल देरी में योगदान देता है। इसलिए, कम लेटेंसी की बाधा सिर्फ बेहतर मॉडल चुनकर हल होने वाली समस्या नहीं, बल्कि सिस्टम-स्तर की समस्या है। आखिरकार, पाइपलाइन में कई मॉडल्स साथ काम करते हैं।

डेवलपर्स के लिए हमने वॉइस एजेंट लेटेंसी ऑप्टिमाइज़ेशन पर एक विस्तृत तकनीकी गाइड लिखी है, जिसका इस्तेमाल आप एंड-टू-एंड टाइम-टू-फ़र्स्ट-ऑडियो (TTFA) के हर चरण को बेहतर बनाने के लिए कर सकते हैं।

मुख्य पाइपलाइन के अलावा, टेलीफोनी और फ़ंक्शन कॉलिंग जैसे दूसरे कारक भी लेटेंसी बढ़ाते हैं, भले ही वे मॉडल इन्फ्रास्ट्रक्चर के भीतर न हों। 

कन्वर्सेशनल AI लेटेंसी में योगदान देने वाले सभी कारकों का संक्षिप्त विवरण यहाँ है। 

ऑटोमैटिक स्पीच रिकग्निशन

स्पीच रिकग्निशन की लेटेंसी ट्रांसक्रिप्ट बनाने में लगने वाला समय नहीं है। यूज़र के बोलते समय ट्रांसक्रिप्शन प्रक्रिया बैकग्राउंड में चलती है, इसलिए बोलना खत्म होने तक टेक्स्ट काफी हद तक तैयार हो चुका होता है। 

यहाँ लेटेंसी वास्तव में बोलना खत्म होने और ट्रांसक्रिप्ट को अंतिम रूप देकर अगले चरण में भेजने के बीच का अंतर है। Scribe v2 Realtime इस अंतर को लगभग 150 ms तक कम कर देता है और लगातार स्ट्रीम करता है, जिससे टर्न खत्म होते ही आउटपुट तैयार हो जाता है।

टर्न-टेकिंग और एंडपॉइंटिंग 

स्पीच रिकग्निशन और लैंग्वेज मॉडल के बीच एक वॉइस एक्टिविटी डिटेक्टर (VAD) होता है। इसका काम तय करना है कि यूज़र ने वास्तव में बोलना कब खत्म किया है। 

गलतियों से बचने के लिए, VAD टर्न खत्म होने की घोषणा करने से पहले लगातार चुप्पी की एक तय सीमा तक इंतज़ार करता है। यह इंतज़ार लैंग्वेज मॉडल के किसी शब्द को प्रोसेस करने से पहले जुड़ने वाली लेटेंसी है। यह थोड़ी अतिरिक्त लेटेंसी समय तो बढ़ाती है, लेकिन यूज़र के बोलते समय ही सिस्टम को जवाब देना शुरू करने से भी रोकती है। 

तकनीकी रूप से देखें तो, अगर कन्वर्सेशनल AI के बाकी सभी कॉम्पोनेंट्स में शून्य लेटेंसी होती, तो टर्न-टेकिंग से जुड़ी लेटेंसी अच्छी बात होती। इंसान बोलने के जवाब में एक पल रुकते हैं। मशीन का ऐसा ही विराम बातचीत को अधिक वास्तविक बनाता है। लेकिन चूँकि कन्वर्सेशनल AI के अन्य कॉम्पोनेंट्स में पहले से लेटेंसी होती है, इसलिए न्यूनतम लेटेंसी आदर्श है।

लैंग्वेज मॉडल प्रोसेसिंग

जब स्पीच टू टेक्स्ट (STT) इंजन से ट्रांसक्रिप्ट तैयार हो जाता है, तो लैंग्वेज मॉडल जवाब बनाता है। यहाँ लेटेंसी पूरे जवाब को बनाने में नहीं, बल्कि टोकन बनाना शुरू करने में लगने वाला समय है। टोकन आते ही वे सीधे TTS चरण में स्ट्रीम होते हैं, इसलिए TTFT सबसे ज़्यादा मायने रखता है। 

मॉडल चुनने के अलावा, प्रॉम्प्ट की लंबाई और नॉलेज बेस का आकार भी इस चरण को प्रभावित करते हैं। LLM को जितना अधिक संदर्भ देखना होता है, उतना अधिक समय लगता है। इन सिस्टम्स को बड़े पैमाने पर डिज़ाइन करते समय, चीज़ों को तेज़ रखने के लिए उपयोगी नॉलेज बेस और छोटे प्रॉम्प्ट के बीच सही संतुलन बनाना ज़रूरी है।

स्पीच सिंथेसिस

TTS लेटेंसी, लैंग्वेज मॉडल से पहला टोकन मिलने और ऑडियो शुरू होने के बीच का समय है। टोकन मानव आवाज़ के चलने से तेज़ आते हैं, इसलिए सिंथेसिस मॉडल कभी भी पूरे जवाब का इंतज़ार नहीं करता। TTS लेटेंसी केवल पहले ऑडियो चंक तक का समय है। 

यह चरण पहले कन्वर्सेशनल AI लेटेंसी में सबसे बड़ा योगदान देने वाला एकल कारक था, क्योंकि पुराने मॉडल्स को बोलना जनरेट करना शुरू करने में 2-3 सेकंड लगते थे। ElevenLabs का Flash v2.5 इस समस्या को सीधे हल करता है। यह ~75 ms लेटेंसी के साथ स्पीच सिंथेसिस देता है और इस बाधा को सेकंडों से घटाकर एक सेकंड के छोटे हिस्से तक ले आता है।

नेटवर्क लेटेंसी

डेटा को एक जगह से दूसरी जगह भेजने में हमेशा लेटेंसी जुड़ती है, और भौगोलिक दूरी राउंड-ट्रिप नेटवर्क लेटेंसी को और बढ़ा देती है। 

एंड-टू-एंड जवाब के लिए कई कॉम्पोनेंट्स के साथ काम करने से, नेटवर्क हॉप्स के कई सेट्स में काफी लेटेंसी जुड़ सकती है। 

फ़ंक्शन कॉलिंग

फ़ंक्शन कॉल्स, LLM चरण में API राउंड-ट्रिप्स जोड़ते हैं। तेज़ आंतरिक लुकअप में कुछ दर्जन मिलीसेकंड लगते हैं, जबकि पेमेंट प्रोसेसर या इन्वेंट्री सिस्टम में कई सेकंड लग सकते हैं। लेटेंसी पूरी तरह उस सर्विस पर निर्भर करती है जिसे कॉल किया जा रहा है, इसलिए यह सीधे ऑप्टिमाइज़ करने के लिए सबसे कठिन चरण है। 

सबसे प्रभावी तरीका यह है कि टूल कॉल पूरी होने से पहले LLM को जवाब देने के लिए प्रॉम्प्ट किया जाए। "मैं आपके लिए यह जाँचता हूँ" जैसा वाक्य बाहरी कॉल पूरा होने तक यूज़र को जोड़े रखता है, बजाय इसके कि चुप्पी रहे। टूल के समानांतर चलते समय वॉइस जवाब शुरू हो जाता है।

कन्वर्सेशनल AI लेटेंसी कैसे कम करें

कन्वर्सेशनल AI लेटेंसी कम करने के लिए, हर पाइपलाइन चरण को उसके प्रभाव के क्रम में संबोधित करना होता है। आपके किए गए अलग-अलग सुधार लेटेंसी पर असर डालते हैं, लेकिन सबसे बड़ा बदलाव देखने के लिए आपको पूरी पाइपलाइन पर समग्र रूप से काम करना होगा।

यहाँ कुछ सिद्धांत दिए गए हैं जो व्यापक स्तर पर कन्वर्सेशनल AI लेटेंसी कम करने में आपकी मदद कर सकते हैं:

• TTS मॉडल चयन: Flash v2.5 जैसे स्पीड-ऑप्टिमाइज़्ड TTS मॉडल्स, गुणवत्ता के लिए ऑप्टिमाइज़ किए गए Eleven v3 जैसे मॉडल्स से अलग आर्किटेक्चर इस्तेमाल करते हैं। रीयल-टाइम वॉइस एजेंट्स के लिए, सही विकल्प वह सबसे उच्च-गुणवत्ता वाला मॉडल है जो आपके लेटेंसी लक्ष्य को पूरा करे—और यह लगभग हमेशा स्पीड के लिए ऑप्टिमाइज़्ड मॉडल होता है।
• LLM मॉडल चयन: छोटे और तेज़ LLM आम तौर पर बड़े LLM की तुलना में कम टाइम-टू-फ़र्स्ट-टोकन देते हैं। काम के लिए आपकी गुणवत्ता की कसौटी पर खरा उतरने वाला सबसे तेज़ LLM चुनना, TTS मॉडल चुनने जितना ही महत्वपूर्ण है।
• स्ट्रीमिंग: स्ट्रीमिंग TTS, सिंथेसिस के दौरान ऑडियो को चंक्स में लौटाता है, इसलिए मॉडल के बाकी ऑडियो बनाते रहने के दौरान ही यूज़र पहला शब्द सुन लेता है। यह सिद्धांत LLM आउटपुट पर भी लागू होता है: लैंग्वेज मॉडल के आगे के वाक्य बनाने के दौरान पहले वाक्य पर TTS सिंथेसिस शुरू करने से पाइपलाइन की लेटेंसी कम हो सकती है। 
• सिस्टम प्रॉम्प्ट डिज़ाइन: यूज़र सिस्टम प्रॉम्प्ट्स को सरल बना सकते हैं—निर्देशों को हर निर्णय चरण का हिस्सा रखने के बजाय प्रक्रियाओं या वर्कफ़्लो में डालकर। इससे हर टर्न पर मॉडल को जिस संदर्भ पर विचार करना होता है, उसकी मात्रा कम होती है।
• गार्डरेल्स: स्ट्रीमिंग मॉडल में गार्डरेल्स चलाने से, गार्डरेल जाँच पूरी होने से पहले ही आउटपुट चलना शुरू हो सकता है, बजाय इसके कि जाँच पूरी होने तक प्लेबैक रोक दिया जाए।
• मॉडल कोलोकेशन: जहाँ संभव हो, कोलोकेटेड मॉडल्स इस्तेमाल करने से—जैसे ElevenLabs Agents स्टैक—कॉम्पोनेंट्स एक-दूसरे के पास रहते हैं, इसलिए अलग-अलग होस्ट किए गए मॉडल्स के बीच हॉप्स से लेटेंसी नहीं जुड़ती।
• भौगोलिक स्थिति: आपके सर्वर्स और यूज़र्स के बीच कम दूरी लेटेंसी को काफी कम कर सकती है, क्योंकि इससे एंड-टू-एंड TTFA में नेटवर्क का योगदान सीधे घटता है। 

इन कारकों के अलावा, अधिक जानकारी के लिए आप इस लेटेंसी ऑप्टिमाइज़ करने की तकनीकी गाइड का इस्तेमाल कर सकते हैं। 

ElevenAgents पर कम-लेटेंसी कन्वर्सेशनल AI के साथ शुरुआत करें

एजेंट्स बनाने और तैनात करने में कन्वर्सेशनल AI लेटेंसी एक बेहद महत्वपूर्ण बात है। ElevenAgents के साथ, लेटेंसी ऑप्टिमाइज़ेशन प्रक्रिया में ही शामिल है। समय बचाने वाली ओवरलैप तकनीकों से लेकर अलग-अलग कॉम्पोनेंट्स में कम मॉडल इन्फ़रेंस लेटेंसी तक, ElevenAgents आपके व्यवसाय के लिए कम-लेटेंसी कन्वर्सेशनल AI स्टैक्स बनाता है। 

अंततः लक्ष्य वास्तविकता का अनुभव बनाना है। यूज़र को कंप्यूटर प्रोग्राम के फ़ायदे लेते हुए इंसान से बात करने की सहजता महसूस होनी चाहिए। उप-प्रक्रियाओं को बेहतर बनाकर, यह अब संभव है।

के बारे में और जानें ElevenAgents या सेल्स से संपर्क करें और आज ही शुरुआत करें।

कन्वर्सेशनल AI लेटेंसी: FAQ