वॉइस AI इंफ्रास्ट्रक्चर: 2026 स्टैक की व्याख्या

वॉइस AI इंफ्रास्ट्रक्चर मॉडल्स, कनेक्शन्स, टूल्स और सेवाओं का ऐसा समूह है जो AI एजेंट को कॉल सुनने, क्या करना है तय करने, दूसरे सिस्टम्स में कार्रवाई करने और बोलकर जवाब देने देता है। और ElevenLabs जैसे प्रमुख प्रदाताओं के साथ, यह सब एक सेकंड के अंश में होता है।

प्रोडक्शन वॉइस एजेंट कई परतों के स्टैक पर चलता है, जिसमें स्पीच रिकग्निशन, टर्न-टेकिंग, लार्ज लैंग्वेज मॉडल, ऑर्केस्ट्रेशन, टूल्स, नॉलेज रिट्रीवल, स्पीच सिंथेसिस, टेलीफोनी और मॉनिटरिंग शामिल हैं।

यह गाइड एक काम कर रहे वॉइस एजेंट के पीछे के AI एजेंट आर्किटेक्चर को समझाती है। हर सेक्शन बताता है कि कोई परत क्या करती है, व्यापक इंफ्रास्ट्रक्चर में उसका महत्व क्या है और ElevenAgents उसे कैसे लागू करता है। इसमें Eleven v4 को वॉइस लेयर के उदाहरण के रूप में लिया गया है।

वॉइस AI इंफ्रास्ट्रक्चर की परतें कैसे साथ काम करती हैं

वॉइस एजेंट ऑडियो को टेक्स्ट में बदलता है, उस इनपुट के आधार पर सोचता है, जवाब बनाता है और फिर उसे वापस ऐसे ऑडियो में बदलता है जिसे ग्राहक सुनता है। इन कार्रवाइयों की श्रृंखला मजबूत AI एजेंट आर्किटेक्चर के स्टैक से बनती है।

2026 में वॉइस AI इंफ्रास्ट्रक्चर में योगदान देने वाली मुख्य परतें ये हैं:

1. स्पीच रिकग्निशन: ऑटोमैटिक स्पीच रिकग्निशन (ASR) तकनीक प्रोसेसिंग के लिए कॉलर के ऑडियो को टेक्स्ट में बदलती है।
2. टर्न-टेकिंग: टर्न-टेकिंग तय करता है कि कॉलर कब बोल चुका है और कब बोलना बंद करना है, जिससे बातचीत ज्यादा सहज और जवाबदेह बनती है।
3. लैंग्वेज मॉडल: जरूरी कॉन्टेक्स्ट लेने के बाद ट्रांसक्राइब की गई रिक्वेस्ट को समझता है और जवाब बनाता है।
4. ऑर्केस्ट्रेशन: एक AI ऑर्केस्ट्रेशन लेयर बातचीत को प्रॉम्प्ट्स, सबएजेंट्स, टूल्स और इंसानों के बीच रूट करती है।
5. टूल्स और MCP: काम पूरे करने के लिए एजेंट को बाहरी सिस्टम्स, जैसे CRM प्लेटफ़ॉर्म्स या कॉन्टैक्ट सेंटर्स, से जोड़ते हैं।
6. नॉलेज और मेमोरी: रिट्रीवल ऑगमेंटेड जनरेशन के जरिए तथ्य और कॉलर कॉन्टेक्स्ट देते हैं।
7. स्पीच सिंथेसिस: टेक्स्ट जनरेशन के जवाब को ऑडियो में बदलने के लिए टेक्स्ट टू स्पीच का उपयोग करता है।
8. ट्रांसपोर्ट और टेलीफोनी: एजेंट और कॉलर के बीच ऑडियो पहुंचाती है।
9. गार्डरेल्स, टेस्टिंग और मॉनिटरिंग: एजेंट को काम पर केंद्रित और मापने योग्य रखता है।

मिलकर, ये कॉम्पोनेंट्स AI एजेंट्स और कॉल करने वाले ग्राहकों के बीच रियल-टाइम बातचीत बनाते हैं।

वॉइस AI आर्किटेक्चर डायग्राम

यह फ्लो सीधी लाइन में नहीं चलता। ElevenAgents को लैंग्वेज मॉडल से “पर्याप्त शब्द और एक कॉमा” मिलते ही वह बोलना शुरू कर देता है, यानी पूरा जवाब बनने से पहले ही ऑडियो चलने लगता है। टूल कॉल्स और रिट्रीवल टर्न के बीच में चलते हैं। एजेंट स्पीच जनरेट करते समय इंटरप्शन को स्वाभाविक रूप से संभाल सकता है।

वॉइस AI आर्किटेक्चर बनाने के दो तरीके

ElevenAgents दो वॉइस मोड्स सपोर्ट करता है। कस्टम मोड में आप लैंग्वेज मॉडल, टेक्स्ट टू स्पीच मॉडल और स्पीच रिकग्निशन सेटिंग्स खुद चुनते हैं।

रीयलटाइम मोड में, आप Eleven Realtime मॉडल चुनते हैं और ElevenLabs ये सेटिंग्स आपके लिए मैनेज करता है। Eleven Realtime v1 Mini डिफ़ॉल्ट है और इसकी लेटेंसी व लागत सबसे कम है। Eleven Realtime v1 Max जवाब देने से पहले सोचता है, जो जटिल निर्देशों और कई चरणों वाले टूल उपयोग के लिए उपयुक्त है।

सिस्टम प्रॉम्प्ट, चुनी गई वॉइस, टूल्स, अटैच किया गया नॉलेज बेस और टर्न सेटिंग्स, दोनों मोड्स में एक जैसे काम करते हैं। जब आपको कोई खास लैंग्वेज मॉडल, कस्टम LLM या खास TTS मॉडल चाहिए हो, तो कस्टम मोड बेहतर विकल्प है (परफॉर्मेंस या लेटेंसी ऑप्टिमाइज़ेशन के लिए)।

स्पीच रिकग्निशन: ऑडियो को टेक्स्ट में बदलना

स्पीच रिकग्निशन, जिसे ASR या स्पीच टू टेक्स्ट भी कहते हैं, स्टैक की पहली परत है।

यह क्या करता है

मॉडल कॉलर के बोलते समय उसके ऑडियो को लगातार ट्रांसक्राइब करता है। लगातार ट्रांसक्रिप्शन से बाकी पाइपलाइन वाक्य खत्म होने से पहले काम शुरू कर पाती है और लेटेंसी बचती है। एडवांस्ड मॉडल्स गहरे एक्सेंट, बोलने की अलग-अलग गति और बैकग्राउंड नॉइज़, सभी को संभालते हैं।

वॉइस AI इंफ्रास्ट्रक्चर के लिए यह क्यों महत्वपूर्ण है

ट्रांसक्रिप्शन यकीनन स्टैक की सबसे महत्वपूर्ण परतों में से एक है, क्योंकि यहां की कोई भी गलती बाकी चरणों तक पहुंच जाती है। बुकिंग रेफरेंस गलत सुना? गलत ग्राहक रिकॉर्ड पर कार्रवाई हो जाएगी। दवा का नाम गलत समझा? संभावित आपदा।

अपने हेल्थकेयर के लिए ट्रस्ट फ्रेमवर्क में ElevenLabs दिखाता है कि गलत सुने गए एक सिलेबल के कितने गंभीर परिणाम हो सकते हैं: hydroxyzine बनाम hydralazine।

ElevenAgents इसे कैसे करता है

ElevenAgents Scribe v2 Realtime का उपयोग करता है, जो लगभग 150 ms में स्पीच ट्रांसक्राइब करता है। ElevenLabs ने इसे शोर भरे बैकग्राउंड, विविध एक्सेंट्स और नाम, ईमेल व IDs जैसे आइडेंटिफ़ायर्स के लिए प्रशिक्षित किया है। 30 भाषाओं के FLEURS मल्टीलिंगुअल बेंचमार्क पर ElevenLabs ने किसी भी कम-लेटेंसी ASR मॉडल की तुलना में सबसे कम वर्ड एरर रेट रिपोर्ट की।

आप इसे एजेंट कॉन्फ़िगरेशन के Advanced सेक्शन में सक्षम करते हैं। ऊपर बताए गए उसी व्हाइट पेपर में ElevenLabs ने बताया है कि Scribe v2 Medical प्रकाशन के समय सार्वजनिक Eka Medical ASR बेंचमार्क पर 7.0% वर्ड एरर रेट के साथ हर मॉडल से आगे है।

सटीक और तेज ट्रांसक्रिप्शन, महत्वपूर्ण लेटेंसी जोड़े बिना, अगली परतों को जरूरी साफ इनपुट देता है।

टर्न-टेकिंग: कब बोलना है और कब रुकना है

टर्न-टेकिंग नियमों का वह समूह है जो तय करता है कि एजेंट कब जवाब दे और कब सुने। बातचीत के टर्न्स को प्रभावी ढंग से समझना और उन पर कार्रवाई करना ही बातचीत को पुराने IVR फोन मेनू से अलग बनाता है।

यह क्या करता है

टर्न-टेकिंग कॉम्पोनेंट वॉइस AI इंफ्रास्ट्रक्चर को कुछ मुख्य क्षमताएं देता है:

• वॉइस एक्टिविटी डिटेक्शन (VAD): VAD आने वाले ऑडियो को प्रति सेकंड कई बार स्पीच या साइलेंस के रूप में वर्गीकृत करता है।
• एंड-ऑफ-टर्न डिटेक्शन: टोन, रिदम और शब्दों के कॉन्टेक्स्ट से तय करता है कि कॉलर बोलना खत्म कर चुका है या नहीं।
• बार्ज-इन: कॉलर को बीच में बोलने देता है, जिस पर एजेंट बोलना बंद कर देता है ताकि यूज़र बोलना जारी रख सके।
• बैकचैनल्स: “हां” जैसी छोटी स्वीकारोक्तियां, जो टर्न नहीं लेतीं।

यह क्यों महत्वपूर्ण है

मानवीय बातचीत में स्पीकर्स के बीच करीब 200 ms का अंतर सामान्य होता है। बहुत जल्दी जवाब देने वाला एजेंट कॉलर की बात काट देता है, जबकि बहुत देर तक इंतजार करने वाला एजेंट ऐसा सन्नाटा पैदा करता है जिससे कॉल टूटी हुई या गैर-जवाबदेह लगती है।

उदाहरण के लिए, एक कॉलर कहता है, “मैं शुक्रवार दोपहर के लिए बुकिंग करना चाहता हूं, लेकिन...” और रुक जाता है। साइलेंस टाइमर इसी रुकने पर जवाब दे देता है और शर्त को नहीं समझता। शब्दों और रिदम को पढ़ने वाला मॉडल इंतजार करता है और यूज़र को बात पूरी करने देता है, “वह 3 से 5 बजे के बीच नहीं हो सकती, क्योंकि मैं व्यस्त रहूंगा।”

एक एजेंट कॉलर की मंशा गलत समझता है और मीटिंग गलत समय पर शेड्यूल कर देता है। दूसरा, प्रभावी टर्न-टेकिंग क्षमता के साथ, तय समय अवधि से बचना सुनिश्चित करता है।

ElevenAgents इसे कैसे करता है

ElevenAgents एक प्रोप्रायटरी टर्न-टेकिंग मॉडल चलाता है, जो केवल साइलेंस टाइमर्स पर निर्भर रहने के बजाय टोन, रिदम और शब्दों के कॉन्टेक्स्ट का विश्लेषण करता है। कॉलर के बीच में बोलने पर एजेंट को रोकने वाला सिग्नल 200 ms से कम में पहुंचता है।

ElevenLabs ने ElevenAgents पर Eleven v4 Turbo के साथ रिक्वेस्ट से सुनाई देने वाली स्पीच तक का मीडियन समय ~150 ms मापा है।

आप इस व्यवहार को कन्वर्सेशन फ्लो के जरिए कॉन्फ़िगर कर सकते हैं:

वर्कफ़्लोज़ कॉल के बीच में टर्न तत्परता बदल सकते हैं। आपके क्लाइंट को vad_score इवेंट भी मिलता है, जो 0 से 1 तक की संभावना है कि यूज़र बोल रहा है।

अच्छी तरह ट्यून की गई टर्न-टेकिंग तय करती है कि कॉलर एजेंट को ध्यान से सुनने वाला मानते हैं या अचानक बोलने वाला। इन अवधारणाओं के बारे में ज्यादा जानने के लिए टर्न-टेकिंग पर हमारी पूरी गाइड देखें।

लैंग्वेज मॉडल: तर्क करना और जवाब बनाना

लार्ज लैंग्वेज मॉडल (LLM) तर्क करने वाली परत है। यह ट्रांसक्रिप्ट, निर्देशों और अब तक की बातचीत को पढ़ता है, फिर जवाब लिखता है या टूल कॉल करने का निर्णय लेता है।

यह क्या करता है

स्क्रिप्टेड वॉइस बॉट कुछ ही कमांड्स पहचानता है। LLM कई अलग तरीकों से कही गई रिक्वेस्ट्स को समझता है, टर्न्स के बीच कॉन्टेक्स्ट बनाए रखता है और तय करता है कि जानकारी कब रिट्रीव करनी है या कब हैंडऑफ करना है।

यह क्यों महत्वपूर्ण है

मॉडल्स तर्क की गहराई, गति और लागत में अलग होते हैं। लाइव वॉइस बातचीत में जवाब देने का समय, जवाब की गुणवत्ता जितना ही मायने रखता है, इसलिए मॉडल चुनना लेटेंसी और लागत, दोनों का निर्णय है।

ElevenAgents इसे कैसे करता है

ElevenAgents आपको Google, OpenAI और Anthropic के मॉडल्स के साथ-साथ ElevenLabs पर होस्टेड ओपन मॉडल्स के लिए एक इंटरफ़ेस देता है। आप एंडपॉइंट निर्दिष्ट करके और क्रेडेंशियल्स को सीक्रेट्स के रूप में स्टोर करके अपना LLM भी कनेक्ट कर सकते हैं। ElevenLabs, थर्ड-पार्टी LLM की लागत बिना किसी मार्जिन के प्रदाता की प्रकाशित दर पर आप तक पहुंचाता है।

आप हर सबएजेंट के लिए मॉडल चुन सकते हैं। एंटरप्राइज़ कन्वर्सेशनल एजेंट प्लेबुक, वॉल्यूम 2 जटिल तर्क के लिए उच्च-परफॉर्मेंस मॉडल्स आरक्षित रखने और इंटेंट क्लासिफिकेशन व FAQs जैसे कामों के लिए कम लागत वाले, कम-लेटेंसी मॉडल्स इस्तेमाल करने की सलाह देता है।

प्रदाताओं में आउटेज हो सकते हैं। LLM कैस्केडिंग उन्हें संभालती है: अगर प्राइमरी मॉडल API एरर देता है, टाइम आउट होता है या खाली जवाब भेजता है, तो ElevenAgents बैकअप क्रम आजमाता है। प्राइमरी से बैकअप का डिफ़ॉल्ट टाइमआउट 4 सेकंड है, जिसे 2 से 15 सेकंड तक बदला जा सकता है, और सिस्टम उपलब्ध मॉडल्स पर कम-से-कम 3 प्रयास करता है।

प्राइमरी मॉडल के रूप में इस्तेमाल किया गया कस्टम LLM कम-से-कम 3 बार खुद को फिर से आजमाता है, जब तक कि आप अपना बैकअप क्रम तय न करें। हर काम के लिए सही मॉडल एजेंट को तेज और किफायती दोनों बनाए रखता है।

ऑर्केस्ट्रेशन: एजेंट्स और इंसानों के बीच काम रूट करना

एजेंट ऑर्केस्ट्रेशन किसी काम को पूरा करने में शामिल प्रॉम्प्ट्स, सबएजेंट्स, टूल्स और लोगों को समन्वित करता है। यह कॉल के हर बिंदु पर तय करता है कि आगे क्या होगा।

यह क्या करता है

जिम्मेदारियां बढ़ने पर एक लंबे प्रॉम्प्ट वाले एक एजेंट को मैनेज करना मुश्किल हो जाता है। ऑर्केस्ट्रेशन काम को चरणों में बांटता है, जिनमें हर एक के अपने निर्देश, मॉडल और टूल्स होते हैं, और कॉलर को उनके बीच ले जाता है।

यह क्यों महत्वपूर्ण है

छोटे प्रॉम्प्ट्स का परीक्षण आसान और उन्हें चलाना सस्ता होता है, क्योंकि हर इंटरैक्शन कम टेक्स्ट लोड करता है। फ्लो को बांटने से सस्ता मॉडल ट्रायेज और FAQs संभाल सकता है और केवल जरूरत होने पर मजबूत मॉडल को हैंडऑफ करता है।

ElevenAgents इसे कैसे करता है

ElevenAgents में वर्कफ़्लोज़ ब्रांचिंग कन्वर्सेशन ग्राफ़्स के लिए विज़ुअल बिल्डर हैं।

नोड्स ये हैं:

• सबएजेंट: बेस एजेंट को बदलता या ओवरराइड करता है, जिसमें उसका प्रॉम्प्ट, LLM, वॉइस, टूल्स और नॉलेज बेस शामिल हैं।
• Say: एक संदेश बोलता है—या तो शाब्दिक टेक्स्ट या LLM से जनरेट की गई लाइन।
• डिस्पैच टूल: अलग सफलता और विफलता पथों वाला समर्पित चरण, जो टूल कॉल की गारंटी देता है।
• स्टेट अपडेट करें: फ्लो आगे बढ़ने पर डायनामिक वेरिएबल्स असाइन करता है।
• एजेंट ट्रांसफर: कॉल को दूसरे एजेंट को देता है।
• नंबर पर ट्रांसफर: कॉल को फोन सिस्टम के जरिए AI एजेंट से इंसान के पास ले जाता है।
• कॉल समाप्त करें: बातचीत बंद करता है।

नोड्स के बीच एजेस में प्राकृतिक भाषा की शर्तें होती हैं, जिनका LLM रियल टाइम में मूल्यांकन करता है। सपोर्ट फ्लो तेज मॉडल पर रूटिंग सबएजेंट से शुरू हो सकता है, बिलिंग सवालों को मजबूत मॉडल वाले बिलिंग सबएजेंट के पास भेज सकता है और कॉलर के इंसान से बात करने पर नंबर पर ट्रांसफर नोड के साथ खत्म हो सकता है। लॉन्च के बाद, एनालिटिक्स में Workflow टैब हर नोड के लिए एंट्रीज़, बिताया गया औसत समय, टर्मिनेशन और एज डिस्ट्रीब्यूशन दिखाता है।

ऑर्केस्ट्रेशन एक एजेंट को ऐसे सिस्टम में बदलता है जिसे आप एक-एक नोड करके डिज़ाइन, माप और बेहतर बना सकते हैं।

टूल्स और MCP: एजेंट को कार्रवाई करने देना

फंक्शन कॉलिंग, जिसे टूल कॉलिंग भी कहा जाता है, एजेंट को आपके टेक स्टैक से कनेक्ट किए गए बाहरी सॉफ़्टवेयर से कार्रवाई का अनुरोध करने देती है।

यह प्रश्नों के जवाब देने वाले इंटरफ़ेस को ऐसे एजेंटिक AI सिस्टम में बदल देती है जो आपकी ओर से काम पूरा कर सकता है और दूसरे टूल्स के साथ इंटरैक्ट कर सकता है।

यह क्या करता है

मान लीजिए कॉलर कल की अपॉइंटमेंट को शुक्रवार पर ले जाना चाहता है। एजेंट बुकिंग ढूंढता है, शुक्रवार की उपलब्धता जांचता है, शेड्यूलिंग सिस्टम अपडेट करता है और बदलाव की पुष्टि करता है। हर चरण कार्रवाई करने वाला एक टूल कॉल है।

यह क्यों महत्वपूर्ण है

टूल्स वे जगह हैं जहां बातचीत नतीजे देती है। हर टूल को स्पष्ट इनपुट और आउटपुट चाहिए, और कॉलर को सफलता बताने से पहले एजेंट को पता होना चाहिए कि कॉल सफल हुई या नहीं।

ElevenAgents इसे कैसे करता है

ElevenAgents यूज़र के ऐप्लिकेशन में चलने वाले क्लाइंट टूल्स, बाहरी APIs को कॉल करने वाले वेबहुक टूल्स, ElevenLabs इंफ्रास्ट्रक्चर पर सैंडबॉक्स में कस्टम JavaScript चलाने वाले कोड टूल्स, MCP टूल्स और बिल्ट-इन सिस्टम टूल्स सपोर्ट करता है।

सिस्टम टूल्स में एंड कॉल, लैंग्वेज डिटेक्शन, एजेंट ट्रांसफर, नंबर पर ट्रांसफर, स्किप टर्न, कीपैड टच टोन चलाना और वॉइसमेल डिटेक्शन शामिल हैं। टूल चलने के दौरान आप एम्बिएंट ऑडियो जोड़ सकते हैं और नियंत्रित कर सकते हैं कि कॉलर निष्पादन के दौरान इंटरप्ट कर सकते हैं या नहीं।

मॉडल कॉन्टेक्स्ट प्रोटोकॉल (MCP) एक ओपन स्टैंडर्ड है, जो बताता है कि ऐप्लिकेशन लैंग्वेज मॉडल्स को कॉन्टेक्स्ट और टूल्स कैसे देते हैं। ElevenAgents SSE और स्ट्रीम करने योग्य HTTP के जरिए MCP सर्वर्स से जुड़ता है। वर्कस्पेस एडमिन्स पहले ऑप्ट इन करते हैं, क्योंकि हर वर्कस्पेस के लिए MCP डिफ़ॉल्ट रूप से बंद होता है। फिर आप हर सर्वर के लिए अप्रूवल मोड चुनते हैं: Always Ask, Fine-Grained Tool Approval या No Approval।

client_tool_call और mcp_tool_call जैसे क्लाइंट इवेंट्स टूल गतिविधि रिपोर्ट करते हैं, और MCP इवेंट रिपोर्ट्स की चार स्थितियां हैं: लोडिंग, अप्रूवल की प्रतीक्षा, सफलता और विफलता। विश्वसनीय टूल्स एजेंट को वास्तविक दुनिया तक पहुंच देते हैं और स्पष्ट अप्रूवल नियम उस पहुंच को नियंत्रण में रखते हैं।

नॉलेज और मेमोरी: तथ्य और कॉलर कॉन्टेक्स्ट

रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) एजेंट को आपके अपने कंटेंट से तथ्य देता है, जैसे आंतरिक फैक्ट डेटाबेस या व्यापक क्लाइंट हिस्ट्री लॉग। मेमोरी और पर्सनलाइज़ेशन इसे कॉलर का कॉन्टेक्स्ट देते हैं, जिससे एजेंट आपके बिज़नेस के लिए पर्सनलाइज़ेशन और उपयोगिता बेहतर कर सकता है।

यह क्या करता है

लैंग्वेज मॉडल की ट्रेनिंग कटऑफ होती है और उसे आपके डॉक्यूमेंटेशन या रिकॉर्ड्स का एक्सेस नहीं होता। RAG हर क्वेरी के लिए नॉलेज बेस खोजता है, सबसे प्रासंगिक अंश निकालता है और उपयोगी जवाब के लिए जरूरी अतिरिक्त कॉन्टेक्स्ट देने हेतु उन्हें मॉडल को देता है।

पर्सनलाइज़ेशन डेटा एजेंट को बताता है कि कौन कॉल कर रहा है और उसके लिए क्या प्रासंगिक है।

यह क्यों महत्वपूर्ण है

अप्रूव्ड कंटेंट पर जवाबों को आधारित रखने से जवाब सटीक रहते हैं। रिट्रीवल की गति भी महत्वपूर्ण है, क्योंकि जुड़ने वाला हर मिलीसेकंड आपके ग्राहकों के इंतजार का समय बढ़ाता है। पर्सनलाइज़ेशन फंक्शन्स कॉलर्स को अलग-अलग कॉल्स में जानकारी दोहराने से भी बचाते हैं, क्योंकि हर नए सेशन की शुरुआत में आपके एजेंट्स के पास CRM रिकॉर्ड्स उपलब्ध होंगे।

ElevenAgents इसे कैसे करता है

आप नॉलेज बेस में फाइल्स (PDF, DOCX, TXT, MD, HTML या EPUB; प्रत्येक अधिकतम 20 MB), URLs या पेस्ट किए गए टेक्स्ट के रूप में डॉक्यूमेंट्स जोड़ते हैं। अगर किसी डॉक्यूमेंट का निकाला गया टेक्स्ट प्रॉम्प्ट में, लगभग 300,000 कैरेक्टर्स तक, फिट हो जाता है तो वह फुल कॉन्टेक्स्ट इस्तेमाल करता है। बड़े डॉक्यूमेंट्स RAG इस्तेमाल करते हैं। रिट्रीवल हर टर्न या ऑन डिमांड चल सकता है और डिफ़ॉल्ट यूसेज मोड Auto है, जो RAG सक्षम होने और डॉक्यूमेंट इंडेक्स होने पर इसका उपयोग करता है।

ElevenLabs रिट्रीवल स्पीड पर सीधे काम करता है। उसका इंजीनियरिंग लेख, How we reduced RAG latency, उन मॉडल्स के साथ मीडियन RAG लेटेंसी को 326 ms से 155 ms तक घटाने का विवरण देता है, जिन्हें ElevenLabs अपने पहले से संचालित इंफ्रास्ट्रक्चर पर खुद होस्ट करता है।

कॉलर कॉन्टेक्स्ट के लिए ElevenAgents {{ var_name }} जैसे लिखे डायनामिक वेरिएबल्स का उपयोग करता है, जो संदेशों, सिस्टम प्रॉम्प्ट्स और टूल्स में भरते हैं। Twilio, SIP ट्रंक, WhatsApp और SMS के जरिए आने वाली कॉल्स के लिए ElevenAgents बातचीत शुरू होने से पहले आपके सर्वर से इनिशिएशन डेटा फ़ेच कर सकता है। आपका सर्वर caller_id से कॉलर ढूंढता है और, उदाहरण के लिए आपके CRM से, अधिकतम 256 KB के रिस्पॉन्स में वेरिएबल्स लौटाता है। कॉल के बाद पोस्ट-कॉल वेबहुक्स मूल्यांकन परिणाम और निकाला गया डेटा आपके बाहरी सिस्टम्स तक पहुंचाते हैं।

रिट्रीवल और पर्सनलाइज़ेशन मिलकर एजेंट को सही तथ्य और सही कॉलर, दोनों देते हैं।

स्पीच सिंथेसिस: एजेंट को आवाज़ देना

टेक्स्ट टू स्पीच (TTS), लैंग्वेज मॉडल के जवाब को बोली गई ऑडियो में बदलता है। यही वह परत है जिसे कॉलर वास्तव में सुनता है।

यह क्या करता है

मॉडल प्राकृतिक गति और भावनात्मक डिलीवरी के साथ टेक्स्ट को ऑडियो में बदलता है। लाइव कॉल में यह ऑडियो को हिस्सों में स्ट्रीम करता है, इसलिए पूरा जवाब जनरेट होने से पहले प्लेबैक शुरू हो जाता है।

यह क्यों महत्वपूर्ण है

लेटेंसी और डिलीवरी, दोनों कॉलर द्वारा कॉल की रेटिंग को आकार देते हैं। रियल-टाइम काम में दो संख्याएं मायने रखती हैं: ऑडियो बनाने का समय और कॉलर के पहली आवाज़ सुनने तक का समय। नामों, दवाओं के नामों और तकनीकी शब्दों का उच्चारण भी सही होना चाहिए, वरना कॉलर एजेंट पर भरोसा खो देते हैं।

Eleven v4 वॉइस लेयर को कैसे पावर देता है

Eleven v4 ElevenLabs का अब तक का सबसे भावपूर्ण टेक्स्ट टू स्पीच मॉडल है, जो पूरी तरह नए आर्किटेक्चर पर बना है। Eleven v4 Turbo एजेंट्स जैसे रियल-टाइम उपयोग के लिए कम-लेटेंसी वेरिएंट है, जिसे ElevenAgents के साथ एक सिस्टम के रूप में ऑप्टिमाइज़ किया गया है।

ElevenLabs ने सितंबर 2026 में नेटवर्क लेटेंसी हटाकर WebSocket स्ट्रीमिंग पर लेटेंसी आंकड़े मापे। Eleven v4 सितंबर 2026 में Artificial Analysis Provider Voice Arena Leaderboard पर पहले स्थान पर रहा*, और ब्लाइंड टेस्ट्स में लगभग 75% श्रोताओं ने इसे पसंद किया**।

* Artificial Analysis, Provider Voice Arena Leaderboard, सितंबर 2026

** Cartesia Sonic 3.6, Inworld TTS-2, Google Gemini 3.8 Flash-Lite TTS और Google Gemini 3.8 Flash TTS के विरुद्ध हेड-टू-हेड यूज़र प्रेफरेंस टेस्टिंग पर आधारित।

Eleven v4 डिलीवरी के लिए [laughs] जैसे इनलाइन ऑडियो टैग्स और उच्चारण के लिए IPA फोनिम सपोर्ट करता है। हेल्थकेयर एजेंट्स में यह उच्चारण नियंत्रण मेडिकल शब्दों को कवर करता है। ElevenAgents इसके ऊपर एजेंट-लेवल कंट्रोल्स जोड़ता है। मल्टी-वॉइस सपोर्ट एक एजेंट को मल्टी-कैरेक्टर बातचीत में वॉइसेज़ के बीच स्विच करने देता है। गति 0.7x से 1.2x तक है। हर अतिरिक्त भाषा अपनी वॉइस इस्तेमाल कर सकती है। प्रनन्सिएशन डिक्शनरीज़ खास शब्दों के लिए IPA या CMU नोटेशन लेती हैं।

तेज पहली आवाज़ और सटीक, भावपूर्ण वॉइस एजेंट को बातचीत के साथी जैसा महसूस कराती है।

टेलीफोनी और ट्रांसपोर्ट: एजेंट को कॉलर्स से जोड़ना

ट्रांसपोर्ट लेयर कॉलर और एजेंट के बीच ऑडियो पहुंचाती है। आप कौन सा टेलीफोनी चैनल इस्तेमाल करते हैं, इसके आधार पर वॉइस AI इंफ्रास्ट्रक्चर में यहां शामिल इंटीग्रेशन्स बदलेंगे।

यह क्या करता है

फोन कॉल्स टेलीफोन नेटवर्क और SIP पर चलती हैं, जबकि ब्राउज़र और ऐप बातचीत WebRTC या WebSocket पर चलती है। वेबसाइट विजेट ब्राउज़र कनेक्शन को एक तैयार इंटरफ़ेस में लपेट देता है।

यह क्यों महत्वपूर्ण है

हर चैनल की सेटअप जरूरतें और ऑडियो सीमाएं अलग होती हैं, इसलिए अपने चैनल जल्दी तय करें। फोन-केंद्रित डिप्लॉयमेंट के लिए ट्रंकिंग और नंबर मैनेजमेंट चाहिए। प्रोडक्ट डिप्लॉयमेंट के लिए SDK चाहिए।

ElevenAgents इसे कैसे करता है

• SIP ट्रंकिंग: आपके फोन सिस्टम को सीधे ElevenLabs से, इनबाउंड और आउटबाउंड दोनों के लिए, जोड़ती है। यह Twilio, Vonage, Sinch, Infobip, Telnyx और अन्य स्टैंडर्ड प्रदाताओं के साथ काम करती है। सिग्नलिंग पोर्ट 5060 पर TCP या पोर्ट 5061 पर TLS 1.2 या उसके बाद के वर्जन पर चलती है और ऑडियो G.711 या G.722 का उपयोग करता है। हर कॉल के लिए कम-से-कम 100 Kbps की योजना बनाएं। समवर्ती कॉल सीमाएं आपके सब्सक्रिप्शन टियर के अनुसार होती हैं और कॉल क्यूइंग सक्षम होने पर कॉलर इंतजार करते हैं।
• नेटिव Twilio इंटीग्रेशन: इनबाउंड और आउटबाउंड कॉल्स के लिए खरीदा गया Twilio नंबर इंपोर्ट करें। वेरिफ़ाइड कॉलर IDs केवल आउटबाउंड के लिए काम करते हैं।
• बैच कॉल्स: CSV या XLS रिसिपिएंट लिस्ट अपलोड करें और हर अतिरिक्त कॉलम डायनामिक वेरिएबल बन जाता है। आप तुरंत चला सकते हैं या शुरुआत शेड्यूल कर सकते हैं। बैचेज़ आपके वर्कस्पेस कॉनकरेंसी लिमिट के 50% या एजेंट कॉनकरेंसी लिमिट के 70% में से कम का उपयोग करते हैं, जिससे इनकमिंग कॉल्स के लिए क्षमता बचती है।
• WebRTC और WebSocket: SDKs डिफ़ॉल्ट रूप से वॉइस के लिए WebRTC और केवल टेक्स्ट वाली बातचीत के लिए WebSocket इस्तेमाल करते हैं। प्राइवेट एजेंट्स आपके सर्वर पर बनाए गए साइन किए गए URL या कन्वर्सेशन टोकन से ऑथेंटिकेट होते हैं। WebSocket एंडपॉइंट wss://api.elevenlabs.io/v1/convai/conversation है।
• SDKs: Python, JavaScript, React, React Native, Swift, Kotlin और Unity।
• विजेट: किसी पेज में <elevenlabs-convai> एलिमेंट जोड़ें। यह केवल वॉइस, वॉइस के साथ टेक्स्ट और चैट मोड्स सपोर्ट करता है, और एजेंट क्विक रिप्लाईज़ व कैरुसेल्स दिखा सकता है।

एक एजेंट फोन, वेब, WhatsApp, SMS और ईमेल को संभाल सकता है, जिससे टीमें एक बार बनाकर कई चैनलों पर डिप्लॉय कर सकती हैं।

गार्डरेल्स: एजेंट को काम पर केंद्रित रखना

गार्डरेल्स ऐसे कंट्रोल्स हैं जो एजेंट के व्यवहार को तय सीमाओं में रखते हैं। वे ग्राउंडिंग के साथ काम करते हैं, क्योंकि गार्डरेल एजेंट के कहने की बात को सीमित करता है, लेकिन उसके पीछे के तथ्यों को सही नहीं बनाता। गार्डरेल्स एजेंट बातचीत के समानांतर चलते हैं और आपके AI एजेंट संवादों को अनुपालक व सटीक रखने में मदद करते हैं।

यह क्या करता है

ElevenAgents गार्डरेल्स लागू करता है तीन स्तरों पर। सिस्टम प्रॉम्प्ट अनुमत और निषिद्ध व्यवहार तय करता है, आदर्श रूप से # Guardrails हेडिंग के तहत। यूज़र इनपुट वैलिडेशन प्रॉम्प्ट इंजेक्शन के लिए संदेशों की जांच करता है। रिस्पॉन्स वैलिडेशन हर जवाब को डिलीवरी से पहले जांचता है।

यह क्यों महत्वपूर्ण है

विषय से भटकने या नीति गढ़ने वाला एजेंट जल्दी भरोसा खत्म करता है। कस्टमर सपोर्ट एजेंट को जवाब देने से पहले किसी अप्रूव्ड स्रोत से रिफंड पॉलिसी निकालनी चाहिए और गार्डरेल उस सीमा को लागू करता है।

ElevenAgents इसे कैसे करता है

ElevenAgents ने सितंबर 2026 में Guardrails 2.0 लॉन्च किया। इस नए सिस्टम में, गार्डरेल्स को प्रभावी बनाने वाली कॉन्फ़िगरेशन्स की एक झलक यहां है:

• फोकस: एजेंट को विषय पर और उसके सिस्टम प्रॉम्प्ट के अनुरूप रखता है।
• मैनिपुलेशन: प्रॉम्प्ट इंजेक्शन का पता लगाता है और जोखिम वाली बातचीत समाप्त कर देता है।
• कंटेंट: यौन रूप से स्पष्ट, हिंसक या राजनीतिक रूप से संवेदनशील सामग्री जैसी कैटेगरीज़ को फ़्लैग करता है।
• कस्टम: प्राकृतिक भाषा में लिखे आपके बिज़नेस नियम, जिनका हर जवाब पर मूल्यांकन होता है।

एग्जीक्यूशन मोड लेटेंसी का समझौता तय करता है। स्ट्रीमिंग मोड जांच पूरी होने से पहले जवाब शुरू होने देता है, इसलिए ब्लॉक कॉल समाप्त करने से पहले 500 ms से कम ऑडियो चल सकता है, और ElevenLabs वॉइस एजेंट्स के लिए इसकी सलाह देता है। ब्लॉकिंग मोड वैलिडेशन की प्रतीक्षा करता है और लगभग 200 से 500 ms जोड़ता है।

कस्टम गार्डरेल ट्रिगर होने पर ट्रिगर कार्रवाई या तो कॉल समाप्त करती है या आपके लिखे फीडबैक के साथ जवाब को तीन बार तक फिर से आजमाती है। आपका क्लाइंट guardrail_triggered इवेंट सुन सकता है।

चुनी गई लेटेंसी प्रोफ़ाइल वाले स्तरित गार्डरेल्स हर जवाब को धीमा किए बिना व्यवहार को अनुमानित रखते हैं।

टेस्टिंग और एक्सपेरिमेंट्स: साबित करना कि एजेंट काम करता है

टेस्टिंग लॉन्च से पहले एजेंट की जांच करती है। एक्सपेरिमेंट्स लॉन्च के बाद लाइव ट्रैफ़िक के मुकाबले बदलावों की जांच करते हैं।

यह क्या करता है

ElevenAgents में तीन एजेंट टेस्ट प्रकार हैं। Simulation सिम्युलेटेड यूज़र के साथ पूरी बातचीत चलाता है और जांचता है कि वह तय नतीजे तक पहुंचती है या नहीं; इसमें 50 तक टर्न्स होते हैं (डिफ़ॉल्ट 5)। Next Reply टेस्ट केवल एजेंट के अगले संदेश को आपके मानदंडों के अनुसार परखते हैं। Tool Call टेस्ट सत्यापित करते हैं कि एजेंट सही पैरामीटर्स के साथ सही टूल इस्तेमाल करता है, जिसका मिलान सटीक वैल्यू, regex या LLM मूल्यांकन से होता है। सिम्युलेशन्स में आप किसी टूल को नहीं, सभी टूल्स को या चुनिंदा टूल्स को मॉक कर सकते हैं।

यह क्यों महत्वपूर्ण है

एक सफल रन दिखाता है कि एजेंट सफल हो सकता है। बार-बार टेस्ट चलाने से पता चलता है कि वह कितनी बार सफल होगा। API 2 से 20 तक repeat_count स्वीकार करता है और परिणाम पास रेट दिखाते हैं। हरा मतलब 100%, एम्बर मतलब 80% या अधिक और लाल मतलब 80% से कम। विफलताओं को कारण के आधार पर समूहित किया जाता है। प्रॉम्प्ट्स, मॉडल्स, वर्कफ़्लोज़ और इंटीग्रेशन्स सभी व्यवहार बदलते हैं, इसलिए लॉन्च के बाद भी टेस्टिंग जारी रहती है।

एक्सपेरिमेंट्स कैसे काम करते हैं

एक्सपेरिमेंट्स एजेंट वर्जनिंग पर बने A/B टेस्ट हैं। आप अपनी कॉन्फ़िगरेशन की ब्रांच बनाते हैं, सिस्टम प्रॉम्प्ट, वर्कफ़्लो, वॉइस, टूल्स, नॉलेज बेस या LLM सेटिंग्स जैसे एक वेरिएबल को बदलते हैं और लाइव ट्रैफ़िक का एक हिस्सा वेरिएंट पर रूट करते हैं। ElevenLabs 5 से 10% से शुरू करने की सलाह देता है।

रूटिंग कन्वर्सेशन ID के आधार पर डिटरमिनिस्टिक है, इसलिए कोई यूज़र उसी ब्रांच पर रहता है और प्रतिशतों का कुल 100% होना चाहिए। ElevenLabs ग्राहक CARS24 ने रिपोर्ट में बताए अनुसार, हर चरण पर दो दिन रुकते हुए ट्रैफ़िक को 5%, 10%, 20%, 50% और 100% तक बढ़ाया।

प्री-लॉन्च टेस्ट्स और लाइव एक्सपेरिमेंट्स मिलकर बदलावों को मापे गए सुधारों में बदलते हैं।

ऑब्ज़र्वेबिलिटी: प्रोडक्शन में क्या होता है, इसे मापना

ऑब्ज़र्वेबिलिटी यह देखने की क्षमता है कि एजेंट ने क्या किया, उसने कैसा परफॉर्म किया और जरूरत पड़ने पर कहां विफल हुआ। टेस्ट में काम करने वाला एजेंट वास्तविक कॉलर्स के साथ अलग व्यवहार कर सकता है, इसलिए पूरी ऑब्ज़र्वेबिलिटी और ऑडिट किए जा सकने वाले रिकॉर्ड रखना जरूरी है।

यह क्या करता है

कन्वर्सेशन एनालिसिस हर कॉल को स्कोर करता है। सक्सेस इवैल्यूएशन लक्ष्य प्राप्ति और गुणवत्ता के लिए आपके तय मानदंड लागू करता है और डेटा कलेक्शन कॉन्टैक्ट विवरण व समस्या प्रकार जैसे स्ट्रक्चर्ड फ़ील्ड्स निकालता है। एनालिटिक्स डैशबोर्ड कॉल वॉल्यूम, अवधि, लागत, एरर रेट्स और लेटेंसी जोड़ता है। एक्टिव कॉल्स रियल टाइम में अपडेट होती हैं और एरर रेट बढ़ने पर अलर्ट्स ट्रिगर होते हैं।

यह क्यों महत्वपूर्ण है

मॉनिटरिंग के बिना, खराब कॉल बस एक किस्सा है। इसके साथ आप देख सकते हैं कि किस नोड, टूल या मॉडल ने समस्या पैदा की।

अपने खास काम के लिए सबसे उपयोगी मेट्रिक्स चुनें। सपोर्ट एजेंट समाधान और एस्केलेशन पर निर्भर करता है, जबकि आउटबाउंड एजेंट मुख्य रूप से कनेक्शन और कंप्लीशन पर ध्यान देगा।

स्केल, विश्वसनीयता और इंसानी हैंडऑफ

वॉइस AI इंफ्रास्ट्रक्चर को 5 ग्राहकों से बात करनी हो या 500,000 से, हर स्थिति में डिलीवर करने में सक्षम होना चाहिए। बड़े वॉल्यूम पर भी इन कॉम्पोनेंट्स को टिकाऊ होना चाहिए और जरूरत पड़ने पर इंसानों तक एस्केलेट करने में सक्षम होना चाहिए।

यह क्या करता है

स्केल का अर्थ है स्पीच रिकग्निशन, LLM इन्फरेंस, स्पीच सिंथेसिस, इंटीग्रेशन्स और टेलीफोनी में एक साथ होने वाली कई बातचीत सपोर्ट करना। विश्वसनीयता का अर्थ है कि इन सभी डिपेंडेंसीज़ के लिए विफलता का परिभाषित पथ हो। हैंडऑफ का अर्थ है इंसान तक पहुंचने का स्पष्ट मार्ग।

हालांकि ये वॉइस AI इंफ्रास्ट्रक्चर के सख्त अर्थ में कॉम्पोनेंट्स नहीं हैं, लेकिन व्यवहार में अच्छे सिस्टम के लिए ये सभी जरूरी हैं।

यह क्यों महत्वपूर्ण है

दस टेस्ट कॉल्स संभालने वाला सिस्टम दस हजार पर अलग व्यवहार कर सकता है। टाइम आउट होने वाला बुकिंग टूल एजेंट को ऐसी बुकिंग की पुष्टि कराने का कारण नहीं बनना चाहिए जो कभी हुई ही नहीं। इंसान से बात करने का अनुरोध करने वाले कॉलर को कॉन्टेक्स्ट बरकरार रखते हुए किसी इंसान तक पहुंचना चाहिए, आमतौर पर वॉर्म ट्रांसफर के जरिए।

ElevenAgents इसे कैसे करता है

कॉनकरेंसी लिमिट्स सब्सक्रिप्शन टियर के अनुसार होती हैं और लिमिट पहुंचने पर कॉल क्यूइंग कॉलर्स को होल्ड पर रखती है। LLM कैस्केडिंग मॉडल आउटेजेस को कवर करती है। नंबर पर ट्रांसफर नोड्स, नंबर पर ट्रांसफर सिस्टम टूल और एजेंट ट्रांसफर हैंडऑफ संभालते हैं, जबकि इवैल्यूएशन मानदंड तय कर सकते हैं कि कब एस्केलेट करना है। साइलेंट पीरियड्स की बिलिंग सामान्य प्रति-मिनट दर के 5% पर होती है।

ElevenLabs बड़े पैमाने पर प्रोडक्शन परिणाम रिपोर्ट करता है। ElevenAgents हर हफ्ते 10 मिलियन से ज्यादा बातचीत पावर करता है। Building Enterprise-grade Voice Agents रिपोर्ट के अनुसार, Meesho प्रति दिन 60,000+ कॉल्स में करीब 90% सपोर्ट क्वेरीज़ ऑटोमेट करता है। चेक गणराज्य में ElevenLabs-पावर्ड एजेंट्स राष्ट्रीय बेनिफ़िट्स हॉटलाइन्स पर प्रतिदिन करीब 5,000 कॉल्स संभालते हैं और State of Conversational Agents in Government रिपोर्ट के अनुसार, 85% पूछताछ को खुद हल करते हैं।

शुरुआत से ही लोड, विफलता और हैंडऑफ की योजना बनाना ही डेमो को डिप्लॉयमेंट से अलग करता है।

2026 में प्रोडक्शन-रेडी वॉइस AI इंफ्रास्ट्रक्चर में क्या देखें

अपनी जरूरतों के मुकाबले किसी भी वॉइस AI प्लेटफ़ॉर्म का मूल्यांकन करने के लिए इस चेकलिस्ट का उपयोग करें।

• स्पीच रिकग्निशन: नामों और आइडेंटिफ़ायर्स सहित, आपकी भाषाओं, एक्सेंट्स और ऑडियो गुणवत्ता के लिए सटीक ट्रांसक्रिप्ट्स।
• टर्न-टेकिंग: कॉन्फ़िगर किया जा सकने वाला एंड-ऑफ-टर्न व्यवहार, बार्ज-इन और मापा गया इंटरप्शन रिस्पॉन्स टाइम।
• मॉडल चयन: हर एजेंट या सबएजेंट के लिए चुना जा सकने वाला LLM, कस्टम LLM विकल्प और ऑटोमैटिक फ़ॉलबैक।
• ऑर्केस्ट्रेशन: कई चरणों वाले वर्कफ़्लोज़ और विशेषज्ञ एजेंट्स के बीच रूटिंग।
• टूल्स: वेबहुक्स, क्लाइंट टूल्स, MCP सपोर्ट और अप्रूवल कंट्रोल्स।
• नॉलेज: आपके अपने डॉक्यूमेंट्स, ऐसी रिट्रीवल लेटेंसी के साथ जिसे आप माप सकें।
• पर्सनलाइज़ेशन: पहला शब्द बोले जाने से पहले उपलब्ध कॉलर डेटा।
• वॉइस: पहली स्पीच तक कम समय और उच्चारण व अभिव्यक्ति पर नियंत्रण।
• चैनल्स: SDKs और API के साथ फोन, वेब, मोबाइल और मैसेजिंग।
• गार्डरेल्स: ज्ञात लेटेंसी लागत के साथ कॉन्फ़िगर की जा सकने वाली व्यवहार सीमाएं।
• टेस्टिंग: सिम्युलेटेड बातचीत, टूल कॉल जांच और रिपीट रन।
• एक्सपेरिमेंट्स और एनालिटिक्स: A/B टेस्ट्स, परसेंटाइल लेटेंसी और एरर ब्रेकडाउन।
• स्केल और हैंडऑफ: दस्तावेजीकृत कॉनकरेंसी, क्यूइंग और इंसानों तक एस्केलेशन।

ElevenAgents जैसे प्रमुख AI वॉइस एजेंट सिस्टम्स आपको ये सभी कॉम्पोनेंट्स एक प्लेटफ़ॉर्म में देते हैं।

आज ही टीम से संपर्क करके शुरुआत करें या अकाउंट के लिए साइन अप करके अपना AI एजेंट सिस्टम बनाएं।

वॉइस AI इंफ्रास्ट्रक्चर के बारे में अक्सर पूछे जाने वाले सवाल