ElevenLabs एजेंट्स की वॉइस ऑर्केस्ट्रेशन के साथ बाहरी एजेंट्स का इंटीग्रेशन

अग्रणी एजेंट ऑर्केस्ट्रेटर अब जटिल काम संभालने और एंटरप्राइज़ टूलिंग के पूरे सेट में काम करने में लगातार अधिक सक्षम हो रहे हैं। इसके लिए एप्लिकेशन, बातचीत और सिस्टम की स्थिति को सावधानी से प्रबंधित करना ज़रूरी है। वॉइस के अलावा अन्य मॉडेलिटी के लिए, एक सामान्य शब्द के तहत कुछ प्रचलित पैटर्न उभरे हैं—कॉन्टेक्स्ट इंजीनियरिंग,—जिसका लक्ष्य किसी एजेंट के सिस्टम प्रॉम्प्ट के इर्द-गिर्द लगातार एक जैसी प्रथाएं बनाना है, जैसे-जैसे इंटरैक्शन आगे बढ़ता है। वॉइस जोड़ने से न सिर्फ़ वॉइस इंटरैक्शन के घटकों को संभालने के लिए स्थिति की एक अतिरिक्त परत आती है, बल्कि आदर्श रूप से दूसरी मॉडेलिटी पर पहले किए गए काम के आर्टिफैक्ट्स को दोबारा इस्तेमाल करने की सुविधा भी मिलती है। 

इस पोस्ट में, हम बताते हैं कि ElevenLabs Agents बाहरी एजेंट्स को कैसे सपोर्ट करते हैं और कौन-से पैटर्न उनके इंटीग्रेशन पर बारीक नियंत्रण देते हैं। इन तरीकों से ग्राहक ElevenLabs की बेहतरीन वॉइस ऑर्केस्ट्रेशन का लाभ ले सकते हैं और अपने व्यापक ऑर्केस्ट्रेशन का पूरा स्वामित्व बनाए रख सकते हैं।

मुख्य घटक

ElevenLabs Agents

अपने सबसे सरल रूप में, ElevenLabs Agent को Websocket क्लाइंट के ज़रिए एक्सेस किया जा सकता है। बातचीत में सर्वर और क्लाइंट इवेंट्स की जानकारी JSON ऑब्जेक्ट्स के रूप में एजेंट तक और उससे वापस भेजी जाती है। जब एजेंट यूज़र की आवाज़ को ट्रांसक्राइब करता है, तो वह तुरंत जनरेशन रिक्वेस्ट ट्रिगर करता है। हम ज़्यादातर प्रमुख मॉडल प्रोवाइडर्स को सपोर्ट करते हैं और ग्राहकों को अपना Custom LLM लाने की सुविधा देते हैं। जनरेशन रिक्वेस्ट का जवाब देने के लिए Custom LLM के पीछे अधिक जटिल ऑर्केस्ट्रेटर (एजेंट्स) लाने पर, ग्राहकों को यह सुनिश्चित करना होगा कि वह OpenAI के Chat Completions या Responses API में से किसी एक को सपोर्ट करता हो। अच्छी बात यह है कि ज़्यादातर प्रमुख एजेंट-बिल्डिंग फ्रेमवर्क (CrewAI, LangChain, LangGraph, HayStack, LlamaIndex, ...) इस API फ़ॉर्मैटिंग स्पेसिफिकेशन को आसानी से सपोर्ट करते हैं। 

इंटीग्रेशन के बाद, इन एजेंट्स को अक्सर अपने पीछे मौजूद वॉइस ऑर्केस्ट्रेटर की परवाह किए बिना, किसी भी समय अपनी आंतरिक और बाहरी स्थिति पढ़ने और अपडेट करने की क्षमता चाहिए होती है। इसका प्रभावी प्रबंधन मौजूदा सिर्फ़-टेक्स्ट एजेंट्स के साथ एकरूपता सुनिश्चित करता है। 

स्थिति प्रबंधन

परिभाषा के अनुसार, अपने वातावरण में कुशलता से नेविगेट करने के लिए एजेंट को जिस डेटा पर नज़र रखनी होती है, वह काम के हिसाब से बहुत अलग होता है। बाहरी एजेंट से चलने वाले ElevenLabs Agents के लिए, कुछ स्पष्ट श्रेणियों में स्थिति बनाए रखना उपयोगी होता है।

आंतरिक स्थिति बातचीत की गतिशीलता को नियंत्रित करती है। एजेंट की आंतरिक स्थिति के हिस्से के रूप में ट्रैक किए जाने वाले तत्वों के उदाहरण:

• वर्तमान बातचीत का प्रवाह, जिसमें वॉइस गतिविधि, रुकावटें और सक्रिय वक्ता की पहचान शामिल है।
• रियल-टाइम ट्रांसक्रिप्ट विश्लेषण से मिले एप्लिकेशन-विशिष्ट इनसाइट्स, जैसे पहचाने गए इंटेंट्स, एंटिटीज़ या भावनात्मक रुझान।
• रीज़निंग ट्रेस, जिसमें बीच के विचार, परिकल्पनाएं और समाधान तैयार करने के पहले के प्रयास शामिल हैं।
• कॉन्फ़िगरेशन और ऑपरेशनल पैरामीटर्स, जैसे इसके सक्रिय लक्ष्य, काम करने का मोड और इंटरैक्शन के दौरान इसके व्यवहार को दिशा देने वाली अस्थायी सीमाएं।

दूसरी ओर, बाहरी स्थिति मुख्य रूप से उन प्रासंगिक सिस्टम्स और लोगों पर केंद्रित होती है, जिनके साथ एजेंट इंटरैक्ट करता है या जिन्हें प्रभावित करता है। एजेंट की बाहरी स्थिति के हिस्से के रूप में ट्रैक किए जाने वाले तत्वों के उदाहरण:

• अन्य यूज़र्स या सिस्टम्स की स्थिति, जिनसे यह इंटरैक्ट करता है, जैसे उनके वर्तमान लक्ष्य, उपलब्धता या अनुमतियां।
• टूल्स और नॉलेज बेस, जैसे API, डेटाबेस या इंटीग्रेशन, जो एजेंट की काम करने की क्षमता को प्रभावित कर सकते हैं।
• बाहरी प्रतिभागियों या सिस्टम्स से जुड़े जारी कार्य और निर्भरताएं, जो एजेंट के अगले कदमों को प्रभावित करती हैं।

हम यूज़र के साथ एजेंट के संबंध के पूरे जीवनचक्र में इस जानकारी को भरोसेमंद ढंग से बनाए रखने का एक सामान्य पैटर्न बताते हैं।

समाधान के घटक

ओवरव्यू 

इस सेक्शन में, हम जटिल बाहरी एजेंट्स को सफलतापूर्वक इंटीग्रेट करने के लिए आवश्यक आर्किटेक्चर घटकों और इम्प्लीमेंटेशन विवरणों को कवर करते हैं। इस तरीके का मूल आधार सभी सर्विसेज़ में किसी सेशन को दर्शाने वाले मनमाने, लेकिन यूनिक आइडेंटिफ़ायर को प्रॉक्सी करने की क्षमता है। कस्टम LLM का उपयोग करने वाले ElevenLabs Agents के लिए, कॉल शुरू करते समय extra body ऑब्जेक्ट में LLM पैरामीटर के रूप में आवश्यक आइडेंटिफ़ायर पास करके यह आसानी से किया जा सकता है, जो कन्वर्सेशन ओवरराइड्स के हिस्से के रूप में भेजा जाता है। इससे आइडेंटिफ़ायर यूज़र से होते हुए ElevenLabs Agent के माध्यम से बाहरी एजेंट तक पहुंच जाता है। 

कस्टम LLM के पीछे मौजूद स्टेटफुल प्रॉक्सी पर ध्यान दें। यह सर्विस, जो आमतौर पर मौजूद नहीं होती, हमें अलग-अलग जनरेशन रिक्वेस्ट्स को बाहरी एजेंट से कनेक्शन दर्शाने वाले मनमाने आइडेंटिफ़ायर्स से मैप करने देती है। इस सर्विस के इम्प्लीमेंटेशन का स्वामित्व बाहरी एजेंट के डेवलपर्स के पास होता है। अपने सरलतम रूप में, प्रॉक्सी यूनिक आइडेंटिफ़ायर्स से दर्शाए गए कनेक्शंस को प्रबंधित करती है, जो ElevenLabs बातचीत या कॉल SID (टेलीफोनी के लिए) से मैप होते हैं। वहीं, अधिक उन्नत वर्ज़न बातचीत को कई इंटरैक्शन तक फैले अधिक जटिल ग्राहक संबंधों से मैप करने में एक पदानुक्रम जोड़ सकते हैं।

इन अधिक उन्नत कॉन्फ़िगरेशन में, प्रॉक्सी ऐसे अतिरिक्त आइडेंटिफ़ायर्स बनाए रखती है जो एक ही डाउनस्ट्रीम सेशन से जुड़ी एक रिक्वेस्ट से आगे जाते हैं। हर आइडेंटिफ़ायर केवल एक बातचीत या कॉल SID को दर्शाने के बजाय, प्रॉक्सी एक आइडेंटिफ़ायर को कई संबंधित इंटरैक्शन से जोड़ सकती है। इससे सिस्टम अलग-अलग चैनलों में होने वाली ग्राहक यात्राओं को ट्रैक कर सकता है, पुराने कॉन्टेक्स्ट का दोबारा इस्तेमाल कर सकता है और एक साथ कई इंटरैक्शन को कोऑर्डिनेट कर सकता है। उदाहरण के लिए, एक ही मैपिंग कई वेब चैट सेशन, फ़ॉलो-अप वॉइस कॉल और आंतरिक सपोर्ट वर्कफ़्लो को एक ही लॉजिकल ग्राहक आइडेंटिफ़ायर के तहत समूहित कर सकती है। प्रॉक्सी फिर कस्टम LLM के पीछे एकीकृत स्थिति बनाए रखते हुए, सरल नियमों के आधार पर रिक्वेस्ट्स को सही आइडेंटिफ़ायर तक रूट कर सकती है। इससे बाहरी एजेंट द्वारा प्रबंधित अधिक लचीले और स्थायी मल्टी-स्टेप इंटरैक्शन संभव होते हैं।

मैसेज पासिंग

जनरेशन रिक्वेस्ट्स को उच्च-स्तरीय एंटिटीज़ से सफलतापूर्वक मैप करने के अलावा, स्टेटफुल प्रॉक्सी API रिक्वेस्ट्स के ज़रिए एप्लिकेशन फ्रंटएंड या अलग राउटर सर्विस जैसे बाहरी स्रोतों के साथ द्विदिश मैसेज पासिंग को सपोर्ट कर सकती है। जिन एप्लिकेशंस में इसकी ज़रूरत होती है, वहां ElevenLabs Agents को यह जानने की आवश्यकता नहीं होती कि मैसेज दूसरी सर्विसेज़ तक भेजे जा रहे हैं।  

उदाहरण के लिए, बाहरी एजेंट्स के लिए जारी वॉइस गतिविधि को देख पाना अक्सर उपयोगी होता है, ताकि वे तय कर सकें कि यूज़र बोल रहा है या नहीं, कितनी देर से बोल रहा है और क्या उन्हें पहले से कोई कार्रवाई करनी चाहिए। ये इनसाइट्स ElevenLabs Agents द्वारा दिए गए प्रोसेस्ड वॉइस एक्टिविटी डिटेक्शन (VAD) स्कोर्स को क्लाइंट इवेंट्स के रूप में पास करके सीधे पाए जा सकते हैं और उन पर कार्रवाई की जा सकती है, जो कन्वर्सेशन websocket के ज़रिए मिलते हैं। ElevenLabs से स्कोर्स मिलने पर, क्लाइंट एप्लिकेशन एप्लिकेशन की ज़रूरतों के अनुसार VAD क्लाइंट इवेंट्स को स्टेटफुल प्रॉक्सी तक फ़ॉरवर्ड कर सकता है और यह सुनिश्चित कर सकता है कि मैसेज में मनमाना सेशन आइडेंटिफ़ायर शामिल हो। स्टेटफुल प्रॉक्सी के लिए ऐसी रिक्वेस्ट मैपिंग लॉजिक लागू करना ज़रूरी है, जो सेशन के मौजूदा कनेक्शन की सबसे सही पहचान करे। 

इस पैटर्न को क्लाइंट के किसी भी इवेंट के लिए बढ़ाया जा सकता है, बशर्ते उसे JSON ब्लॉक के रूप में व्यक्त किया जा सके। हालांकि, एजेंट से उत्पन्न होने वाले इवेंट्स को एक्सपोज़ करना भी उपयोगी है। इसका एक सामान्य उदाहरण टूल कॉल्स या नॉलेज बेस क्वेरीज़ का जीवनचक्र है, जो बाहरी सिस्टम्स पर ऑपरेशंस को दर्शाते हैं। ये तरीके उन एजेंट्स के लिए बुनियादी हैं जिन्हें आज एंटरप्राइज़ बना रहे हैं।

कस्टम LLM के ज़रिए बाहरी एजेंट्स को इंटीग्रेट करते समय, ElevenLabs के टूल कॉलिंग और रिट्रीवल ऑगमेंटेड जनरेशन (RAG) फ़ीचर्स को अक्सर बाहरी एजेंट के अपने इम्प्लीमेंटेशन के पक्ष में बायपास कर दिया जाता है। परिणामस्वरूप, इन घटकों का स्वामित्व पूरी तरह बाहरी एजेंट प्रोवाइडर के पास होता है। फिर भी, एप्लिकेशंस को टूल गतिविधि की विज़िबिलिटी से लाभ मिलता है, क्योंकि इससे वे एजेंट की प्रगति दिखा सकते हैं और एंड यूज़र अनुभव को उसके अनुसार अपडेट कर सकते हैं।

यह विज़िबिलिटी देने के लिए, बाहरी एजेंट जब भी टूल्स इनवोक करता है, रिक्वेस्ट और रिस्पॉन्स—दोनों के लिए मैसेज भेजता है। स्टेटफुल प्रॉक्सी इन मैसेजेस को क्लाइंट एप्लिकेशंस तक फ़ॉरवर्ड करती है, जो उन्हें एक समर्पित मैसेज क्यू के ज़रिए संभालते हैं। यह ElevenLabs Agents के क्लाइंट इवेंट्स के तरीकों जैसा है और यह सुनिश्चित करता है कि एप्लिकेशंस ट्रैक कर सकें कि एजेंट कब किसी बाहरी सिस्टम से पढ़ता है या उसमें बदलाव करता है।

इस तरह, इन मुख्य घटकों का उपयोग और प्रॉक्सी व क्लाइंट एप्लिकेशन के बीच द्विदिश मैसेज पासिंग सक्षम करने से ग्राहक ElevenLabs Agents में बाहरी एजेंट्स को इंटीग्रेट कर सकते हैं, ताकि वे केवल इसकी वॉइस ऑर्केस्ट्रेशन का इस्तेमाल करें और LLM ऑर्केस्ट्रेशन के सभी हिस्सों का स्वामित्व बनाए रखें। 

इसे फिर से स्थिति से जोड़ना

जटिल बाहरी एजेंट्स को प्रभावी ढंग से सपोर्ट करने के लिए प्रॉक्सी और एजेंट के बीच ज़िम्मेदारियों का स्पष्ट बंटवारा चाहिए, खासकर स्थिति प्रबंधन के मामले में। इस मॉडल में, प्रॉक्सी एप्लिकेशन की ज़रूरतों के अनुसार समूहित प्रासंगिक इंटरैक्शन की एक तालिका बनाए रखने और स्टेटलेस रहने वाली लॉजिक के ज़रिए अपने व एजेंट के बीच मैसेज रूट करने के लिए ज़िम्मेदार है। बदले में, बाहरी एजेंट को उन सभी महत्वपूर्ण आंतरिक और बाहरी जानकारी को संभालना और स्टोर करना चाहिए जो समग्र स्थिति में योगदान देती है।

हालांकि इस अलगाव को कम करने से मौजूदा समाधान में दोबारा काम और घट सकता है, लेकिन एजेंट के कार्यों का दायरा बढ़ने पर एक सख्त सीमा बनाए रखने से आमतौर पर अधिक मज़बूत और स्केलेबल नतीजे मिलते हैं।

आगे की राह

जैसे-जैसे संगठन वॉइस और नॉन-वॉइस सक्षम एजेंट्स को अपनाने में परिपक्व होंगे, हमें उम्मीद है कि इन एजेंट्स को आवश्यक जानकारी के पैटर्न स्पष्ट होते जाएंगे। इससे हम इस पोस्ट में बताई गई सर्विसेज़ के विकास और स्वामित्व को सरल बना सकेंगे। इस बीच, हम उन ज़रूरतों के लिए लगातार निर्माण कर रहे हैं जो पहले ही सामने आ चुकी हैं। हमारी Forward Deployed Engineering टीम ग्राहकों के साथ मिलकर इन उभरती ज़रूरतों को ठोस प्रोडक्ट क्षमताओं में बदल रही है और यह सुनिश्चित कर रही है कि हमारे समाधान वास्तविक दुनिया के डिप्लॉयमेंट्स के साथ कदम से कदम मिलाकर विकसित हों।

अगर आप पहले से किसी मौजूदा एजेंट के साथ काम कर रहे हैं और अपने LLM ऑर्केस्ट्रेशन का स्वामित्व बनाए रखते हुए ElevenLabs Agents के साथ वॉइस सक्षम करना चाहते हैं, तो इस तरीके को आज़माएं और हमें बताएं कि आपको कैसा लगा!