ElevenLabs एजेंट्स की वॉइस ऑर्केस्ट्रेशन के साथ बाहरी एजेंट्स का इंटीग्रेशन

अत्याधुनिक एजेंट ऑर्केस्ट्रेटर अब जटिल कार्य संभालने और एंटरप्राइज़ टूलिंग के पूरे सूट में काम करने में लगातार सक्षम हो रहे हैं। इसके लिए एप्लिकेशन, बातचीत और सिस्टम की स्टेट को सावधानी से मैनेज करना ज़रूरी है। वॉइस के अलावा अन्य मोडैलिटीज़ के लिए, कॉन्टेक्स्ट इंजीनियरिंग, के अंतर्गत आम पैटर्न उभरे हैं, जिनका उद्देश्य किसी एजेंट के सिस्टम प्रॉम्प्ट के इर्द-गिर्द, इंटरैक्शन आगे बढ़ने के साथ, एक जैसी प्रक्रियाएं बनाना है। वॉइस जोड़ने से न सिर्फ़ वॉइस इंटरैक्शन के हिस्सों को मैनेज करने के लिए स्टेट की एक अतिरिक्त लेयर जुड़ती है, बल्कि आदर्श रूप से दूसरी मोडैलिटीज़ पर हुए पिछले काम के आर्टिफैक्ट्स को दोबारा इस्तेमाल करने की सुविधा भी मिलती है। 

इस पोस्ट में, हम बताते हैं कि ElevenLabs Agents बाहरी एजेंट्स को कैसे सपोर्ट करते हैं और कौन-से पैटर्न उनके इंटीग्रेशन पर बारीकी से नियंत्रण देते हैं। इन तरीकों से ग्राहक अपने व्यापक ऑर्केस्ट्रेशन का पूरा स्वामित्व बनाए रखते हुए ElevenLabs के बेहतरीन वॉइस ऑर्केस्ट्रेशन का लाभ उठा सकते हैं।

मुख्य घटक

ElevenLabs Agents

अपने सबसे सरल रूप में, ElevenLabs Agent को Websocket क्लाइंट के ज़रिए एक्सेस किया जा सकता है। बातचीत में सर्वर और क्लाइंट इवेंट्स की जानकारी JSON ऑब्जेक्ट्स के रूप में एजेंट तक और एजेंट से भेजी जाती है। जब एजेंट यूज़र की आवाज़ को ट्रांसक्राइब करता है, तो वह तुरंत जनरेशन रिक्वेस्ट ट्रिगर करता है। हम ज़्यादातर प्रमुख मॉडल प्रोवाइडर्स को सपोर्ट करते हैं और ग्राहकों को अपना कस्टम LLM लाने की सुविधा देते हैं। कस्टम LLM के पीछे जनरेशन रिक्वेस्ट का जवाब देने के लिए अधिक जटिल ऑर्केस्ट्रेटर (एजेंट्स) लाते समय, ग्राहकों को यह सुनिश्चित करना चाहिए कि वह OpenAI के Chat Completions या Responses API में से किसी एक को सपोर्ट करता हो। अच्छी बात है कि ज़्यादातर प्रमुख एजेंट-बिल्डिंग फ्रेमवर्क (CrewAI, LangChain, LangGraph, HayStack, LlamaIndex, ...) इस API फॉर्मैटिंग स्पेसिफिकेशन को आसानी से सपोर्ट करते हैं। 

इंटीग्रेट होने के बाद, इन एजेंट्स को अक्सर किसी भी समय अपनी आंतरिक और बाहरी स्टेट को पढ़ने और अपडेट करने की क्षमता चाहिए होती है, भले ही वे किसी भी वॉइस ऑर्केस्ट्रेटर के पीछे हों। इसे प्रभावी ढंग से मैनेज करने से मौजूदा टेक्स्ट-ओनली एजेंट्स के साथ एकरूपता बनी रहती है। 

स्टेट मैनेजमेंट

परिभाषा के अनुसार, अपने परिवेश में कुशलता से काम करने के लिए एजेंट को जिस डेटा को ट्रैक करना होता है, वह कार्य-विशिष्ट होता है। बाहरी एजेंट से संचालित ElevenLabs Agents के लिए, कुछ स्पष्ट रूप से परिभाषित श्रेणियों में स्टेट बनाए रखना उपयोगी है।

आंतरिक स्टेट बातचीत की गतिशीलता को नियंत्रित करती है। एजेंट की आंतरिक स्टेट के तहत ट्रैक किए जाने वाले तत्वों के उदाहरण ये हैं:

• वर्तमान बातचीत का प्रवाह, जिसमें वॉइस एक्टिविटी, रुकावटें और सक्रिय वक्ता की पहचान शामिल है।
• रियल-टाइम ट्रांसक्रिप्ट विश्लेषण से मिले एप्लिकेशन-विशिष्ट इनसाइट्स, जैसे पहचाने गए इंटेंट्स, एंटिटीज़ या सेंटिमेंट।
• रीज़निंग ट्रेस, जिसमें बीच के विचार, परिकल्पनाएं और समाधान बनाने के पिछले प्रयास शामिल हैं।
• कॉन्फ़िगरेशन और ऑपरेशनल पैरामीटर्स, जैसे इसके सक्रिय लक्ष्य, ऑपरेशन मोड और इंटरैक्शन के दौरान इसके व्यवहार को निर्देशित करने वाली अस्थायी सीमाएं।

दूसरी ओर, बाहरी स्टेट मुख्य रूप से उन प्रासंगिक सिस्टम्स और व्यक्तियों पर केंद्रित होती है जिनके साथ एजेंट इंटरैक्ट करता है या जिन्हें प्रभावित करता है। एजेंट की बाहरी स्टेट के तहत ट्रैक किए जाने वाले तत्वों के उदाहरण ये हैं:

• अन्य यूज़र्स या सिस्टम्स की स्थिति, जिनके साथ वह इंटरैक्ट करता है, जैसे उनके मौजूदा लक्ष्य, उपलब्धता या अनुमतियां।
• टूल्स और नॉलेज बेस, जैसे API, डेटाबेस या इंटीग्रेशन, जो एजेंट की कार्रवाई करने की क्षमता को प्रभावित कर सकते हैं।
• बाहरी पक्षों या सिस्टम्स से जुड़े जारी कार्य और डिपेंडेंसीज़, जो एजेंट के अगले कदमों को प्रभावित करते हैं।

हम यूज़र के साथ एजेंट के संबंध के पूरे लाइफसाइकल में इस जानकारी को भरोसेमंद ढंग से बनाए रखने का एक आम पैटर्न बताते हैं।

समाधान के घटक

ओवरव्यू 

इस सेक्शन में, हम जटिल बाहरी एजेंट्स को सफलतापूर्वक इंटीग्रेट करने के लिए आवश्यक आर्किटेक्चर घटकों और इम्प्लीमेंटेशन की जानकारी कवर करते हैं। इस तरीके के मूल में सभी सर्विसेज़ में किसी सेशन को दर्शाने वाले एक मनमाने, लेकिन यूनिक आइडेंटिफ़ायर को प्रॉक्सी करने की क्षमता है। कस्टम LLM का उपयोग करने वाले ElevenLabs Agents के लिए, कॉल शुरू करते समय extra body ऑब्जेक्ट के भीतर LLM पैरामीटर के रूप में ज़रूरी आइडेंटिफ़ायर को कन्वर्सेशन ओवरराइड्स के हिस्से के रूप में पास करके यह आसानी से किया जा सकता है। इससे आइडेंटिफ़ायर यूज़र से होते हुए ElevenLabs Agent के ज़रिए बाहरी एजेंट तक पहुंच पाता है। 

कस्टम LLM के पीछे मौजूद स्टेटफुल प्रॉक्सी पर ध्यान दें। यह सर्विस, जो आम तौर पर मौजूद नहीं होती, हमें अलग-अलग जनरेशन रिक्वेस्ट्स को बाहरी एजेंट के साथ कनेक्शन दर्शाने वाले मनमाने आइडेंटिफ़ायर्स से मैप करने देती है। इस सर्विस के इम्प्लीमेंटेशन का स्वामित्व बाहरी एजेंट डेवलपर्स के हाथों में होता है। अपने सबसे सरल रूप में, प्रॉक्सी यूनिक आइडेंटिफ़ायर्स द्वारा दर्शाए गए कनेक्शन्स को मैनेज करती है, जो ElevenLabs बातचीत या कॉल SID (टेलीफोनी के लिए) से मैप होते हैं। वहीं, अधिक उन्नत वर्ज़न बातचीत को कई इंटरैक्शन्स तक फैले अधिक जटिल ग्राहक संबंधों से मैप करने में हायरार्की ला सकते हैं।

इन अधिक उन्नत कॉन्फ़िगरेशन्स में, प्रॉक्सी अतिरिक्त आइडेंटिफ़ायर्स बनाए रखती है जो एक डाउनस्ट्रीम सेशन से जुड़ी एकल रिक्वेस्ट से आगे जाते हैं। हर आइडेंटिफ़ायर के केवल एक बातचीत या कॉल SID को दर्शाने के बजाय, प्रॉक्सी एक आइडेंटिफ़ायर को कई संबंधित इंटरैक्शन्स से जोड़ सकती है। इससे सिस्टम अलग-अलग चैनलों में आगे बढ़ने वाली ग्राहक यात्राओं को ट्रैक कर सकता है, पुराने कॉन्टेक्स्ट को दोबारा इस्तेमाल कर सकता है और एक साथ कई इंटरैक्शन्स को कोऑर्डिनेट कर सकता है। उदाहरण के लिए, एक मैपिंग कई वेब चैट सेशन्स, फॉलो-अप वॉइस कॉल और एक आंतरिक सपोर्ट वर्कफ़्लो को एक ही लॉजिकल ग्राहक आइडेंटिफ़ायर के अंतर्गत ग्रुप कर सकती है। फिर प्रॉक्सी कस्टम LLM के पीछे एकीकृत स्टेट बनाए रखते हुए, सरल नियमों के आधार पर रिक्वेस्ट्स को सही आइडेंटिफ़ायर तक रूट कर सकती है। इससे बाहरी एजेंट द्वारा मैनेज किए जाने वाले अधिक लचीले और स्थायी मल्टी-स्टेप इंटरैक्शन्स संभव होते हैं।

मैसेज पासिंग

जनरेशन रिक्वेस्ट्स को उच्च-स्तरीय एंटिटीज़ से सफलतापूर्वक मैप करने के अलावा, स्टेटफुल प्रॉक्सी API रिक्वेस्ट्स के ज़रिए एप्लिकेशन फ्रंटएंड या अलग राउटर सर्विस जैसे बाहरी स्रोतों के साथ द्विदिश मैसेज पासिंग को सपोर्ट कर सकती है। जिन एप्लिकेशन्स में इसकी ज़रूरत होती है, उनमें ElevenLabs Agents को यह जानने की आवश्यकता नहीं होती कि मैसेज अन्य सर्विसेज़ तक भेजे जा रहे हैं।  

उदाहरण के लिए, बाहरी एजेंट्स के लिए चल रही वॉइस एक्टिविटी की जानकारी होना अक्सर उपयोगी होता है, ताकि वे तय कर सकें कि यूज़र बोल रहा है या नहीं, कितनी देर से बोल रहा है और क्या उसे पहले से कोई कार्रवाई करनी चाहिए। ये इनसाइट्स प्रोसेस किए गए वॉइस एक्टिविटी डिटेक्शन (VAD) स्कोर्स को, ElevenLabs Agents द्वारा दिए गए क्लाइंट इवेंट्स के रूप में बातचीत के websocket से प्राप्त करके, सीधे हासिल किए जा सकते हैं और उन पर कार्रवाई की जा सकती है। ElevenLabs से स्कोर्स मिलने पर, क्लाइंट एप्लिकेशन एप्लिकेशन की ज़रूरतों के आधार पर VAD क्लाइंट इवेंट्स को स्टेटफुल प्रॉक्सी तक फ़ॉरवर्ड कर सकता है और यह सुनिश्चित कर सकता है कि मैसेज में मनमाना सेशन आइडेंटिफ़ायर शामिल हो। स्टेटफुल प्रॉक्सी के लिए ऐसी रिक्वेस्ट मैपिंग लॉजिक लागू करना ज़रूरी है, जो सेशन के मौजूदा कनेक्शन की बेहतरीन पहचान कर सके। 

इस पैटर्न को क्लाइंट से आने वाले किसी भी इवेंट के लिए बढ़ाया जा सकता है, बशर्ते उसे JSON ब्लॉक के रूप में व्यक्त किया जा सके। हालांकि, एजेंट से ही उत्पन्न होने वाले इवेंट्स को एक्सपोज़ करना भी उपयोगी है। इसका एक आम उदाहरण टूल कॉल्स या नॉलेज बेस क्वेरीज़ का लाइफसाइकल है, जो बाहरी सिस्टम्स पर होने वाली कार्रवाइयों को दर्शाता है। ये तरीके उन एजेंट्स के लिए बुनियादी हैं जिन्हें आज एंटरप्राइज़ बना रहे हैं।

कस्टम LLM के ज़रिए बाहरी एजेंट्स को इंटीग्रेट करते समय, ElevenLabs के टूल कॉलिंग और रिट्रीवल ऑगमेंटेड जनरेशन (RAG) फीचर्स को अक्सर बाहरी एजेंट के अपने इम्प्लीमेंटेशन के पक्ष में बायपास कर दिया जाता है। नतीजतन, इन घटकों का स्वामित्व पूरी तरह बाहरी एजेंट प्रोवाइडर के पास होता है। फिर भी एप्लिकेशन्स को टूल एक्टिविटी की दृश्यता का लाभ मिलता है, क्योंकि इससे वे एजेंट की प्रगति दिखा सकते हैं और उसी के अनुसार एंड-यूज़र अनुभव को अपडेट कर सकते हैं।

यह दृश्यता देने के लिए, बाहरी एजेंट टूल्स के हर बार इनवोक होने पर—रिक्वेस्ट और रिस्पॉन्स, दोनों के लिए—मैसेज भेजता है। स्टेटफुल प्रॉक्सी इन मैसेज को क्लाइंट एप्लिकेशन्स तक फ़ॉरवर्ड करती है, जो उन्हें एक डेडिकेटेड मैसेज क्यू के ज़रिए संभालते हैं। यह ElevenLabs Agents के क्लाइंट इवेंट्स में इस्तेमाल होने वाले तरीकों जैसा है और यह सुनिश्चित करता है कि एप्लिकेशन्स ट्रैक कर सकें कि एजेंट कब किसी बाहरी सिस्टम से पढ़ता है या उसमें बदलाव करता है।

इस तरह, इन मुख्य घटकों का उपयोग करके और प्रॉक्सी व क्लाइंट एप्लिकेशन के बीच मैसेज के द्विदिश आदान-प्रदान को सक्षम बनाकर, ग्राहक बाहरी एजेंट्स को ElevenLabs Agents में इंटीग्रेट कर सकते हैं। वे इससे मिलने वाले वॉइस ऑर्केस्ट्रेशन का ही उपयोग करते हुए LLM ऑर्केस्ट्रेशन के सभी हिस्सों का स्वामित्व अपने पास रख सकते हैं। 

इसे स्टेट से जोड़ना

जटिल बाहरी एजेंट्स को प्रभावी ढंग से सपोर्ट करने के लिए, खासकर स्टेट मैनेजमेंट के मामले में, प्रॉक्सी और एजेंट के बीच ज़िम्मेदारियों का स्पष्ट विभाजन ज़रूरी है। इस मॉडल में, प्रॉक्सी एप्लिकेशन की ज़रूरतों के अनुसार ग्रुप किए गए प्रासंगिक इंटरैक्शन्स की टेबल बनाए रखने और स्टेटलेस रहने वाली लॉजिक से अपने व एजेंट के बीच मैसेज रूट करने के लिए ज़िम्मेदार होती है। वहीं, बाहरी एजेंट को समग्र स्टेट में योगदान देने वाली सभी महत्वपूर्ण आंतरिक और बाहरी जानकारी संभालनी और स्टोर करनी चाहिए।

हालांकि इस विभाजन को ढीला करने से मौजूदा समाधान को दोबारा बनाने का काम और कम हो सकता है, लेकिन एजेंट के कार्यों का दायरा बढ़ने पर सख्त सीमा बनाए रखने से आम तौर पर अधिक मज़बूत और स्केलेबल नतीजे मिलते हैं।

आगे की राह

जैसे-जैसे संगठन वॉइस और नॉन-वॉइस-सक्षम एजेंट्स को अपनाने में परिपक्व होंगे, हमें उम्मीद है कि इन एजेंट्स के लिए ज़रूरी जानकारी के पैटर्न स्पष्ट होंगे। इससे हम इस पोस्ट में बताई गई सर्विसेज़ के डेवलपमेंट और स्वामित्व को सरल बना सकेंगे। तब तक, हम उन ज़रूरतों के लिए निर्माण जारी रख रहे हैं जो पहले ही उभर चुकी हैं। हमारी Forward Deployed Engineering टीम ग्राहकों के साथ मिलकर इन उभरती ज़रूरतों को ठोस प्रोडक्ट क्षमताओं में बदल रही है और यह सुनिश्चित कर रही है कि हमारे समाधान वास्तविक दुनिया के डिप्लॉयमेंट्स के साथ कदम से कदम मिलाकर विकसित हों।

अगर आप पहले से किसी एजेंट के साथ काम कर रहे हैं और अपने LLM ऑर्केस्ट्रेशन का स्वामित्व बनाए रखते हुए ElevenLabs Agents के साथ वॉइस सक्षम करना चाहते हैं, तो इस तरीके को आजमाएं और हमें बताएं कि आपको कैसा लगा!