पेश है Eleven v4पेश है Eleven v4, हमारा अब तक का सबसे भावपूर्ण मॉडल।

कंटेंट पर जाएं

ElevenAgents में इमेज और डॉक्युमेंट्स प्रोसेस करना

प्रकाशित
आखिरी बार अपडेट किया गया

सुनेंइस आर्टिकल को सुनें

साइट सुपरवाइज़र को काम की जगह पर सामग्री की कमी दिखती है। वह उसकी तस्वीर लेता है, उसे WhatsApp पर प्रोक्योरमेंट एजेंट को भेजता है और डिलीवरी का पता आवाज़ से पुष्टि करता है। एजेंट तस्वीर को प्रोसेस करता है, पता लगाता है कि क्या कमी है और तुरंत ऑर्डर कर देता है—वह भी एक ही बातचीत में। एंटरप्राइज़ वर्कफ़्लो में अक्सर ऐसा संदर्भ होता है जिसे सिर्फ़ शब्द नहीं बता सकते। किसी अनुरोध को हल करने के लिए ज़रूरी जानकारी किसी खराब वस्तु की तस्वीर या किसी पॉलिसी के PDF के रूप में दी जा सकती है। इसे सीधे एजेंट को देने से बातचीत छोटी होती है और समाधान तेज़ होता है। जब ग्राहक बताने के बजाय दिखा सकता है, तो एजेंट बिना चैनल बदलने को कहे तेज़ी से समस्या हल कर सकता है। Rohlik, यूरोप के सबसे बड़े ऑनलाइन ग्रोसरी प्लेटफ़ॉर्म में से एक है। यह छह भाषाओं में फोन, वेब, ऐप और WhatsApp पर अपना एजेंट चलाता है और 90% ग्राहक पूछताछ का समाधान अपने-आप करता है। मल्टीमॉडल इनपुट इस समाधान दर को उन स्थितियों तक बढ़ाता है, जहाँ ग्राहक को बताने के बजाय कुछ दिखाना होता है। ElevenAgents वॉइस, WhatsApp, वेब और मोबाइल संभाल रहे उसी एजेंट में फ़ाइलों को प्राथमिक इनपुट के रूप में लेता है। फ़ाइलें मूल संदेशों के रूप में अंतर्निहित मॉडल तक पहुँचती हैं, इसलिए एक ही एजेंट एक बातचीत थ्रेड में हर तरह का इनपुट संभालता है। 

इस पोस्ट में बताया गया है कि प्लेटफ़ॉर्म पर मल्टीमोडैलिटी का क्या मतलब है, फ़ाइलें ग्राहक के डिवाइस से मॉडल के कॉन्टेक्स्ट तक कैसे पहुँचती हैं, हर चैनल क्या सपोर्ट करता है और ग्राहक के लौटने पर सेशनों के बीच कॉन्टेक्स्ट कैसे बनाए रखें।

चैनल और इनपुट 

ElevenAgents उन चैनलों के आधार पर बनाया गया है जिनका इस्तेमाल एंटरप्राइज़ पहले से ग्राहकों तक पहुँचने के लिए करते हैं: वेब और मोबाइल ऐप्लिकेशन, उनका सपोर्ट प्लेटफ़ॉर्म, फोन, SMS, ईमेल, WhatsApp और अन्य। एजेंट कॉन्फ़िगरेशन (प्रॉम्प्ट, मॉडल, टूल्स, नॉलेज बेस और वॉइस) एक बार तय किया जाता है और सभी चैनलों में साझा होता है। हर चैनल में दो चीज़ें अलग होती हैं: ट्रांसपोर्ट लेयर और उसके सपोर्ट किए जाने वाले इनपुट प्रकार। वेब और मोबाइल ऐप्लिकेशन एम्बेड किए जा सकने वाले विजेट, किसी SDK या Agents WebSocket के ज़रिए कनेक्ट होते हैं। टेलीफोनी बातचीत नेटिव Twilio, SIP ट्रंकिंग या नेटिव websocket-आधारित इंटीग्रेशन के ज़रिए कनेक्ट होती हैं। SMS नेटिव Twilio इंटीग्रेशन से कनेक्ट होता है। WhatsApp Business अकाउंट इंपोर्ट करके और एजेंट पर इंटीग्रेशन सक्षम करके WhatsApp कनेक्ट होता है। एक ही एजेंट को इन सभी ट्रांसपोर्ट पर एक साथ डिप्लॉय किया जा सकता है।

Sequence diagram showing a flow for attaching and sending files in a customer conversation using ElevenLabs API.

फ़ाइल इनपुट (इमेज और PDF) फ़िलहाल वेब, मोबाइल और WhatsApp पर सपोर्ट किए जाते हैं। इनपुट हैंडलिंग चैनल-आधारित नहीं, बल्कि प्रकार-आधारित होती है: एक ही WhatsApp सेशन में आई फ़ोटो और वॉइस नोट मॉडल तक पहुँचने से पहले पूरी तरह अलग पाइपलाइनों से प्रोसेस होते हैं। चैनल या इनपुट प्रकार कोई भी हो, मॉडल को मूल कॉन्टेक्स्ट के रूप में भेजे जाने से पहले सभी इनपुट एक ही प्री-प्रोसेसिंग लेयर पर मिलते हैं, जहाँ वे दो में से किसी एक रास्ते से जाते हैं।

इनपुट रिप्रेज़ेंटेशन: फ़ाइल-आधारित बनाम इनलाइन

इनपुट प्रकार या चैनल कोई भी हो, प्लेटफ़ॉर्म मॉडल को भेजने से पहले हर इनपुट को दो में से किसी एक आंतरिक रिप्रेज़ेंटेशन में नॉर्मलाइज़ करता है। यह वर्गीकरण तय करता है कि मॉडल की कॉन्टेक्स्ट विंडो में इनपुट कैसे एन्कोड होगा और आपकी इंटीग्रेशन को पहले के चरणों में क्या संभालना होगा।

फ़ाइल-आधारित इनपुट

इमेज और PDF मॉडल को टेक्स्ट सारांश के रूप में नहीं, बल्कि मूल फ़ाइल रेफरेंस के रूप में भेजे जाते हैं। प्लेटफ़ॉर्म फ़ाइल स्टोर करता है, उसे एक file_id देता है और उस आइडेंटिफ़ायर को यूज़र के टर्न से जोड़ता है। विज़न-सक्षम या दस्तावेज़-सक्षम मॉडल को किसी व्युत्पन्न रिप्रेज़ेंटेशन के बजाय अपनी कॉन्टेक्स्ट विंडो में कच्ची फ़ाइल मिलती है। इंटीग्रेशन की ज़रूरत सीधी है: अपलोड एंडपॉइंट से लौटने वाले file_id को कैप्चर करें और उसे मैसेज पेलोड में शामिल करें। अगर संदेश file_id के बिना भेजा जाता है, तो अपलोड सफल होने पर भी मॉडल के पास फ़ाइल का कोई रेफरेंस नहीं होगा। फ़ाइल स्टोरेज बातचीत तक सीमित होता है। यानी सेशन के बाद भी जो कुछ रखना हो—फ़ाइल, निकाले गए फ़ील्ड या स्ट्रक्चर्ड आउटपुट—उसे आपकी इंटीग्रेशन को साफ़ तौर पर संभालना होगा। इसका तरीका चैनल और उपयोग के मामले के अनुसार बदलता है।

इनलाइन

दूसरा रिप्रेज़ेंटेशन इनलाइन है और इसमें बाकी सब शामिल होता है। वॉइस और वॉइस नोट्स को ट्रांसक्राइब किया जाता है। टाइप किया गया टेक्स्ट, ट्रांसक्राइब की गई स्पीच, WhatsApp लोकेशन पिन और कॉन्टैक्ट कार्ड, मॉडल के चलने से पहले ट्रांसक्रिप्ट में सादे टेक्स्ट में नॉर्मलाइज़ किए जाते हैं। लोकेशन पिन को कोऑर्डिनेट और वैकल्पिक पते में बदला जाता है; कॉन्टैक्ट को नाम और फोन नंबर में। इनमें से कोई भी फ़ाइल के रूप में स्टोर नहीं होता या फ़ाइल रेफरेंस नहीं बनाता। ये इनपुट सीधे ट्रांसक्रिप्ट में रहते हैं।

यह अंतर क्यों मायने रखता है

यह विभाजन तय करता है कि आपकी इंटीग्रेशन का प्रयास कहाँ लगेगा। बातचीत के दौरान इनलाइन पाथ में आपसे कुछ नहीं चाहिए: प्लेटफ़ॉर्म इन इनपुट को टेक्स्ट में नॉर्मलाइज़ करता है और वे सीधे ट्रांसक्रिप्ट में रहते हैं। फ़ाइल-आधारित पाथ का अलग इंटीग्रेशन सरफ़ेस है। मॉडल चलने से पहले फ़ाइल सामग्री को टेक्स्ट में बदलने के बजाय, ऑर्केस्ट्रेटर कच्ची फ़ाइल को सीधे मॉडल की कॉन्टेक्स्ट विंडो में भेजता है। मॉडल किसी व्युत्पन्न टेक्स्ट रिप्रेज़ेंटेशन या विवरण के बजाय फ़ाइल की संरचना पर काम करता है। इससे स्थानिक संबंध, विज़ुअल लेआउट और दस्तावेज़ की फ़ॉर्मेटिंग सुरक्षित रहती है, जो अन्यथा खो जाती। इस अंतर को ध्यान में रखते हुए, पोस्ट के बाकी हिस्से में इम्प्लीमेंटेशन बताया गया है: एजेंट को कैसे कॉन्फ़िगर करें, फ़ाइलें हर चैनल से कैसे गुज़रती हैं और सेशनों के बीच कॉन्टेक्स्ट कैसे बनाए रखें।

मल्टीमॉडल इनपुट सेट अप करना 

मल्टीमॉडल इनपुट सक्षम करने की शुरुआत वेब, मोबाइल और WhatsApp पर एक ही एजेंट कॉन्फ़िगरेशन से होती है। इसके बाद, फ़ाइल कैसे अपलोड होती है और बाद में उसे कैसे प्राप्त करते हैं, यह चैनल पर निर्भर करता है।

फ़ाइल इनपुट सक्षम करना

फ़ाइल इनपुट के काम करने से पहले एजेंट कॉन्फ़िगरेशन में दो सेटिंग्स होना ज़रूरी हैं। पहले, conversation_config.conversation.file_input.enabled को True पर सेट करें—एजेंट बनाते समय API के ज़रिए या डैशबोर्ड में Settings > Advanced Settings > File Input के अंतर्गत। दूसरा, एजेंट को विज़न और दस्तावेज़-सक्षम मॉडल के साथ कॉन्फ़िगर किया जाना चाहिए। अगर अंतर्निहित मॉडल इमेज या दस्तावेज़ ब्लॉक प्रोसेस नहीं कर सकता, तो सिर्फ़ फ़्लैग से कुछ नहीं होगा; टेस्ट करने से पहले दोनों सेट करना ज़रूरी है।

SDK और WebSocket

वेब या मोबाइल पर फ़ाइल इनपुट के लिए SDK पर बना कस्टम चैट क्लाइंट या रॉ Agents websocket कनेक्शन चाहिए। तीनों में फ़्लो एक जैसा है और क्रम का पालन ज़रूरी है: संदेश भेजने से पहले फ़ाइल अपलोड होनी चाहिए, क्योंकि मैसेज पेलोड अपलोड से लौटे आइडेंटिफ़ायर को रेफर करता है।

पहले फ़ाइल अपलोड करें:

from elevenlabs import ElevenLabs

client = ElevenLabs(api_key="YOUR_API_KEY")

response = client.conversational_ai.conversations.files.create(
    conversation_id="your_conversation_id",
    file=open("example_file.jpg", "rb"),
)

file_id = response.file_id  

पूरे रिक्वेस्ट और रिस्पॉन्स के लिए फ़ाइल अपलोड देखें:

फिर कनेक्शन पर ऐसा संदेश भेजें, जो लौटे हुए file_id को रेफर करता हो:

{ 
	"type": "multimodal_message",
	"text": { 
		"type": "user_message", 
		"text": "What does this show?" 
	 },
	"file": { 
		"type": "file_input", 
		"file_id": "<file_id>" 
 	}
}

SDK अपलोड और रेफरेंस चरणों को एक ही कॉल में एब्स्ट्रैक्ट कर देते हैं और फ़ाइल आइडेंटिफ़ायर को अंदरूनी रूप से संभालते हैं। पूरे मैसेज फ़ॉर्मेट के लिए multimodal_message स्पेसिफ़िकेशन देखें। चूँकि आपकी ऐप्लिकेशन अपलोड करती है, इस समय तक फ़ाइल आपके पास पहले से होती है। अगर आपको इसकी सिर्फ़ मौजूदा बातचीत के लिए ज़रूरत है, तो इसे अपलोड करना और आइडेंटिफ़ायर को रेफर करना काफ़ी है। अगर इसे सेशन के बाद भी रखना है, तो सबसे साफ़ तरीका है कि अपलोड के समय ही इसे अपनी ऐप्लिकेशन से स्टोर कर लें। इसे बाद में पोस्ट-कॉल वेबहुक के ज़रिए भी प्राप्त किया जा सकता है, जिस पर सेशनों के बीच कॉन्टेक्स्ट वाले सेक्शन में चर्चा की गई है।

WhatsApp

WhatsApp पर अपलोड में आपकी ऐप्लिकेशन की कोई भूमिका नहीं होती। जब ग्राहक इमेज, दस्तावेज़ या स्टिकर भेजता है, तो फ़ाइल पहले Meta के इन्फ़्रास्ट्रक्चर पर जाती है। Meta, WhatsApp Business API वेबहुक के ज़रिए ElevenLabs को सूचना देता है और ElevenLabs आपके कनेक्ट किए गए WhatsApp Business अकाउंट क्रेडेंशियल का उपयोग करके फ़ाइल को सर्वर-टू-सर्वर डाउनलोड करता है, अपनी कॉपी स्टोर करता है और वेब या SDK अपलोड की तरह ही उसे बातचीत से जोड़ता है। एजेंट इसे मल्टीमॉडल इनपुट के रूप में प्राप्त करता है और ट्रांसक्रिप्ट में file_input इवेंट रिकॉर्ड होता है।

क्योंकि आपकी ऐप्लिकेशन अपलोड को कभी हैंडल नहीं करती, इसलिए फ़ाइल सीधे उसके पास कभी नहीं होती। वेब और मोबाइल की तरह अपलोड के समय इसे कैप्चर करने का कोई रास्ता नहीं है। फ़ाइल आपके सिस्टम तक पोस्ट-कॉल वेबहुक में मौजूद file_url के ज़रिए पहुँचती है, जो ElevenLabs की स्टोर की गई कॉपी की ओर इंगित करता है। Meta का मीडिया URL केवल इनजेशन के लिए इस्तेमाल होता है और कभी बाहरी रूप से एक्सपोज़ नहीं किया जाता। डाउनलोड समय-सीमा समेत रिट्रीवल की प्रक्रिया सेशनों के बीच कॉन्टेक्स्ट सेक्शन में बताई गई है।

Sequence diagram showing media handling from customer to ElevenLabs via WhatsApp.

WhatsApp पर ग्राहक चैट में फ़ाइल भेजता है। ElevenLabs इसे Meta से प्राप्त करता है, स्टोर करता है और प्लेटफ़ॉर्म की ओर से file_id जोड़ता है। इसका मतलब है कि क्लाइंट-साइड अपलोड का कोई चरण नहीं है। वेब और मोबाइल के विपरीत, आपकी ऐप्लिकेशन POST /v1/convai/conversations/{id}/files को कॉल नहीं करती या WebSocket पर multimodal_message नहीं भेजती। ElevenLabs डिलीवरी, स्टोरेज और एजेंट टर्न संभालता है।

सेशनों के बीच कॉन्टेक्स्ट बनाए रखना

ElevenAgents हर बातचीत को स्वतंत्र रूप से प्रोसेस करता है। ग्राहक जो भी भेजता है और एजेंट बातचीत के दौरान जो भी हल करता है, वह अपने-आप अगली बातचीत में नहीं जाता। एजेंट पोस्ट-कॉल वेबहुक के ज़रिए पूरी हुई बातचीत की हर चीज़ आपके सिस्टम को देता है, लेकिन बातचीतों के बीच रहने वाली मेमरी ElevenLabs की सीमा के बाहर रहती है। उसकी निरंतरता आपकी ज़िम्मेदारी है।

इस आर्किटेक्चरल सीमा को ध्यान में रखकर सोच-समझकर डिज़ाइन करना ज़रूरी है। जिन बातचीतों में मल्टीमॉडल इनपुट सबसे ज़्यादा मायने रखता है—जैसे ग्राहक का खराब वस्तु की तस्वीर लेना, पॉलिसी दस्तावेज़ अपलोड करना या लोकेशन साझा करना—वे अक्सर एक ही सेशन में हल नहीं होतीं। जो ग्राहक किसी टूटे हिस्से की तस्वीर भेजकर कॉलबैक शेड्यूल करता है, वह उम्मीद करता है कि कॉलबैक करने पर एजेंट को तस्वीर याद होगी। स्पष्ट कॉन्टेक्स्ट मैनेजमेंट के बिना एजेंट हर बार शून्य से शुरू करता है और ग्राहक को बात दोहरानी पड़ती है। इसे हल करने के पैटर्न के दो हिस्से हैं। बातचीत खत्म होने पर पोस्ट-कॉल वेबहुक ट्रांसक्रिप्ट, विश्लेषण के नतीजे, आपके तय किए गए किसी भी स्ट्रक्चर्ड डेटा कलेक्शन फ़ील्ड और सेशन से गुज़री फ़ाइलों के URL देता है। आपका बैकएंड फ़ोन नंबर, यूज़र ID या अकाउंट कुंजी जैसे स्थायी ग्राहक आइडेंटिफ़ायर के साथ प्रासंगिक जानकारी स्टोर करता है। ग्राहक के लौटने पर, आपकी ऐप्लिकेशन सेशन शुरू होते समय डायनेमिक वैरिएबल के ज़रिए स्टोर किया हुआ कॉन्टेक्स्ट इंजेक्ट करती है, ताकि एजेंट पहले से ज्ञात जानकारी के साथ बातचीत शुरू करे। खास तौर पर फ़ाइल-आधारित इनपुट के लिए, वेबहुक पेलोड में मौजूद फ़ाइल URL ElevenLabs की स्टोर की गई कॉपी की ओर इंगित करता है और बातचीत बंद होने के बाद वही एकमात्र रिट्रीवल पाथ है। प्लेटफ़ॉर्म की कॉपी सेशन तक सीमित होती है, इसलिए अगर आपको फ़ाइल भविष्य की बातचीत या अपने सिस्टम में चाहिए, तो वह समय-सीमा बंद होने से पहले आपको उसे वेबहुक पेलोड से डाउनलोड करना होगा। आपको कितनी जल्दी कार्रवाई करनी है, यह रिटेंशन पॉलिसी पर निर्भर करता है, जिसका विवरण रेफरेंस डॉक्यूमेंटेशन में है। वेबहुक स्टेट को बाहर भेजता है। डायनेमिक वैरिएबल उसे वापस लाते हैं। इनके बीच की हर चीज़ आपके सिस्टम की ज़िम्मेदारी है और ग्राहकों के लौटने, एस्केलेट करने या समाधान के बीच में आगे बढ़ने वाले उपयोग मामलों में असली इंटीग्रेशन कार्य यहीं होता है।

कॉन्टेक्स्ट इंजेक्ट करना चैनल पर निर्भर करता है

इंजेक्शन की प्रक्रिया चैनल के अनुसार बदलती है, लेकिन मूल पैटर्न एक जैसा रहता है। टेलीफोनी के लिए कॉल कनेक्ट होने से पहले ElevenLabs आपके सर्वर को कॉल करता है, जिससे आपको नंबर के आधार पर कॉलर की जानकारी खोजने और एजेंट के बोलने से पहले नाम, ऑर्डर ID या अकाउंट टियर जैसे डायनेमिक वैरिएबल लौटाने का मौका मिलता है। WhatsApp पर हर इनबाउंड संदेश के लिए प्री-मैसेज वेबहुक ट्रिगर होता है, जिससे एजेंट के प्रोसेस करने से पहले आप अपने सिस्टम से मिली पहचान और बिज़नेस कॉन्टेक्स्ट की जानकारी उसमें जोड़ सकते हैं। अन्यथा, वही फ़ील्ड conversation_initiation_client_data में सेशन खुलने पर पास किए जाते हैं। ElevenAgents अलग-अलग चैनलों के सेशन को एक थ्रेड में मर्ज नहीं करता। WhatsApp बातचीत और वेब बातचीत अलग सेशन हैं, भले ही वे एक ही ग्राहक से जुड़ी हों। लेकिन वेबहुक आउटपुट और डायनेमिक वैरिएबल इंजेक्शन सभी चैनलों पर एक जैसा काम करते हैं, इसलिए एक ही पर्सिस्टेंस लेयर उन सबको संभालती है। इसे एक बार बनाएं और एजेंट के चलने वाले हर चैनल को कवर करें। कॉन्टेक्स्ट इंजेक्शन टेक्स्ट जैसे डेटा को संभालता है: नाम, ऑर्डर ID, सारांश और स्ट्रक्चर्ड फ़ील्ड। फ़ाइलें अलग मामला हैं और इनके लिए अलग तरीका चाहिए।

फ़ाइलों को आगे ले जाना

फ़ाइलें एक बातचीत तक सीमित होती हैं और अपने-आप पर्सिस्ट नहीं होतीं। आगे क्या ले जाना है, यह इस पर निर्भर करता है कि अगली बातचीत में फ़ाइल से मिली जानकारी चाहिए या फ़ाइल स्वयं। ज़्यादातर मामलों में केवल जानकारी चाहिए होती है। एजेंट अपलोड की गई फ़ाइल के आने वाले टर्न पर उसकी व्याख्या करता है, लेकिन उस व्याख्या को अपने-आप किसी स्थायी जगह पर नहीं लिखता। स्ट्रक्चर्ड आउटपुट पोस्ट-कॉल डेटा से आता है: ट्रांसक्रिप्ट, ट्रांसक्रिप्ट सारांश और आपके तय किए गए डेटा कलेक्शन रिज़ल्ट फ़ील्ड। अगर ग्राहक दरवाज़े की फटी हुई सील की फ़ोटो भेजता है और एक हफ़्ते बाद दावे पर फ़ॉलो-अप के लिए लौटता है, तो एजेंट को फिर से फ़ोटो की ज़रूरत नहीं है। उसे बस यह जानना है कि दावा दरवाज़े की फटी हुई सील से जुड़ा है। यह जानकारी पोस्ट-कॉल डेटा से निकालें, ग्राहक आइडेंटिफ़ायर के साथ स्टोर करें और ग्राहक के लौटने पर इसे डायनेमिक वैरिएबल के रूप में इंजेक्ट करें। आम तौर पर एक छोटा सारांश या कुछ स्ट्रक्चर्ड फ़ील्ड काफ़ी होते हैं।

जब आपको अपने रिकॉर्ड, अनुपालन या डाउनस्ट्रीम सिस्टम के लिए मूल फ़ाइल चाहिए हो, तो पोस्ट-कॉल वेबहुक ही रिट्रीवल पाथ है। हर अपलोड की गई फ़ाइल ट्रांसक्रिप्ट में file_input इवेंट के रूप में साइन किए गए फ़ाइल URL के साथ दिखाई देती है। यह URL पंद्रह मिनट तक वैध रहता है, इसलिए वेबहुक आने पर फ़ाइल को डाउनलोड और स्टोर कर लें, टालें नहीं। अगर बातचीत मौजूद रहते हुए भी यह समय निकल जाए, तो GET conversation API फ़ॉलबैक के रूप में नए URL जारी करता है। हर फ़ाइल-आधारित टर्न में URL होने की मान्यता बनाने के बजाय, ज़ीरो-रिटेंशन मोड जैसे कुछ मामलों में file_input के मौजूद न होने की योजना रखें।

इससे पूरा लाइफ़साइकल कवर होता है: फ़ाइल सेशन में आती है, मॉडल उस पर मूल रूप से काम करता है, स्ट्रक्चर्ड आउटपुट वेबहुक से बाहर जाता है और आपकी पर्सिस्टेंस लेयर तय करती है कि एजेंट अगली बार क्या जानता होगा।

निष्कर्ष

एक ही एजेंट कॉन्फ़िगरेशन अलग-अलग चैनल के लिए अलग बिल्ड के बिना वेब, मोबाइल और WhatsApp पर इमेज और PDF स्वीकार करता है। फ़ाइलों को नॉर्मलाइज़ किया जाता है, टर्न से जोड़ा जाता है और टेक्स्ट सारांश के बजाय मूल ब्लॉक के रूप में मॉडल को भेजा जाता है, इसलिए स्थानिक लेआउट, विज़ुअल संरचना और दस्तावेज़ फ़ॉर्मेटिंग बिना बदले मॉडल तक पहुँचती है। सेशनों के बीच कॉन्टेक्स्ट हर चैनल पर एक ही पैटर्न का पालन करता है: पोस्ट-कॉल वेबहुक स्टेट को बाहर ले जाता है और डायनेमिक वैरिएबल उसे वापस लाते हैं।

अगर आप ElevenLabs Agents पर बना रहे हैं और चाहते हैं कि आपका एजेंट वॉइस और टेक्स्ट के साथ इमेज और दस्तावेज़ों से भी काम करे, तो मल्टीमॉडल इनपुट सक्षम करें और हमें बताएं कि आपको कैसा लगा।

लेखक

फ्रांसेस्का हमारी फॉरवर्ड डिप्लॉयड इंजीनियरिंग टीम में हैं और ग्राहकों को ElevenLabs Agents को उनके वर्कफ़्लो में इंटीग्रेट करने में मदद करती हैं। ElevenLabs से पहले, वह हेल्थकेयर में फॉरवर्ड डिप्लॉयड AI इंजीनियर थीं, जहाँ वह चार्ट रिव्यू ऑटोमेट कर रही थीं। उससे पहले वह एनर्जी ट्रेडर्स के लिए टेक्निकल सॉल्यूशंस बना रही थीं।

संबंधित लेख

उच्चतम गुणवत्ता वाले AI ऑडियो के साथ बनाएं