मूर्ति से बात करें: मल्टी-मोडल ElevenAgents-चालित ऐप बनाना
- लेखक
- Joe Reeve
- प्रकाशित
- आखिरी बार अपडेट किया गया
सुनेंइस आर्टिकल को सुनें
किसी प्रतिमा की तस्वीर लें। उसमें दर्शाई गई हस्तियों की पहचान करें। फिर उनसे रीयल-टाइम वॉइस बातचीत करें — हर किरदार अलग, उसके काल के अनुरूप आवाज़ में बोलेगा।
आप ElevenLabs के वॉइस डिज़ाइन और Agent APIs से यह बना सकते हैं। इस पोस्ट में, हम एक मोबाइल वेब ऐप की आर्किटेक्चर समझाते हैं, जो कंप्यूटर विज़न और वॉइस जनरेशन को मिलाकर सार्वजनिक स्मारकों को इंटरैक्टिव अनुभवों में बदल देता है। यहाँ दी गई हर चीज़ को नीचे दिए APIs और कोड सैंपल से दोहराया जा सकता है।
ट्यूटोरियल छोड़ें — एक ही प्रॉम्प्ट में इसे बनाएं
नीचे दिया गया पूरा ऐप एक ही प्रॉम्प्ट से बनाया गया था और खाली NextJS प्रोजेक्ट में Claude Opus 4.5 (high) के साथ Cursor में सफलतापूर्वक वन-शॉट टेस्ट किया गया। अगर आप आगे बढ़कर अपना ऐप बनाना चाहते हैं, तो इसे अपने एडिटर में पेस्ट करें:
आप डॉक्यूमेंटेशन को लिंक करने के बजाय ElevenLabs Agent Skills का भी इस्तेमाल कर सकते हैं। ये डॉक्यूमेंटेशन पर आधारित हैं और और भी बेहतर नतीजे दे सकते हैं।
इस पोस्ट के बाकी हिस्से में बताया गया है कि उस प्रॉम्प्ट से क्या बनता है।
यह कैसे काम करता है
इस पाइपलाइन के पाँच चरण हैं:
- तस्वीर कैप्चर करें
- कलाकृति और उसके किरदारों की पहचान करें (OpenAI)
- इतिहास पर रिसर्च करें (OpenAI)
- हर किरदार के लिए अलग आवाज़ें जनरेट करें (ElevenAPI)
- WebRTC पर रीयल-टाइम वॉइस बातचीत शुरू करें (ElevenAgents)
विज़न से प्रतिमा की पहचान
जब कोई यूज़र प्रतिमा की तस्वीर लेता है, तो तस्वीर को OpenAI के विज़न-सक्षम मॉडल पर भेजा जाता है। एक संरचित सिस्टम प्रॉम्प्ट कलाकृति का नाम, स्थान, कलाकार, तारीख और — सबसे ज़रूरी — हर किरदार के लिए विस्तृत वॉइस विवरण निकालता है। सिस्टम प्रॉम्प्ट में अपेक्षित JSON आउटपुट फ़ॉर्मैट शामिल होता है:
लंदन के वेस्टमिंस्टर ब्रिज पर स्थित बौडिका प्रतिमा की तस्वीर के लिए, रिस्पॉन्स कुछ ऐसा दिखता है:
प्रभावी वॉइस विवरण लिखना
वॉइस विवरण की गुणवत्ता सीधे जनरेट की गई आवाज़ की गुणवत्ता तय करती है। वॉइस डिज़ाइन प्रॉम्प्टिंग गाइड में इसे विस्तार से बताया गया है, लेकिन शामिल किए जाने वाले मुख्य गुण हैं: ऑडियो क्वालिटी मार्कर ("Perfect audio quality."), उम्र और जेंडर, टोन/टिम्बर (गहरी, गूँजदार, खुरदरी), सटीक एक्सेंट (सिर्फ़ "British" के बजाय "thick Celtic British accent") और बोलने की गति। ज़्यादा वर्णनात्मक प्रॉम्प्ट अधिक सटीक नतीजे देते हैं — "a tired New Yorker in her 60s with a dry sense of humor" हर बार "an older female voice" से बेहतर होगा।
गाइड से ध्यान देने योग्य कुछ बातें: एक्सेंट की प्रमुखता बताने के लिए "strong" की जगह "thick" इस्तेमाल करें, "foreign" जैसे अस्पष्ट शब्दों से बचें, और काल्पनिक या ऐतिहासिक किरदारों के लिए प्रेरणा के रूप में वास्तविक दुनिया के एक्सेंट सुझा सकते हैं (जैसे, "an ancient Celtic queen with a thick British accent, regal and commanding")।
इसके साथ किरदारों की आवाज़ें बनाना वॉइस डिज़ाइन
वॉइस डिज़ाइन API टेक्स्ट विवरणों से नई सिंथेटिक आवाज़ें जनरेट करता है — इसके लिए वॉइस सैंपल या क्लोनिंग की ज़रूरत नहीं होती। इसलिए यह उन ऐतिहासिक हस्तियों के लिए बहुत उपयुक्त है, जिनका मूल ऑडियो मौजूद नहीं है।
इस प्रक्रिया के दो चरण हैं।
प्रीव्यू जनरेट करें
टेक्स्ट पैरामीटर महत्वपूर्ण है। लंबा, किरदार के अनुरूप सैंपल टेक्स्ट (50+ शब्द) अधिक स्थिर नतीजे देता है — सामान्य अभिवादन इस्तेमाल करने के बजाय संवाद को किरदार के अनुरूप रखें। वॉइस डिज़ाइन प्रॉम्प्टिंग गाइड में यह और विस्तार से बताया गया है।
आवाज़ सेव करें
प्रीव्यू जनरेट होने के बाद, एक चुनें और स्थायी आवाज़ बनाएं:
कई किरदारों वाली प्रतिमाओं के लिए, आवाज़ें समानांतर रूप से बनाई जाती हैं। पाँच किरदारों की आवाज़ें बनाने में लगभग उतना ही समय लगता है जितना एक में:
मल्टी-वॉइस ElevenLabs Agent बनाना
आवाज़ें बन जाने के बाद, अगला चरण एक ElevenLabs Agent को कॉन्फ़िगर करना है, जो रीयल-टाइम में किरदारों की आवाज़ों के बीच स्विच कर सके।
मल्टी-वॉइस स्विचिंग
supportedVoices ऐरे Agent को बताता है कि कौन-सी आवाज़ें उपलब्ध हैं। Agents प्लेटफ़ॉर्म वॉइस स्विचिंग को अपने आप संभालता है — जब LLM के रिस्पॉन्स से पता चलता है कि कोई दूसरा किरदार बोल रहा है, तो TTS इंजन उस हिस्से को सही आवाज़ तक पहुँचाता है।
ग्रुप बातचीत के लिए प्रॉम्प्ट इंजीनियरिंग
कई किरदारों को एक असली समूह जैसा महसूस कराना — क्रमवार सवाल-जवाब जैसा नहीं — सोच-समझकर प्रॉम्प्ट डिज़ाइन करने की ज़रूरत रखता है:
WebRTC पर रीयल-टाइम वॉइस
आखिरी हिस्सा क्लाइंट कनेक्शन है। ElevenLabs Agents कम-लेटेंसी वाली वॉइस बातचीत के लिए WebRTC सपोर्ट करते हैं — यह WebSocket-आधारित कनेक्शनों से काफ़ी तेज़ है, जो बातचीत में स्वाभाविक रूप से बारी लेने के लिए अहम है।
सर्वर-साइड: बातचीत का टोकन पाएं
क्लाइंट-साइड: सेशन शुरू करें
useConversation हुक ऑडियो कैप्चर, स्ट्रीमिंग, वॉइस एक्टिविटी डिटेक्शन और प्लेबैक संभालता है।
वेब सर्च से रिसर्च को गहराई दें
बातचीत शुरू करने से पहले ज़्यादा ऐतिहासिक संदर्भ चाहने वाले यूज़र्स के लिए, आप OpenAI के वेब सर्च टूल से बेहतर रिसर्च मोड जोड़ सकते हैं:
हमने क्या सीखा
यह प्रोजेक्ट दिखाता है कि AI के अलग-अलग माध्यमों — टेक्स्ट, रिसर्च, विज़न और ऑडियो — को मिलाकर हम ऐसे अनुभव बना सकते हैं, जो डिजिटल और असली दुनिया, दोनों से जुड़ते हैं। मल्टी-मॉडल Agents में अभी बहुत संभावनाएँ हैं, जिन्हें हम शिक्षा, काम और मनोरंजन के लिए ज़्यादा लोगों को तलाशते देखना चाहेंगे।
बनाना शुरू करें
इस प्रोजेक्ट में इस्तेमाल किए गए APIs — वॉइस डिज़ाइन, ElevenAgents, और OpenAI — आज ही उपलब्ध हैं।
जो ElevenLabs की ग्रोथ टीम में काम करते हैं, डेवलपर्स को ElevenLabs के फ्रंटियर ऑडियो मॉडल्स का अधिकतम लाभ उठाने में मदद करने पर ध्यान केंद्रित करते हैं




