आवाज़ रूपांतरण

वॉइस कन्वर्ज़न क्या है?

वॉइस कन्वर्ज़न से आप एक व्यक्ति की आवाज़ को दूसरे व्यक्ति की आवाज़ में बदल सकते हैं। इसमें टारगेट वॉइस — यानी जिस आवाज़ में बदलना है — को एन्कोड करने के लिए वॉइस क्लोनिंग नाम की प्रक्रिया का इस्तेमाल होता है। इससे वही संदेश ऐसी आवाज़ में जनरेट होता है जो टारगेट स्पीकर की पहचान से मेल खाती है, लेकिन मूल उतार-चढ़ाव बनाए रखती है।

उपयोग

उच्च-गुणवत्ता वाली वॉइस कन्वर्ज़न और वॉइस क्लोनिंग तकनीक कई उद्योगों में कंटेंट बनाने, पहुँचाने और उसके साथ इंटरैक्ट करने के तरीके को बदल सकती है। इससे प्रोडक्शन का समय और लागत कम हो सकती है, और कन्वर्ज़न एल्गोरिदम को ट्रेन करने के लिए अपनी आवाज़ देने वाले लोगों को निष्क्रिय आय का अवसर मिल सकता है।

• फिल्म निर्माण में ऐक्टर सेट या स्टूडियो तक यात्रा किए बिना ऑडियो ट्रैक बनाने के लिए अपने वॉइस डेटाबेस प्रोड्यूसरों के साथ साझा कर सकते हैं;
• गलत बोले गए संवादों को पोस्ट-प्रोडक्शन में कहीं अधिक प्रभावी ढंग से दोबारा रिकॉर्ड किया जा सकता है;
• इस तकनीक का इस्तेमाल काल्पनिक दृश्यों में ऐतिहासिक हस्तियों की आवाज़ को सटीकता से दोबारा बनाने या दिवंगत ऐक्टरों की आवाज़ को फिर से जीवंत करने के लिए भी किया जा सकता है;
• वीडियो गेम डेवलपमेंट में भी यह तकनीक उतनी ही उपयोगी हो सकती है: संवादों को सुधारना या सिर्फ़ प्रयोग करना, रिकॉर्डिंग के लिए ऐक्टर की भौतिक मौजूदगी के बिना, तुरंत किया जा सकता है;
• चिकित्सा में, गले के कैंसर के इलाज जैसे कारणों से बोलने की क्षमता खो चुके मरीज़ों को अपनी ही आवाज़ में फिर से संवाद करने का मौका मिल सकता है;
• वर्चुअल असिस्टेंट ज़्यादा व्यक्तिगत हो सकते हैं, क्योंकि घर के यूज़र्स को किसी अनजान वर्चुअल आवाज़ के बजाय अपने किसी प्रियजन की आवाज़ से बात करना अधिक स्वाभाविक लग सकता है;
• इसके उलट, विज्ञापन उद्योग को ऐसे सिंथेटिक वॉइसओवर पेश करने से फ़ायदा हो सकता है जो किसी इंसान जितने असली लगें, लेकिन अधिकार स्वामित्व और रॉयल्टी से जुड़े मुद्दों से बचें। दूसरी ओर, अगर किसी पहचानी जाने वाली आवाज़ की ही ज़रूरत हो, तो विज्ञापन निर्माता लंबे रिकॉर्डिंग सेशन में ऐक्टर की भौतिक मौजूदगी के बिना, उनकी सहमति से किसी खास ऐक्टर की आवाज़ क्लोन करने के लिए भी इस तकनीक का इस्तेमाल कर सकते हैं;
• ऑडियोबुक और पॉडकास्ट उद्योग ऐसे दो बढ़ते क्षेत्र हैं, जहाँ वॉइस क्लोनिंग और वॉइस कन्वर्ज़न तकनीक से इमर्सिव कंटेंट के प्रोडक्शन और एडिटिंग को बेहतर बनाया जा सकता है।

ElevenLabs वॉइस कन्वर्ज़न

हम अपने टूल पैकेज के हिस्से के रूप में ElevenLabs में वॉइस कन्वर्ज़न सॉफ़्टवेयर विकसित करते हैं, लेकिन वॉइस क्लोनिंग और वॉइस सिंथेसिस पर हमारा शोध मुख्य रूप से हमारे प्रमुख प्रोडक्ट के विकास में मदद करता है, जिसे हम अगले साल की शुरुआत में रिलीज़ करने की योजना बना रहे हैं: पहचान बनाए रखने वाला ऑटोमैटिक डबिंग टूल।

हमारा लक्ष्य एक क्लिक में, सभी भाषाओं में बोले गए कंटेंट को मूल वक्ता की आवाज़ में उपलब्ध कराना है। अंग्रेज़ी में एक शैक्षिक YouTube वीडियो की कल्पना करें। अगर कोई व्यक्ति केवल स्पैनिश बोलता है (लेकिन भाषा जानने पर उसे विषय रोचक लगता), तो यह समस्या है। कैप्शन इसका समाधान देते हैं, लेकिन हमारा लक्ष्य कंटेंट से जुड़ने का कहीं अधिक इमर्सिव और मनोरंजक तरीका देना है। हम चाहते हैं कि वही व्यक्ति, स्पैनिश न जानते हुए भी, वही संदेश स्वाभाविक रूप से मूल-भाषी स्तर की स्पैनिश में बोलता हुआ जनरेट हो सके।

इसके लिए वॉइस क्लोनिंग हमें उनकी पहचान — उनकी आवाज़ की ध्वनि — बनाए रखने देती है। हम इसका इस्तेमाल किसी दूसरी भाषा में नए वाक्य जनरेट करने के लिए करते हैं, ताकि ऐसा लगे कि वही व्यक्ति बोल रहा है।

वॉइस कन्वर्ज़न इसलिए ज़रूरी है क्योंकि हम अधिकतम इमर्शन के लिए उनकी भावनाएँ, इरादा और बोलने का अंदाज़ बनाए रखना चाहते हैं। हम मज़बूत मल्टी-लैंग्वेज मॉडल ट्रेन करते हैं, जो हमें स्रोत भाषा के वाक्यों को समझने और सही उतार-चढ़ाव के साथ उन्हें टारगेट भाषा में मैप करने देते हैं।

प्रक्रिया

एक व्यक्ति की आवाज़ को दूसरे की आवाज़ में, यानी स्रोत स्पीच को टारगेट स्पीच में बदलने के लिए, हमें ऐसा एल्गोरिदम चाहिए जो स्रोत स्पीच के कंटेंट को टारगेट स्पीच की विशेषताओं के साथ व्यक्त कर सके। इसका अच्छा उदाहरण फेस-स्वैपिंग ऐप्स हैं, जो आपको अपने चेहरे को किसी और के चेहरे के साथ मिलाकर दोनों की एक तस्वीर बनाने देते हैं।

इसके लिए चेहरे की इमेज लेकर उसके गुणों को मैप किया जाता है। नीचे दिए उदाहरण में डॉट्स यही काम करते हैं: वे वे सीमाएँ हैं जिनके भीतर दूसरे चेहरे की विशेषताएँ रेंडर की जाएँगी।

वॉइस कन्वर्ज़न में, एल्गोरिदम को टारगेट स्पीच की विशेषताओं को एन्कोड करने का तरीका चाहिए। एल्गोरिदम को उस स्पीच के कई उदाहरणों वाले डेटा सेट पर ट्रेन किया जाता है। यह उन सैंपल्स को एक बुनियादी स्तर तक तोड़ता है — कहें तो स्पीच के "एटम्स" तक। स्पीच वाक्यों से बनी होती है। वाक्य शब्दों से बने होते हैं। शब्द फोनीम्स से बनते हैं, और यही टारगेट स्पीच की विशेषताओं को दर्शाते हैं। यही वह बुनियादी स्तर है जिस पर एल्गोरिदम काम करता है।

वॉइस कन्वर्ज़न की कुंजी है स्रोत स्पीच के कंटेंट को टारगेट स्पीच के फोनीम्स का इस्तेमाल करके रेंडर करना। लेकिन यहाँ एक संतुलन बनाना होता है, ठीक फेस-स्वैपिंग के उदाहरण की तरह: किसी चेहरे के गुणों को मैप करने के लिए आप जितने ज़्यादा मार्कर इस्तेमाल करते हैं, उनके भीतर मैप किए जा रहे चेहरे पर उतनी ही ज़्यादा पाबंदियाँ लगती हैं। कम मार्कर का मतलब है कम पाबंदियाँ। वॉइस कन्वर्ज़न में भी यही बात लागू होती है। हम टारगेट स्पीच को जितनी अधिक प्राथमिकता देते हैं, स्रोत स्पीच से तालमेल बिगड़ने का जोखिम उतना बढ़ता है। लेकिन अगर उसे पर्याप्त प्राथमिकता न दें, तो उस स्पीच की विशिष्टता का बहुत कुछ खोने का जोखिम होता है। उदाहरण के लिए, अगर हमें किसी व्यक्ति के गुस्से में चिल्लाने की रिकॉर्डिंग को मॉर्गन फ़्रीमैन की आवाज़ में रेंडर करना हो, तो मुश्किल होगी। स्रोत स्पीच की भावनाओं को बहुत ज़्यादा प्राथमिकता देने पर यह एहसास खो जाता है कि वास्तव में मॉर्गन फ़्रीमैन बोल रहे हैं। उनकी बोलने की शैली पर बहुत ज़्यादा ज़ोर देने पर स्रोत स्पीच का भावनात्मक असर खो जाता है।

नैतिकता

वॉइस क्लोनिंग से जुड़ी नैतिक चिंताओं पर बात करना ज़रूरी है, क्योंकि इस तकनीक के दुरुपयोग की संभावना से लोग लगातार चिंतित हो रहे हैं। 2020 में, स्कैमर्स ने एक फ़ोन कॉल पर सीईओ बनकर ऑडियो डीपफेक का इस्तेमाल किया और $35 मिलियन के बैंक ट्रांसफ़र को मंज़ूरी दिलवाई। ऐसी तकनीक जो भरोसेमंद तरीके से यह दिखा सकती है कि किसी व्यक्ति ने वह बात कही जो उसने नहीं कही थी, उसके दुष्प्रचार, मानहानि या धोखाधड़ी के लिए इस्तेमाल होने का डर पैदा करती है। इसी तरह, अगर वॉइस कन्वर्ज़न यूज़र्स को वॉइस मालिकों की सहमति के बिना जनरेट किए गए कंटेंट से लाभ कमाने देता है, तो यह कॉपीराइट उल्लंघन के अहम सवाल उठाता है।

ElevenLabs में हम यह सुनिश्चित करने के लिए हर संभव प्रयास करना ज़रूरी मानते हैं कि हमारी तकनीक का इस्तेमाल गलत उद्देश्यों के लिए न हो और इसके खतरों से बचाव के लिए सुरक्षा उपाय लागू हों:

• हम केवल उन क्लाइंट्स के साथ साझेदारी करते हैं जो हमारी शर्तों का पालन करते हैं। ये शर्तें दुष्प्रचार, मानहानि, धोखाधड़ी या किसी अन्य गैरकानूनी अथवा हानिकारक उद्देश्य के इरादे से हमारी तकनीक के दुर्भावनापूर्ण इस्तेमाल पर रोक लगाती हैं;
• ElevenLabs द्वारा बनाए गए सिंथेटिक वीडियो कंटेंट में स्पष्ट वॉटरमार्क होता है, जो बताता है कि यह AI-जनरेटेड है। ऑडियो कंटेंट में फ़ाइल का स्पष्ट विवरण होता है। जब हम पहचानी जा सकने वाली आवाज़ों का इस्तेमाल करते हैं, तो वह प्रदर्शन के उद्देश्य से और ऐसे संदर्भों में करते हैं जहाँ हितों का टकराव न हो;
• साथ ही, हम वॉइस मालिकों और उनके लाइसेंसधारकों को उनके अधिकार पाने में सहयोग देते हैं।
• अगर हमारे दृष्टिकोण को बेहतर बनाने के लिए आपके पास सुझाव हैं, तो हमें ethics@elevenlabs.io

हमें विश्वास है कि दुरुपयोग का डर, शक्तिशाली नई तकनीकों के प्रति हमारे दृष्टिकोण को तय करने वाला प्रमुख कारक नहीं होना चाहिए। इसके बजाय, हमें विकास के दौरान उचित सुरक्षा उपाय लागू करने का प्रयास करना चाहिए, ताकि नुकसान का जोखिम कम हो और तकनीक की क्षमता का व्यापक समुदाय के हित में पूरा उपयोग किया जा सके।

भविष्य

वॉइस कन्वर्ज़न और वॉइस क्लोनिंग तकनीक फिल्म निर्माण, टेलीविज़न, कंटेंट क्रिएशन, गेम डेवलपमेंट, पॉडकास्ट और ऑडियोबुक के साथ-साथ विज्ञापन उद्योग में भी बदलाव लाने का वादा करती हैं। लेकिन इनके उपयोग व्यावसायिक क्षेत्रों से आगे चिकित्सा, शिक्षा और संचार तक फैले हुए हैं।

वॉइस क्लोनिंग ऐसे भविष्य का रास्ता बना रही है जहाँ दुनिया भर के लाखों लोगों तक पहुँचने और एक पूरी तरह नई अर्थव्यवस्था बनाने के लिए किसी भी कंटेंट को किसी भी भाषा और आवाज़ में जनरेट किया जा सकेगा। ElevenLabs में हमारा लक्ष्य इस भविष्य को साकार करने में मदद करना है।