INTERSPEECH 2022 में Eleven

अनुभव कैसा रहा

हम अभी इस साल के INTERSPEECH सम्मेलन से लौटे हैं। पिछले कुछ महीनों में जिन सभी चीज़ों पर हम काम कर रहे थे, उन्हें प्रस्तुत करने और उन पर फीडबैक पाने का यह अब तक का हमारा सबसे अच्छा अवसर था।

इस क्षेत्र के बेहतरीन लोगों से सीखना, उनके साथ विचार साझा करना और इस दौरान भविष्य के लिए संबंध बनाना शानदार रहा। हम अपने जैसे ही क्षेत्र में काम करने वाले कुछ शानदार स्टार्टअप्स की टीम्स से मिले, खास तौर पर वॉइस क्लोनिंग, स्पीच सिंथेसिस (TTS) और वॉइस कन्वर्ज़न (VC) में काम करने वाली टीम्स से (जैसे Supertone और LOVO)। Meta और Google जैसी स्थापित कंपनियों से TTS और VC सॉफ़्टवेयर बनाने के पीछे होने वाले काम पर बात करके हम भी उतने ही उत्साहित थे।

हमने सीधे काम शुरू कर दिया। हमारे काम के लिए मिले सच्चे उत्साह ने हमें बेहद खुश कर दिया—यह हमारी हर उम्मीद से बढ़कर था। अगले चार दिनों में हमने ऊपर बताए गए स्पीच टेक के तीन क्षेत्रों में अपने शोध और प्रगति पर चर्चा की। ये हमारे अपने ऑटोमैटिक डबिंग टूल को विकसित करने की दिशा में बेहद अहम शुरुआती कदम थे, जिसका वर्ज़न 1.0 हम अगले साल की शुरुआत में जारी करने की योजना बना रहे हैं।

हमारे लिए सबसे अहम बात यह साबित करना था कि हम वॉइसेज़ को सटीकता से क्लोन कर सकते हैं—कि जिस सोर्स वॉइस डेटा पर हम अपने एल्गोरिदम को ट्रेन करते हैं और उसी वॉइस के सिंथेटिक रूप से जनरेट होने पर उसके सुनाई देने के तरीके के बीच वॉइस समानता बनाए रख सकते हैं। दूसरी बात, हमारे लिए यह साबित करना भी ज़रूरी था कि हमारे TTS टूल्स बेहतरीन प्रोसोडी और टोनैलिटी देकर सबसे मानवीय और प्राकृतिक सुनाई देने वाले सिंथेटिक स्पीच प्लेटफ़ॉर्म का हिस्सा बनने की सही दिशा में बढ़ रहे हैं।

पहली बात स्वाभाविक रूप से अहम है, क्योंकि हमें नए जनरेट किए गए कथनों से तुरंत यह पहचान होनी चाहिए कि वे किसी खास व्यक्ति ने बोले हैं—हमें स्पीकर की पहचान सही ढंग से बनाए रखनी है। प्रोसोडी और टोनैलिटी अहम हैं, क्योंकि टोन और बोलने की गति इरादा बताती हैं, और यही बात स्पीच को मानवीय बनाती है। यहाँ लक्ष्य यह है कि प्रोग्राम न सिर्फ़ शब्दों का धाराप्रवाह उच्चारण करे, बल्कि कथन में सही भावनात्मक असर भी जोड़े, ताकि ऐसा लगे कि वह समझता है कि वह क्या कह रहा है।

TTS डेमो

नीचे आप सम्मेलन के दौरान इस्तेमाल किया गया ऐसा ही एक TTS डेमो देख सकते हैं। पहला लिंक ओरिजिनल वीडियो का है और उसके बाद अलग वॉइस में बोले गए उसी संदेश वाला हमारा सैंपल है। ध्यान रखें, यह टेक्स्ट-टू-स्पीच है—वॉइस कन्वर्ज़न नहीं। आपने जो स्पीच सुनी, उसे जनरेट करने के लिए हमारा एकमात्र इनपुट ओरिजिनल वीडियो में बोले गए शब्दों को लिखना था। सारी प्रोसोडी और इंटोनेशन एल्गोरिदम ही तय करता है, इसमें कोई पोस्ट-प्रोसेसिंग नहीं है। देखें, क्या आप पहचान सकते हैं कि यह किसकी वॉइस है!

टेक्स्ट इनपुट से स्पीच जनरेट करने पर खास तौर से केंद्रित हमारी अगली पोस्ट में आप Eleven TTS तकनीक के बारे में और पढ़ेंगे।

अगर आपको हमारी टेक पसंद है और आप हमारे बीटा-टेस्टर बनना चाहते हैं, तो इसके लिए यहाँ क्लिक करें।

ओरिजिनल:

ElevenLabs वॉइस क्लोनिंग TTS:

रूप से ज़्यादा विषय-वस्तु

सम्मेलन से पहले के महीनों में हमारे प्रयास लगभग पूरी तरह से अपनी टेक के प्रदर्शन योग्य सैंपल देने और अपने स्वामित्व वाले शोध को दिखाने पर केंद्रित थे। आखिरकार, INTERSPEECH एक शोध सम्मेलन है और हम इस बात पर दृढ़ थे कि, खास तौर पर इतने केंद्रित आयोजन में, विषय-वस्तु रूप से पहले होनी चाहिए। हालाँकि, सम्मेलन के दिन हम मज़ाक करने लगे कि टेक पर हमारे ज़्यादा फ़ोकस ने शायद हमारे ब्रांडिंग प्रयासों को बहुत मिनिमलिस्ट बना दिया है। जल्द ही हमें यह देखकर काफी राहत मिली, बल्कि अपनी बात सही साबित हुई लगी, कि बड़ी कंपनियों समेत दूसरे लोग भी सादे सेट-अप चुन रहे थे।

अगले साल तक

कोरिया की हमारी यात्रा Eleven के लिए बड़ी सफलता रही और आगे और ज़ोर से काम करने की प्रेरणा भी मिली। हम अपने शोध और उसे प्रस्तुत करने के तरीकों में अगले साल होने वाली प्रगति के बारे में सोचकर ही उत्साहित हैं। उम्मीद है, तब तक हमारे प्रोडक्शन-क्वालिटी डबिंग टूल्स तैयार होंगे और हम लोगों की वॉइसेज़ का इस्तेमाल करके उन्हें उन भाषाओं में बोलने देंगे जो वे नहीं बोलते।