वॉइस चेंजर पेश है

Voice Changer को मूल रूप से स्पीच टू स्पीच कहा जाता था। AI वॉइस एजेंट्स के संदर्भ में, “स्पीच टू स्पीच” का मतलब ऐसी फ्यूज़्ड आर्किटेक्चर भी है, जहाँ एक ही मॉडल सीधे ऑडियो इनपुट और आउटपुट संभालता है। ElevenAgents अपने प्लेटफ़ॉर्म के लिए उन्नत कैस्केडेड आर्किटेक्चर का इस्तेमाल करता है। और जानें: कैस्केडेड बनाम फ्यूज़्ड मॉडल।

वॉइस चेंजर

हमने वॉइस चेंजर को स्पीच सिंथेसिस में जोड़ा है। वॉइस चेंजर एक वॉइस कन्वर्ज़न टूल है, जो एक आवाज़ की रिकॉर्डिंग को दूसरी आवाज़ में बोला हुआ जैसा बना देता है — मूल परफॉर्मेंस को बरकरार रखते हुए। यानी रिकॉर्डिंग में डाले गए भाव, टाइमिंग, गति और उच्चारण आउटपुट वॉइस में भी बने रहते हैं।

इससे आपको उतना नियंत्रण मिलता है, जो सिर्फ टेक्स्ट टू स्पीच प्रॉम्प्ट्स से हमेशा नहीं मिल सकता। इसे इस्तेमाल करने के दो मुख्य तरीके हैं।

किसी आवाज़ से ज़्यादा भाव निकालें। टेक्स्ट टू स्पीच प्रॉम्प्ट्स के ज़रिए दिए गए भावनात्मक निर्देशों पर सभी आवाज़ें एक जैसी प्रतिक्रिया नहीं देतीं। वॉइस चेंजर आपको बेहद अभिव्यक्तिपूर्ण स्पीच रिकॉर्ड या अपलोड करने और उस भावनात्मक रेंज को किसी दूसरी आवाज़ में दोहराने देता है। अगर आपको किसी पेशेवर नैरेटर की आवाज़ को ज़्यादा गर्मजोशी भरा बनाना है या बच्चों की किताब के किसी किरदार को ज़्यादा चंचल सुनाना है, तो आप खुद उस अंदाज़ में बोल सकते हैं और वॉइस चेंजर उसे लक्ष्य आवाज़ में ट्रांसफर कर देगा।

स्पीच डिलीवरी को बेहतर बनाएं। हमारे टेक्स्ट टू स्पीच मॉडल आमतौर पर शुरू से ही इंटोनेशन को अच्छी तरह संभालते हैं। लेकिन जब आपको किसी खास वाक्यांश की डिलीवरी पर सटीक नियंत्रण चाहिए — ज़ोर कहाँ हो, विराम कैसा लगे, लय कैसी हो — तब वॉइस चेंजर आपको अपनी आवाज़ में उसे दिखाने और फिर उस डिलीवरी को अपनी चुनी हुई किसी भी आवाज़ पर लागू करने देता है। जब हम वॉइस चेंजर को सीधे Studio में इंटीग्रेट करेंगे, तो यह और भी उपयोगी होगा, लेकिन लक्ष्य वही है: आपको अपने आउटपुट पर सटीक नियंत्रण देना।

हमारे कम्युनिटी के एक सदस्य का वॉकथ्रू यहाँ है:

रिसर्च

सोर्स स्पीच को टारगेट स्पीच में बदलने के लिए, हमें सोर्स स्पीच की सामग्री को टारगेट स्पीच की विशेषताओं के साथ व्यक्त करना होता है। इसे समझने के लिए फेस-स्वैपिंग एक अच्छा उदाहरण है: ऐसे ऐप्स जो दो चेहरों को मिलाकर एक व्यक्ति की विशेषताओं को दूसरे के मैप किए गए ढाँचे में रेंडर करते हैं।

इसके लिए चेहरे की इमेज लेकर उसकी विशेषताओं को मैप किया जाता है। नीचे दिए गए उदाहरण में मार्कर यही काम करते हैं — वे वे सीमाएँ हैं जिनके भीतर दूसरा चेहरा रेंडर किया जाएगा।

वॉइस कन्वर्ज़न की कुंजी है टारगेट स्पीच के फोनीम्स का इस्तेमाल करके सोर्स स्पीच की सामग्री को रेंडर करना। लेकिन इसमें भी वही समझौता है जो फेस-स्वैपिंग के उदाहरण में है: किसी चेहरे की विशेषताओं को मैप करने के लिए जितने ज़्यादा मार्कर इस्तेमाल करेंगे, उनके भीतर मैप किए जाने वाले चेहरे पर उतनी ही ज़्यादा सीमाएँ लगेंगी। कम मार्कर का मतलब है कम सीमाएँ।

वॉइस कन्वर्ज़न में भी यही बात लागू होती है। हम टारगेट स्पीच को जितनी ज़्यादा प्राथमिकता देते हैं, सोर्स स्पीच के साथ तालमेल बिगड़ने का जोखिम उतना ही बढ़ता है। लेकिन अगर हम इसे पर्याप्त प्राथमिकता नहीं देते, तो उस स्पीच की खासियत का बड़ा हिस्सा खोने का जोखिम रहता है। उदाहरण के लिए, अगर हम गुस्से में चिल्लाते हुए किसी व्यक्ति की रिकॉर्डिंग को फुसफुसाती आवाज़ में रेंडर करें, तो समस्या होगी। सोर्स स्पीच के भावों को बहुत ज़्यादा प्राथमिकता देने पर फुसफुसाती आवाज़ होने का एहसास खो जाता है। फुसफुसाने के पैटर्न पर बहुत ज़्यादा ज़ोर देने पर सोर्स स्पीच का भावनात्मक असर खो जाता है।

प्रोडक्ट और हालिया अपडेट्स

प्री-मेड आवाज़ों में बदलाव

हम स्पीच सिंथेसिस में उपलब्ध डिफ़ॉल्ट आवाज़ों में बदलाव कर रहे हैं। हम कुछ आवाज़ों को हटाकर उनकी जगह नई आवाज़ें लाएँगे, और आने वाले हफ्तों में 20 से ज़्यादा नई आवाज़ें जोड़ने की योजना है।

हम UI में यह जानकारी भी दिखाना शुरू करेंगे कि हर आवाज़ के कितने समय तक उपलब्ध रहने की उम्मीद है। दिसंबर भर हम आवाज़ों की विविधता बेहतर बनाने के लिए वॉइस शेयरिंग और इस्तेमाल के बदले मिलने वाले भुगतान की सुविधाओं को नया रूप देंगे। जल्द ही और जानकारी मिलेगी।

Eleven Turbo v2 और uLaw 8kHz फ़ॉर्मैट

Turbo v2 हमारी टीम की महीनों की रिसर्च का नतीजा है। इसे रीयल-टाइम इंटरैक्शन के लिए डिज़ाइन किया गया है, लेकिन यह हर उपयोग के लिए काम करता है। यह IVR सिस्टम्स के लिए मानक (m)uLaw 8kHz फ़ॉर्मैट को भी सपोर्ट करता है।

Studio के साथ नॉर्मलाइज़ेशन और मेटाडेटा

Studio अब इंडस्ट्री-स्टैंडर्ड ऑडियोबुक सबमिशन दिशानिर्देशों को सपोर्ट करता है, जिनमें गेन एडजस्टमेंट और डायनेमिक कंप्रेशन शामिल हैं। आप अपने Studio प्रोजेक्ट में मेटाडेटा (ISBN, लेखक और शीर्षक) भी सीधे एम्बेड कर सकते हैं।

उच्चारण शब्दकोश

यह हमारी सबसे ज़्यादा अनुरोध की गई सुविधाओं में से एक रही है। पिछले महीने, हमने अपने अंग्रेज़ी मॉडल्स के साथ IPA और CMU शब्दकोशों का इस्तेमाल करके उच्चारण तय करने के लिए SSML टैग सपोर्ट जोड़ा था। अब हमने Studio UI में उच्चारण शब्दकोश सपोर्ट जारी कर दिया है, जिससे आप IPA, CMU या शब्द प्रतिस्थापन (उपनाम) का इस्तेमाल करके उच्चारण तय करने वाली फ़ाइल अपलोड कर सकते हैं। डिक्शनरी फ़ाइलें इंडस्ट्री-स्टैंडर्ड ओपन .PLS लेक्सिकॉन फ़ाइल फ़ॉर्मैट का इस्तेमाल करती हैं।

IPA और CMU को फ़िलहाल Turbo v2 English सपोर्ट करता है। शब्द प्रतिस्थापन सभी मॉडल्स और भाषाओं में समर्थित हैं। पूरा दस्तावेज़ यहाँ उपलब्ध है।

अगर आपका कोई फ़ीडबैक है, तो Discord पर हमसे संपर्क करने में संकोच न करें!

वॉइस चेंजर आज़माएं

जिस तरह आप चाहें, बोलें और उसे बिल्कुल अलग आवाज़ में सुनें — परफॉर्मेंस पर पूरा नियंत्रण आपके हाथ में रहेगा। फुसफुसाहट, हँसी, एक्सेंट और हल्के भावनात्मक संकेतों को कैप्चर करें।