Eleven v4

Eleven v4 हमारा नवीनतम और सबसे उन्नत टेक्स्ट टू स्पीच मॉडल है, और मॉडलों की नई पीढ़ी का पहला मॉडल है। Eleven v3 की तुलना में यह आउटपुट क्वालिटी, वॉइस की सटीकता, स्थिरता, भावनाओं, डिलीवरी, ऑडियो टैग्स और भाषा कवरेज को बेहतर बनाता है।

आम तौर पर, Eleven v4, Eleven v3 का अपग्रेड है और लगभग हर मामले में बेहतर नतीजे देता है। हम आपको v4 पर स्विच करने और अपने वॉइसेज़ व कॉन्टेंट के साथ इसे टेस्ट करने की पुरज़ोर सलाह देते हैं, ताकि आप खुद अंतर देख सकें। कुछ खास मामलों में कोई दूसरा विकल्प बेहतर हो सकता है, लेकिन ज़्यादातर यूज़र्स के लिए v4 बेहतर विकल्प होगा।

टैग्स, विराम चिह्नों और डायलॉग प्रॉम्प्टिंग के लिए Prompting Eleven v4 देखें।

वॉइस क्लोनिंग

Eleven v4 के साथ वॉइस क्लोनिंग की सटीकता में बड़ी प्रगति हुई है। क्लोन की गई वॉइसेज़ स्रोत वॉइस की विशेषताओं — टिम्बर, लय और डिलीवरी — को पिछले किसी भी मॉडल की तुलना में ज़्यादा सटीकता से कैप्चर करती हैं।

Eleven v4 में इंस्टेंट वॉइस क्लोन्स (IVCs) पहले से कहीं ज़्यादा सटीक हैं। वे स्रोत वॉइस की पहचान तय करने वाली विशेषताओं को ज़्यादा भरोसेमंद ढंग से कैप्चर करते हैं, जिससे छोटे ऑडियो सैंपल से जल्दी एक विश्वसनीय क्लोन बनाना आसान हो जाता है।

प्रोफेशनल वॉइस क्लोन्स (PVCs) को Eleven v4 में पूरी तरह सपोर्ट किया जाता है। ये वॉइस सटीकता में हुई उन्हीं प्रगतियों पर आधारित हैं और उन वर्कफ़्लो के लिए स्रोत वॉइस का अधिक सटीक पुनरुत्पादन देते हैं, जिनमें सबसे ज़्यादा स्थिरता और नियंत्रण चाहिए।

सटीकता में इस बड़ी छलांग के कारण Eleven v4, Eleven v3 से काफ़ी अलग सुनाई दे सकता है। Eleven v3 ने डिलीवरी और सटीकता पर मज़बूत ज़ोर के साथ Eleven v4 की नींव रखी, जबकि Eleven v4 उसी नींव पर वॉइस सटीकता को काफी बेहतर बनाता है। नतीजतन, Eleven v4 स्रोत वॉइस को ज़्यादा सटीकता से कैप्चर करने के लिए बनाया गया है, हालांकि आपको फिर भी यह पसंद आ सकता है कि कोई वॉइस Eleven v3 में कैसी सुनाई देती थी। सटीकता और व्यक्तिगत पसंद हमेशा एक जैसी नहीं होतीं, इसलिए अपने इस्तेमाल के लिए सबसे उपयुक्त विकल्प चुनने हेतु हम दोनों वर्ज़न की तुलना अपने कॉन्टेंट के साथ करने की सलाह देते हैं।

चूंकि Eleven v4 स्रोत वॉइस की विशेषताओं को ज़्यादा सटीकता से दोहराता है, जिनमें उसका एक्सेंट, डिलीवरी, आवाज़ की तीव्रता और अन्य खास गुण शामिल हैं, इसलिए स्रोत रिकॉर्डिंग की क्वालिटी पहले से कहीं ज़्यादा मायने रखती है। साफ़, स्वच्छ ट्रेनिंग ऑडियो Eleven v4 को अवांछित ध्वनियां या विशेषताएं जोड़े बिना वॉइस को सटीकता से कैप्चर करने में मदद करता है। बैकग्राउंड नॉइज़, डिस्टॉर्शन या रिकॉर्डिंग की अन्य समस्याएं नतीजे को प्रभावित कर सकती हैं।

हम अभी भी Eleven v4 के साथ प्रयोग कर रहे हैं ताकि समझ सकें कि इसका सबसे अच्छा इस्तेमाल कैसे किया जाए। अब तक, यह बारीक ऑडियो को कैप्चर करने में काफी बेहतर लगता है, खासकर तब जब प्रोफेशनल वॉइस क्लोन्स की तरह बहुत सारा ट्रेनिंग ऑडियो हो। अधिक बहुमुखी डेटासेट के साथ मॉडल को नियंत्रित करने के तरीकों का परीक्षण जारी रखते हुए, अलग-अलग तरह के ट्रेनिंग डेटा के इस्तेमाल पर हमारी सलाह बदल सकती है। फिलहाल, हम आपके ट्रेनिंग ऑडियो में एक ही बोलने की शैली रखने की सलाह देते हैं, जिसे Eleven v4 को पहले के मॉडलों से बेहतर कैप्चर करना चाहिए।

मूल एक्सेंट का प्रबंधन

यह पुराने मॉडलों की तुलना में Eleven v4 के सबसे बड़े बदलावों में से एक है, और इसे अच्छी तरह समझना ज़रूरी है।

जब आप जिस भाषा में जनरेट कर रहे हैं, वह आपकी रेफरेंस वॉइस की भाषा से मेल खाती है, तो मूल एक्सेंट पहले की तरह ही बना रहता है।

जब आप जिस भाषा में जनरेट कर रहे हैं, वह रेफरेंस वॉइस की भाषा से अलग होती है, तो Eleven v4 लक्ष्य भाषा में सहज, स्वाभाविक लगने वाली स्पीच जनरेट करता है — रेफरेंस वॉइस की मूल भाषा के एक्सेंट को साथ ले जाने के बजाय।

व्यवहार में: अगर आप किसी कोरियाई वक्ता की वॉइस क्लोन करते हैं और अंग्रेज़ी जनरेट करते हैं, तो Eleven v4 कोरियाई एक्सेंट वाली अंग्रेज़ी के बजाय स्वाभाविक, धाराप्रवाह अंग्रेज़ी बनाएगा। इससे हर वॉइस को हर समर्थित भाषा में इस्तेमाल किया जा सकता है। यह खासकर डबिंग, बहुभाषी कॉन्टेंट और उन वॉइस एजेंट्स के लिए उपयोगी है जिन्हें एक ही वॉइस से अलग-अलग भाषाओं में यूज़र्स की सेवा करनी होती है।

अगर आपका वर्कफ़्लो इस बात पर निर्भर करता है कि वॉइस दूसरी भाषाओं में भी अपना मूल एक्सेंट बनाए रखे, तो माइग्रेट करने से पहले इस व्यवहार को सीधे Eleven v4 के साथ टेस्ट करें — यह अलग-अलग भाषाओं में जनरेशन के काम करने के तरीके में जानबूझकर किया गया बदलाव है, कोई बग नहीं।

हालांकि, इस नई सुविधा को अभी भी बेहतर बनाया जा रहा है और हम इसे हमेशा चालू रखने के बजाय टॉगल बनाने के तरीकों पर काम कर रहे हैं। यह अभी एक रिसर्च प्रोजेक्ट है, इसलिए फिलहाल हमारे पास इसकी कोई समयसीमा या अन्य जानकारी नहीं है।

मॉडल वेरिएंट्स

Eleven v4 दो वेरिएंट्स में आता है, ताकि आप अपने इस्तेमाल के लिए क्वालिटी और स्पीड के सही संतुलन को चुन सकें:

• Eleven v4 (eleven_v4) — हमारा सबसे उच्च-क्वालिटी मॉडल, जो कॉन्टेंट क्रिएशन, ऑडियोबुक्स, कैरेक्टर वॉइसओवर्स और उन सभी उपयोग मामलों के लिए आदर्श है जहां क्वालिटी सबसे अहम है।
• Eleven v4 Turbo (eleven_v4_turbo) — बेहद कम लेटेंसी बनाए रखते हुए बहुत उच्च क्वालिटी देता है। इसे रियल-टाइम उपयोग मामलों, जैसे कन्वर्सेशनल एजेंट्स और इंटरैक्टिव वॉइस अनुभवों के लिए खास तौर पर बनाया गया है।

दोनों वेरिएंट्स में दो वॉइस सेटिंग्स होती हैं: स्थिरता और समानता।

स्थिरता यह नियंत्रित करती है कि अलग-अलग जनरेशन में डिलीवरी कितनी एक जैसी रहे। कम वैल्यू ज़्यादा अभिव्यक्तिपूर्ण, विविध डिलीवरी देती हैं; अधिक वैल्यू परफॉर्मेंस को एक तय बेसलाइन के करीब रखती हैं।

समानता यह नियंत्रित करती है कि आउटपुट रेफरेंस वॉइस के कितने करीब रहे। अधिक वैल्यू रेफरेंस के ज़्यादा करीब रखती हैं, लेकिन इससे कुछ स्वाभाविकता कम हो सकती है।

जब आप प्रोफेशनल वॉइस क्लोन और Eleven v4 चुनते हैं, तो वॉइस सेटिंग्स में एक अतिरिक्त क्लोन स्ट्रेंथ स्लाइडर शामिल होता है। क्लोन स्ट्रेंथ यह नियंत्रित करती है कि आउटपुट क्लोन की ट्रेनिंग रिकॉर्डिंग्स का कितनी बारीकी से पालन करे। कम वैल्यू पर वॉइस थोड़ी स्मूद होती है और डिलीवरी में परफॉर्मेंस की ज़्यादा लचीलापन मिलता है, जो अक्सर मूल वॉइस जैसा सुनाई देते हुए भी कुल मिलाकर बेहतर लगता है। अधिक वैल्यू पर आउटपुट कम स्मूदिंग के साथ ट्रेनिंग रिकॉर्डिंग्स के करीब रहता है और मूल वॉइस की डिलीवरी व परफॉर्मेंस की ज़्यादा बारीकी से नकल करता है। अधिक वैल्यू खास गुणों या अनोखे एक्सेंट वाली वॉइसेज़ के लिए विशेष रूप से उपयोगी हो सकती हैं। ज़्यादातर वॉइसेज़ के लिए 0% से शुरुआत करें।

Eleven v4 में स्टाइल और स्पीड स्लाइडर्स उपलब्ध नहीं हैं, और SSML सपोर्टेड नहीं है।

ऑडियो टैग्स (जैसे [whispering], [shouting], [laughing]) आपको बारीकी से नियंत्रण के साथ डिलीवरी निर्देशित करने देते हैं, और Eleven v4 उन्हें पिछले मॉडलों से अधिक बारीकी से संभालता है। वे अभी बिल्कुल सही नहीं हैं, और हम टैग निर्देशों का मॉडल कितनी भरोसेमंद तरह से पालन करता है, इसे लगातार बेहतर बना रहे हैं — यह निरंतर निवेश का एक सक्रिय क्षेत्र है और इसमें सुधार होता रहेगा।

उदाहरण

वॉइस क्लोनिंग सटीकता

हर उदाहरण वॉइस लाइब्रेरी प्रीव्यू से शुरू होता है। फिर हमने कुछ टेक्स्ट लिया और उस वॉइस के इंस्टेंट वॉइस क्लोन का इस्तेमाल करके उसे Eleven v3 और Eleven v4, दोनों पर जनरेट किया।

यह पूरी तरह सही तुलना नहीं है। Eleven v4 प्रोफेशनल वॉइस क्लोन्स के साथ भी काम करता है, जो मिलान को और बेहतर बना सकते हैं। हालांकि, तुलना को निष्पक्ष रखने के लिए हमने Eleven v3 और Eleven v4, दोनों के लिए इंस्टेंट वॉइस क्लोन्स का इस्तेमाल किया।

ये उदाहरण दिखाते हैं कि मॉडल मूल वॉइस का कितना हिस्सा पकड़ता है। यह ध्यान रखना ज़रूरी है कि इसमें EQ, क्वालिटी, वॉल्यूम और ऑडियो की अन्य छोटी बारीकियां व खामियां भी शामिल हैं, जैसे प्लोसिव्स, तीखी सिबिलेंस और वॉल्यूम में उतार-चढ़ाव।

पहले प्रीव्यू सुनें, फिर Eleven v3 और फिर Eleven v4।

वॉइस NfUrCNRReUL9RXS9upG1।

"Brother... I must cross the sea, though I'd rather stay beside you. If the gods will it, we'll see each other again. Until then, when the sun sinks beyond the waves, know that I'll be looking toward home."
He clasped my forearm beneath the pale morning sky. I held on a moment longer, then watched him turn toward the waiting ship.

वॉइस HBDoL4wkcalemIO0nUAu।

"When I was young, I thought the mountain stood because it was strong. Then winter came, and the mountain wore its crown of snow without complaint. Spring followed, and it let every stream run free.
"So remember, traveler: strength is not always holding fast. Sometimes it is knowing what to carry, and what the season asks you to release."

वॉइस ऐक्टिंग

ये Eleven v4 जनरेशन हैं। टेक्स्ट में मौजूद ऑडियो टैग्स डिलीवरी को निर्देशित करते हैं।

वॉइस EkK5I93UQWFDigLMpZcX।

[casual] "You're looking for work, eh? Hmm, I might have something for you. Just outside the valley, there's a group of wild horned boars I need you to take care of - nasty little beasts. The village would be grateful if you could get that done, and I'll make it worth your while."
------------
[annoyed] [under his breath] "Oh, you again... [sigh] Did you take care of that little problem I mentioned earlier? No, not yet? All right, off you go. I don't have time to chitchat. I'm busy standing here... handing out quests."
------------
[ecstatic] "You did it, you crazy bastard! [dismissive] Not that I didn't have any faith in you, but you wouldn't be the first one to fail. Yes, yes, I know. One of them might have been a little bigger than the others. But hey, you survived. You got it done. You helped the village."

वॉइस t7VaN65ClS2VrEUwk1nR।

[quietly curious] "Hmm… that mark. I haven't seen one like it in years. Where did you get it? Oh, you gonna make me guess? [giggle]"
------------
[measured] "No need to explain, if you'd rather not. This town has a way of leaving its mark on people. [soft chuckle] Usually not quite so literally."
------------
[lower, thoughtful] "Keep it covered when you can. There are still a few who remember what it means, and they may not ask as politely as I have."

ऑडियोबुक

यह Eleven v4 नैरेशन है। टैग्स सीन की गति और भाव तय करते हैं।

वॉइस KHRvDizAHFVPzoSehNY6।

[Quiet, measured narration] The moonlit training court lay beneath the keep, its stone walls silvered with frost. Beyond the battlements, a dragon's distant call rolled over the mountains.
Sir Alden lifted his blunted practice sword. "Ready?"
Bram, his broad shoulders wrapped in a travel-worn cloak, studied the wooden shield strapped to his arm. "I've faced worse odds."
[Pause, dry amusement] "You lost to a turnip cart yesterday," Sir Alden said.
"It was a very determined cart," Bran muttered
[Gradually building energy] They circled across the frost-dusted stones. One step. Another. Alden watched Bram's hands; Bram watched the faint blue glow gathering along Alden's blade. The air between them prickled with harmless magic.
[Quick, light, playful pace] Bram charged. Alden slipped aside. Clack! Wood met steel. Bram turned, his cloak flaring, and swung wide. Alden ducked beneath it. Bram's boot skidded on the frost; he windmilled, caught himself, and bowed as if he'd meant to do that all along.
"Magnificent," Alden said.
"I was giving you time to admire the cloak," Bran retorted.

मॉडल लगातार विकसित होता रहेगा

Eleven v4 का सक्रिय और निरंतर विकास हो रहा है। लॉन्च के बाद भी जब हम मॉडल को ट्रेनिंग और बेहतर बनाते रहेंगे, तो क्वालिटी बेहतर होने के साथ इसका व्यवहार समय के साथ बदल सकता है। मॉडल के विकसित होने पर हम समय-समय पर आपके उपयोग मामले को फिर से टेस्ट करने की सलाह देते हैं, और महत्वपूर्ण अपडेट्स रोल आउट होने पर हम उन्हें साझा करेंगे।

अक्सर पूछे जाने वाले सवाल