Eleven v4

Eleven v4 हमारा नवीनतम और सबसे उन्नत टेक्स्ट टू स्पीच मॉडल है, और मॉडलों की नई पीढ़ी का पहला मॉडल है। Eleven v3 की तुलना में यह आउटपुट क्वालिटी, वॉइस सटीकता, एकरूपता, भाव, डिलीवरी, ऑडियो टैग और भाषा कवरेज को बेहतर बनाता है।

आम तौर पर, Eleven v4, Eleven v3 की तुलना में एक स्पष्ट अपग्रेड है और लगभग हर मामले में बेहतर नतीजे देता है। हम ज़ोरदार सुझाव देते हैं कि आप v4 पर स्विच करें और अपने वॉइसेज़ व कंटेंट के साथ इसे टेस्ट करके खुद अंतर देखें। कुछ खास मामलों में कोई दूसरा विकल्प बेहतर हो सकता है, लेकिन ज़्यादातर यूज़र्स के लिए v4 बेहतर विकल्प होगा।

टैग, विराम-चिह्न और डायलॉग प्रॉम्प्टिंग के लिए Prompting Eleven v4 देखें।

वॉइस क्लोनिंग

Eleven v4 के साथ वॉइस क्लोनिंग की सटीकता में बड़ा सुधार हुआ है। क्लोन की गई वॉइसेज़ स्रोत वॉइस की विशेषताओं — टिम्बर, लय और डिलीवरी — को पिछले किसी भी मॉडल की तुलना में ज़्यादा सटीकता से कैप्चर करती हैं।

Eleven v4 में इंस्टेंट वॉइस क्लोन्स (IVCs) पहले से कहीं ज़्यादा सटीक हैं। वे स्रोत वॉइस की परिभाषित विशेषताओं को ज़्यादा सटीकता से कैप्चर करते हैं, जिससे छोटे ऑडियो सैंपल से जल्दी एक भरोसेमंद क्लोन बनाना आसान हो जाता है।

प्रोफेशनल वॉइस क्लोन्स (PVCs) Eleven v4 में पूरी तरह समर्थित हैं। ये वॉइस सटीकता में हुई इन्हीं प्रगतियों पर आधारित हैं और उन वर्कफ़्लो के लिए स्रोत वॉइस का ज़्यादा सटीक पुनरुत्पादन देते हैं, जिनमें सबसे अधिक एकरूपता और नियंत्रण चाहिए।

सटीकता में इस बड़े सुधार के कारण, Eleven v4 की आवाज़ Eleven v3 से काफ़ी अलग हो सकती है। Eleven v3 ने डिलीवरी और सटीकता पर ज़ोर देते हुए Eleven v4 की नींव रखी थी, जबकि Eleven v4 इसी नींव पर वॉइस सटीकता में काफ़ी सुधार करता है। इसलिए Eleven v4 को स्रोत वॉइस को ज़्यादा सटीकता से कैप्चर करने के लिए डिज़ाइन किया गया है, हालांकि आपको फिर भी पसंद आ सकता है कि कोई वॉइस Eleven v3 में कैसी सुनाई देती थी। सटीकता और निजी पसंद हमेशा एक जैसी नहीं होतीं, इसलिए हम सुझाव देते हैं कि अपने उपयोग के मामले के लिए सबसे सही विकल्प चुनने हेतु दोनों वर्ज़न को अपने कंटेंट के साथ तुलना करें।

क्योंकि Eleven v4 स्रोत वॉइस की विशेषताओं को ज़्यादा सटीकता से दोहराता है, जिनमें उसका एक्सेंट, डिलीवरी, लाउडनेस और अन्य अलग पहचान वाली खूबियां शामिल हैं, इसलिए स्रोत रिकॉर्डिंग की क्वालिटी पहले से कहीं ज़्यादा मायने रखती है। साफ़ और स्पष्ट ट्रेनिंग ऑडियो Eleven v4 को अनचाही आवाज़ें या विशेषताएं जोड़े बिना वॉइस को सटीकता से कैप्चर करने में मदद करता है। बैकग्राउंड नॉइज़, डिस्टॉर्शन या रिकॉर्डिंग की अन्य समस्याएं नतीजे को प्रभावित कर सकती हैं।

हम अभी भी Eleven v4 के साथ प्रयोग कर रहे हैं, ताकि इसे सबसे अच्छे तरीके से इस्तेमाल करने को समझ सकें। अब तक, यह सूक्ष्म ऑडियो को कैप्चर करने में काफ़ी बेहतर दिखता है, खासकर जब बहुत ज़्यादा ट्रेनिंग ऑडियो हो, जैसे प्रोफेशनल वॉइस क्लोन्स में। अधिक विविध ट्रेनिंग डेटा इस्तेमाल करने की हमारी सलाह बदल सकती है, क्योंकि हम ज़्यादा बहुमुखी डेटासेट के साथ मॉडल को नियंत्रित करने के तरीकों की टेस्टिंग जारी रखे हुए हैं। अभी के लिए, हम सुझाव देते हैं कि अपने ट्रेनिंग ऑडियो में एक ही बोलने की शैली रखें, जिसे Eleven v4 को पहले के मॉडलों से बेहतर कैप्चर करना चाहिए।

नेटिव एक्सेंट हैंडलिंग

पुराने किसी भी मॉडल की तुलना में Eleven v4 में यह सबसे बड़े बदलावों में से एक है, और इसे साफ़ तौर पर समझना ज़रूरी है।

जब आप जिस भाषा में जनरेट कर रहे हैं वह आपकी रेफरेंस वॉइस की भाषा से मेल खाती है, तो मूल एक्सेंट पहले की तरह ही पूरी तरह बरकरार रहता है।

जब आप जिस भाषा में जनरेट कर रहे हैं वह रेफरेंस वॉइस की भाषा से अलग होती है, तो Eleven v4 लक्ष्य भाषा में धाराप्रवाह, प्राकृतिक लगने वाली स्पीच जनरेट करता है — रेफरेंस वॉइस की मूल भाषा का एक्सेंट साथ ले जाने के बजाय।

व्यवहार में: अगर आप किसी कोरियाई वक्ता की वॉइस क्लोन करते हैं और अंग्रेज़ी जनरेट करते हैं, तो Eleven v4 कोरियाई एक्सेंट के साथ बोली गई अंग्रेज़ी के बजाय प्राकृतिक, धाराप्रवाह अंग्रेज़ी देगा। इससे हर वॉइस हर समर्थित भाषा में इस्तेमाल की जा सकती है, और यह खास तौर पर डबिंग, बहुभाषी कंटेंट और उन वॉइस एजेंट्स के लिए उपयोगी है जिन्हें एक ही वॉइस से अलग-अलग भाषाओं में यूज़र्स को सेवा देनी होती है।

अगर आपका वर्कफ़्लो इस बात पर निर्भर करता है कि वॉइस दूसरी भाषाओं में भी अपना नेटिव एक्सेंट बनाए रखे, तो माइग्रेट करने से पहले इस व्यवहार को सीधे Eleven v4 के साथ टेस्ट करें — यह क्रॉस-लैंग्वेज जनरेशन के काम करने के तरीके में जानबूझकर किया गया बदलाव है, कोई बग नहीं।

हालांकि, इस नई सुविधा को अभी और बेहतर बनाया जा रहा है, और हम इसे हमेशा चालू रखने के बजाय टॉगल बनाने के तरीके खोज रहे हैं। यह अभी भी एक रिसर्च प्रोजेक्ट है, इसलिए फिलहाल हमारे पास इसकी कोई समय-सीमा या अतिरिक्त जानकारी नहीं है।

मॉडल वेरिएंट्स

Eleven v4 दो वेरिएंट्स में आता है, ताकि आप अपने उपयोग के मामले के लिए क्वालिटी और स्पीड का सही संतुलन चुन सकें:

• Eleven v4 (eleven_v4) — हमारा सबसे उच्च-क्वालिटी मॉडल, जो कंटेंट क्रिएशन, ऑडियोबुक्स, कैरेक्टर वॉइसओवर्स और उन सभी उपयोग के मामलों के लिए आदर्श है जहां क्वालिटी सबसे बड़ी प्राथमिकता है।
• Eleven v4 Turbo (eleven_v4_turbo) — बहुत कम लेटेंसी बनाए रखते हुए बेहद उच्च क्वालिटी देता है, और कन्वर्सेशनल एजेंट्स व इंटरैक्टिव वॉइस अनुभवों जैसे रियल-टाइम उपयोग के मामलों के लिए खास तौर पर बनाया गया है।

दोनों वेरिएंट्स दो वॉइस सेटिंग्स इस्तेमाल करते हैं: स्टेबिलिटी और सिमिलैरिटी।

स्टेबिलिटी नियंत्रित करती है कि अलग-अलग जनरेशन में डिलीवरी कितनी एकरूप रहे। कम वैल्यू ज़्यादा अभिव्यक्तिपूर्ण और विविध डिलीवरी देती हैं; ज़्यादा वैल्यू परफ़ॉर्मेंस को एक तय बेसलाइन के करीब रखती हैं।

सिमिलैरिटी नियंत्रित करती है कि आउटपुट रेफरेंस वॉइस का कितनी बारीकी से पालन करे। ज़्यादा वैल्यू रेफरेंस के और करीब पालन को लागू करती हैं, जिससे कुछ स्वाभाविकता कम हो सकती है।

Eleven v4 में स्टाइल और स्पीड स्लाइडर्स उपलब्ध नहीं हैं, और SSML समर्थित नहीं है।

ऑडियो टैग (जैसे [whispering], [shouting], [laughing]) आपको बारीक नियंत्रण के साथ डिलीवरी निर्देशित करने देते हैं, और Eleven v4 उन्हें पिछले मॉडलों से बेहतर सूक्ष्मता के साथ संभालता है। वे अभी पूरी तरह परफ़ेक्ट नहीं हैं, और हम मॉडल द्वारा टैग निर्देशों का विश्वसनीय रूप से पालन करने के तरीके में सुधार करते रहेंगे — यह लगातार निवेश का एक सक्रिय क्षेत्र है, और यह लगातार बेहतर होता रहेगा।

उदाहरण

वॉइस क्लोनिंग सटीकता

हर उदाहरण एक वॉइस लाइब्रेरी प्रीव्यू से शुरू होता है। फिर हमने कुछ टेक्स्ट लिया और उस वॉइस के इंस्टेंट वॉइस क्लोन का इस्तेमाल करके उसे Eleven v3 और Eleven v4, दोनों पर जनरेट किया।

यह पूरी तरह सही तुलना नहीं है। Eleven v4 प्रोफेशनल वॉइस क्लोन्स के साथ भी काम करता है, जो मैच को और बेहतर कर सकते हैं। हालांकि, तुलना को ज़्यादा निष्पक्ष रखने के लिए, हमने Eleven v3 और Eleven v4 दोनों के लिए इंस्टेंट वॉइस क्लोन्स का इस्तेमाल किया।

ये उदाहरण दिखाते हैं कि मॉडल मूल वॉइस का कितना हिस्सा पकड़ता है। यह ध्यान रखना ज़रूरी है कि इसमें EQ, क्वालिटी, वॉल्यूम और ऑडियो के अन्य छोटे विवरण व कमियां भी शामिल हैं, जैसे प्लोसिव्स, तीखी सिबिलेंस और वॉल्यूम में उतार-चढ़ाव।

पहले प्रीव्यू सुनें, फिर Eleven v3, और फिर Eleven v4।

वॉइस NfUrCNRReUL9RXS9upG1।

"Brother... I must cross the sea, though I'd rather stay beside you. If the gods will it, we'll see each other again. Until then, when the sun sinks beyond the waves, know that I'll be looking toward home."
He clasped my forearm beneath the pale morning sky. I held on a moment longer, then watched him turn toward the waiting ship.

वॉइस HBDoL4wkcalemIO0nUAu।

"When I was young, I thought the mountain stood because it was strong. Then winter came, and the mountain wore its crown of snow without complaint. Spring followed, and it let every stream run free.
"So remember, traveler: strength is not always holding fast. Sometimes it is knowing what to carry, and what the season asks you to release."

वॉइस ऐक्टिंग

ये Eleven v4 जनरेशन हैं। टेक्स्ट में मौजूद ऑडियो टैग डिलीवरी को निर्देशित करते हैं।

वॉइस EkK5I93UQWFDigLMpZcX।

[casual] "You're looking for work, eh? Hmm, I might have something for you. Just outside the valley, there's a group of wild horned boars I need you to take care of - nasty little beasts. The village would be grateful if you could get that done, and I'll make it worth your while."
------------
[annoyed] [under his breath] "Oh, you again... [sigh] Did you take care of that little problem I mentioned earlier? No, not yet? All right, off you go. I don't have time to chitchat. I'm busy standing here... handing out quests."
------------
[ecstatic] "You did it, you crazy bastard! [dismissive] Not that I didn't have any faith in you, but you wouldn't be the first one to fail. Yes, yes, I know. One of them might have been a little bigger than the others. But hey, you survived. You got it done. You helped the village."

वॉइस t7VaN65ClS2VrEUwk1nR।

[quietly curious] "Hmm… that mark. I haven't seen one like it in years. Where did you get it? Oh, you gonna make me guess? [giggle]"
------------
[measured] "No need to explain, if you'd rather not. This town has a way of leaving its mark on people. [soft chuckle] Usually not quite so literally."
------------
[lower, thoughtful] "Keep it covered when you can. There are still a few who remember what it means, and they may not ask as politely as I have."

ऑडियोबुक

यह Eleven v4 नैरेशन है। टैग सीन की गति और टोन तय करते हैं।

वॉइस KHRvDizAHFVPzoSehNY6।

[Quiet, measured narration] The moonlit training court lay beneath the keep, its stone walls silvered with frost. Beyond the battlements, a dragon's distant call rolled over the mountains.
Sir Alden lifted his blunted practice sword. "Ready?"
Bram, his broad shoulders wrapped in a travel-worn cloak, studied the wooden shield strapped to his arm. "I've faced worse odds."
[Pause, dry amusement] "You lost to a turnip cart yesterday," Sir Alden said.
"It was a very determined cart," Bran muttered
[Gradually building energy] They circled across the frost-dusted stones. One step. Another. Alden watched Bram's hands; Bram watched the faint blue glow gathering along Alden's blade. The air between them prickled with harmless magic.
[Quick, light, playful pace] Bram charged. Alden slipped aside. Clack! Wood met steel. Bram turned, his cloak flaring, and swung wide. Alden ducked beneath it. Bram's boot skidded on the frost; he windmilled, caught himself, and bowed as if he'd meant to do that all along.
"Magnificent," Alden said.
"I was giving you time to admire the cloak," Bran retorted.

मॉडल में लगातार बदलाव होते रहेंगे

Eleven v4 पर सक्रिय रूप से और लगातार काम हो रहा है। लॉन्च के बाद भी हम मॉडल को ट्रेन और बेहतर बनाते रहेंगे, इसलिए क्वालिटी बढ़ने के साथ इसका व्यवहार समय के साथ बदल सकता है। हम सुझाव देते हैं कि मॉडल के विकसित होने के साथ समय-समय पर अपने उपयोग के मामले को फिर से टेस्ट करें, और जैसे-जैसे सार्थक अपडेट्स जारी होंगे हम उन्हें साझा करेंगे।

FAQ