Eleven v4

Eleven v4 är vår senaste och mest avancerade Text to Speech-modell och den första i en ny generation av modeller. Den förbättrar utdatakvalitet, röstnoggrannhet, konsekvens, känslor, framförande, audiotaggar och språkstöd jämfört med Eleven v3.

Generellt är Eleven v4 en tydlig uppgradering från Eleven v3 och ger bättre resultat i nästan alla fall. Vi rekommenderar starkt att du byter till v4 och testar den med dina egna röster och ditt eget innehåll för att själv märka skillnaden. Några enstaka specialfall kan kräva något annat, men för de flesta användare är v4 det bättre valet.

Information om taggar, skiljetecken och dialogprompter finns i Prompting för Eleven v4.

Voice Cloning

Noggrannheten för Voice Cloning tar ett stort steg framåt med Eleven v4. Klonade röster fångar källröstens egenskaper — klangfärg, rytm och framförande — mer troget än någon tidigare modell.

Instant Voice Clones (IVC:er) är mer träffsäkra än någonsin i Eleven v4. De fångar en källrösts utmärkande egenskaper mer troget, vilket gör det enklare att snabbt skapa en övertygande klon från ett kort ljudprov.

Professional Voice Clones (PVC:er) stöds fullt ut i Eleven v4. De bygger på samma framsteg inom röstnoggrannhet och ger en mer trogen återgivning av källrösten för arbetsflöden som kräver högsta möjliga konsekvens och kontroll.

På grund av detta stora steg i noggrannhet kan Eleven v4 låta väsentligt annorlunda än Eleven v3. Eleven v3 lade grunden för Eleven v4, med stark betoning på framförande och noggrannhet, medan Eleven v4 bygger vidare på den grunden med avsevärt förbättrad röstnoggrannhet. Därför är Eleven v4 utformad för att fånga källrösten mer troget, även om du fortfarande kan föredra hur en röst lät i Eleven v3. Noggrannhet och personlig preferens är inte alltid samma sak, så vi rekommenderar att du jämför båda versionerna med ditt eget innehåll för att välja det som passar bäst för ditt användningsfall.

Eftersom Eleven v4 återger källröstens egenskaper mer troget, inklusive accent, framförande, volym och andra utmärkande kvaliteter, är kvaliteten på källinspelningen viktigare än någonsin. Tydligt och rent träningsljud hjälper Eleven v4 att fånga rösten korrekt, utan att lägga till oönskade ljud eller egenskaper. Bakgrundsbrus, distorsion eller andra inspelningsproblem kan påverka resultatet.

Vi experimenterar fortfarande med Eleven v4 för att förstå hur den används bäst. Hittills verkar den mycket bättre på att fånga nyanserat ljud, särskilt när det finns mycket träningsljud, som med Professional Voice Clones. Vår vägledning om att använda varierad träningsdata kan ändras när vi fortsätter att testa hur modellen styrs med en mer mångsidig datamängd. Just nu rekommenderar vi att du håller dig till en enda talstil i ditt träningsljud, som Eleven v4 bör fånga bättre än tidigare modeller.

Inbyggd accenthantering

Det här är en av de största förändringarna i Eleven v4 jämfört med alla äldre modeller, och den är värd att förstå tydligt.

När språket du genererar matchar språket i din referensröst bevaras originalaccenten precis som tidigare.

När språket du genererar skiljer sig från referensröstens språk genererar Eleven v4 flytande, naturligt tal på målspråket — i stället för att föra över referensröstens accent från originalspråket.

I praktiken: om du klonar en röst från en koreansk talare och genererar engelska kommer Eleven v4 att producera naturlig, flytande engelska i stället för engelska med koreansk accent. Det gör varje röst användbar på alla språk som stöds och är särskilt användbart för dubbning, flerspråkigt innehåll och röstagenter som behöver hjälpa användare på olika språk med en enda röst.

Om ditt arbetsflöde är beroende av att en röst behåller sin ursprungliga accent på andra språk bör du testa detta beteende direkt med Eleven v4 innan du migrerar — det är en avsiktlig förändring i hur generering mellan språk fungerar, inte en bugg.

Den här nya funktionen finjusteras dock fortfarande, och vi utforskar sätt att göra den till ett reglage i stället för att den alltid är på. Det är fortfarande ett forskningsprojekt, så vi har ingen tidsplan eller ytterligare information om det just nu.

Modellvarianter

Eleven v4 finns i två varianter, så att du kan välja rätt balans mellan kvalitet och hastighet för ditt användningsfall:

• Eleven v4 (eleven_v4) — vår modell med högst kvalitet, perfekt för innehållsskapande, ljudböcker, röstskådespeleri för karaktärer och alla användningsfall där kvalitet är högsta prioritet.
• Eleven v4 Turbo (eleven_v4_turbo) — extremt hög kvalitet med imponerande låg latens, särskilt byggd för realtidsanvändning som konversationsagenter och interaktiva röstupplevelser.

Båda varianterna använder två röstinställningar: Stability och Similarity.

Stability styr hur konsekvent framförandet förblir mellan genereringar. Lägre värden ger mer uttrycksfulla och varierade framföranden, medan högre värden håller resultatet närmare en fast baslinje.

Similarity styr hur nära resultatet följer referensrösten. Högre värden ger närmare följsamhet till referensen, vilket kan ske på bekostnad av viss naturlighet.

Reglagen Style och Speed är inte tillgängliga i Eleven v4, och SSML stöds inte.

Audiotaggar (t.ex. [whispering], [shouting], [laughing]) låter dig styra framförandet med detaljerad kontroll, och Eleven v4 hanterar dem med en nyansrikedom som går längre än tidigare modeller. De är inte perfekta än, och vi fortsätter att utveckla och förbättra hur tillförlitligt modellen följer tagginstruktioner — det här är ett område vi satsar aktivt på och det kommer att fortsätta bli bättre.

Exempel

Noggrannhet vid Voice Cloning

Varje exempel börjar med en förhandsvisning från Voice Library. Sedan tog vi en text och genererade den med en Instant Voice Clone av den rösten i både Eleven v3 och Eleven v4.

Det här är inte en perfekt jämförelse. Eleven v4 fungerar även med Professional Voice Clones, vilket kan göra matchningen ännu bättre. För att hålla jämförelsen rättvisare använde vi dock Instant Voice Clones för både Eleven v3 och Eleven v4.

De här exemplen visar hur mycket av originalrösten modellen fångar upp. Det är viktigt att notera att detta även omfattar EQ, kvalitet, volym och andra små detaljer och brister i ljudet, såsom plosiver, vassa s-ljud och volymvariationer.

Lyssna på förhandsvisningen, sedan Eleven v3 och därefter Eleven v4.

Röst NfUrCNRReUL9RXS9upG1.

"Brother... I must cross the sea, though I'd rather stay beside you. If the gods will it, we'll see each other again. Until then, when the sun sinks beyond the waves, know that I'll be looking toward home."
He clasped my forearm beneath the pale morning sky. I held on a moment longer, then watched him turn toward the waiting ship.

Röst HBDoL4wkcalemIO0nUAu.

"When I was young, I thought the mountain stood because it was strong. Then winter came, and the mountain wore its crown of snow without complaint. Spring followed, and it let every stream run free.
"So remember, traveler: strength is not always holding fast. Sometimes it is knowing what to carry, and what the season asks you to release."

Röstskådespeleri

Det här är genereringar från Eleven v4. Audiotaggarna i texten styr framförandet.

Röst EkK5I93UQWFDigLMpZcX.

[casual] "You're looking for work, eh? Hmm, I might have something for you. Just outside the valley, there's a group of wild horned boars I need you to take care of - nasty little beasts. The village would be grateful if you could get that done, and I'll make it worth your while."
------------
[annoyed] [under his breath] "Oh, you again... [sigh] Did you take care of that little problem I mentioned earlier? No, not yet? All right, off you go. I don't have time to chitchat. I'm busy standing here... handing out quests."
------------
[ecstatic] "You did it, you crazy bastard! [dismissive] Not that I didn't have any faith in you, but you wouldn't be the first one to fail. Yes, yes, I know. One of them might have been a little bigger than the others. But hey, you survived. You got it done. You helped the village."

Röst t7VaN65ClS2VrEUwk1nR.

[quietly curious] "Hmm… that mark. I haven't seen one like it in years. Where did you get it? Oh, you gonna make me guess? [giggle]"
------------
[measured] "No need to explain, if you'd rather not. This town has a way of leaving its mark on people. [soft chuckle] Usually not quite so literally."
------------
[lower, thoughtful] "Keep it covered when you can. There are still a few who remember what it means, and they may not ask as politely as I have."

Ljudbok

Det här är en berättarröst från Eleven v4. Taggarna anger scenens tempo och ton.

Röst KHRvDizAHFVPzoSehNY6.

[Quiet, measured narration] The moonlit training court lay beneath the keep, its stone walls silvered with frost. Beyond the battlements, a dragon's distant call rolled over the mountains.
Sir Alden lifted his blunted practice sword. "Ready?"
Bram, his broad shoulders wrapped in a travel-worn cloak, studied the wooden shield strapped to his arm. "I've faced worse odds."
[Pause, dry amusement] "You lost to a turnip cart yesterday," Sir Alden said.
"It was a very determined cart," Bran muttered
[Gradually building energy] They circled across the frost-dusted stones. One step. Another. Alden watched Bram's hands; Bram watched the faint blue glow gathering along Alden's blade. The air between them prickled with harmless magic.
[Quick, light, playful pace] Bram charged. Alden slipped aside. Clack! Wood met steel. Bram turned, his cloak flaring, and swung wide. Alden ducked beneath it. Bram's boot skidded on the frost; he windmilled, caught himself, and bowed as if he'd meant to do that all along.
"Magnificent," Alden said.
"I was giving you time to admire the cloak," Bran retorted.

Modellen fortsätter att utvecklas

Eleven v4 är under aktiv och kontinuerlig utveckling. När vi fortsätter att träna och förbättra modellen efter lanseringen kan dess beteende förändras över tid i takt med att kvaliteten förbättras. Vi rekommenderar att du testar ditt användningsfall på nytt med jämna mellanrum medan modellen utvecklas, och vi delar viktiga uppdateringar när de rullas ut.

Vanliga frågor