Eleven v4

Eleven v4 är vår senaste och mest avancerade Text to Speech-modell, och den första i en ny generation modeller. Jämfört med Eleven v3 förbättrar den kvaliteten på resultatet, röstprecisionen, konsekvensen, känslouttrycken, framförandet, ljudtaggarna och språkstödet.

Generellt är Eleven v4 en tydlig uppgradering från Eleven v3 och ger bättre resultat i nästan alla fall. Vi rekommenderar starkt att du byter till v4 och testar den med dina egna röster och ditt eget innehåll för att själv märka skillnaden. Även om vissa specialfall kan kräva något annat, kommer de flesta användare att uppleva v4 som det bättre valet.

För taggar, skiljetecken och dialogprompter, se Prompting Eleven v4.

Voice cloning

Precisionen för Voice Cloning tar ett stort kliv framåt med Eleven v4. Klonade röster fångar källröstens egenskaper — klangfärg, rytm och framförande — mer troget än någon tidigare modell.

Instant Voice Clones (IVC:er) är mer exakta än någonsin i Eleven v4. De fångar en källrösts utmärkande egenskaper mer troget, vilket gör det enklare att snabbt skapa en övertygande klon från ett kort ljudprov.

Professional Voice Clones (PVC:er) stöds fullt ut i Eleven v4. De bygger på samma framsteg inom röstprecision och erbjuder en mer trogen återgivning av källrösten för workflow som kräver högsta möjliga konsekvens och kontroll.

På grund av detta stora kliv i precision kan Eleven v4 låta avsevärt annorlunda än Eleven v3. Eleven v3 lade grunden för Eleven v4, med starkt fokus på framförande och precision, medan Eleven v4 bygger vidare på den grunden med väsentligt förbättrad röstprecision. Därför är Eleven v4 utformad för att fånga källrösten mer troget, även om du fortfarande kan föredra hur en röst lät i Eleven v3. Precision och personlig preferens är inte alltid samma sak, så vi rekommenderar att du jämför båda versionerna med ditt eget innehåll för att välja det som passar bäst för ditt användningsfall.

Eftersom Eleven v4 återger källröstens egenskaper mer troget, inklusive accent, framförande, ljudstyrka och andra utmärkande kvaliteter, är kvaliteten på källinspelningen viktigare än någonsin. Tydligt och rent träningsljud hjälper Eleven v4 att fånga rösten exakt, utan att lägga till oönskade ljud eller egenskaper. Bakgrundsljud, distorsion eller andra inspelningsproblem kan påverka resultatet.

Vi experimenterar fortfarande med Eleven v4 för att förstå hur den används bäst. Hittills verkar den vara mycket bättre på att fånga nyanserat ljud, särskilt när det finns mycket träningsljud, som för Professional Voice Clones. Vår vägledning om att använda varierad träningsdata kan ändras när vi fortsätter testa hur modellen kan styras med en mer mångsidig datamängd. Just nu rekommenderar vi att du håller dig till en enda talstil i ditt träningsljud, som Eleven v4 bör kunna fånga bättre än tidigare modeller.

Hantering av naturlig accent

Detta är en av de största förändringarna i Eleven v4 jämfört med äldre modeller, och det är värt att förstå den ordentligt.

När språket du genererar matchar språket i din referensröst bevaras den ursprungliga accenten precis som tidigare.

När språket du genererar skiljer sig från referensröstens språk genererar Eleven v4 flytande och naturligt tal på målspråket — i stället för att föra över referensröstens accent från dess ursprungliga språk.

I praktiken: om du klonar en röst från en koreansktalande person och genererar engelska, kommer Eleven v4 att skapa naturlig, flytande engelska i stället för engelska med koreansk accent. Det gör varje röst användbar på alla språk som stöds och är särskilt användbart för dubbning, flerspråkigt innehåll och röstassistenter som behöver hjälpa användare på olika språk med en och samma röst.

Om ditt workflow bygger på att en röst behåller sin naturliga accent på andra språk bör du testa detta beteende direkt med Eleven v4 innan du migrerar — det är en medveten förändring av hur generering mellan språk fungerar, inte ett fel.

Den här nya funktionen finjusteras dock fortfarande, och vi undersöker sätt att göra den till ett val i stället för att den alltid är aktiverad. Det är fortfarande ett forskningsprojekt, så vi har ingen tidsplan eller ytterligare information om det just nu.

Modellvarianter

Eleven v4 finns i två varianter, så att du kan välja rätt balans mellan kvalitet och hastighet för ditt användningsfall:

• Eleven v4 (eleven_v4) — vår modell med högst kvalitet, perfekt för innehållsskapande, ljudböcker, karaktärsröster och alla användningsfall där kvalitet är högsta prioritet.
• Eleven v4 Turbo (eleven_v4_turbo) — extremt hög kvalitet med imponerande låg latens, särskilt framtagen för användningsfall i realtid som konversationsagenter och interaktiva röstupplevelser.

Båda varianterna använder två röstinställningar: Stability och Similarity.

Stability styr hur konsekvent framförandet förblir mellan genereringar. Lägre värden ger mer uttrycksfullt och varierat framförande, medan högre värden håller resultatet närmare en fast grundnivå.

Similarity styr hur nära resultatet följer referensrösten. Högre värden ger en närmare följsamhet till referensen, vilket kan ske på bekostnad av viss naturlighet.

När du genererar tal med en Professional Voice Clone i Eleven v4 visas ett extra reglage för Clone Strength. Clone Strength styr hur nära resultatet följer klonens träningsinspelningar. Vid lägre värden mjukas rösten upp något och framförandet blir mer flexibelt, vilket ofta låter bättre överlag samtidigt som det fortfarande låter som originalrösten. Vid högre värden ligger resultatet närmare träningsinspelningarna med mindre utjämning och efterliknar originalröstens framförande och prestation närmare. Högre värden kan vara särskilt användbara för röster med utmärkande drag eller unika accenter. Börja på 0 % för de flesta röster.

Reglagen Style och Speed är inte tillgängliga i Eleven v4, och SSML stöds inte.

Ljudtaggar (t.ex. [whispering], [shouting], [laughing]) låter dig styra framförandet med detaljerad kontroll, och Eleven v4 hanterar dem med en nivå av nyans som går bortom tidigare modeller. De är inte perfekta än, och vi fortsätter att iterera och förbättra hur tillförlitligt modellen följer tagginstruktioner — detta är ett område som vi satsar aktivt på, och det kommer att fortsätta bli bättre.

Exempel

Precision för Voice Cloning

Varje exempel börjar med en förhandsvisning från Voice Library. Vi tog sedan en text och genererade den med en Instant Voice Clone av den rösten i både Eleven v3 och Eleven v4.

Det här är inte en perfekt jämförelse. Eleven v4 fungerar också med Professional Voice Clones, som kan göra matchningen ännu bättre. För att hålla jämförelsen mer rättvis använde vi dock Instant Voice Clones för både Eleven v3 och Eleven v4.

Dessa exempel visar hur mycket av originalrösten modellen fångar upp. Det är viktigt att notera att detta också omfattar EQ, kvalitet, volym och andra små detaljer och brister i ljudet, såsom plosiver, skarp sibilans och varierande volym.

Lyssna på förhandsvisningen, sedan Eleven v3 och därefter Eleven v4.

Röst NfUrCNRReUL9RXS9upG1.

"Brother... I must cross the sea, though I'd rather stay beside you. If the gods will it, we'll see each other again. Until then, when the sun sinks beyond the waves, know that I'll be looking toward home."
He clasped my forearm beneath the pale morning sky. I held on a moment longer, then watched him turn toward the waiting ship.

Röst HBDoL4wkcalemIO0nUAu.

"When I was young, I thought the mountain stood because it was strong. Then winter came, and the mountain wore its crown of snow without complaint. Spring followed, and it let every stream run free.
"So remember, traveler: strength is not always holding fast. Sometimes it is knowing what to carry, and what the season asks you to release."

Röstskådespeleri

Detta är genereringar från Eleven v4. Ljudtaggarna i texten styr framförandet.

Röst EkK5I93UQWFDigLMpZcX.

[casual] "You're looking for work, eh? Hmm, I might have something for you. Just outside the valley, there's a group of wild horned boars I need you to take care of - nasty little beasts. The village would be grateful if you could get that done, and I'll make it worth your while."
------------
[annoyed] [under his breath] "Oh, you again... [sigh] Did you take care of that little problem I mentioned earlier? No, not yet? All right, off you go. I don't have time to chitchat. I'm busy standing here... handing out quests."
------------
[ecstatic] "You did it, you crazy bastard! [dismissive] Not that I didn't have any faith in you, but you wouldn't be the first one to fail. Yes, yes, I know. One of them might have been a little bigger than the others. But hey, you survived. You got it done. You helped the village."

Röst t7VaN65ClS2VrEUwk1nR.

[quietly curious] "Hmm… that mark. I haven't seen one like it in years. Where did you get it? Oh, you gonna make me guess? [giggle]"
------------
[measured] "No need to explain, if you'd rather not. This town has a way of leaving its mark on people. [soft chuckle] Usually not quite so literally."
------------
[lower, thoughtful] "Keep it covered when you can. There are still a few who remember what it means, and they may not ask as politely as I have."

Ljudbok

Detta är en berättarröst från Eleven v4. Taggarna anger scenens tempo och ton.

Röst KHRvDizAHFVPzoSehNY6.

[Quiet, measured narration] The moonlit training court lay beneath the keep, its stone walls silvered with frost. Beyond the battlements, a dragon's distant call rolled over the mountains.
Sir Alden lifted his blunted practice sword. "Ready?"
Bram, his broad shoulders wrapped in a travel-worn cloak, studied the wooden shield strapped to his arm. "I've faced worse odds."
[Pause, dry amusement] "You lost to a turnip cart yesterday," Sir Alden said.
"It was a very determined cart," Bran muttered
[Gradually building energy] They circled across the frost-dusted stones. One step. Another. Alden watched Bram's hands; Bram watched the faint blue glow gathering along Alden's blade. The air between them prickled with harmless magic.
[Quick, light, playful pace] Bram charged. Alden slipped aside. Clack! Wood met steel. Bram turned, his cloak flaring, and swung wide. Alden ducked beneath it. Bram's boot skidded on the frost; he windmilled, caught himself, and bowed as if he'd meant to do that all along.
"Magnificent," Alden said.
"I was giving you time to admire the cloak," Bran retorted.

Modellen fortsätter att utvecklas

Eleven v4 utvecklas kontinuerligt och aktivt. När vi fortsätter att träna och förbättra modellen efter lanseringen kan dess beteende förändras över tid i takt med att kvaliteten förbättras. Vi rekommenderar att du regelbundet testar ditt användningsfall igen när modellen utvecklas, och vi delar viktiga uppdateringar när de lanseras.

Vanliga frågor