Eleven v4

Eleven v4 is ons nieuwste en meest geavanceerde Text to Speech-model, en het eerste van een nieuwe generatie modellen. Vergeleken met Eleven v3 verbetert het de outputkwaliteit, stemnauwkeurigheid, consistentie, emotie, voordracht, audiotags en taalondersteuning.

Over het algemeen is Eleven v4 een duidelijke verbetering ten opzichte van Eleven v3 en levert het in bijna alle gevallen betere resultaten. We raden sterk aan om over te stappen op v4 en het met je eigen stemmen en content te testen, zodat je zelf het verschil kunt ervaren. Hoewel sommige uitzonderlijke gevallen om een andere keuze kunnen vragen, zullen de meeste gebruikers v4 de betere keuze vinden.

Zie Prompts voor Eleven v4 voor tags, interpunctie en prompts voor dialogen.

Stemklonen

De nauwkeurigheid van stemklonen maakt met Eleven v4 een grote sprong vooruit. Gekloonde stemmen leggen de kenmerken van de bronstem — klankkleur, cadans en voordracht — getrouwer vast dan met welk eerder model dan ook.

Instant Voice Clones (IVC’s) zijn in Eleven v4 nauwkeuriger dan ooit. Ze leggen de bepalende kenmerken van een bronstem getrouwer vast, waardoor je sneller een overtuigende kloon kunt maken op basis van een kort audiofragment.

Professional Voice Clones (PVC’s) worden volledig ondersteund in Eleven v4. Ze bouwen voort op dezelfde vooruitgang in stemnauwkeurigheid en bieden een getrouwere reproductie van de bronstem voor workflows die het hoogste niveau van consistentie en controle vereisen.

Door deze grote sprong in nauwkeurigheid kan Eleven v4 aanzienlijk anders klinken dan Eleven v3. Eleven v3 legde de basis voor Eleven v4, met een sterke focus op voordracht en nauwkeurigheid, terwijl Eleven v4 voortbouwt op die basis met aanzienlijk verbeterde stemnauwkeurigheid. Daardoor is Eleven v4 ontworpen om de bronstem getrouwer vast te leggen, al kun je nog steeds de voorkeur geven aan hoe een stem in Eleven v3 klonk. Nauwkeurigheid en persoonlijke voorkeur zijn niet altijd hetzelfde, dus we raden aan beide versies met je eigen content te vergelijken om de beste keuze voor je toepassing te maken.

Omdat Eleven v4 de kenmerken van de bronstem, waaronder het accent, de voordracht, het volume en andere onderscheidende kwaliteiten, getrouwer reproduceert, is de kwaliteit van de bronopname belangrijker dan ooit. Heldere, schone trainingsaudio helpt Eleven v4 de stem nauwkeurig vast te leggen zonder ongewenste geluiden of kenmerken toe te voegen. Achtergrondruis, vervorming of andere opnameproblemen kunnen het resultaat beïnvloeden.

We experimenteren nog steeds met Eleven v4 om te begrijpen hoe we het het beste kunnen gebruiken. Tot nu toe lijkt het veel beter in het vastleggen van genuanceerde audio, vooral wanneer er veel trainingsaudio is, zoals bij Professional Voice Clones. Onze richtlijnen voor het gebruik van gevarieerde trainingsdata kunnen veranderen terwijl we blijven testen hoe we het model met een veelzijdigere dataset kunnen aansturen. Voorlopig raden we aan om één spreekstijl in je trainingsaudio aan te houden, die Eleven v4 beter zou moeten vastleggen dan eerdere modellen.

Verwerking van natuurlijke accenten

Dit is een van de grootste veranderingen in Eleven v4 ten opzichte van alle oudere modellen, en het is belangrijk dit goed te begrijpen.

Wanneer de taal die je genereert overeenkomt met de taal van je referentiestem, blijft het oorspronkelijke accent precies zoals voorheen behouden.

Wanneer de taal die je genereert afwijkt van de taal van de referentiestem, genereert Eleven v4 vloeiende, natuurlijk klinkende spraak in de doeltaal — in plaats van het accent van de referentiestem uit de oorspronkelijke taal over te nemen.

In de praktijk: als je een stem van een Koreaanse spreker kloont en Engels genereert, produceert Eleven v4 natuurlijk, vloeiend Engels in plaats van Engels met een Koreaans accent. Hierdoor is elke stem bruikbaar in elke ondersteunde taal. Dit is vooral nuttig voor nasynchronisatie, meertalige content en stemagenten die gebruikers in verschillende talen vanuit één stem moeten bedienen.

Als je workflow ervan afhankelijk is dat een stem zijn oorspronkelijke accent in andere talen behoudt, test dit gedrag dan rechtstreeks met Eleven v4 voordat je migreert — dit is een bewuste verandering in de werking van generatie tussen talen, geen bug.

Deze nieuwe functionaliteit wordt echter nog verfijnd en we onderzoeken manieren om er een schakelaar van te maken in plaats van deze altijd ingeschakeld te hebben. Dat is nog een onderzoeksproject, dus we hebben op dit moment geen planning of verdere informatie hierover.

Modelvarianten

Eleven v4 is beschikbaar in twee varianten, zodat je de juiste balans tussen kwaliteit en snelheid voor je toepassing kunt kiezen:

• Eleven v4 (eleven_v4) — ons model met de hoogste kwaliteit, ideaal voor contentcreatie, luisterboeken, karakter-voice-overs en elke toepassing waarbij kwaliteit de hoogste prioriteit heeft.
• Eleven v4 Turbo (eleven_v4_turbo) — extreem hoge kwaliteit met indrukwekkend lage latentie, speciaal ontwikkeld voor realtime toepassingen zoals conversatieagenten en interactieve stemervaringen.

Beide varianten gebruiken twee steminstellingen: Stability en Similarity.

Stability bepaalt hoe consistent de voordracht tussen generaties blijft. Lagere waarden zorgen voor meer expressieve, gevarieerde voordracht; hogere waarden houden de uitvoering dichter bij een vaste basislijn.

Similarity bepaalt hoe nauw de output de referentiestem volgt. Hogere waarden zorgen voor een nauwere overeenkomst met de referentie, wat ten koste kan gaan van enige natuurlijkheid.

De sliders Style en Speed zijn niet beschikbaar in Eleven v4 en SSML wordt niet ondersteund.

Met audiotags (bijv. [whispering], [shouting], [laughing]) kun je de voordracht nauwkeurig aansturen, en Eleven v4 verwerkt ze met meer nuance dan eerdere modellen. Ze zijn nog niet perfect en we blijven verbeteren hoe betrouwbaar het model taginstructies volgt — dit is een gebied waarin we actief blijven investeren en het zal steeds beter worden.

Showcase

Nauwkeurigheid van stemklonen

Elk voorbeeld begint met een preview uit de Voice Library. Vervolgens hebben we tekst genomen en die gegenereerd met een Instant Voice Clone van die stem in zowel Eleven v3 als Eleven v4.

Dit is geen perfecte vergelijking. Eleven v4 werkt ook met Professional Voice Clones, die de overeenkomst nog verder kunnen verbeteren. Om de vergelijking eerlijker te houden, hebben we echter voor zowel Eleven v3 als Eleven v4 Instant Voice Clones gebruikt.

Deze voorbeelden laten zien hoeveel van de oorspronkelijke stem het model oppikt. Het is belangrijk om op te merken dat dit ook EQ, kwaliteit, volume en andere kleine details en onvolkomenheden in de audio omvat, zoals plofklanken, harde sisklanken en volumeschommelingen.

Luister naar de preview, dan naar Eleven v3 en vervolgens naar Eleven v4.

Stem NfUrCNRReUL9RXS9upG1.

"Brother... I must cross the sea, though I'd rather stay beside you. If the gods will it, we'll see each other again. Until then, when the sun sinks beyond the waves, know that I'll be looking toward home."
He clasped my forearm beneath the pale morning sky. I held on a moment longer, then watched him turn toward the waiting ship.

Stem HBDoL4wkcalemIO0nUAu.

"When I was young, I thought the mountain stood because it was strong. Then winter came, and the mountain wore its crown of snow without complaint. Spring followed, and it let every stream run free.
"So remember, traveler: strength is not always holding fast. Sometimes it is knowing what to carry, and what the season asks you to release."

Stemacteren

Dit zijn Eleven v4-generaties. De audiotags in de tekst sturen de voordracht aan.

Stem EkK5I93UQWFDigLMpZcX.

[casual] "You're looking for work, eh? Hmm, I might have something for you. Just outside the valley, there's a group of wild horned boars I need you to take care of - nasty little beasts. The village would be grateful if you could get that done, and I'll make it worth your while."
------------
[annoyed] [under his breath] "Oh, you again... [sigh] Did you take care of that little problem I mentioned earlier? No, not yet? All right, off you go. I don't have time to chitchat. I'm busy standing here... handing out quests."
------------
[ecstatic] "You did it, you crazy bastard! [dismissive] Not that I didn't have any faith in you, but you wouldn't be the first one to fail. Yes, yes, I know. One of them might have been a little bigger than the others. But hey, you survived. You got it done. You helped the village."

Stem t7VaN65ClS2VrEUwk1nR.

[quietly curious] "Hmm… that mark. I haven't seen one like it in years. Where did you get it? Oh, you gonna make me guess? [giggle]"
------------
[measured] "No need to explain, if you'd rather not. This town has a way of leaving its mark on people. [soft chuckle] Usually not quite so literally."
------------
[lower, thoughtful] "Keep it covered when you can. There are still a few who remember what it means, and they may not ask as politely as I have."

Luisterboek

Dit is een Eleven v4-vertelling. De tags bepalen het tempo en de toon van de scène.

Stem KHRvDizAHFVPzoSehNY6.

[Quiet, measured narration] The moonlit training court lay beneath the keep, its stone walls silvered with frost. Beyond the battlements, a dragon's distant call rolled over the mountains.
Sir Alden lifted his blunted practice sword. "Ready?"
Bram, his broad shoulders wrapped in a travel-worn cloak, studied the wooden shield strapped to his arm. "I've faced worse odds."
[Pause, dry amusement] "You lost to a turnip cart yesterday," Sir Alden said.
"It was a very determined cart," Bran muttered
[Gradually building energy] They circled across the frost-dusted stones. One step. Another. Alden watched Bram's hands; Bram watched the faint blue glow gathering along Alden's blade. The air between them prickled with harmless magic.
[Quick, light, playful pace] Bram charged. Alden slipped aside. Clack! Wood met steel. Bram turned, his cloak flaring, and swung wide. Alden ducked beneath it. Bram's boot skidded on the frost; he windmilled, caught himself, and bowed as if he'd meant to do that all along.
"Magnificent," Alden said.
"I was giving you time to admire the cloak," Bran retorted.

Het model blijft evolueren

Eleven v4 wordt actief en voortdurend ontwikkeld. Terwijl we het model na de lancering blijven trainen en verbeteren, kan het gedrag in de loop van de tijd veranderen naarmate de kwaliteit verbetert. We raden aan om je toepassing periodiek opnieuw te testen terwijl het model evolueert. We delen belangrijke updates zodra ze worden uitgerold.

Veelgestelde vragen