Eleven v4

Eleven v4 ist unser neuestes und fortschrittlichstes Text to Speech-Modell und das erste einer neuen Modellgeneration. Gegenüber Eleven v3 verbessert es Ausgabequalität, Stimmgenauigkeit, Konsistenz, Emotion, Sprechweise, Audiotags und Sprachabdeckung.

Generell ist Eleven v4 ein Upgrade gegenüber Eleven v3 und liefert in fast allen Fällen bessere Ergebnisse. Wir empfehlen Ihnen dringend, zu v4 zu wechseln und es mit Ihren eigenen Stimmen und Inhalten zu testen, damit Sie den Unterschied selbst erleben. Für einige wenige Sonderfälle kann ein anderes Modell besser passen, doch für die meisten Nutzer ist v4 die bessere Wahl.

Informationen zu Tags, Zeichensetzung und Dialog-Prompting finden Sie unter Prompting für Eleven v4.

KI-Stimme klonen

Die Genauigkeit beim Klonen von Stimmen macht mit Eleven v4 einen großen Schritt nach vorn. Geklonte Stimmen erfassen die Eigenschaften der Ausgangsstimme — Klangfarbe, Rhythmus und Sprechweise — originalgetreuer als mit jedem früheren Modell.

Instant Voice Clones (IVCs) sind mit Eleven v4 genauer als je zuvor. Sie erfassen die prägenden Eigenschaften einer Ausgangsstimme originalgetreuer. So können Sie aus einer kurzen Audioaufnahme schneller einen überzeugenden Klon erstellen.

Professional Voice Clones (PVCs) werden in Eleven v4 vollständig unterstützt. Sie basieren auf denselben Verbesserungen der Stimmgenauigkeit und bieten für Workflows, die höchste Konsistenz und Kontrolle erfordern, eine originalgetreuere Wiedergabe der Ausgangsstimme.

Aufgrund dieses deutlichen Genauigkeitssprungs kann Eleven v4 erheblich anders klingen als Eleven v3. Eleven v3 schuf die Grundlage für Eleven v4 und legte dabei großen Wert auf Sprechweise und Genauigkeit. Eleven v4 baut darauf mit deutlich verbesserter Stimmgenauigkeit auf. Daher soll Eleven v4 die Ausgangsstimme originalgetreuer erfassen, auch wenn Sie möglicherweise bevorzugen, wie eine Stimme in Eleven v3 klang. Genauigkeit und persönliche Vorlieben sind nicht immer dasselbe. Wir empfehlen daher, beide Versionen mit Ihren eigenen Inhalten zu vergleichen, um die beste Wahl für Ihren Anwendungsfall zu treffen.

Da Eleven v4 die Eigenschaften der Ausgangsstimme — einschließlich Akzent, Sprechweise, Lautstärke und weiterer unverwechselbarer Merkmale — originalgetreuer wiedergibt, ist die Qualität der Ausgangsaufnahme wichtiger denn je. Klares, sauberes Trainingsaudio hilft Eleven v4, die Stimme präzise zu erfassen, ohne unerwünschte Geräusche oder Eigenschaften einzuführen. Hintergrundgeräusche, Verzerrungen oder andere Aufnahmeprobleme können das Ergebnis beeinträchtigen.

Wir experimentieren weiterhin mit Eleven v4, um zu verstehen, wie es sich optimal einsetzen lässt. Bisher scheint es deutlich besser darin zu sein, nuanciertes Audio zu erfassen, insbesondere bei umfangreichem Trainingsaudio wie bei Professional Voice Clones. Unsere Empfehlungen zur Nutzung vielfältiger Trainingsdaten können sich ändern, während wir weiter testen, wie sich das Modell mit einem vielseitigeren Datensatz steuern lässt. Vorerst empfehlen wir, im Trainingsaudio bei einem einzelnen Sprechstil zu bleiben. Eleven v4 sollte diesen besser erfassen als frühere Modelle.

Umgang mit nativen Akzenten

Dies ist eine der größten Änderungen in Eleven v4 gegenüber allen älteren Modellen. Es ist wichtig, sie genau zu verstehen.

Wenn die Sprache, die Sie generieren, mit der Sprache Ihrer Referenzstimme übereinstimmt, bleibt der ursprüngliche Akzent wie bisher genau erhalten.

Wenn sich die generierte Sprache von der Sprache der Referenzstimme unterscheidet, erzeugt Eleven v4 flüssige, natürlich klingende Sprache in der Zielsprache — statt den Akzent der Referenzstimme aus ihrer ursprünglichen Sprache zu übernehmen.

In der Praxis: Wenn Sie eine Stimme eines koreanischen Sprechers klonen und Englisch generieren, erzeugt Eleven v4 natürliches, flüssiges Englisch statt Englisch mit koreanischem Akzent. Dadurch ist jede Stimme in allen unterstützten Sprachen nutzbar. Das ist besonders hilfreich für Synchronisation, mehrsprachige Inhalte und Voice Agents, die Nutzer mit einer einzigen Stimme in verschiedenen Sprachen bedienen müssen.

Wenn Ihr Workflow davon abhängt, dass eine Stimme ihren nativen Akzent in andere Sprachen übernimmt, testen Sie dieses Verhalten direkt mit Eleven v4, bevor Sie migrieren — es ist eine beabsichtigte Änderung der sprachübergreifenden Generierung, kein Fehler.

Diese neue Funktion wird jedoch noch weiter abgestimmt. Wir prüfen Möglichkeiten, sie als Umschalter anzubieten, statt sie immer zu aktivieren. Das ist weiterhin ein Forschungsprojekt. Daher haben wir derzeit weder einen Zeitplan noch weitere Informationen dazu.

Modellvarianten

Eleven v4 ist in zwei Varianten verfügbar, damit Sie für Ihren Anwendungsfall die passende Balance aus Qualität und Geschwindigkeit wählen können:

• Eleven v4 (eleven_v4) — unser Modell mit der höchsten Qualität, ideal für Content-Erstellung, Hörbücher, Charakter-Voiceovers und alle Anwendungsfälle, bei denen Qualität oberste Priorität hat.
• Eleven v4 Turbo (eleven_v4_turbo) — extrem hohe Qualität bei beeindruckend niedriger Latenz, speziell für Echtzeit-Anwendungsfälle wie konversationelle Agents und interaktive Spracherlebnisse entwickelt.

Beide Varianten verwenden zwei Stimmeinstellungen: Stabilität und Ähnlichkeit.

Stabilität steuert, wie konsistent die Sprechweise über mehrere Generierungen hinweg bleibt. Niedrigere Werte ermöglichen eine ausdrucksstärkere, abwechslungsreichere Sprechweise; höhere Werte halten die Ausgabe näher an einer festen Basislinie.

Ähnlichkeit steuert, wie stark die Ausgabe der Referenzstimme entspricht. Höhere Werte erzwingen eine stärkere Orientierung an der Referenz, was zulasten der Natürlichkeit gehen kann.

Wenn Sie einen Professional Voice Clone und Eleven v4 auswählen, enthalten die Stimmeinstellungen zusätzlich einen Regler für Klonstärke. Die Klonstärke steuert, wie genau die Ausgabe den Trainingsaufnahmen des Klons folgt. Bei niedrigeren Werten wird die Stimme leicht geglättet und die Sprechweise gewinnt an Flexibilität. Das klingt oft insgesamt besser und bleibt dennoch der Originalstimme ähnlich. Bei höheren Werten bleibt die Ausgabe näher an den Trainingsaufnahmen und wird weniger geglättet. Dadurch ahmt sie Sprechweise und Performance der Originalstimme genauer nach. Höhere Werte können besonders für Stimmen mit markanten Eigenschaften oder einzigartigen Akzenten nützlich sein. Beginnen Sie für die meisten Stimmen bei 0 %.

Die Regler Stil und Geschwindigkeit sind in Eleven v4 nicht verfügbar, und SSML wird nicht unterstützt.

Audiotags (z. B. [whispering], [shouting], [laughing]) ermöglichen Ihnen eine präzise Steuerung der Sprechweise. Eleven v4 verarbeitet sie nuancierter als frühere Modelle. Sie sind noch nicht perfekt, und wir verbessern weiterhin, wie zuverlässig das Modell Tag-Anweisungen befolgt. Dies ist ein aktiver Entwicklungsbereich, der weiter verbessert wird.

Beispiele

Genauigkeit beim Klonen von Stimmen

Jedes Beispiel beginnt mit einer Vorschau aus der Stimmbibliothek. Anschließend haben wir einen Text genommen und ihn mit einem Instant Voice Clone dieser Stimme sowohl mit Eleven v3 als auch mit Eleven v4 generiert.

Dies ist kein perfekter Vergleich. Eleven v4 funktioniert auch mit Professional Voice Clones, die die Übereinstimmung noch weiter verbessern können. Um den Vergleich fairer zu gestalten, haben wir jedoch für Eleven v3 und Eleven v4 Instant Voice Clones verwendet.

Diese Beispiele zeigen, wie viel von der Originalstimme das Modell erfasst. Wichtig ist, dass dies auch EQ, Qualität, Lautstärke und weitere kleine Details und Unvollkommenheiten im Audio umfasst, etwa Plosivlaute, harte Zischlaute und Lautstärkeschwankungen.

Hören Sie zuerst die Vorschau, dann Eleven v3 und anschließend Eleven v4.

Stimme NfUrCNRReUL9RXS9upG1.

"Brother... I must cross the sea, though I'd rather stay beside you. If the gods will it, we'll see each other again. Until then, when the sun sinks beyond the waves, know that I'll be looking toward home."
He clasped my forearm beneath the pale morning sky. I held on a moment longer, then watched him turn toward the waiting ship.

Stimme HBDoL4wkcalemIO0nUAu.

"When I was young, I thought the mountain stood because it was strong. Then winter came, and the mountain wore its crown of snow without complaint. Spring followed, and it let every stream run free.
"So remember, traveler: strength is not always holding fast. Sometimes it is knowing what to carry, and what the season asks you to release."

Voice Acting

Dies sind Generierungen mit Eleven v4. Die Audiotags im Text steuern die Sprechweise.

Stimme EkK5I93UQWFDigLMpZcX.

[casual] "You're looking for work, eh? Hmm, I might have something for you. Just outside the valley, there's a group of wild horned boars I need you to take care of - nasty little beasts. The village would be grateful if you could get that done, and I'll make it worth your while."
------------
[annoyed] [under his breath] "Oh, you again... [sigh] Did you take care of that little problem I mentioned earlier? No, not yet? All right, off you go. I don't have time to chitchat. I'm busy standing here... handing out quests."
------------
[ecstatic] "You did it, you crazy bastard! [dismissive] Not that I didn't have any faith in you, but you wouldn't be the first one to fail. Yes, yes, I know. One of them might have been a little bigger than the others. But hey, you survived. You got it done. You helped the village."

Stimme t7VaN65ClS2VrEUwk1nR.

[quietly curious] "Hmm… that mark. I haven't seen one like it in years. Where did you get it? Oh, you gonna make me guess? [giggle]"
------------
[measured] "No need to explain, if you'd rather not. This town has a way of leaving its mark on people. [soft chuckle] Usually not quite so literally."
------------
[lower, thoughtful] "Keep it covered when you can. There are still a few who remember what it means, and they may not ask as politely as I have."

Hörbuch

Dies ist eine Eleven v4-Erzählung. Die Tags bestimmen Tempo und Ton der Szene.

Stimme KHRvDizAHFVPzoSehNY6.

[Quiet, measured narration] The moonlit training court lay beneath the keep, its stone walls silvered with frost. Beyond the battlements, a dragon's distant call rolled over the mountains.
Sir Alden lifted his blunted practice sword. "Ready?"
Bram, his broad shoulders wrapped in a travel-worn cloak, studied the wooden shield strapped to his arm. "I've faced worse odds."
[Pause, dry amusement] "You lost to a turnip cart yesterday," Sir Alden said.
"It was a very determined cart," Bran muttered
[Gradually building energy] They circled across the frost-dusted stones. One step. Another. Alden watched Bram's hands; Bram watched the faint blue glow gathering along Alden's blade. The air between them prickled with harmless magic.
[Quick, light, playful pace] Bram charged. Alden slipped aside. Clack! Wood met steel. Bram turned, his cloak flaring, and swung wide. Alden ducked beneath it. Bram's boot skidded on the frost; he windmilled, caught himself, and bowed as if he'd meant to do that all along.
"Magnificent," Alden said.
"I was giving you time to admire the cloak," Bran retorted.

Das Modell wird sich weiterentwickeln

Eleven v4 wird aktiv und kontinuierlich weiterentwickelt. Da wir das Modell nach der Veröffentlichung weiter trainieren und verbessern, kann sich sein Verhalten mit steigender Qualität im Laufe der Zeit verändern. Wir empfehlen Ihnen, Ihren Anwendungsfall regelmäßig erneut zu testen, während sich das Modell weiterentwickelt. Über wichtige Updates informieren wir Sie bei ihrer Einführung.

FAQ