Eleven v4

Eleven v4 ist unser neuestes und fortschrittlichstes Text to Speech-Modell und das erste einer neuen Modellgeneration. Gegenüber Eleven v3 verbessert es Ausgabequalität, Stimmgenauigkeit, Konsistenz, Emotion, Vortrag, Audiotags und Sprachabdeckung.

Generell ist Eleven v4 ein klares Upgrade gegenüber Eleven v3 und liefert in fast allen Fällen bessere Ergebnisse. Wir empfehlen dringend, auf v4 umzusteigen und es mit Ihren eigenen Stimmen und Inhalten zu testen, um den Unterschied selbst zu erleben. Einige wenige Sonderfälle erfordern möglicherweise eine andere Lösung, doch für die meisten Nutzer ist v4 die bessere Wahl.

Informationen zu Tags, Zeichensetzung und Dialog-Prompting finden Sie unter Prompting Eleven v4.

KI-Stimme klonen

Die Genauigkeit beim Klonen von Stimmen macht mit Eleven v4 einen großen Schritt nach vorn. Geklonte Stimmen erfassen die Merkmale der Ausgangsstimme — Klangfarbe, Rhythmus und Vortrag — präziser als mit jedem früheren Modell.

Instant Voice Clones (IVCs) sind in Eleven v4 genauer als je zuvor. Sie erfassen die prägenden Merkmale einer Ausgangsstimme präziser und erleichtern es, aus einer kurzen Audioaufnahme schnell einen überzeugenden Klon zu erstellen.

Professional Voice Clones (PVCs) werden in Eleven v4 vollständig unterstützt. Sie basieren auf denselben Fortschritten bei der Stimmgenauigkeit und bieten eine originalgetreuere Wiedergabe der Ausgangsstimme für Workflows, die höchste Konsistenz und Kontrolle erfordern.

Aufgrund dieses deutlichen Genauigkeitssprungs kann Eleven v4 wesentlich anders klingen als Eleven v3. Eleven v3 legte mit einem starken Fokus auf Vortrag und Genauigkeit den Grundstein für Eleven v4. Eleven v4 baut darauf mit deutlich verbesserter Stimmgenauigkeit auf. Dadurch erfasst Eleven v4 die Ausgangsstimme originalgetreuer, auch wenn Ihnen eine Stimme in Eleven v3 möglicherweise besser gefällt. Genauigkeit und persönlicher Geschmack sind nicht immer dasselbe. Wir empfehlen daher, beide Versionen mit Ihren eigenen Inhalten zu vergleichen, um die beste Lösung für Ihren Anwendungsfall zu wählen.

Da Eleven v4 die Merkmale der Ausgangsstimme — einschließlich Akzent, Vortrag, Lautstärke und anderer charakteristischer Eigenschaften — originalgetreuer wiedergibt, ist die Qualität der Ausgangsaufnahme wichtiger denn je. Klares, sauberes Trainingsaudio hilft Eleven v4, die Stimme präzise zu erfassen, ohne unerwünschte Geräusche oder Merkmale einzubringen. Hintergrundgeräusche, Verzerrungen oder andere Aufnahmeprobleme können das Ergebnis beeinträchtigen.

Wir experimentieren weiterhin mit Eleven v4, um zu verstehen, wie es sich am besten einsetzen lässt. Bisher scheint es nuanciertes Audio deutlich besser zu erfassen, insbesondere bei umfangreichem Trainingsaudio wie bei Professional Voice Clones. Unsere Empfehlungen zur Verwendung vielfältiger Trainingsdaten können sich ändern, während wir weiter testen, wie sich das Modell mit einem vielseitigeren Datensatz steuern lässt. Vorerst empfehlen wir, für Ihr Trainingsaudio bei einem einzigen Sprechstil zu bleiben. Eleven v4 sollte diesen besser erfassen als frühere Modelle.

Verarbeitung nativer Akzente

Dies ist im Vergleich zu allen älteren Modellen eine der größten Änderungen in Eleven v4. Sie sollten sie genau verstehen.

Wenn die Sprache, die Sie generieren, mit der Sprache Ihrer Referenzstimme übereinstimmt, bleibt der ursprüngliche Akzent wie bisher exakt erhalten.

Wenn die Sprache, die Sie generieren, von der Sprache der Referenzstimme abweicht, erzeugt Eleven v4 flüssige, natürlich klingende Sprache in der Zielsprache — statt den Akzent der Referenzstimme aus ihrer ursprünglichen Sprache zu übernehmen.

In der Praxis: Wenn Sie eine Stimme einer koreanischsprachigen Person klonen und Englisch generieren, erzeugt Eleven v4 natürliches, flüssiges Englisch statt Englisch mit koreanischem Akzent. So ist jede Stimme in allen unterstützten Sprachen nutzbar. Das ist besonders hilfreich für Synchronisationen, mehrsprachige Inhalte und Sprachagenten, die Nutzer mit einer einzigen Stimme in verschiedenen Sprachen bedienen müssen.

Wenn Ihr Workflow darauf angewiesen ist, dass eine Stimme ihren nativen Akzent in andere Sprachen übernimmt, testen Sie dieses Verhalten vor der Migration direkt mit Eleven v4 — es ist eine bewusste Änderung der sprachübergreifenden Generierung, kein Fehler.

Diese neue Funktion wird jedoch noch weiter optimiert. Wir prüfen Möglichkeiten, sie als Umschalter bereitzustellen, statt sie immer zu aktivieren. Das ist noch ein Forschungsprojekt. Daher haben wir derzeit keinen Zeitplan oder weitere Informationen dazu.

Modellvarianten

Eleven v4 ist in zwei Varianten verfügbar. So wählen Sie die passende Balance aus Qualität und Geschwindigkeit für Ihren Anwendungsfall:

• Eleven v4 (eleven_v4) — unser Modell mit der höchsten Qualität, ideal für Content-Erstellung, Hörbücher, Charakter-Voiceovers und jeden Anwendungsfall, bei dem Qualität oberste Priorität hat.
• Eleven v4 Turbo (eleven_v4_turbo) — extrem hohe Qualität bei beeindruckend niedriger Latenz, speziell für Echtzeit-Anwendungsfälle wie Konversationsagenten und interaktive Spracherlebnisse entwickelt.

Beide Varianten verwenden zwei Stimmeinstellungen: Stability und Similarity.

Stability steuert, wie konsistent der Vortrag über mehrere Generierungen hinweg bleibt. Niedrigere Werte ermöglichen ausdrucksstärkeren, variableren Vortrag; höhere Werte halten die Darbietung näher an einer festen Basislinie.

Similarity steuert, wie eng sich die Ausgabe an die Referenzstimme hält. Höhere Werte sorgen für eine stärkere Übereinstimmung mit der Referenz, was auf Kosten der Natürlichkeit gehen kann.

Die Regler Style und Speed sind in Eleven v4 nicht verfügbar, und SSML wird nicht unterstützt.

Audiotags (z. B. [whispering], [shouting], [laughing]) ermöglichen Ihnen, den Vortrag detailliert zu steuern. Eleven v4 verarbeitet sie nuancierter als frühere Modelle. Sie sind noch nicht perfekt, und wir entwickeln die Zuverlässigkeit weiter, mit der das Modell Tag-Anweisungen befolgt — dies ist ein aktiver Investitionsbereich und wird kontinuierlich besser.

Beispiele

Genauigkeit beim Klonen von Stimmen

Jedes Beispiel beginnt mit einer Vorschau aus der Stimmbibliothek. Anschließend haben wir Text mit einem Instant Voice Clone dieser Stimme sowohl mit Eleven v3 als auch mit Eleven v4 generiert.

Dies ist kein perfekter Vergleich. Eleven v4 funktioniert auch mit Professional Voice Clones, die die Übereinstimmung weiter verbessern können. Um den Vergleich fairer zu halten, haben wir jedoch für Eleven v3 und Eleven v4 Instant Voice Clones verwendet.

Diese Beispiele zeigen, wie viel der ursprünglichen Stimme das Modell erfasst. Wichtig ist, dass dies auch EQ, Qualität, Lautstärke und alle weiteren kleinen Details und Unvollkommenheiten im Audio umfasst, etwa Plosivlaute, scharfe Zischlaute und Lautstärkeschwankungen.

Hören Sie zuerst die Vorschau, dann Eleven v3 und anschließend Eleven v4.

Stimme NfUrCNRReUL9RXS9upG1.

"Brother... I must cross the sea, though I'd rather stay beside you. If the gods will it, we'll see each other again. Until then, when the sun sinks beyond the waves, know that I'll be looking toward home."
He clasped my forearm beneath the pale morning sky. I held on a moment longer, then watched him turn toward the waiting ship.

Stimme HBDoL4wkcalemIO0nUAu.

"When I was young, I thought the mountain stood because it was strong. Then winter came, and the mountain wore its crown of snow without complaint. Spring followed, and it let every stream run free.
"So remember, traveler: strength is not always holding fast. Sometimes it is knowing what to carry, and what the season asks you to release."

Sprachschauspiel

Dies sind Generierungen mit Eleven v4. Die Audiotags im Text steuern den Vortrag.

Stimme EkK5I93UQWFDigLMpZcX.

[casual] "You're looking for work, eh? Hmm, I might have something for you. Just outside the valley, there's a group of wild horned boars I need you to take care of - nasty little beasts. The village would be grateful if you could get that done, and I'll make it worth your while."
------------
[annoyed] [under his breath] "Oh, you again... [sigh] Did you take care of that little problem I mentioned earlier? No, not yet? All right, off you go. I don't have time to chitchat. I'm busy standing here... handing out quests."
------------
[ecstatic] "You did it, you crazy bastard! [dismissive] Not that I didn't have any faith in you, but you wouldn't be the first one to fail. Yes, yes, I know. One of them might have been a little bigger than the others. But hey, you survived. You got it done. You helped the village."

Stimme t7VaN65ClS2VrEUwk1nR.

[quietly curious] "Hmm… that mark. I haven't seen one like it in years. Where did you get it? Oh, you gonna make me guess? [giggle]"
------------
[measured] "No need to explain, if you'd rather not. This town has a way of leaving its mark on people. [soft chuckle] Usually not quite so literally."
------------
[lower, thoughtful] "Keep it covered when you can. There are still a few who remember what it means, and they may not ask as politely as I have."

Hörbuch

Dies ist eine Eleven v4-Erzählung. Die Tags bestimmen Tempo und Ton der Szene.

Stimme KHRvDizAHFVPzoSehNY6.

[Quiet, measured narration] The moonlit training court lay beneath the keep, its stone walls silvered with frost. Beyond the battlements, a dragon's distant call rolled over the mountains.
Sir Alden lifted his blunted practice sword. "Ready?"
Bram, his broad shoulders wrapped in a travel-worn cloak, studied the wooden shield strapped to his arm. "I've faced worse odds."
[Pause, dry amusement] "You lost to a turnip cart yesterday," Sir Alden said.
"It was a very determined cart," Bran muttered
[Gradually building energy] They circled across the frost-dusted stones. One step. Another. Alden watched Bram's hands; Bram watched the faint blue glow gathering along Alden's blade. The air between them prickled with harmless magic.
[Quick, light, playful pace] Bram charged. Alden slipped aside. Clack! Wood met steel. Bram turned, his cloak flaring, and swung wide. Alden ducked beneath it. Bram's boot skidded on the frost; he windmilled, caught himself, and bowed as if he'd meant to do that all along.
"Magnificent," Alden said.
"I was giving you time to admire the cloak," Bran retorted.

Das Modell wird sich weiterentwickeln

Eleven v4 befindet sich in aktiver, kontinuierlicher Entwicklung. Während wir das Modell nach der Veröffentlichung weiter trainieren und verbessern, kann sich sein Verhalten mit steigender Qualität im Laufe der Zeit verändern. Wir empfehlen, Ihren Anwendungsfall regelmäßig erneut zu testen, während sich das Modell weiterentwickelt. Über relevante Updates informieren wir Sie, sobald sie verfügbar sind.

FAQ