For AI agents: a documentation index is available at the root level at /llms.txt. Append /llms.txt to any URL for a page-level index, or .md for the markdown version of any page.
Ein Leitfaden zum Umwandeln von Text in Sprache mit ElevenLabs
Überblick
Die Text to Speech-Technologie von ElevenLabs ist ein zentraler Bestandteil unseres Angebots und ermöglicht weltweit hochwertige KI-generierte Sprache in verschiedenen Anwendungen. Wahrscheinlich sind Sie unseren Stimmen bereits begegnet und haben lebensechte Audioerlebnisse gehört.
Der Einstieg in die Generierung Ihres ersten Audios mit Text to Speech ist sehr einfach. Um diese Funktion optimal zu nutzen, sollten Sie jedoch einige Punkte beachten.
Klicken Sie auf die Schaltfläche „Generate“, um Ihre Audiodatei zu erstellen.
Einstellungen
Machen Sie sich mit den Stimmen, Modellen und Einstellungen für hochwertige Sprachausgabe vertraut.
Die verwendeten Einstellungen, insbesondere Stimme und Modell, beeinflussen die Ausgabe erheblich. Es ist wichtig, sich mit ihnen vertraut zu machen und einige Best Practices zu verstehen. Auch andere Einstellungen beeinflussen die Ausgabe, ihr Einfluss ist jedoch geringer als der der gewählten Stimme und des Modells.
Die Reihenfolge der Wichtigkeit ist: Die Auswahl der Stimme ist am wichtigsten, gefolgt von der Auswahl des Modells und dann den Einstellungen des Modells. All diese Faktoren und ihre Kombination beeinflussen die Ausgabe.
Stimmen
Stimmen
Wir bieten viele Arten von Stimmen: die kuratierten Standardstimmen, unsere umfangreiche Stimmenbibliothek wmit nahezu jeder denkbaren Stimme, vollständig synthetische Stimmen, die mit unserem Tool Voice Design erstellt wurden, sowie Ihre eigene Sammlung geklonter Stimmen mit unseren beiden Technologien: Instant Voice Cloning und Professional Voice Cloning.
Nicht alle Stimmen sind gleich, und vieles hängt vom Quellaudio ab, mit dem sie erstellt wurden. Einige Stimmen liefern eine bessere, menschlichere Performance und Sprechweise, während andere stabiler sind.
Die Wahl der richtigen Stimme für Ihre Inhalte ist entscheidend. Dies ist wahrscheinlich die wichtigste Entscheidung mit dem größten Einfluss auf die endgültige Ausgabe. Sie bestimmt Geschlecht, Tonfall, Akzent, Rhythmus und Sprechweise. Es lohnt sich, zusätzliche Zeit in die Auswahl der perfekten Stimme und ihre sorgfältige Prüfung zu investieren, damit sie konsistent ist und Ihre Erwartungen erfüllt.
Um Sprache in einer bestimmten Sprache zu erzeugen, erzielen Sie die besten Ergebnisse mit einer muttersprachlichen Stimme aus der Stimmenbibliothek oder indem Sie eine Stimme klonen, die diese Sprache mit dem richtigen Akzent spricht. Technisch kann jede Stimme jede Sprache sprechen, behält dabei aber ihren ursprünglichen Akzent. Wenn Sie beispielsweise mit einer englischen Muttersprachler-Stimme französische Sprache erzeugen, ist die Ausgabe wahrscheinlich auf Französisch, aber mit englischem Akzent. Die KI muss dann verallgemeinern, wie diese Stimme in einer Sprache klingen würde, auf die sie nicht trainiert wurde.
Wenn Ihnen eine Stimme gefällt, Sie aber eine andere Sprechweise wünschen, kann unser Tool Voice Remixing helfen. Damit können Sie mit Prompts in natürlicher Sprache Sprechweise, Rhythmus, Tonfall, Geschlecht und sogar Akzente einer Stimme ändern. Beim Ändern von Akzenten sind die Ausgangsstimme und der Zielakzent sehr wichtig. Die Ergebnisse können variieren: Manchmal funktioniert es perfekt, manchmal braucht es mehrere Versuche.
Mit Voice Remixing können Sie sehr gute Ergebnisse erzielen, sie sind jedoch meist nicht so gut wie mit einem korrekt geklonten Professional Voice Clone. Sie ähneln eher einem Instant Voice Clone.
Beachten Sie, dass Voice Remixing nur für bestimmte Stimmen funktioniert. Stimmen aus der Stimmenbibliothek können Sie beispielsweise nicht remixen. Sie können nur Stimmen remixen, die Sie selbst erstellt haben, oder die Standardstimmen.
Modelle
Modelle
Wir bieten zwei Modellfamilien: Standardmodelle (hohe Qualität) und Flash-Modelle, die für extrem niedrige Latenz optimiert sind. Die meisten Familien umfassen sowohl reine Englisch- als auch mehrsprachige Versionen.
Eleven v4 ist unser neuestes Modell. Es ist in zwei Varianten verfügbar: Eleven v4 und Eleven v4 Turbo.
Die Modellauswahl hat nach der Stimmenauswahl den zweitgrößten Einfluss auf Ihre endgültige Audioausgabe. Wir empfehlen, die verschiedenen Modelle kurz mit Ihrer gewählten Stimme zu testen, um die beste Kombination zu finden. Alle unsere Modelle haben Stärken und Schwächen und funktionieren mit einigen Stimmen besser als mit anderen. Daher ist eine gute Kombination wichtig.
Wenn Ihre Ausgabe ausschließlich auf Englisch sein wird, empfehlen wir dringend eines unserer reinen Englisch-Modelle. Sie sind oft einfacher zu verwenden, stabiler und bieten generell eine bessere Leistung für ausschließlich englische Inhalte. Wenn Ihre Inhalte in einer anderen Sprache oder möglicherweise mehrsprachig sind, müssen Sie eines der mehrsprachigen Modelle verwenden.
Die häufigste Einstellung ist Stabilität um 50, Ähnlichkeit um 75 und Stil auf 0, danach mit minimalen Anpassungen. Das hängt natürlich von der ursprünglichen Stimme und der angestrebten Performance ab.
Wichtig: Die KI ist nicht deterministisch. Bestimmte Werte für die Regler garantieren daher nicht jedes Mal dieselben Ergebnisse. Die Regler funktionieren vielmehr als Bereich und bestimmen, wie groß die Zufallsvariation zwischen den einzelnen Generierungen sein kann.
Geschwindigkeit
Mit der Geschwindigkeitseinstellung können Sie die generierte Sprache beschleunigen oder verlangsamen. Der Standardwert ist 1.0 und bedeutet, dass die Geschwindigkeit nicht angepasst wird. Werte unter 1.0 verlangsamen die Stimme bis zu einem Minimum von 0.7. Werte über 1.0 beschleunigen die Stimme bis zu einem Maximum von 1.2. Extreme Werte können die Qualität der generierten Sprache beeinträchtigen.
Geschwindigkeit ist für das Modell Eleven v3 nicht verfügbar.
Stabilität
Der Stabilitätsregler bestimmt, wie stabil die Stimme ist und wie stark die Zufallsvariation zwischen den einzelnen Generierungen ausfällt. Ein niedrigerer Wert erweitert die emotionale Bandbreite der Stimme. Wie bereits erwähnt, wird dies auch stark von der ursprünglichen Stimme beeinflusst. Ein zu niedriger Wert kann zu ungewöhnlichen, zu zufälligen Performances führen und dazu, dass die Figur zu schnell spricht. Ein zu hoher Wert kann dagegen zu einer monotonen Stimme mit wenig Emotion führen.
Für eine lebhaftere und dramatischere Performance empfehlen wir, den Stabilitätsregler niedriger einzustellen und einige Male zu generieren, bis Sie eine passende Performance finden.
Wenn Sie dagegen eine ernstere Performance wünschen, die bei sehr hohen Werten sogar monoton sein kann, empfehlen wir einen höheren Stabilitätswert. Da die Ausgabe konsistenter und stabiler ist, müssen Sie in der Regel nicht so viele Samples generieren, um das gewünschte Ergebnis zu erzielen. Experimentieren Sie, um herauszufinden, was für Sie am besten funktioniert.
Ähnlichkeit
Der Ähnlichkeitsregler legt fest, wie genau die KI beim Nachbilden der ursprünglichen Stimme an dieser bleiben soll. Wenn das ursprüngliche Audio von schlechter Qualität ist und der Ähnlichkeitsregler zu hoch eingestellt ist, kann die KI beim Imitieren der Stimme Artefakte oder Hintergrundgeräusche reproduzieren, sofern diese in der Originalaufnahme vorhanden waren.
Ähnlichkeit ist für das Modell Eleven v3 nicht verfügbar.
Stilübertreibung
Mit den neueren Modellen haben wir auch eine Einstellung für Stilübertreibung hinzugefügt. Diese Einstellung versucht, den Stil der ursprünglichen sprechenden Person zu verstärken. Sie benötigt zusätzliche Rechenressourcen und kann die Latenz erhöhen, wenn sie nicht auf 0 eingestellt ist. Die Verwendung dieser Einstellung kann das Modell etwas weniger stabil machen, da es den Stil der ursprünglichen Stimme stärker hervorheben und nachahmen soll.
Generell empfehlen wir, diese Einstellung immer auf 0 zu lassen.
Speaker Boost
Diese Einstellung erhöht die Ähnlichkeit mit der ursprünglichen sprechenden Person. Sie erfordert jedoch etwas mehr Rechenleistung, was wiederum die Latenz erhöht. Die durch diese Einstellung erzeugten Unterschiede sind im Allgemeinen eher subtil.
Speaker Boost ist für das Modell Eleven v3 nicht verfügbar.
Audioeffekte
Audioeffekte
Audioeffekte bearbeiten die generierte Sprache, sodass sie klingt, als wäre sie an einem bestimmten Ort oder über ein bestimmtes Gerät aufgenommen worden. Sie werden nach der Generierung angewendet und ändern die Kosten nicht.
Öffnen Sie im Einstellungsbereich den Abschnitt Audioeffekte und klicken Sie auf Effekt hinzufügen. Jeder Effekttyp kann einmal hinzugefügt werden:
Filter: färbt die Stimme, etwa wie eine Telefonleitung, ein altes Radio oder ein Roboter.
Rauschen: legt eine Hintergrundschleife wie ein Café, Callcenter, eine Stadt oder Tastaturtippen unter die Stimme.
Raum: platziert die Stimme in einem Raum oder Außenbereich mit passendem Hall, vom kleinen Zimmer bis zur Halle oder zum Wald.
Entfernung: legt fest, wie weit die sprechende Person vom Mikrofon entfernt ist: Nah, Mittel oder Weit.
Nachdem Sie einen Effekt hinzugefügt haben, klicken Sie auf Vorschau, um die aktuellen Effekte vor dem Generieren mit einer Beispielstimme anzuhören. Um einen Effekt zu entfernen, klicken Sie in seiner Zeile auf die Schaltfläche zum Entfernen.
Audioeffekte sind im Tab „Text to Speech“ verfügbar. Um Effekte auf Dialoge anzuwenden, verwenden Sie den
Parameter audio_effects
der Text to Dialogue API.
Generieren
Sobald Sie Ihre Stimme ausgewählt, ein Modell gewählt und Ihre Einstellungen konfiguriert haben, ist der Generierungsprozess einfach: Sie geben Text ein, klicken auf „Sprache generieren“ und das Audio wird erstellt.
Der Prozess ist oberflächlich sehr einfach, doch die Texteingabe ist für das gewünschte Ergebnis äußerst wichtig. Wenn Sie Wörter verwenden, die möglicherweise „außerhalb der Verteilung“ liegen – also Dinge, auf die die KI während des Trainings selten gestoßen ist –, etwa ungewöhnliche Namen, seltene Abkürzungen, Symbole oder sogar Emojis, können Sie die KI verwirren und die Ausgabe instabiler machen. Emojis und bestimmte Symbole sind für die KI besonders schwer korrekt zu interpretieren.
Bei der Verwendung von Text to Speech über die Benutzeroberfläche führen wir für Ihre Eingabe einen automatisierten Normalisierungsschritt durch. Das verbessert die Lesbarkeit des Textes und erleichtert der KI die Verarbeitung. In der Regel werden dabei Symbole und Zahlen in ausgeschriebenen Text umgewandelt, sodass die KI die richtige Aussprache erkennt.
Eine Best Practice, die wir dringend empfehlen, ist, Zahlen nicht als Ziffern zu schreiben und keine Symbole zu verwenden – besonders bei mehrsprachigen Modellen, aber auch bei reinen Englisch-Modellen. Da Zahlen und Symbole in vielen Sprachen gleich geschrieben, aber unterschiedlich ausgesprochen werden, erzeugen Ziffern Mehrdeutigkeit für die KI. Die Zahl „1“ wird beispielsweise im Englischen und vielen anderen Sprachen identisch geschrieben, aber unterschiedlich ausgesprochen. Wenn Sie die Zahl ausschreiben, etwa „eins“, muss die KI nicht mehr interpretieren, was sie tun soll.
Wir arbeiten an fortschrittlicheren Workflows, mit denen Sie Sprechweise und Performance der KI über sogenannte Audiotags beeinflussen können. Diese Funktion ist in Eleven v4 und Eleven v3 verfügbar. Wenn Sie mehr über diese Funktion erfahren möchten, empfehlen wir unseren Prompting-Leitfaden.
FAQ
Gute Eingabe führt zu guter Ausgabe
Der erste und einer der wichtigsten Faktoren ist, dass eine gute, hochwertige und konsistente Eingabe zu einer guten, hochwertigen und konsistenten Ausgabe führt.
Wenn Sie der KI weniger als ideales Audio bereitstellen – etwa Audio mit viel Rauschen, Hall auf klarer Sprache, mehreren sprechenden Personen oder uneinheitlicher Lautstärke, Performance oder Sprechweise –, wird die KI instabiler und die Ausgabe unvorhersehbarer.
Wenn Sie Ihre eigene Stimme klonen möchten, empfehlen wir dringend, unsere Richtlinien in der Dokumentation zum Erstellen korrekter Stimmklone zu lesen. So erhalten Sie die bestmögliche Grundlage. Auch wenn Sie nur Instant Voice Clones verwenden möchten, sollten Sie den Abschnitt zu Professional Voice Cloning lesen. Er enthält wertvolle Informationen zum Erstellen von Stimmklonen, auch wenn die Anforderungen dieser beiden Technologien leicht unterschiedlich sind.
Verwenden Sie die richtige Stimme
Der zweite zu berücksichtigende Faktor ist, dass die ausgewählte Stimme einen enormen Einfluss auf die Ausgabe hat. Wie beim ersten Faktor erwähnt, sind nicht nur Qualität und Konsistenz der Samples, mit denen dieser spezifische Klon erstellt wurde, äußerst wichtig, sondern auch Sprache und Tonalität der Stimme.
Wenn Sie eine fröhliche und heitere Stimme möchten, sollten Sie eine Stimme verwenden, die mit fröhlichen und heiteren Samples geklont wurde. Wenn Sie dagegen eine nachdenkliche und grüblerische Stimme wünschen, sollten Sie eine Stimme mit diesen Eigenschaften auswählen.
Entscheidend ist jedoch auch, eine Stimme zu verwenden, die in der richtigen Sprache trainiert wurde. Alle Professional Voice Clones, die wir als Standardstimmen anbieten, sind beispielsweise englische Stimmen und wurden mit englischen Samples trainiert. Wenn Sie sie andere Sprachen sprechen lassen, kann ihre Performance in diesen Sprachen daher unvorhersehbar sein. Verwenden Sie unbedingt eine Stimme, die aus Samples geklont wurde, in denen die Stimme die Sprache spricht, die die KI anschließend sprechen soll.
Verwenden Sie die richtige Formatierung
Das mag etwas banal wirken, kann aber einen großen Unterschied machen. Die KI versucht anhand des Kontexts des Textes selbst zu verstehen, wie etwas gelesen werden soll. Das betrifft nicht nur die verwendeten Wörter, sondern auch ihre Zusammensetzung, Zeichensetzung, Grammatik und die allgemeine Textformatierung.
Dies kann einen kleinen, aber wichtigen Einfluss auf die Sprechweise der KI haben. Wenn Sie ein Wort falsch schreiben, korrigiert die KI es nicht und versucht, es wie geschrieben zu lesen.
Nicht deterministisch
Die Einstellungen der KI sind nicht deterministisch. Das bedeutet, dass sie selbst bei gleichen Ausgangsbedingungen – Stimme, Einstellungen und Modell – leicht unterschiedliche Ausgaben liefert, ähnlich wie eine Sprecherin oder ein Sprecher jedes Mal eine etwas andere Performance liefert.
Diese Variabilität kann verschiedene Ursachen haben, etwa die zuvor genannten Optionen: Stimme, Einstellungen und Modell. Generell lässt sich die Breite dieser Variabilität mit dem Stabilitätsregler steuern. Eine niedrigere Stabilität bedeutet eine größere Variation zwischen den Generierungen, führt aber auch zu stärkeren Unterschieden zwischen den einzelnen Generierungen, wobei die KI etwas performativer sein kann.
Eine größere Variabilität kann oft wünschenswert sein, da eine zu hohe Stabilität bestimmte Stimmen monoton klingen lassen kann, weil sie der KI nicht denselben Spielraum für variablere Inhalte gibt. Eine zu niedrige Stabilität kann jedoch ebenfalls Probleme verursachen und die Generierungen instabil machen, besonders bei bestimmten Stimmen, für deren Klonprozess möglicherweise nicht ideales Audio verwendet wurde.
Die Standardeinstellung 50 ist für die meisten Anwendungen ein sehr guter Ausgangspunkt.
Was ist Eleven v4?
Wir empfehlen, zu Eleven v4 zu wechseln und es mit Ihren eigenen Inhalten zu testen.
Eleven v4 ist unser neuestes und fortschrittlichstes Text to Speech-Modell sowie das erste einer neuen Modellgeneration. Im Vergleich zu Eleven v3 verbessert es Ausgabequalität, Stimmgenauigkeit, Emotionen, Audio-Tags und Sprachabdeckung.
Die Genauigkeit beim Klonen von Stimmen macht mit Eleven v4 einen großen Schritt nach vorn. Geklonte Stimmen erfassen die Eigenschaften der Ausgangsstimme — Klangfarbe, Rhythmus und Sprechweise — originalgetreuer als mit jedem vorherigen Modell.
Instant Voice Clones (IVCs) sind mit Eleven v4 präziser als je zuvor. Sie erfassen die prägenden Eigenschaften einer Ausgangsstimme originalgetreuer, sodass sich schnell und einfach aus einem kurzen Audiobeispiel ein überzeugender Klon erstellen lässt.
Professional Voice Clones (PVCs) werden in Eleven v4 vollständig unterstützt. Sie bauen auf denselben Fortschritten bei der Stimmgenauigkeit auf und bieten für Workflows, die ein Höchstmaß an Konsistenz und Kontrolle erfordern, eine originalgetreuere Wiedergabe der Ausgangsstimme.
Eleven v4 ist in zwei Varianten verfügbar. So können Sie für Ihren Anwendungsfall das richtige Verhältnis von Qualität und Geschwindigkeit wählen:
Eleven v4 (eleven_v4) — unser Modell mit der höchsten Qualität, ideal für Content-Erstellung, Hörbücher, Charakter-Voiceovers und alle Anwendungsfälle, bei denen Qualität oberste Priorität hat.
Eleven v4 Turbo (eleven_v4_turbo) — extrem hohe Qualität bei beeindruckend niedriger Latenz, speziell entwickelt für Echtzeitanwendungen wie Gesprächsagenten und interaktive Spracherlebnisse.
Beide Varianten verwenden zwei Stimmeinstellungen: Stabilität und Ähnlichkeit. Die Regler für Stil und Geschwindigkeit sind in Eleven v4 nicht verfügbar, und SSML wird nicht unterstützt.
Wenn die Sprache, die Sie generieren, mit der Sprache Ihrer Referenzstimme übereinstimmt, bleibt der ursprüngliche Akzent unverändert erhalten. Wenn sich die generierte Sprache von der Sprache der Referenzstimme unterscheidet, erzeugt Eleven v4 flüssige, natürlich klingende Sprache in der Zielsprache — statt den Akzent der Referenzstimme aus ihrer ursprünglichen Sprache zu übernehmen.
Informationen zu Klonen, Akzenten, Vergleichen und die vollständige Beschreibung finden Sie unter Eleven v4. Informationen zu Tags und Prompting finden Sie unter Prompting für Eleven v4.
Was ist Eleven v3?
Wir empfehlen, zu Eleven
v4 zu wechseln und es mit
Ihren eigenen Inhalten zu testen. Viele der Prompting-Techniken für Eleven
v4 gelten auch für
Eleven v3.
Eleven v3 ist ein emotional vielseitiges, ausdrucksstarkes Text to Speech-Modell. Es erzeugt natürliche, lebensechte Sprache mit großer emotionaler Bandbreite und Kontextverständnis in über 70 Sprachen.
Die Steuerung der Sprechgeschwindigkeit ist für Text to Speech über Speech Synthesis, Studio, ElevenAgents und unsere API verfügbar.
Mit der Einstellung „Geschwindigkeit“ können Sie die Sprechgeschwindigkeit steuern.
Mögliche Werte reichen von 0.7 bis 1.2. Werte unter 1 verlangsamen die Sprache, Werte über 1 beschleunigen sie. Extreme Werte können die Qualität der generierten Sprache beeinträchtigen.
Diese Einstellung ist für alle Stimmen und Modelle verfügbar. Sie finden sie in den Stimmeinstellungen.
Informationen zur Steuerung der Sprache über die API finden Sie in unserer API-Referenz.
Kann ich dieselbe geklonte/entworfene Stimme sprachübergreifend verwenden?
Jede Stimme kann jede der unterstützten Sprachen sprechen.
Beim aktuellen Modell wählen Sie keine bestimmte Sprache aus. Stattdessen schreiben Sie in der Sprache, die die KI sprechen soll, und die KI erkennt sie automatisch. Da sich verschiedene Sprachen bei ähnlichen Wörtern und Vokabular überschneiden können, deren Aussprache und Akzente aber sehr unterschiedlich sind, sollten Sie eine geklonte Stimme verwenden, die in der Sprache mit dem richtigen Akzent geklont wurde.
Die Sprache wird durch den Text bestimmt, Akzent und Aussprache durch die Stimme selbst. Für optimale Ergebnisse benötigt das Modell beide Kontexte.
Wir entwickeln neue Technologien, um die Sprachauswahl zu erleichtern. Aufgrund der Funktionsweise der KI befindet sich dies jedoch noch in Entwicklung.
Wie lade ich generierte Dateien aus Text to Speech herunter?
Sie können generierte Dateien auf zwei Arten herunterladen:
Sie können eine generierte Datei direkt nach der Erstellung des Inhalts über die Download-Schaltfläche unten rechts herunterladen.
Zuvor generierte Dateien können Sie über Ihren Verlauf herunterladen.
Um auf Ihren Verlauf zuzugreifen, melden Sie sich bei Ihrem Konto an, wählen Sie in der Seitenleiste Text to Speech und klicken Sie dann im Bereich auf der rechten Bildschirmseite auf den Tab „Verlauf“. Auf schmalen Bildschirmen können Sie über das Verlaufssymbol über der Schaltfläche Sprache generieren auf Ihren Verlauf zugreifen.
In Ihrem Verlauf können Sie auf das Download-Symbol klicken und die Datei als MP3 (128 kbps) oder WAV herunterladen.
Sie können auch auf Erweitert klicken, um zusätzliche Dateiformate herunterzuladen:
MP3 (192 kbps)
MP3 (256 kbps)
M4A
FLAC
Können Stimmen Atemgeräusche erzeugen?
Ja. Mit Eleven v4 und Eleven v3 können Sie Audiotags wie [sighs] oder [exhales] verwenden, um generierter Sprache Atemgeräusche und ähnliche Reaktionen hinzuzufügen.
Weitere Details zu Audiotags und zur Steuerung der Sprechweise finden Sie im Prompting-Leitfaden.
Bieten Sie ein KI-Modell für Gespräche oder Chatbots an?
Unsere Flash- und Turbo-Modelle wurden speziell für Anwendungen mit niedriger Latenz entwickelt.
Flash v2 und Flash v2.5 sind unsere Modelle mit extrem niedriger Latenz und erzeugen Audio in weniger als 75 ms. Flash v2 unterstützt nur Englisch, während Flash v2.5 32 Sprachen unterstützt. Eine vollständige Liste aller unterstützten Sprachen finden Sie
hier.
Unsere Turbo-Modelle bieten ebenfalls niedrige Latenz. Da die Flash-Modelle jedoch sehr ähnliche Ergebnisse liefern, empfehlen wir Flash statt Turbo. Turbo v2 unterstützt nur Englisch, während Turbo v2.5 32 Sprachen unterstützt und mit einer Audiogenerierung in etwa 300 ms 25 % schneller ist als Turbo v2.
Flash und Turbo sind hochoptimierte Modelle, die speziell auf Anwendungen mit niedriger Latenz zugeschnitten sind. Dabei behalten sie die Stimmqualität bei, die Nutzer von unseren Modellen erwarten.
Beide Modelle sind bei der Generierung über die API günstiger. Details finden Sie in unseren API-Preisen.
Wir bieten außerdem ElevenAgents, unsere Plattform für die Bereitstellung angepasster, interaktiver Sprachagenten. Weitere Informationen finden Sie in unserer ElevenAgents-Dokumentation.
Wie kann ich Pausen hinzufügen?
Es gibt mehrere Möglichkeiten, eine Pause oder Unterbrechung einzufügen und Rhythmus sowie Kadenz des Sprechers zu beeinflussen. Welche Methode Sie verwenden, hängt vom Modell ab.
Audiotags (Eleven v4 und Eleven v3)
Mit Eleven v4 und Eleven v3 verwenden Sie Audiotags und Satzzeichen, um Tempo und Sprechweise zu steuern. Diese Modelle unterstützen keine SSML-Break-Tags.
Hinweise zum Prompting für Pausen und zur Sprechweise finden Sie im Prompting-Leitfaden.
Break-Tags (Multilingual v2, Flash v2 und Flash v2.5)
Die zuverlässigste Methode zum Hinzufügen einer Pause in Multilingual v2, Flash v2 und Flash v2.5 ist die SSML-Break-Tag-Syntax <break time="1.5s" />. Damit erzeugen Sie eine präzise und natürliche Sprechpause. Es wird nicht einfach Stille zwischen Wörtern eingefügt – das Modell versteht die Syntax und fügt eine natürliche Pause hinzu.
Wie das Modell diese Pausen verarbeitet, kann variieren. Die verwendete Stimme spielt dabei eine entscheidende Rolle im Ergebnis. Manche Stimmen, die mit einigen „Ähms“ und „Ähs“ trainiert wurden, können diese stimmlichen Eigenheiten während Pausen einfügen, wie es ein echter Sprecher tun könnte.
Ein Beispiel könnte so aussehen:
„Geben Sie mir eine Sekunde, um darüber nachzudenken.“ <break time="1.0s" /> „Ja, das würde funktionieren.“
Die Pausendauer sollte in Sekunden angegeben werden. Die KI kann Pausen von bis zu 3 Sekunden verarbeiten und sie können in Text to Speech sowie über die API verwendet werden.
Wenn Sie eine übermäßige Anzahl von SSML-Pausen in Ihrem Text verwenden, kann dies Probleme verursachen. Die Sprache könnte schneller werden oder das Audio könnte mehr Rauschen und andere Artefakte enthalten. Wir arbeiten an einer Lösung dafür.
Satzzeichen
Diese Optionen sind weniger zuverlässig als Break-Tags oder Audiotags, können das Sprechtempo aber dennoch beeinflussen.
Ein einfacher Bindestrich - oder Gedankenstrich — funktioniert oft gut. Für eine längere Pause können Sie mehrere Bindestriche wie -- -- hinzufügen.
„Es - wird - spät.“
Auslassungspunkte ... können manchmal eine Pause zwischen Wörtern hinzufügen, erzeugen aber meist auch etwas Zögern oder Nervosität in der Stimme, was nicht immer passt.
„Ich … ja, ich denke schon …“
Wie kann ich eine bestimmte Aussprache eines Worts oder Namens erzwingen?
Eleven v3 unterstützt das Internationale Phonetische Alphabet (IPA) nativ. Weitere Informationen finden Sie unter IPA mit Eleven v3.
SSML-Phonem-Tags (nur Flash v2 und Turbo v2)
Mit Flash v2 und Turbo v2 können Sie eine bestimmte Aussprache mit SSML-Phonem-Tags erzwingen. Wir unterstützen sowohl IPA als auch CMU. CMU ist bei der aktuellen Implementierung tendenziell etwas vorhersehbarer und konsistenter. Weitere Informationen finden Sie in unserem Ausspracheleitfaden.
Alternative Schreibweisen
Alternativ können Sie eine andere Schreibweise wählen und ein Wort phonetischer schreiben. Sie können verschiedene Tricks einsetzen, etwa Großbuchstaben, Bindestriche, Apostrophe oder sogar einfache Anführungszeichen um einzelne Buchstaben oder Buchstabengruppen.
Beispielsweise könnte ein Wort wie „trapezii“ als „trapezIi“ geschrieben werden, um das „ii“ stärker zu betonen.
Wie funktionieren Audiotags mit Eleven v3 und v4?
Eleven v4 und Eleven v3 unterstützen Audio-Tags. Wir empfehlen Eleven v4. Setzen Sie eine kurze Anweisung in eckige Klammern und platzieren Sie sie an der Stelle im Text, an der sich die Sprechweise ändern soll. Dieselben Tags funktionieren mit beiden Modellen.
Wie lade ich WAV-, M4A- und FLAC-Dateien herunter?
Dateien, die Sie mit Text to Speech oder Stimmenverzerrer generiert haben, können Sie als MP3-, WAV-, M4A- oder FLAC-Dateien herunterladen. WAV-, M4A- und FLAC-Dateien müssen Sie über Ihren Verlauf herunterladen.
WAV-Dateien herunterladen
Wählen Sie in der Seitenleiste entweder Text to Speech oder Stimmenverzerrer und klicken Sie dann im Bereich auf der rechten Bildschirmseite auf den Tab „Verlauf“. Auf schmalen Bildschirmen können Sie über das Verlaufssymbol über der Schaltfläche Sprache generieren auf Ihren Verlauf zugreifen.
In Ihrem Verlauf können Sie auf das Download-Symbol klicken und die Datei als MP3 oder WAV herunterladen.
FLAC- oder M4A-Dateien herunterladen
Wählen Sie in der Seitenleiste entweder Text to Speech oder Stimmenverzerrer und klicken Sie dann im Bereich auf der rechten Bildschirmseite auf den Tab „Verlauf“. Auf schmalen Bildschirmen können Sie über das Verlaufssymbol über der Schaltfläche Sprache generieren auf Ihren Verlauf zugreifen.
In Ihrem Verlauf können Sie auf das Download-Symbol klicken und die Datei als MP3 oder WAV herunterladen. Um auf weitere Dateiformate einschließlich FLAC und M4A zuzugreifen, klicken Sie auf Erweitert und wählen Sie das gewünschte Format.
Wie wähle ich Sprache und Akzent aus?
Sprache bei der Generierung über die Website
Wenn Sie Audio auf der ElevenLabs-Website generieren, erkennt unsere KI die Sprache anhand des Kontexts Ihres Prompt-Texts automatisch. Verwenden Sie daher möglichst nicht mehrere Sprachen in einem einzelnen Prompt, da dies zu Unklarheit darüber führen kann, welche Sprache verwendet werden soll. Derzeit können Sie bei der Generierung über die Website keine Sprache festlegen.
Sprache bei der Generierung über die API
Wenn Sie Audio über die API generieren, können Sie die Sprache Ihres Prompts mit dem Parameter language_code manuell festlegen. Dieser optionale Parameter akzeptiert ISO-639-1-Sprachcodes.
Das kann bei kurzen oder mehrdeutigen Prompts hilfreich sein, etwa wenn der Text nur Zahlen enthält. Durch die Angabe der Sprache wendet der Normalisierer die richtigen Regeln für diese Sprache an.
Weitere Informationen zur Normalisierung finden Sie in diesem Artikel.
Akzent
Der für Ihre Generierung verwendete Akzent stammt von der verwendeten Stimme. Wenn Sie eine Stimme nutzen, die nicht in der Sprache trainiert wurde, die Sie generieren, hören Sie möglicherweise einen leichten Akzent aus der ursprünglichen Sprache der Stimme.
Für die besten Ergebnisse empfehlen wir eine Stimme, die mit Audio in der Sprache und dem gewünschten Akzent trainiert wurde, die Sie generieren. So kann die KI Aussprache und Intonation genauer verstehen.
Das ist besonders wichtig bei ähnlichen Sprachen oder Sprachen mit vielen gemeinsamen Wörtern. Mit einer Stimme, die in der richtigen Sprache trainiert wurde, stellt die KI die korrekte Aussprache und den passenden Akzent sicher.
Sie können:
Eine geklonte Stimme erstellen, indem Sie Audio in Ihrer bevorzugten Sprache und mit Ihrem bevorzugten Akzent verwenden.
Die Stimmbibliothek durchsuchen und die Suchfilter verwenden, um passende Stimmen zu finden,
die Ihren Anforderungen entsprechen.
Wie viel kostet die Generierung mit Eleven v3 (Alpha)?
Die Generierung mit Eleven v3 kostet auf der Website 1 Credit pro Zeichen. API-Generierungen sind vergünstigt. Details finden Sie unter API-Preise.
Weitere Informationen finden Sie in folgenden Ressourcen:
Mit Eleven v4 und Eleven v3 können Sie Audio-Tags wie [laughs] verwenden, um generierter Sprache Lachen und andere Reaktionen hinzuzufügen. Weitere Details finden Sie im Prompting-Leitfaden.
Bei anderen Modellen hängt die emotionale Sprechweise von Kontext, Zeichensetzung und Stimmeinstellungen ab. Siehe Wie erzeugt man Emotionen?.
Wie erzeuge ich Emotionen?
Das Modell berücksichtigt den weiteren Kontext jeder Äußerung. Es beurteilt anhand des vorangehenden und folgenden Textes, ob etwas sinnvoll ist. Diese umfassendere Perspektive ermöglicht es ihm, längere Passagen richtig zu intonieren, indem es einen Gedankengang über mehrere Sätze hinweg mit einem einheitlichen emotionalen Muster versieht.
Tipps zum Erzeugen von Emotionen:
Der Kontext ist entscheidend, um bestimmte Emotionen zu generieren. Wenn Sie lachenden oder lustigen Text eingeben, erhalten Sie möglicherweise eine fröhliche Ausgabe. Dasselbe gilt für Wut, Traurigkeit und andere Emotionen — der Kontext ist entscheidend.
Zeichensetzung und Stimmeinstellungen bestimmen maßgeblich, wie die Ausgabe gesprochen wird.
Setzen Sie relevante Wörter oder Phrasen in Anführungszeichen, um sie zu betonen.
Bei Sprache, die mit einer geklonten Stimme generiert wird, übernimmt die Ausgabe den Sprechstil der Samples, die Sie zum Klonen hochladen. Ist die Sprache im hochgeladenen Sample monoton, wird das Modell Schwierigkeiten haben, ausdrucksstarke Ergebnisse zu erzeugen.
Mit Eleven v4 und Eleven v3 können Sie auch Audio-Tags verwenden, um Emotion und Sprechweise direkter zu steuern, zum Beispiel [happy], [sad], [angry], [whispers] und [laughs]. Weitere Details finden Sie im Prompting-Leitfaden.
Diese Tipps helfen dabei, die emotionale Sprechweise zu steuern, garantieren jedoch kein bestimmtes Ergebnis.
Kann ich Audio vor dem Download anhören, ohne Kontingent zu verlieren?
Derzeit bieten wir leider keine Abrechnung beim Download als Alternative zur Abrechnung bei der Generierung an. Es gibt aktuell keine Möglichkeit, Generierungen vorzuhören, ohne Kontingent zu verbrauchen.
Wenn Sie auf der Website auf „Generate“ klicken, werden Credits abgezogen, da die Server gestartet und das Audio generiert werden muss. Sie können eine Stimme nicht mit Ihrem eigenen Text testen oder vorhören, ohne Credits zu verwenden.
Unter folgenden Umständen erlauben wir auf der Website zwei kostenlose Neugenerierungen in Text to Speech:
Prompt (für Text to Speech) bzw. Datei (für Stimmenverzerrer), Stimme und Modell bleiben gleich. Sie können die Regler für die Stimmeinstellungen ändern.
Die erste Generierung wurde vor weniger als zwei Stunden erstellt.
Sie haben die Seite seit der Generierung des ursprünglichen Audios nicht aktualisiert.
Wenn dies zutrifft, sehen Sie „Regenerate speech“. Wenn Sie mit der Maus über die Schaltfläche „Regenerate speech“ fahren, wird die Anzahl der verbleibenden kostenlosen Neugenerierungen angezeigt:
Sobald Sie Ihre kostenlosen Neugenerierungen aufgebraucht haben, wird auf der Schaltfläche wieder „Generate speech“ angezeigt. Außerdem wird die Anzahl der Credits angezeigt, die für die Generierung verwendet werden:
Kostenlose Neugenerierungen sind nur für Text to Speech über die Website verfügbar. Sie sind nicht über die API verfügbar.
Wir prüfen, ob wir Vorschauen in dieser Qualität ermöglichen können, ohne Preise oder Kosten zu erhöhen. Außerdem suchen wir nach Wegen, die KI besser steuerbar zu machen, damit Sie nicht mehr vorhören müssen und stattdessen idealerweise direkt beim ersten Versuch das gewünschte Ergebnis erhalten.
Was ist der Dialogmodus?
Eleven v4 und Eleven v3 bieten einen Dialogmodus, mit dem Sie dynamische Gespräche mit mehreren Sprechern und natürlichem Sprechtempo generieren können. Dabei werden Unterbrechungen, Tonwechsel und emotionale Signale anhand des Gesprächskontexts berücksichtigt.
Der Dialogmodus ist verfügbar, wenn Sie auf der Website mehrere Sprecher verwenden.
Für Interaktionen mit mehreren Sprechern können Sie auch die API-Endpunkte Text to Dialogue verwenden. Weitere Informationen finden Sie in unserer API-Dokumentation:
Jede Stimme kann jede Sprache sprechen, die derzeit von der KI unterstützt wird. Wenn Sie jedoch keine Stimme verwenden, die Muttersprachler der Sprache ist, die die KI sprechen soll – etwa eine generierte Stimme oder eine Stimme, die beim Englischsprechen geklont wurde –, kann die KI einen leichten englischen Akzent haben oder zwischen ähnlichen Sprachen wechseln.
Beim aktuellen Modell wählen Sie keine bestimmte Sprache aus. Stattdessen schreiben Sie in der Sprache, die die KI sprechen soll, und die KI versteht dies automatisch. Da es jedoch Überschneidungen zwischen verschiedenen Sprachen geben kann, die ähnliche Wörter und Vokabeln, aber deutlich unterschiedliche Aussprachen und Akzente haben, sollten Sie eine geklonte Stimme verwenden, die beim Sprechen der Sprache mit dem richtigen Akzent geklont wurde. So erhält die KI den meisten Kontext dazu, wie und in welcher Sprache etwas gesprochen werden soll.
Die Sprache wird durch den Text bestimmt, während Akzent und Aussprache von der Stimme selbst
bestimmt werden.
Wir arbeiten an neuen Technologien zur Auswahl der Sprache. Aufgrund der Funktionsweise der KI befindet sich dies jedoch noch in Entwicklung.
Wie viele Zeichen und wie viel Text kann ich maximal generieren?
In Text to Speech können Sie über die Website mit jedem kostenpflichtigen Tarif bis zu 5.000 Zeichen und mit allen kostenlosen Tarifen bis zu 2.500 Zeichen in einer einzelnen Generierung erstellen.
Wenn Sie jedoch längere Inhalte mit mehr als einigen Tausend Zeichen erstellen möchten, empfehlen wir dringend Studio. Damit können Sie sehr lange Inhalte wie Bücher und Romane einfach erstellen. Weitere Informationen finden Sie hier.
Wenn Sie über die API generieren, hängt die maximale Eingabelänge vom verwendeten Modell ab:
Text to Speech
Flash v2.5 – bis zu 40.000 Zeichen (~40 Minuten Audio)
Turbo v2.5 – bis zu 40.000 Zeichen (~40 Minuten Audio)
Flash v2 – bis zu 30.000 Zeichen (~30 Minuten Audio)
Turbo v2 – bis zu 30.000 Zeichen (~30 Minuten Audio)
Multilingual v2 – bis zu 10.000 Zeichen (~10 Minuten Audio)
Stimmenverzerrer
Multilingual v2 – bis zu 10 Minuten Audio
Welche Stimmen in der Stimmenbibliothek sind in einer bestimmten Sprache muttersprachlich?
Alle vorgefertigten und generierten Stimmen sind englischsprachig. Das bedeutet, dass sie beim Sprechen anderer Sprachen möglicherweise nicht den richtigen Akzent oder die richtige Aussprache haben.
In der Stimmbibliothek finden Sie unter der Kategorie „Professional“ Stimmen, die die Community mit uns geteilt hat. Dabei handelt es sich um eigene Professional Voice Clones ihrer Stimmen. Diese Stimmen haben in der Regel ein Sprach-Tag, das angibt, in welcher Sprache sie geklont wurden. Dadurch sind sie in dieser Sprache muttersprachlich. Sie können auch den Sprachsuchfilter verwenden, um nach bestimmten Sprachen zu filtern.
Warum werden Zahlen, Daten, Symbole und Akronyme nicht richtig ausgesprochen oder nicht in der richtigen Sprache gesprochen?
Zahlen, Daten, Symbole und Akronyme können für die KI schwierig sein, da sie oft auf mehrere korrekte Arten gesprochen werden können. Dies kann auch von der verwendeten Sprache abhängen. Beispielsweise kann „11“ als „Eleven“ gelesen werden, auf Spanisch aber auch „Once“ oder auf Deutsch „Elf“.
Es gibt mehrere Möglichkeiten, die korrekte Aussprache von Zahlen, Daten, Akronymen und Symbolen sicherzustellen.
Vollständig ausschreiben
Für die besten Ergebnisse empfehlen wir, Zahlen, Akronyme, Daten und Symbole vollständig in Worten auszuschreiben – so, wie die KI sie aussprechen soll. Dadurch erhält die KI den meisten Kontext und kann die richtige Ausgabe erzeugen. Bei „$100“ empfehlen wir beispielsweise, entweder „hundert Dollar“ oder „einhundert Dollar“ zu schreiben, damit Sie das gewünschte Ergebnis erhalten.
Verwendung eines LLM
Wenn Sie ein Large Language Model verwenden, um Ihre Texteingaben zu erstellen, etwa bei der Nutzung von ElevenAgents, können Sie das Modell anweisen, Zahlen, Daten, Symbole und Akronyme stets so in Worten auszuschreiben, wie die KI sie aussprechen soll.
Normalisierung
Wenn Sie über die API generieren, können Sie mit dem Parameter apply_text_normalization festlegen, ob eine Textnormalisierung angewendet werden soll. Die Textnormalisierung schreibt Zahlen und Daten aus, um die Aussprache zu verbessern. Diese Option erhöht die Latenz, da der Normalisierungsprozess zusätzliche Verarbeitungszeit benötigt.
Der Parameter apply_text_normalization hat drei Modi:
on: wird immer angewendet
off: wird nie angewendet
auto: Die KI entscheidet automatisch, wann die Textnormalisierung angewendet wird
Mit dem Parameter language_code können Sie auch die Sprache Ihrer Eingabe festlegen. Dies ist ein optionaler Parameter, der ISO-639-1-Sprachcodes akzeptiert.
Das kann bei kurzen oder mehrdeutigen Eingaben nützlich sein, etwa wenn der Text nur Zahlen oder Symbole enthält. Durch die Angabe der Sprache wendet die Normalisierung die richtigen Regeln für diese Sprache an.
Weitere Informationen finden Sie in unserer API-Referenz.
Bei der Generierung mit Text to Speech über die Website ist die Normalisierung standardmäßig aktiviert.
In Studio wird die Normalisierung standardmäßig automatisch angewendet. Das bedeutet, dass die KI entscheidet, wann eine Textnormalisierung erforderlich ist. Sie können die Normalisierung auch dauerhaft aktivieren. Diese Option finden Sie unter Projekteinstellungen im Tab Erweitert.
Falsche Aussprachen können verschiedene Ursachen haben. Am häufigsten ist das Wort einfach falsch geschrieben. Die KI korrigiert keine falsch geschriebenen Wörter, sondern versucht, sie genau so zu lesen, wie sie geschrieben sind. Prüfen Sie den Text daher noch einmal und stellen Sie sicher, dass er korrigiert und fertig ist, bevor die KI ihn vorliest.
Wenn Sie eine bestimmte Aussprache erzwingen möchten, können Sie mit unserem Modell Flash v2 SSML-Phonem-Tags verwenden. Weitere Informationen finden Sie in unserem Ausspracheleitfaden.
Manchmal spricht die KI Wörter möglicherweise falsch aus oder verwendet einen unerwarteten Akzent. Das kann verschiedene Ursachen haben und hängt in den meisten Fällen stark von Stimme und Sprache ab. Die beste Methode, den richtigen Akzent und die richtige Aussprache sicherzustellen, ist das Klonen einer Stimme mit dem gewünschten Akzent und der gewünschten Aussprache. Dadurch erhält die KI bei der Audiogenerierung den meisten Kontext.
Die Sprache wird durch den Text festgelegt, der Akzent durch die Stimme. Wenn Sie also in einer Sprache schreiben, die viele Wörter mit einer anderen Sprache gemeinsam hat oder eng mit ihr verwandt ist, kann es für die KI schwierig sein, bestimmte Wörter richtig auszusprechen oder zwischen Akzenten zu wechseln.
Unter bestimmten Umständen kann die KI jedoch auch korrekt geschriebene Wörter falsch aussprechen, selbst auf Englisch. Dies scheint stark von der verwendeten Stimme und dem verwendeten Text abzuhängen, sollte aber selten vorkommen.
