Vorstellung des Stimmenverzerrers

Voice Changer hieß ursprünglich Speech-to-Speech. Im Kontext von KI-Sprachagenten bezeichnet „Speech-to-Speech“ auch fusionierte Architekturen, bei denen ein einzelnes Modell Audioeingabe und -ausgabe direkt verarbeitet. ElevenAgents nutzt für seine Plattform eine fortschrittliche kaskadierte Architektur. Mehr erfahren: Kaskadierte vs. fusionierte Modelle.

Stimmenverzerrer

Wir haben Voice Changer zu Speech Synthesis hinzugefügt. Voice Changer ist ein Tool zur Stimmumwandlung, das eine Aufnahme einer Stimme so klingen lässt, als würde sie von einer anderen gesprochen – bei Erhalt der ursprünglichen Darbietung. Das bedeutet: Emotionen, Timing, Sprechtempo und Aussprache der Aufnahme werden auf die Ausgabestimme übertragen.

So erhalten Sie ein Maß an Kontrolle, das Text-to-Speech-Prompts allein nicht immer bieten können. Es gibt zwei wesentliche Einsatzmöglichkeiten.

Mehr Emotionen aus einer Stimme herausholen. Nicht alle Stimmen reagieren gleichermaßen gut auf emotionale Anweisungen über Text-to-Speech-Prompts. Mit Voice Changer können Sie sehr ausdrucksstarke Sprache aufnehmen oder hochladen und diese emotionale Bandbreite in einer anderen Stimme nachbilden. Soll ein professioneller Sprecher wärmer oder eine Figur aus einem Kinderbuch verspielter klingen, können Sie die Darbietung selbst einsprechen und Voice Changer auf die Zielstimme übertragen lassen.

Sprachwiedergabe fein abstimmen. Unsere Text-to-Speech-Modelle beherrschen Intonation in der Regel direkt. Doch wenn Sie präzise steuern müssen, wie eine bestimmte Formulierung gesprochen wird – wo die Betonung liegt, wie eine Pause wirkt, welchen Rhythmus sie hat –, können Sie dies mit Ihrer eigenen Stimme vormachen und diese Darbietung dann auf jede gewünschte Stimme anwenden. Das wird noch nützlicher, sobald wir Voice Changer direkt in Studio integrieren. Das Ziel bleibt jedoch gleich: präzise Kontrolle über Ihre Ausgabe.

Hier ist eine Anleitung von einem Mitglied unserer Community:

Forschung

Um Ausgangssprache in Zielsprache umzuwandeln, müssen wir den Inhalt der Ausgangssprache mit den Eigenschaften der Zielsprache ausdrücken. Eine hilfreiche Analogie ist Face-Swapping: Apps, die zwei Gesichter aufnehmen und miteinander verschmelzen, indem sie die Merkmale einer Person innerhalb der zugeordneten Struktur einer anderen darstellen.

Dafür wird das Bild eines Gesichts genommen und seine Attribute werden zugeordnet. Die Markierungen im folgenden Beispiel tun genau das – sie bilden die Grenzen, innerhalb derer das andere Gesicht dargestellt würde.

Der Schlüssel bei der Stimmumwandlung ist, Inhalte der Ausgangssprache mit den Phonemen der Zielsprache wiederzugeben. Dabei gibt es jedoch einen Zielkonflikt, ähnlich wie beim Face-Swapping: Je mehr Markierungen Sie verwenden, um die Attribute eines Gesichts zuzuordnen, desto mehr Einschränkungen legen Sie dem Gesicht auf, das Sie innerhalb dieser Markierungen abbilden. Weniger Markierungen bedeuten weniger Einschränkungen.

Dasselbe gilt für die Stimmumwandlung. Je stärker wir die Zielsprache priorisieren, desto größer ist das Risiko, dass sie nicht mehr mit der Ausgangssprache übereinstimmt. Priorisieren wir sie jedoch nicht genug, riskieren wir, viel von dem zu verlieren, was diese Sprache charakteristisch macht. Würden wir etwa die Aufnahme einer wütend schreienden Person mit einer hauchigen Stimme wiedergeben, entstünde ein Problem. Gewichten wir die Emotionen der Ausgangssprache zu stark, geht der Eindruck verloren, dass eine hauchige Stimme spricht. Betonen wir das hauchige Sprachmuster zu stark, verlieren wir die emotionale Intensität der Ausgangssprache.

Produkt und aktuelle Updates

Änderungen an vorgefertigten Stimmen

Wir ändern die Standardstimmen in Speech Synthesis. Einige Stimmen werden eingestellt und durch neue ersetzt. In den kommenden Wochen sind über 20 neue Stimmen geplant.

Außerdem werden wir in der Benutzeroberfläche Informationen dazu anzeigen, wie lange jede Stimme voraussichtlich verfügbar bleibt. Im Laufe des Dezembers überarbeiten wir unsere Funktionen für Stimmenfreigabe und Vergütung der Nutzung, um die Stimmenvielfalt zu verbessern. Weitere Details folgen in Kürze.

Eleven Turbo v2 & uLaw-8-kHz-Format

Turbo v2 ist das Ergebnis monatelanger Forschung unseres Teams. Es wurde für Echtzeitinteraktionen entwickelt, eignet sich aber für jeden Anwendungsfall. Es unterstützt auch das Standardformat (m)uLaw mit 8 kHz für IVR-Systeme.

Normalisierung und Metadaten mit Studio

Studio unterstützt jetzt branchenübliche Richtlinien für die Einreichung von Hörbüchern – einschließlich Pegelanpassung und dynamischer Kompression. Sie können Metadaten wie ISBN, Autor und Titel auch direkt in Ihr Studio-Projekt einbetten.

Aussprachewörterbuch

Dies war eine unserer am häufigsten nachgefragten Funktionen. Letzten Monat haben wir SSML-Tag-Unterstützung hinzugefügt, um die Aussprache mit IPA- und CMU-Wörterbüchern in unseren englischen Modellen festzulegen. Jetzt haben wir die Unterstützung für Aussprachewörterbücher in der Studio-Benutzeroberfläche veröffentlicht. Damit können Sie eine Datei hochladen, die die Aussprache über IPA, CMU oder Wortersetzungen (Aliasse) festlegt. Wörterbuchdateien verwenden das branchenübliche offene .PLS-Lexikon-Dateiformat.

IPA und CMU werden derzeit von Turbo v2 English unterstützt. Wortersetzungen werden von allen Modellen und Sprachen unterstützt. Die vollständige Dokumentation finden Sie hier.

Wenn Sie Feedback haben, kontaktieren Sie uns gerne auf Discord!

Voice Changer ausprobieren

Sprechen Sie es so ein, wie Sie möchten, und hören Sie es mit voller Kontrolle über die Darbietung in einer völlig anderen Stimme. Erfassen Sie Flüstern, Lachen, Akzente und subtile emotionale Nuancen.