Diese Stimme existiert nicht - Generative Voice AI

In letzter Zeit scheint jeder über generative KI zu sprechen. Auf Deep Learning basierende Modelle für große Sprachen und Text-zu-Bild wie ChatGPT, Stable Diffusion, DALL-E und Midjourney haben in der Technikwelt und darüber hinaus für viel Aufsehen gesorgt. Viele zählen sie zu den bedeutendsten jüngsten Entwicklungen im Bereich der KI. Ob Sie damit einverstanden sind oder nicht, die allgemeine Stimmung scheint zu sein, dass etwas sehr Allmächtiges aufgetaucht ist. Im Jahr 2023 werden wir von Modellen hören, die Ihnen beim Zeichnen oder Erstellen von Videos helfen können. Ähnlich wie bei der Frage nach dem neuesten und besten Smartphone werden wir bald fragen, welches das neueste und beste Basismodell ist. Doch trotz all dieser Aufregung glauben wir, dass es einen Bereich innerhalb der generativen Medien gibt, der immer noch stark unterschätzt wird: die Sprach-KI. Dies ist auch der Bereich, in dem wir führend werden möchten. Bei Eleven verlassen wir uns jeden Tag auf das Potenzial, das durch Deep Learning-Techniken freigesetzt wird, um unsere lebensechten Text-zu-Sprache Und Stimmenklonung Werkzeuge. Und jetzt setzen wir auch unser eigenes generatives Modell ein, mit dem Sie von Grund auf völlig neue synthetische Stimmen entwickeln können.

Stimmengenerator - Entwerfen Sie eine Stimme

Unsere Nutzer nutzen die Plattform täglich, um ihren Charakteren Leben einzuhauchen – sei es für Hörbücher, Spiele oder Fan-Fiction. Wir haben festgestellt, dass unsere derzeitige Sprecherdatenbank zu klein ist, als dass jeder die Stimmen finden könnte, die seinen inhaltlichen Anforderungen entsprechen und gleichzeitig für jeden Benutzer exklusiv bleiben. Unsere Lösung bestand darin, Sie völlig neue synthetische Stimmen entwickeln zu lassen.

Wir hatten eine Idee, wie wir dabei vorgehen könnten, und die kam uns, als wir die Methoden analysierten, die wir derzeit für die Sprachsynthese und das Klonen von Stimmen verwenden. Beide Prozesse erfordern eine Möglichkeit zur Kodierung der Eigenschaften einer bestimmten Stimme. Diese Identität wird durch Lautsprechereinbettungen vermittelt – sie sind eine Vektordarstellung der Stimme eines Sprechers. Wir erkannten, dass wir durch das Trainieren eines speziellen Modells Stichproben aus der Verteilung der Sprechereinbettungen ziehen konnten, mit denen wir unendlich viele neue Stimmen erstellen konnten.

Da unsere Benutzer meist nach bestimmten Sprachmerkmalen suchen, mussten wir dem Prozess ein gewisses Maß an Kontrolle verleihen. Wir haben unser Modell um Konditionierung erweitert, um Stimmen basierend auf ihren Eigenschaften zu generieren. Das Modell ermöglicht Ihnen nun, bestimmte grundlegende Parameter festzulegen, die die Kernidentität der neuen Stimme bestimmen: Geschlecht, Alter, Akzent, Tonhöhe und Sprechstil. Mit anderen Worten, jedes Mal, wenn Sie auf „Generieren“ klicken, auch wenn Sie die gleichen Basisparameter wählen, Sie erhalten eine völlig neue Stimme, die es vorher nicht gab.

Nachfolgend finden Sie einige Beispiele für Stimmen, die auf diese Weise gestaltet werden können:

„Design Voice“ wird ab diesem Februar als Teil von Voice Lab auf unserer Plattform verfügbar sein.

Was nützt das?

Unsere Tools ermöglichen bereits heute die Wiedergabe von Sprache, die so naturgetreu ist wie die eines Menschen, und wir gehen davon aus, dass sich der Bereich potenzieller Anwendungsmöglichkeiten für künstliche Stimmen in Zukunft noch erweitern wird. Viele dieser neuen Anwendungen, darunter auch Audioaufzeichnungen für Nachrichtenpublikationen oder Werbespots, erfordern, dass eine Stimme auf eine bestimmte Marke oder einen bestimmten Anwendungsfall beschränkt bleibt und mit diesem identifiziert wird und nicht woanders verwendet werden darf. Bei anderen Anwendungsfällen, etwa beim Geschichtenerzählen und bei Videospielen, stehen Flexibilität und Experimentierfreiheit bereits in der frühen Entwicklungsphase im Vordergrund. Anstatt also eine riesige Anzahl virtueller Lautsprecher zu erstellen, wollten wir den Benutzern die endgültige Entscheidung darüber überlassen, welche Stimmen für ihre Zwecke am besten geeignet sind.

Buch Autoren erhalten jetzt nicht nur die Möglichkeit, ihre Werke problemlos in Audio umzuwandeln, sie behalten auch die künstlerische Kontrolle über die Gestaltung maßgeschneiderter Erzählungen. Dies eröffnet dem Publikum interessante neue Möglichkeiten der Interaktion mit Publikationen und erhöht die Anzahl der Bücher, die wir uns gerne anhören, erheblich.

Nachricht Verlage wagen sich zunehmend an den Audiobereich und die Auswahl unverwechselbarer Stimmen zur Repräsentation ihrer Veröffentlichungen ist eine wichtige Aufgabe – viele Hörer legen ebenso viel Wert auf die Form wie auf den Inhalt. Ebenso wichtig ist, dass die Verleger nun sicher sein können, dass eine bestimmte Stimme sie und nur sie vertritt.

Videospiel Entwickler können nun einer Vielzahl ansonsten stummer NPCs ihre Stimme verleihen und haben dazu alle notwendigen Werkzeuge zur Hand. Sie können nicht nur kostengünstiger arbeiten, ohne Kompromisse bei der Qualität einzugehen, sondern jetzt auch Stimmen entwickeln, die für die von ihnen geschaffenen virtuellen Welten völlig einzigartig sind.

Werbung Kreative benötigen Voiceovers, die zu bestimmten Kampagnen passen. Daher ist es ein erheblicher Vorteil, gleich zu Beginn der Entwicklung einen einprägsamen und zielgerechten Kommentar entwerfen zu können. Sie können jetzt sofort und ohne Einsatz zusätzlicher Ressourcen mit mehreren Stimmen und Vortragsstilen experimentieren.

Aus Schöpfer Produktion aller Arten von Audio- und Videoinhalten für Firmen Für Führungskräfte, die ihre Unternehmenskommunikation mit Worten wiedergeben möchten, sind die Möglichkeiten zur Gestaltung überzeugender Audiodaten, die sowohl einzigartig als auch auf einen bestimmten Anwendungsfall zugeschnitten sind, mittlerweile grenzenlos.

Ethische KI

Ähnlich wie beim Stimmenklonen gibt es Ängste vor den Konsequenzen eines möglichen Missbrauchs. Und auch die Sorge, dass die Verbreitung der KI-Technologie die Existenzgrundlage von Fachkräften gefährden könnte, wächst. Bei Eleven sehen wir eine Zukunft, in der Synchronsprecher ihre Stimmen gegen Gebühr lizenzieren können, um Sprachmodelle für bestimmte Zwecke zu trainieren. Kunden und Studios werden weiterhin gerne professionelle Sprecher in ihre Projekte einbinden. Der Einsatz von KI trägt einfach zu schnelleren Durchlaufzeiten und mehr Freiheit beim Experimentieren und Festlegen einer Richtung in der frühen Entwicklungsphase bei. Die Technologie wird die Gestaltung und Aufzeichnung gesprochener Audiodaten verändern. Die Tatsache, dass Synchronsprecher nicht mehr bei jeder Sitzung physisch anwesend sein müssen, gibt ihnen jedoch die Freiheit, gleichzeitig an mehreren Projekten beteiligt zu sein und ihre Stimmen wahrhaftig zu verewigen.

Darüber hinaus sind wir begeistert, weil eine Vielzahl von Büchern, Nachrichten, unabhängigen Spielen und anderen Inhalten, deren Autoren und Entwickler sich die Aufzeichnungskosten sonst nicht leisten könnten, nun über ein weiteres Medium zugänglich werden. Mit diesem verbesserten Zugriff geht jeweils die Möglichkeit einher, das Publikum zu erweitern.

Bei Eleven verpflichten wir uns uneingeschränkt, die Rechte am geistigen Eigentum zu respektieren und Sicherheitsvorkehrungen gegen einen möglichen Missbrauch unserer Technologie zu treffen:

• Wir arbeiten nur mit Kunden zusammen, die sich an unsere Bedingungen halten, die den böswilligen Einsatz unserer Technologie für Zwecke verbieten, die als illegal oder schädlich erachtet werden können;
• Wir arbeiten auch daran, alle von unserem Modell generierten Audiodaten mit einem Wasserzeichen zu versehen, damit sie sofort zu uns zurückverfolgt werden können.
• Wenn wir erkennbare Stimmen verwenden, tun wir dies zu Demonstrationszwecken und in Kontexten, die keine Interessenkonflikte hervorrufen;
• Gleichzeitig möchten wir die Stimminhaber und ihre Lizenzgeber bei der Geltendmachung ihrer Rechte unterstützen. Alle bekannten Rechtsverletzungen werden geprüft und entsprechende Maßnahmen ergriffen.

Blick nach vorn – Verbessern Sie Ihre eigene Stimme

In der Zukunft planen wir, die Fähigkeiten unserer Modelle zur Stimmgenerierung und Stimmklonierung zu kombinieren, um es den Benutzern zu ermöglichen, ihre eigenen Stimmen zu verbessern. Sie können Ihre Stimme klonen und sie dann für jeden gewünschten Effekt bearbeiten. Wenn Sie befürchten, dass Ihr natürlicher Sprechstil etwas monoton ist, können Sie für Abwechslung sorgen. Wenn Sie es wirklich nicht mögen, aufgenommen zu werden, können Sie die Ausgabe so manipulieren, dass sie natürlicher klingt. Jeder, der für irgendeinen Zweck Audiomaterial mit der eigenen Stimme produzieren muss, sei es eine aufgezeichnete Präsentation oder eine Audionachricht, kann dies mithilfe unserer Tool-Suite per Mausklick tun.

Frohes Neues Jahr

Da sich das Jahr 2022 dem Ende zuneigt, möchten wir unseren Beta-Benutzern für ihre anhaltende Teilnahme und ihr Feedback danken. Viele der von uns entwickelten Funktionen basieren auf Ihren Eingaben und Vorschlägen. Wir freuen uns riesig, Sie an Bord zu haben und wünschen Ihnen allen ein frohes neues Jahr.

Eleven Labs Beta
Gehen Hier um sich für unsere Beta-Plattform anzumelden und es selbst auszuprobieren. Wir nehmen ständig Verbesserungen vor und alle Erkenntnisse der Benutzer sind für uns in diesem frühen Stadium sehr wertvoll.