ElevenLabs veröffentlicht neue Voice-KI-Produkte und sammelt 80 Mio. USD in Serie B

• ElevenLabs hat eine Series-B-Finanzierungsrunde über 80 Mio. US-Dollar unter gemeinsamer Führung von Andreessen Horowitz, Nat Friedman, Daniel Gross, und mit Beteiligung von Sequoia Capital, Smash Capital, SV Angel, BroadLight Capital und Credo Ventures abgeschlossen, um seine Position als führendes Unternehmen für Voice-KI zu stärken.
• Das Unternehmen stellt heute außerdem mehrere neue Produkte vor, darunter Dubbing Studio, Voice Library Marketplace, eine Vorschau auf eine Mobile Reader App sowie neue Modelle mit höherer Geschwindigkeit und breiterer Sprachabdeckung.
• Seit seiner Einführung hat die Technologie von ElevenLabs die globale Zugänglichkeit von Inhalten in Bereichen wie der Creator Economy, dem Verlagswesen, Conversational AI, Unterhaltung, Bildung und Barrierefreiheit verbessert. Die Nutzung durch Millionen Menschen hat das Unternehmen zum Unicorn gemacht.

22. Januar / Global – ElevenLabs, ein Forschungsunternehmen für Sprachtechnologie, hat eine Series-B-Finanzierungsrunde über 80 Mio. US-Dollar unter gemeinsamer Führung von Andreessen Horowitz, Nat Friedman, Daniel Gross, und mit Beteiligung von Sequoia Capital, SV Angel, Smash Capital, BroadLight Capital und Credo Ventures abgeschlossen, um seine Position als weltweiter Marktführer in Voice-KI-Forschung und Produkteinsatz zu festigen.

Seit dem öffentlichen Start ist ElevenLabs führend bei der natürlichen Sprachsynthese und ermöglicht Nutzern, KI-Stimmen in einer Vielzahl von Sprachen und Akzenten zu erstellen und zu gestalten, die ein breites Spektrum an Emotionen und Intonationen wiedergeben können. Seit dem Start haben Nutzer von ElevenLabs mehr als 100 Jahre Audio generiert, während das Unternehmen von 5 auf 40 Mitarbeitende gewachsen ist. Heute nutzen Mitarbeitende von 41 % der Fortune-500-Unternehmen die Technologie von ElevenLabs. 

Die Technologie von ElevenLabs wird in zahlreichen Branchen eingesetzt. Sie ermöglicht Kreativen, Erlebnisse für ihr Publikum mit Voiceovers und KI-Synchronisation zu verbessern, erweitert den Zugang zu Bildung und bietet innovative Lösungen im Bereich Hörbuch-Verlagswesen, Unterhaltung und der privaten Nutzung, einschließlich der Verbesserung der Barrierefreiheit. Die Finanzierung wird genutzt, um das Produktangebot weiterzuentwickeln und zugleich den sicheren Einsatz von KI-Technologie zu gewährleisten.

Zusätzlich zur heutigen Ankündigung der Series B stellt ElevenLabs mehrere neue Produktentwicklungen vor, die in den kommenden Wochen verfügbar werden:

• Ein neuer Dubbing Studio-Workflow ermöglicht Nutzern, ganze Filme zu synchronisieren sowie Transkripte, Übersetzungen und Timecodes zu erstellen und zu bearbeiten. Das bietet mehr Kontrolle über die Inhaltsproduktion. Diese Funktionen ergänzen die bereits verfügbare KI-Synchronisation, die eine automatisierte End-to-End-Videolokalisierung in 29 Sprachen ermöglicht.
• Ein Voice Library Marketplace, der Nutzern eine sichere Plattform bietet, um mit KI-Versionen ihrer eigenen Stimmen Einnahmen zu erzielen. Nutzer können ihre professionelle KI-Stimmreplik erstellen, verifizieren und über die Voice Library teilen. Wenn andere diese verifizierten Stimmen nutzen, erhalten die ursprünglichen Ersteller eine Vergütung. Nutzer behalten stets die Kontrolle über die Verfügbarkeit ihrer Stimme und die Vergütungsbedingungen. Der Marketplace generiert bereits Einnahmen für eine kleine Gruppe von Alpha-Nutzern.
• Eine Vorschau auf den Mobile App-Reader, der Texte und URLs sofort in Audio umwandelt. So können Nutzer unterwegs einfacher über ein anderes Medium auf Inhalte zugreifen. Als Einführungstest ist die App in den ersten drei Monaten kostenlos verfügbar. Nutzer können sich über eine Warteliste für den Early Access registrieren.

Im Jahr 2023 hat ElevenLabs seine Präsenz zudem in mehreren Bereichen ausgebaut, darunter Verlagswesen, Gaming, Medien und Conversational AI. Außerdem wurden B2B-Partnerschaften mit großen Medienhäusern geschlossen, darunter:

• Verlagswesen: Storytel, The Washington Post, Rheinische Post, Curio
• Conversational AI: FlowGPT, SimpleTalk AI, Ollang, VoiceDrop, Vana
• Medien & Unterhaltung: Wondershare Filmora, Futuri Media, TheSoul Publishing
• Gaming: Paradox Interactive, NetEase, Inworld AI

Diesen jüngsten Produkteinführungen und Partnerschaften ging eine Phase voraus, in der ElevenLabs sein Tool-Portfolio kontinuierlich erweitert hat – vollständig auf Basis eigener Forschung. Zu den Veröffentlichungen gehören: Sprachsynthese für lebensechte Text-to-Speech-Umwandlung sowie ein auf geringe Latenz optimiertes Turbo-Modell; Voice Design und Voice Cloning zur Erstellung individueller Stimmen; Speech to Speech zur Umwandlung einer Stimme in eine andere. Das Unternehmen veröffentlichte außerdem sein branchenführendes KI-Synchronisations-Tool, das Audio und Video automatisch in 29 Sprachen übersetzen kann und dabei die Stimme und Emotionen des ursprünglichen Sprechers bewahrt. Das Unternehmen wird die derzeit nur auf Englisch verfügbaren Turbo- und Speech-to-Speech-Modelle zudem bald auf weitere Sprachen ausweiten. 

Aufbauend auf der Forschung hinter diesen Funktionen hat ElevenLabs auch fortschrittliche Tools für komplexere Workflows entwickelt, etwa Studio für das Verlagswesen und Dubbing Studio für die Videolokalisierung. Studio vereinfacht für Verlage die Bearbeitung, Strukturierung, Navigation und Erstellung langer Inhalte. Dubbing Studio hilft, Inhalte für ein weltweites Publikum vorzubereiten, indem es direkte Kontrolle über Transkript, Übersetzung und Timing der Sequenzen bietet.

Das Unternehmen hat außerdem gemeinschaftsorientierte Produkte entwickelt, etwa die Voice Library – eine Umgebung zum Teilen KI-generierter Stimmen. Früher war sie auf das Teilen künstlicher Stimmen beschränkt, die mit dem Tool Voice Design erstellt wurden. Nun können Nutzer über die Voice Library auch ihre eigenen verifizierten Stimmrepliken teilen, die mit Professional Voice Cloning erstellt wurden, als Teil des neu eingeführten Voice Library Marketplace, und Einnahmen erzielen, wenn andere sie verwenden. Um Sicherheit und Integrität des Marketplace zu gewährleisten, nutzt ElevenLabs seine Professional-Voice-Cloning-Technologie zur Erstellung hochauflösender Stimmrepliken. Bevor sie eine Stimme teilen, müssen Nutzer eine Voice-Captcha-Verifizierung bestehen. Dazu lesen sie innerhalb eines bestimmten Zeitfensters einen Text vor, um zu bestätigen, dass ihre Stimme den Trainingsbeispielen entspricht. Dieser Prozess stellt zusammen mit der Moderation und manuellen Freigabe durch das ElevenLabs-Team sicher, dass authentische, nutzerverifizierte Stimmen geteilt und monetarisiert werden. So entsteht eine sicherere und vertrauenswürdigere Umgebung.

Eine Kernpriorität von ElevenLabs ist die sichere und verantwortungsvolle Entwicklung von KI. Der Fokus liegt auf Erkennungstechnologien, damit alle KI-generierten Inhalte eindeutig identifizierbar sind. Das Unternehmen hat letztes Jahr einen KI-Sprachklassifikator eingeführt – ein Tool, das überprüfen kann, ob eine Audioaufnahme von ElevenLabs generierte Inhalte enthält. Dieses Jahr wird das Unternehmen die Fähigkeiten des Klassifikators erweitern, um mehr Voice-KI-Modelle abzudecken, und mit anderen Distributionsplattformen für eine breitere Implementierung zusammenarbeiten. ElevenLabs entwickelt aktiv weitere Schutzmaßnahmen, um die Sicherheit im öffentlichen Raum zu erhöhen.

Mit dieser Series-B-Investition will ElevenLabs seine Position als weltweiter Marktführer in Voice-KI-Forschung und Produkteinsatz festigen. Das Kapital wird in die Weiterentwicklung der Forschung, den Ausbau der Infrastruktur, die Entwicklung neuer Produkte für spezifische Branchen und verbesserte Sicherheitsmaßnahmen fließen, um eine verantwortungsvolle und ethische Entwicklung von KI-Technologie sicherzustellen.

Piotr Dąbkowski, CTO von ElevenLabs, ergänzt:

„Der Einsatz unseres Teams hat bereits einen nachhaltigen Einfluss auf Voice-KI. Die neue Finanzierung ermöglicht uns, noch größere Herausforderungen anzugehen und unseren Vorsprung in Forschung und Produktentwicklung zu sichern.“

Mati Staniszewski schließt:

„Unsere Ambition bleibt dieselbe: Wir wollen verändern, wie wir mit Inhalten interagieren, indem wir Sprach- und Kommunikationsbarrieren abbauen. Wir entwickeln fortschrittliche Technologie, um Inhalte sprach- und stimmübergreifend zugänglich zu machen – damit alle Zugang zu Informationen und Geschichten erhalten, die wichtig sind. Unsere bisherigen Fortschritte sind ein Beleg für unser engagiertes Team und unsere Investoren. Und obwohl wir erst am Anfang unserer Reise stehen, gestalten wir gemeinsam die Zukunft von Barrierefreiheit und Kommunikation.“