ElevenLabs veröffentlicht neue Voice-KI-Produkte und sammelt 80 Mio. USD in Serie B

• ElevenLabs hat eine Series-B-Finanzierungsrunde über 80 Mio. $ unter gemeinsamer Führung von Andreessen Horowitz, Nat Friedman, Daniel Gross, mit Beteiligung von Sequoia Capital, Smash Capital, SV Angel, BroadLight Capital und Credo Ventures abgeschlossen, um seine Position als führendes Unternehmen im Bereich Voice-KI zu stärken.
• Das Unternehmen stellt heute außerdem mehrere neue Produkte vor, darunter Synchronisationsstudio, Stimmbibliothek als Marktplatz, eine frühe Vorschau auf eine Mobile-Reader-App sowie neue Modelle mit höherer Geschwindigkeit und breiterer Sprachabdeckung.
• Seit dem Start hat die Technologie von ElevenLabs die Zugänglichkeit von Inhalten weltweit in Bereichen wie Creator Economy, Verlagswesen, dialogorientierter KI, Unterhaltung, Bildung und Barrierefreiheit verbessert. Die Nutzung durch Millionen verhalf dem Unternehmen zum Unicorn-Status.

22. Januar / Global – ElevenLabs, ein Forschungsunternehmen für Sprachtechnologie, hat eine Series-B-Finanzierungsrunde über 80 Mio. $ unter gemeinsamer Führung von Andreessen Horowitz, Nat Friedman, Daniel Gross und mit Beteiligung von Sequoia Capital, SV Angel, Smash Capital, BroadLight Capital und Credo Ventures abgeschlossen, um seine Position als global führendes Unternehmen für Voice-KI-Forschung und Produkteinsatz zu festigen.

Seit seinem öffentlichen Start ist ElevenLabs führend in der natürlichen Sprachsynthese und ermöglicht Nutzern, KI-Stimmen für eine breite Palette von Sprachen und Akzenten zu erstellen und zu gestalten, die vielfältige Emotionen und Intonationen wiedergeben können. Seit dem Start haben Nutzer von ElevenLabs mehr als 100 Jahre Audio generiert, während das Unternehmen von 5 auf 40 Mitarbeitende gewachsen ist. Heute nutzen Mitarbeitende von 41 % der Fortune-500-Unternehmen die Technologie von ElevenLabs. 

Die Technologie von ElevenLabs wird in zahlreichen Branchen eingesetzt. Sie ermöglicht Creatorn, Erlebnisse für ihr Publikum mit Voiceovers und KI-Synchronisation zu verbessern, erweitert den Zugang zu Bildung und bietet innovative Lösungen im Hörbuch-Verlagswesen, in der Unterhaltung und für die private Nutzung, einschließlich besserer Barrierefreiheit. Die Finanzierung wird genutzt, um das Produktangebot weiterzuentwickeln und gleichzeitig den sicheren Einsatz von KI-Technologie zu gewährleisten.

Zusätzlich zur heutigen Ankündigung der Series B stellt ElevenLabs mehrere neue Produktentwicklungen vor, die in den kommenden Wochen verfügbar werden:

• Ein neuer Workflow im Synchronisationsstudio ermöglicht Nutzern, ganze Filme zu synchronisieren sowie Transkripte, Übersetzungen und Timecodes zu generieren und zu bearbeiten. Das gibt ihnen mehr Kontrolle über die Produktion von Inhalten. Diese Funktionen ergänzen die bestehende KI-Synchronisationsfunktion, die eine automatisierte End-to-End-Videolokalisierung in 29 Sprachen ermöglicht.
• Ein Stimmbibliothek-Marktplatz bietet Nutzern eine sichere Plattform, um mit KI-Versionen ihrer eigenen Stimmen Einnahmen zu erzielen. Nutzer können ihre professionelle KI-Stimmreplik erstellen, verifizieren und über die Stimmbibliothek teilen. Wenn andere diese verifizierten Stimmen nutzen, erhalten die ursprünglichen Creator eine Vergütung. Nutzer behalten jederzeit die Kontrolle über die Verfügbarkeit ihrer Stimme und die Vergütungsbedingungen. Der Marktplatz generiert bereits Einnahmen für eine kleine Gruppe von Alpha-Nutzern.
• Eine frühe Vorschau auf den Mobile-App-Reader der Text und URLs sofort in Audio umwandelt und Nutzern unterwegs den Zugriff auf Inhalte in einem anderen Medium erleichtert. Als Einführungsangebot wird die App in den ersten drei Monaten kostenlos verfügbar sein. Nutzer können sich über eine Warteliste für den frühen Zugang registrieren.

Im Jahr 2023 hat ElevenLabs seine Präsenz außerdem in mehreren Bereichen ausgebaut, darunter Verlagswesen, Gaming, Medien und dialogorientierte Anwendungen. Zudem wurden B2B-Partnerschaften mit großen Medienhäusern geschlossen, darunter:

• Verlagswesen: Storytel, The Washington Post, Rheinische Post, Curio
• Dialogorientierte KI: FlowGPT, SimpleTalk AI, Ollang, VoiceDrop, Vana
• Medien & Unterhaltung: Wondershare Filmora, Futuri Media, TheSoul Publishing
• Gaming: Paradox Interactive, NetEase, Inworld AI

Diese jüngsten Produkteinführungen und Partnerschaften folgen auf eine Phase, in der ElevenLabs sein Tool-Portfolio kontinuierlich ausgebaut hat – alles aus eigener Forschung. Zu den Veröffentlichungen gehören: Sprachsynthese für lebensechte Text-to-Speech-Umwandlung sowie ein auf Latenz optimiertes Turbo-Modell; Voice Design und KI-Stimme klonen zum Erstellen individueller Stimmen; Speech to Speech zum Umwandeln einer Stimme in eine andere. Das Unternehmen veröffentlichte außerdem sein branchenführendes Tool KI-Synchronisation, das Audio und Video automatisch in 29 Sprachen übersetzen kann und dabei Stimme und Emotionen des ursprünglichen Sprechers bewahrt. Das Unternehmen wird die derzeit nur auf Englisch verfügbaren Turbo- und Speech-to-Speech-Modelle bald auf weitere Sprachen ausweiten. 

Aufbauend auf der Forschung hinter diesen Funktionen hat ElevenLabs auch fortschrittliche Tools für komplexere Workflows entwickelt, etwa Studio für das Verlagswesen und das Synchronisationsstudio für die Videolokalisierung. Studio vereinfacht für Verlage das Bearbeiten, Strukturieren, Navigieren und Generieren von Langform-Inhalten. Das Synchronisationsstudio hilft, Inhalte für ein weltweites Publikum vorzubereiten, indem es direkte Kontrolle über Transkript, Übersetzung und Sequenz-Timing bietet.

Das Unternehmen hat außerdem gemeinschaftsorientierte Produkte wie die Stimmbibliothek entwickelt – eine Umgebung zum Teilen KI-generierter Stimmen. Zuvor war das Teilen auf künstliche Stimmen beschränkt, die mit dem Tool Voice Design erstellt wurden. Jetzt können Nutzer in der Stimmbibliothek auch ihre eigenen verifizierten Stimmrepliken teilen, die mit Professional KI-Stimme klonen erstellt wurden, als Teil des neu eingeführten Stimmbibliothek-Marktplatzes, und damit Geld verdienen, wenn andere sie nutzen. Um Sicherheit und Integrität des Marktplatzes zu gewährleisten, verwendet ElevenLabs seine Professional-Voice-Cloning-Technologie zur Erstellung hochpräziser Stimmrepliken. Bevor sie eine Stimme teilen, müssen Nutzer eine Voice-Captcha-Verifizierung bestehen: Sie lesen innerhalb eines bestimmten Zeitfensters einen Text vor, um zu bestätigen, dass ihre Stimme mit den Trainingsbeispielen übereinstimmt. Dieser Prozess sowie die Moderation und manuelle Freigabe durch das ElevenLabs-Team stellen sicher, dass authentische, von Nutzern verifizierte Stimmen geteilt und vergütet werden. So entsteht eine sicherere und vertrauenswürdigere Umgebung.

Eine zentrale Priorität für ElevenLabs ist die sichere und verantwortungsvolle Entwicklung von KI. Dabei liegt der Fokus auf Erkennungstechnologien, damit alle KI-generierten Inhalte klar identifizierbar sind. Das Unternehmen führte im vergangenen Jahr einen KI-Sprachklassifikator ein – ein Tool, das prüfen kann, ob eine Audioprobe von ElevenLabs generierte Inhalte enthält. In diesem Jahr wird das Unternehmen die Funktionen des Klassifikators erweitern, um weitere Voice-KI-Modelle abzudecken, und mit anderen Distributionsplattformen für eine breitere Implementierung zusammenarbeiten. ElevenLabs entwickelt aktiv zusätzliche Schutzmaßnahmen für mehr Sicherheit im öffentlichen Raum.

Mit dieser Series-B-Investition will ElevenLabs seine Position als global führendes Unternehmen für Voice-KI-Forschung und Produkteinsatz festigen. Das Kapital fließt in die Weiterentwicklung der Forschung, den Ausbau der Infrastruktur, neue Produkte für spezifische Branchen und verbesserte Sicherheitsmaßnahmen für eine verantwortungsvolle und ethische Entwicklung von KI-Technologie.

Piotr Dąbkowski, CTO von ElevenLabs, ergänzt:

„Das Engagement unseres Teams hat Voice-KI bereits nachhaltig geprägt. Die neue Finanzierung ermöglicht es uns, noch größere Herausforderungen anzugehen und unseren Vorsprung in Forschung und Produktentwicklung zu sichern.“

Mati Staniszewski schließt ab:

„Unser Anspruch bleibt derselbe: Wir wollen verändern, wie wir mit Inhalten interagieren, indem wir Sprach- und Kommunikationsbarrieren abbauen. Wir entwickeln fortschrittliche Technologie, um Inhalte sprach- und stimmenübergreifend zugänglich zu machen, damit sich alle mit relevanten Informationen und Geschichten verbinden können. Unser bisheriger Fortschritt ist ein Beleg für unser engagiertes Team und unsere Investoren. Und auch wenn wir erst am Anfang unserer Reise stehen, gestalten wir gemeinsam die Zukunft von Barrierefreiheit und Kommunikation.“