ElevenLabs veröffentlicht neue Voice-KI-Produkte und sammelt 80 Mio. USD in Serie B

• ElevenLabs hat eine $80 Mio. Series B Runde unter der gemeinsamen Leitung von Andreessen Horowitz, Nat Friedman, Daniel Gross, und mit Beteiligung von Sequoia Capital, Smash Capital, SV Angel, BroadLight Capital und Credo Ventures aufgenommen, um seine Position als führend in der Voice-KI zu stärken.
• Das Unternehmen stellt heute auch eine Reihe neuer Produkte vor, darunter Dubbing Studio, Voice Library Marktplatz, eine Vorabversion einer Mobile Reader App, und neue Modelle mit verbesserter Geschwindigkeit und Sprachabdeckung.
• Seit seiner Einführung hat die ElevenLabs-Technologie die Zugänglichkeit von Inhalten weltweit in Bereichen wie der Creator Economy, dem Verlagswesen, der Konversations-KI, Unterhaltung, Bildung und Barrierefreiheit verbessert, wobei die Akzeptanz durch Millionen das Unternehmen zu Unicorn-Status geführt hat.

22. Januar / Global - ElevenLabs, ein Forschungsunternehmen für Sprachtechnologie, hat eine $80 Mio. Series B Runde unter der gemeinsamen Leitung von Andreessen Horowitz, Nat Friedman, Daniel Gross, und mit Beteiligung von Sequoia Capital, SV Angel, Smash Capital, BroadLight Capital und Credo Ventures, aufgenommen, um seine Position als globaler Marktführer in der Voice-KI-Forschung und Produktentwicklung zu festigen.

Seit seiner öffentlichen Einführung hat ElevenLabs die Branche in der natürlichen Sprachsynthese angeführt und es Nutzern ermöglicht, KI-Stimmen in einer Vielzahl von Sprachen und Akzenten zu erstellen und zu gestalten, mit der Fähigkeit, eine breite Palette von Emotionen und Intonationen zu liefern. Seit der Einführung haben ElevenLabs-Nutzer über 100 Jahre Audio generiert, während das Unternehmen von 5 auf 40 Mitarbeiter gewachsen ist. Heute wird die ElevenLabs-Technologie von Mitarbeitern in 41% der Fortune 500 Unternehmen genutzt.

Die Technologie von ElevenLabs wurde in zahlreichen Bereichen übernommen. Sie hat Kreativen ermöglicht, das Publikumserlebnis mit Voiceovers und KI-Synchronisation zu verbessern, den Zugang zur Bildung erweitert und innovative Lösungen im Hörbuchverlag, in der Unterhaltung und im persönlichen Gebrauch bereitgestellt, einschließlich der Verbesserung der Barrierefreiheit. Diese Finanzierung wird verwendet, um das Produktangebot des Unternehmens weiter zu verfeinern und gleichzeitig die sichere Bereitstellung von KI-Technologie zu gewährleisten.

Zusätzlich zur heutigen Series B-Ankündigung stellt ElevenLabs auch mehrere neue Produktentwicklungen vor, die in den kommenden Wochen live gehen werden:

• Ein neuer Dubbing StudioWorkflow ermöglicht es Nutzern, ganze Filme zu synchronisieren sowie ihre Transkripte, Übersetzungen und Zeitcodes zu erstellen und zu bearbeiten, was zusätzliche Kontrolle über die Inhaltsproduktion bietet. Diese Fähigkeiten ergänzen die bereits vorhandene KI-Synchronisationsfunktion, die eine automatisierte, durchgängige Videolokalisierung in 29 Sprachen ermöglicht.
• Ein Voice Library Marktplatz, der eine sichere Plattform bietet, auf der Nutzer mit KI-Versionen ihrer eigenen Stimmen verdienen können. Nutzer können ihre professionelle KI-Stimmenreplik erstellen, verifizieren und über die Voice Library teilen. Wenn andere diese verifizierten Stimmen verwenden, erhalten die ursprünglichen Ersteller eine Vergütung. Nutzer behalten immer die Kontrolle über die Verfügbarkeit und die Vergütungsbedingungen ihrer Stimme. Der Marktplatz generiert bereits Einkommen für eine kleine Gruppe von Alpha-Nutzern.
• Eine Vorabversion der Mobile App Reader die eine sofortige Umwandlung von Text und URLs in Audio ermöglicht, was es Nutzern erleichtert, Inhalte in einem anderen Medium unterwegs zu nutzen. Als Einführungstest wird die App in den ersten drei Monaten kostenlos verfügbar sein, und Nutzer können sich über eine Warteliste für den frühzeitigen Zugang registrieren.

Im Jahr 2023 hat ElevenLabs auch seine Präsenz in mehreren Sektoren erweitert, darunter Verlagswesen, Gaming, Medien und konversationelle Bereiche, sowie B2B-Partnerschaften mit großen Medienhäusern geschlossen, darunter:

• Verlagswesen: Storytel, The Washington Post, Rheinische Post, Curio
• Conversational AI: FlowGPT, SimpleTalk AI, Ollang, VoiceDrop, Vana
• Medien & Unterhaltung: Wondershare Filmora, Futuri Media, TheSoul Publishing
• Gaming: Paradox Interactive, NetEase, Inworld AI

Diese neuesten Produkteinführungen und Partnerschaften folgen auf eine Phase, in der ElevenLabs kontinuierlich seine Suite von Tools erweitert hat, die alle aus interner Forschung entwickelt wurden. Veröffentlichungen umfassten: Sprachsynthese für lebensechte Text-to-Speech Umwandlung, zusammen mit einem Turbo-Modell, das für Latenz optimiert ist; Voice Design und Voice Cloning für die Erstellung maßgeschneiderter Stimmen; Speech to Speech zur Umwandlung einer Stimme in eine andere. Das Unternehmen hat auch sein branchenführendes AI Dubbing Tool veröffentlicht, das in der Lage ist, Audio und Video automatisch in 29 Sprachen zu übersetzen, während die Stimme und Emotionen des ursprünglichen Sprechers erhalten bleiben. Das Unternehmen wird auch bald die Turbo- und Speech-to-Speech-Modelle, die derzeit in Englisch verfügbar sind, auf eine breitere Palette von Sprachen erweitern.

Aufbauend auf der Forschung, die diese Funktionen antreibt, hat ElevenLabs auch an der Entwicklung fortschrittlicher Tools für komplexere Workflows gearbeitet, wie Studio für das Verlagswesen und das Dubbing Studio für die Videolokalisierung. Studio vereinfacht das Bearbeiten, Strukturieren, Navigieren und Erstellen von Langform-Inhalten für Verlage, und Dubbing Studio hilft, Inhalte für ein weltweites Publikum vorzubereiten, indem es praktische Kontrolle über Transkript, Übersetzung und Sequenzierung bietet.

Das Unternehmen hat auch gemeinschaftsorientierte Produkte entwickelt, wie Voice Library - eine Umgebung zum Teilen von KI-generierten Stimmen. Zuvor auf das Teilen künstlicher Stimmen beschränkt, die mit dem Voice Design Tool erstellt wurden, ermöglicht die Voice Library jetzt Nutzern, ihre eigenen verifizierten Stimmenreplikate, die mit Professional Voice Cloning erstellt wurden, als Teil des neu eingeführten Voice Library Marktplatzes zu teilen und Geld zu verdienen, wenn andere sie nutzen. Um die Sicherheit und Integrität des Marktplatzes zu gewährleisten, verwendet ElevenLabs seine Professional Voice Cloning-Technologie, um hochpräzise Stimmenreplikate zu erstellen. Bevor eine Stimme geteilt wird, müssen Nutzer eine Voice Captcha-Verifizierung bestehen, indem sie innerhalb eines bestimmten Zeitrahmens einen Textprompt lesen, um zu bestätigen, dass ihre Stimme mit den Trainingsproben übereinstimmt. Dieser Prozess, zusammen mit der Moderation und manuellen Genehmigung durch das ElevenLabs-Team, stellt sicher, dass authentische, benutzerverifizierte Stimmen geteilt und monetarisiert werden, wodurch eine sicherere und vertrauenswürdigere Umgebung geschaffen wird.

Eine Kernpriorität für ElevenLabs ist die sichere und verantwortungsvolle Entwicklung von KI, mit einem Fokus auf die Ermöglichung der Erkennung, um sicherzustellen, dass alle KI-generierten Inhalte klar erkennbar sind. Das Unternehmen hat letztes Jahr einen AI Speech Classifier eingeführt; ein Tool, das überprüfen kann, ob ein Audio-Sample von ElevenLabs generierte Inhalte enthält. In diesem Jahr wird das Unternehmen daran arbeiten, die Fähigkeiten des Classifiers zu erweitern, um mehr Voice-KI-Modelle abzudecken, sowie Partnerschaften mit anderen Distributionsplattformen für eine breitere Implementierung einzugehen. ElevenLabs entwickelt aktiv zusätzliche Schutzmaßnahmen, um die Sicherheit im öffentlichen Bereich zu erhöhen.

Mit dieser Series B-Investition beabsichtigt ElevenLabs, seine Position als globaler Marktführer in der Voice-KI-Forschung und Produktentwicklung zu festigen. Das Kapital wird in die Weiterentwicklung der Forschung, den Ausbau der Infrastruktur, die Entwicklung neuer Produkte für spezifische Bereiche und die Verbesserung der Sicherheitsmaßnahmen investiert, um eine verantwortungsvolle und ethische Entwicklung der KI-Technologie zu gewährleisten.

Piotr Dąbkowski, CTO von ElevenLabs, fügt hinzu:

„Das Engagement unseres Teams hat bereits einen bleibenden Einfluss auf die Voice-KI gehabt. Diese neue Finanzierung ermöglicht es uns, noch größere Herausforderungen anzugehen und uns darauf zu konzentrieren, unseren Wettbewerbsvorteil in Forschung und Produktentwicklung zu erhalten.“

Mati Staniszewski schließt:

„Unser Ziel bleibt dasselbe – die Art und Weise, wie wir mit Inhalten interagieren, zu transformieren, indem wir Sprach- und Kommunikationsbarrieren abbauen. Wir entwickeln Spitzentechnologie, um Inhalte über Sprachen – und Stimmen – hinweg zugänglich zu machen, damit jeder sich mit Informationen und Geschichten verbinden kann, die wichtig sind. Unser bisheriger Fortschritt ist ein Zeugnis für unser engagiertes Team und unsere Investoren, und obwohl es noch der Anfang unserer Reise ist, gestalten wir gemeinsam die Zukunft der Zugänglichkeit und Kommunikation.“