ElevenLabs introduceert nieuwe voice AI-producten en haalt $80M op in Series B-financieringsronde

• ElevenLabs heeft een Series B-financieringsronde van $80 miljoen opgehaald, mede geleid door Andreessen Horowitz, Nat Friedman, Daniel Gross, en met deelname van Sequoia Capital, Smash Capital, SV Angel, BroadLight Capital en Credo Ventures om zijn positie als leider in voice AI te versterken.
• Het bedrijf onthult vandaag ook een reeks nieuwe producten, waaronder Dubbing Studio, Voice Library Marketplace, een vroege preview van een Mobile Reader App, en nieuwe modellen met hogere snelheid en uitgebreidere taalondersteuning.
• Sinds de lancering heeft de technologie van ElevenLabs de toegankelijkheid van content wereldwijd verbeterd in sectoren zoals de creator economy, uitgeverijen, conversational AI, entertainment, onderwijs en toegankelijkheid. De toepassing ervan door miljoenen mensen heeft het bedrijf de unicornstatus opgeleverd.

22 januari / wereldwijd - ElevenLabs, een onderzoekbedrijf voor stemtechnologie, heeft een Series B-financieringsronde van $80 miljoen opgehaald, mede geleid door Andreessen Horowitz, Nat Friedman, Daniel Gross, en met deelname van Sequoia Capital, SV Angel, Smash Capital, BroadLight Capital en Credo Ventures, om zijn positie als wereldwijde leider in onderzoek naar voice AI en productimplementatie te verstevigen.

Sinds de publieke lancering loopt ElevenLabs voorop in natuurlijke spraaksynthese en stelt het gebruikers in staat AI-stemmen te creëren en ontwerpen in een groot aantal talen en accenten, die uiteenlopende emoties en intonaties kunnen overbrengen. Sinds de lancering hebben gebruikers van ElevenLabs meer dan 100 jaar aan audio gegenereerd, terwijl het bedrijf groeide van 5 naar 40 medewerkers. Vandaag wordt de technologie van ElevenLabs gebruikt door medewerkers van 41% van de Fortune 500-bedrijven. 

De technologie van ElevenLabs wordt in tal van sectoren toegepast. Ze heeft creators geholpen de ervaring van hun publiek te verbeteren met voice-overs en AI-nasynchronisatie, de toegang tot onderwijs verbreed en innovatieve oplossingen geboden voor het publiceren van luisterboeken, entertainment en persoonlijk gebruik, waaronder het verbeteren van toegankelijkheid. Deze financiering wordt gebruikt om het productaanbod van het bedrijf verder te verfijnen en tegelijk te zorgen voor een veilige inzet van AI-technologie.

Naast de Series B-aankondiging van vandaag onthult ElevenLabs ook verschillende nieuwe productontwikkelingen, die in de komende weken beschikbaar worden:

• Een nieuwe Dubbing Studio-workflow stelt gebruikers in staat hele films na te synchroniseren en hun transcripts, vertalingen en tijdcodes te genereren en bewerken, waardoor ze meer controle krijgen over de contentproductie. Deze mogelijkheden vormen een aanvulling op de bestaande AI-nasynchronisatiefunctie, waarmee video's volledig geautomatiseerd in 29 talen kunnen worden gelokaliseerd.
• Een Voice Library Marketplace die gebruikers een veilig platform biedt om geld te verdienen met AI-versies van hun eigen stem. Gebruikers kunnen hun professionele AI-stemreplica maken, verifiëren en delen via Voice Library. Wanneer anderen deze geverifieerde stemmen gebruiken, ontvangen de oorspronkelijke creators een vergoeding. Gebruikers behouden altijd de controle over de beschikbaarheid van hun stem en de voorwaarden voor vergoeding. De marketplace genereert al inkomsten voor een kleine groep alfagebruikers.
• Een vroege preview van de Mobiele app reader die tekst en URL's direct naar audio omzet, waardoor gebruikers onderweg makkelijker via een ander medium toegang krijgen tot content. Als introductieaanbieding is de app de eerste drie maanden gratis beschikbaar en kunnen gebruikers zich via een wachtlijst aanmelden voor vroege toegang.

In 2023 heeft ElevenLabs zijn aanwezigheid ook uitgebreid in meerdere sectoren, waaronder uitgeverijen, gaming, media en conversational AI, en B2B-partnerschappen gesloten met grote mediabedrijven, waaronder:

• Uitgeverijen: Storytel, The Washington Post, Rheinische Post, Curio
• Conversational AI: FlowGPT, SimpleTalk AI, Ollang, VoiceDrop, Vana
• Media & entertainment: Wondershare Filmora, Futuri Media, TheSoul Publishing
• Gaming: Paradox Interactive, NetEase, Inworld AI

Deze recente productlanceringen en partnerschappen volgen op een periode waarin ElevenLabs zijn reeks tools voortdurend heeft uitgebreid, allemaal ontwikkeld op basis van intern onderzoek. Uitgaven omvatten: Speech Synthesis voor levensechte text-to-speech-conversie, samen met een voor latency geoptimaliseerd Turbo-model; Voice Design en Voice Cloning voor het creëren van stemmen op maat; Speech to Speech voor het transformeren van de ene stem naar de andere. Het bedrijf bracht ook de toonaangevende AI Dubbing-tool uit, die audio en video automatisch kan vertalen naar 29 talen met behoud van de stem en emoties van de oorspronkelijke spreker. Het bedrijf breidt de Turbo- en Speech to Speech-modellen, die momenteel beschikbaar zijn in het Engels, binnenkort ook uit naar een bredere reeks talen. 

Voortbouwend op het onderzoek achter deze functies heeft ElevenLabs ook gewerkt aan geavanceerde tools voor complexere workflows, zoals Studio voor uitgeverijen en Dubbing Studio voor videolokalisatie. Studio stroomlijnt het bewerken, structureren, navigeren en genereren van lange content voor uitgevers, en Dubbing Studio helpt content voor een wereldwijd publiek voor te bereiden door directe controle te bieden over transcript, vertaling en timing van sequenties.

Het bedrijf heeft ook communitygerichte producten ontwikkeld, zoals Voice Library - een omgeving om AI-gegenereerde stemmen te delen. Voice Library was eerder beperkt tot het delen van kunstmatige stemmen die met de Voice Design-tool waren gemaakt, maar stelt gebruikers nu in staat hun eigen geverifieerde stemreplica's te delen die met Professional Voice Cloning zijn gemaakt als onderdeel van de onlangs geïntroduceerde Voice Library Marketplace, en geld te verdienen wanneer anderen ze gebruiken. Om de veiligheid en integriteit van de marketplace te waarborgen, gebruikt ElevenLabs zijn Professional Voice Cloning-technologie om stemreplica's met hoge nauwkeurigheid te creëren. Voordat gebruikers een stem delen, moeten ze een Voice Captcha-verificatie doorlopen door binnen een bepaalde tijd een tekstprompt voor te lezen, om te bevestigen dat hun stem overeenkomt met de trainingsvoorbeelden. Dit proces zorgt er samen met de moderatie en handmatige goedkeuring door het team van ElevenLabs voor dat authentieke, door gebruikers geverifieerde stemmen worden gedeeld en gemonetariseerd, waardoor een veiligere en betrouwbaardere omgeving ontstaat.

Een kernprioriteit voor ElevenLabs is de veilige en verantwoorde ontwikkeling van AI, met aandacht voor detectie zodat alle AI-gegenereerde content duidelijk herkenbaar is. Het bedrijf lanceerde vorig jaar een AI Speech Classifier; een tool die kan verifiëren of een audiofragment door ElevenLabs gegenereerde content bevat. Dit jaar werkt het bedrijf aan het uitbreiden van de mogelijkheden van de Classifier zodat deze meer voice AI-modellen omvat, en aan samenwerkingen met andere distributieplatforms voor bredere implementatie. ElevenLabs ontwikkelt actief aanvullende waarborgen om de veiligheid in het publieke domein te verbeteren.

Met deze Series B-investering wil ElevenLabs zijn positie als wereldwijde leider in onderzoek naar voice AI en productimplementatie verstevigen. Het kapitaal wordt ingezet voor de vooruitgang van onderzoek, uitbreiding van de infrastructuur, ontwikkeling van nieuwe producten voor specifieke sectoren en verbetering van veiligheidsmaatregelen om een verantwoorde en ethische ontwikkeling van AI-technologie te waarborgen.

Piotr Dąbkowski, CTO van ElevenLabs, voegt toe:

“De inzet van ons team heeft al een blijvende impact gehad op voice AI. Deze nieuwe financiering stelt ons in staat nog grotere uitdagingen aan te gaan en ons te richten op het behouden van onze voorsprong in onderzoek en productontwikkeling.”

Mati Staniszewski concludeert:

“Onze ambitie blijft dezelfde: veranderen hoe we omgaan met content door taal- en communicatiebarrières weg te nemen. We bouwen geavanceerde technologie om content toegankelijk te maken in verschillende talen - en stemmen - zodat iedereen verbinding kan maken met informatie en verhalen die ertoe doen. Onze vooruitgang tot nu toe is een bewijs van ons toegewijde team en onze investeerders. Hoewel we nog maar aan het begin van onze reis staan, helpen we samen de toekomst van toegankelijkheid en communicatie vorm te geven.”