ElevenLabs lanceert stemvertaaltool om taalbarrières voor content weg te nemen

• Spraak-AI-platform ElevenLabs introduceert een nieuwe AI Dubbing-functie – de grootste mijlpaal tot nu toe in de inspanningen van het bedrijf om taalbarrières weg te nemen en content universeel toegankelijk te maken
• Deze stemvertaaltool kan gesproken content binnen enkele minuten naar een andere taal omzetten, met behoud van de stem van de oorspronkelijke spreker. Deze tool is gebaseerd op het eigen onderzoek van het bedrijf, waardoor mensen wereldwijd content in hun moedertaal kunnen beluisteren
• Met de nieuwe AI-dubbingfunctie kunnen alle creators, docenten en mediabedrijven met een paar klikken een wereldwijd publiek bereiken. Dit volgt op de recente lancering van ElevenLabs’ Studio voor gestroomlijnde creatie van lange audio

10 oktober, wereldwijd - ElevenLabs, de wereldleider in spraak-AI-technologie, kondigt vandaag de toevoeging aan van een baanbrekende stemvertaalfunctie aan zijn platform. Deze functie komt voort uit de fundamentele missie om de taalbarrières van content weg te nemen waarop ElevenLabs is opgericht, en vormt het resultaat van het onderzoek dat het bedrijf tot nu toe heeft uitgevoerd. De AI Dubbing tool stelt gebruikers in staat elke gesproken tekst automatisch naar een andere taal te vertalen, met behoud van de stem van de oorspronkelijke spreker – en biedt daarmee een nieuwe, hoogwaardige en effectieve manier om audio- en videocontent na te synchroniseren.

Mati Staniszewski, CEO en medeoprichter van ElevenLabs, zegt:

“De lancering van AI Dubbing is onze grootste stap tot nu toe om deze taalbarrières voor content weg te nemen. Het helpt mensen te genieten van alle content die ze willen, ongeacht welke taal ze spreken. En contentmakers kunnen hierdoor eenvoudig en authentiek een veel groter publiek over de hele wereld bereiken. Mijn medeoprichter Piotr en ik hebben deze taalbarrières zelf ervaren en zijn dan ook erg enthousiast dat we AI-dubbing eindelijk tot leven kunnen brengen.”

De nieuwe tool luidt een nieuw tijdperk in voor de toegankelijkheid van content in media zoals streaming, gaming en films. Hij gaat verder dan traditionele vertaling en ondertiteling doordat bij vertaling de identiteit en oorspronkelijke spraakpatronen van de spreker behouden blijven. Dit betekent dat mensen de stem van dezelfde acteur in meer dan 20 verschillende talen kunnen horen, met de kenmerken en nuances van de oorspronkelijke opname.

AI Dubbing bundelt het onderzoek van het bedrijf naar meertalige spraaksynthese, stemklonen, tekst- en audioverwerking in één tool. Dit vergroot de authenticiteit van de vertaalde content en maakt die toegankelijker voor een breder publiek, terwijl de essentie van de oorspronkelijke voordracht behouden blijft. De AI Dubbing-functie ondersteunt stemvertaling in meer dan 20 talen die momenteel worden ondersteund door het model Eleven Multilingual v2, waaronder Hindi, Portugees, Spaans, Japans, Oekraïens, Pools en Arabisch.

Deze stap breidt het onderzoek van ElevenLabs op het gebied van audio-AI verder uit en maakt het mogelijk om emoties en intonatie uit de oorspronkelijke audio over te zetten naar nagesynchroniseerde audio. Het bedrijf heeft ook een eigen methode ontwikkeld om de stemmen van verschillende sprekers te detecteren en methoden om achtergrondgeluid te verwijderen, waarbij muziek en ruis van dialoog worden onderscheiden. Hierdoor kan de tool effectief audio of video met meerdere sprekers verwerken en blijft elke stem herkenbaar en onderscheidend in verschillende talen.

Door het nasynchronisatieproces te automatiseren en hoogwaardige output te leveren, vereenvoudigt ElevenLabs het maken van meertalige content voor creators, docenten en mediabedrijven. Slechts 6% van de wereldbevolking heeft Engels als moedertaal en 75% spreekt helemaal geen Engels. Dankzij deze release kan elke video nu snel en tegen lage kosten beschikbaar worden gemaakt voor een wereldwijd publiek.

De aankondiging volgt op de recente lancering van Studio – de geavanceerde workflow van ElevenLabs voor het genereren en bewerken van lange audio, met diverse bewerkingsfuncties zoals het toewijzen van sprekers, het invoegen van pauzes en het opnieuw genereren van segmenten.

Met deze toevoeging zet ElevenLabs zijn missie voort om taalbarrières weg te nemen en content in elke taal en stem universeel toegankelijk te maken.