Wat is stemklonen en hoe werkt het met AI?

Cadans, natuurlijke prosodie, accent, uitspraak. Dit zijn enkele eigenschappen die je stem uniek maken. De persoonlijkheid, het ritme en wat je stem herkenbaar maakt voor de mensen om je heen. Het grootste deel van de menselijke geschiedenis kon die taalkundige en vocale complexiteit niet worden nagebootst. Nu wel.

Met stemklonen kun je nu binnen enkele minuten een levensechte versie van jezelf vastleggen en gebruiken. Wat ooit uren aan opnames van hoge kwaliteit en tijd in een professionele opnamestudio kostte, kun je nu vanuit huis doen. Of je een stemmodel nu zakelijk of voor de lol gebruikt, stemklonen is toegankelijk en betaalbaar. 

In dit artikel verkennen we wat stemklonen precies is en leggen we uit hoe het werkt. We bespreken de AI-tools waarmee je binnen enkele minuten een stem kunt klonen en lichten de verschillende voordelen toe die directe stemduplicatie zo waardevol maken voor sectoren wereldwijd.

Samenvatting

• Stemklonen gebruikt AI om een digitale replica van je stem te maken, met als doel je accent, toon, toonhoogte en cadans vast te leggen. 
• Stemklonen doorloopt zes stappen: het verzamelen van stemvoorbeelden, het opschonen van de audio, het extraheren van stemkenmerken, het trainen van het model, het synthetiseren van nieuwe spraak en het implementeren van de voltooide stemkloon.
• Meer invoeraudio leidt doorgaans tot betere eindresultaten, al zijn slechts enkele minuten audiocontent nodig.
• Bedrijven en creators gebruiken stemklonen onder meer om sneller content te produceren, toegankelijkheid te verbeteren en een consistente merkstem op te bouwen.

Wat is stemklonen?

AI-stemklonen is het gebruik van kunstmatige intelligentie en machine learning om een digitale replica van iemands stem te maken. Nadat het model is getraind met opgenomen spraakdata, kunnen gebruikers met text to speech volledig nieuwe spraak in hun eigen stem synthetiseren. Een goed getrainde AI-stemkloon kan het accent, de intonatie, toonhoogte, het tempo en de resonantie van de oorspronkelijke spreker sterk benaderen.

Toonaangevende software voor stemklonen kan een digitale replica maken die complexe menselijke emoties kan uitdrukken en bijna realtime kan reageren. Met ElevenCreative heb je slechts enkele minuten aan audiodata nodig om een stemkloon te genereren. 

Wil je het zelf proberen? Upload een opname naar onze pagina voor stemklonen om je digitale stem binnen enkele seconden in actie te zien.

Hoe werkt AI-stemklonen?

AI-stemklonen gebruikt een combinatie van technologieën om de essentie van iemands stem vast te leggen en na te bootsen.

Drie hoofdsystemen werken samen om een stem te klonen:

• Deep learning: Een onderdeel van machine learning waarmee modellen complexe en subtiele patronen in audiodata kunnen herkennen in miljoenen voorbeelden. Door op grote schaal te werken, kunnen deep-learningmodellen itereren en in de loop der tijd beter worden.
• Neurale netwerken: Neurale netwerken vormen de motor achter stemklonen. Ze gebruiken deep learning om specifieke vocale kenmerken in iemands spraak te begrijpen, zoals accent of toon. 
• Stemencoders: Stemencoders verwerken en analyseren audiovoorbeelden om de stemidentiteit van een spreker te extraheren. Ze coderen de fonetische structuur en andere stemkenmerken in een numerieke representatie die machine-learningmodellen begrijpen. Bij het creëren van nieuwe spraak wordt deze representatie gedecodeerd om de factoren van het oorspronkelijke spraakpatroon te synthetiseren.

Hoewel je binnen enkele minuten een stemkloon kunt maken, gebruiken de betrouwbaarste en meest natuurgetrouwe stemklonen meer invoerstemdata. 

Hier volgt een overzicht op hoofdlijnen van hoe AI-stemklonen werkt.

Stap 1: Stemdata verzamelen

Een gebruiker neemt een paar korte fragmenten van diens stem op. Dit kan tijdens een speciale opnamesessie gebeuren of afkomstig zijn uit oudere video's met heldere audio. Vooral voor snelle duplicatie werken de systemen van ElevenLabs met zeer weinig invoer. 

Het is echter belangrijk om te weten dat de kwaliteit en hoeveelheid opnames in deze fase direct invloed hebben op het eindproduct. Als je een stemkloon wilt maken die sterk op je echte stem lijkt, lever dan 2-3 uur audio aan. Daarna zie je doorgaans geen verdere verbeteringen.

Stap 2: Audio opschonen en data verwerken

Voordat interne systemen de audiodata verwerken, schonen ze de audio-opnames eerst op om de kwaliteit te verbeteren. Bij stemdata kan opschonen het volgende omvatten:

• Audioniveaus normaliseren
• Fragmenten inkorten om stiltes te verwijderen
• Achtergrondgeluid identificeren en verwijderen

Ook hier is de kwaliteit van de voorbeelden die je gebruikt uiterst belangrijk. Deze stap is bedoeld om je audiodata als geheel te verbeteren, voor de best mogelijke AI-stemkloon.

Stap 3: Stemkenmerken detecteren, extraheren en het model trainen

AI-systemen werken samen om de kenmerken te identificeren die de stem van een spreker uniek maken. De factoren die hierbij worden meegenomen zijn vrij uitgebreid, omdat genuanceerde aspecten van menselijke spraak een enorm verschil kunnen maken bij het creëren van een mensachtige stem. Alles van toonhoogte en toon tot prosodie en zelfs ademhalingspatronen wordt gedetecteerd, geëxtraheerd en vastgelegd.

Deze speaker embedding wordt vervolgens doorgegeven aan een vooraf getraind synthesemodel, dat de relatie tussen deze spraakklanken en de stemkenmerken van de spreker in kaart brengt. Het doel van deze stap is een hoogwaardige digitale representatie van de invoerstem te produceren. Geavanceerdere modellen hebben hier meerdere extra stappen voor finetuning en iteratieve verbetering.

Stap 4: Spraaksynthese en implementatie 

Nadat een model op je stemdata is getraind, is het klaar om nieuwe tekst tot leven te brengen. Je kunt woorden invoeren in een text to speech-programma en je stem selecteren als het model dat ze voorleest. 

Nadat je op afspelen hebt geklikt, hoor je hoe het model je stem synthetiseert op basis van de woorden die je hebt geschreven. Om de uitvoeropname zo realistisch en natuurlijk mogelijk te maken, probeert een AI-stemkloon de exacte spraakpatronen en uitspraak uit je invoer te reproduceren.

Zodra je tevreden bent met de kwaliteit van je stemkloon, is het tijd om deze te implementeren. Je kunt je stem integreren in andere voice AI-workflows die je gebruikt. Of je nu voice-overs voor YouTube-video's maakt of een persoonlijke voicemail ontwikkelt, je stem is klaar voor gebruik.

In professionele omgevingen zit er een veel grotere kloof tussen modeltraining en implementatie. Studio's kunnen teruggaan naar de ruwe data en de bestanden die ze opleveren aanpassen, de uitspraak verfijnen of stemaudio iteratief finetunen om deze in de loop der tijd te verbeteren.

Voordelen van stemklonen

Stemklonen is toegankelijker dan ooit. Met enkele minuten en je telefoon kun je je digitale stemkloon tot leven brengen. Stemklonen biedt veel voordelen, of je je stem nu voor werk of gewoon voor de lol gebruikt.

Er zijn tal van redenen waarom een bedrijf of individu een stemkloon wil gebruiken:

• Snelheid: Na het klonen van een stem wordt alle contentcreatie waarvoor spraakaudio nodig is bijzonder eenvoudig en gemakkelijk te genereren. Wat vroeger een professionele opnamestudio vereiste, kost nu alleen een prompt en enkele seconden. Vooral in productieomgevingen kunnen stemklonen bestaande workflows aanzienlijk versnellen dankzij hun snelheid en flexibiliteit.
• Personalisatie: Merken en contentcreators willen bij elk contactmoment met klanten een herkenbare stem behouden. Door de opkomst van gesproken interactie op websites zorgt support in een goedgekeurde, aangepaste stem voor een nieuw niveau van merkpersonalisatie.
• Toegankelijkheid: Voor mensen met ALS of andere degeneratieve aandoeningen die de spraak beïnvloeden, biedt stemklonen de ingrijpende mogelijkheid om iemand diens stem terug te geven. Het 1 Million Voices-initiatief van ElevenLabs biedt wereldwijd gratis toegang tot technologie voor stemherstel aan mensen met permanent stemverlies. We werken momenteel samen met tal van non-profits om die visie te verwezenlijken. 
• Realtime communicatie: Stemklonen sluit vanzelf aan op andere AI-technologieën, zoals spraakagenten, om klanten een realtime ervaring te bieden. Bedrijven kunnen hoogwaardige, menselijk klinkende stemmen koppelen aan hun AI-klantenservice-agenten, wat leidt tot betere klantervaringen.

Deze voordelen laten zien waarom stemklonen wereldwijd een integraal onderdeel is geworden van bedrijfsworkflows. Van contentcreatie tot gezondheidszorg: stemklonen kunnen klantgerichte interacties menselijker maken.

Recente ontwikkelingen in technologie voor stemklonen

Voor iemand die nog niet bekend is met stemklonen, is de mogelijkheid om binnen enkele minuten een natuurgetrouw model te maken eerlijk gezegd onvoorstelbaar. Stemklonen vereiste uren aan professionele opnames van studiokwaliteit en technische bewerking. Nu heb je met je telefoon binnen de kortste keren een werkend model.

Die vooruitgang is niet uit het niets ontstaan, en ook niet van de ene op de andere dag gekomen. Dit zijn enkele recente ontwikkelingen in technologie voor stemklonen die deze mogelijkheden hebben gerealiseerd:

• Minder benodigde audio: Moderne AI-systemen trainen op enorme datasets van menselijke spraak en bouwen zo op grote schaal inzicht op in de nuances ervan. Met deze referentiepunten kan een model zich aanpassen aan een nieuwe steminvoer met behulp van zijn bestaande kennis. Deze modellen hoeven nooit vanaf nul te beginnen, wat de ontwikkeling versnelt en de totale benodigde hoeveelheid audio aanzienlijk vermindert.
• Meertalig klonen: Modellen trainen met een grote verscheidenheid aan talen en leren de unieke en gedeelde akoestische en prosodische structuren. Menselijke spraak heeft, ongeacht de taal, vaak vergelijkbare emotionele kenmerken. Daardoor kun je invoer in de ene taal opnemen en spraak in een andere taal produceren.
• Realtime klonen: Spraakmodellering was vroeger afhankelijk van batchverwerking om grote hoeveelheden data in één keer op te nemen en vervolgens te verwerken. Een breed scala aan infrastructurele verbeteringen, van snellere stemencoders tot effectievere synthesearchitecturen, heeft de latency van dit proces verminderd. Je kunt nu realtime spraak produceren, wat een reeks nieuwe toepassingen mogelijk maakt.

Deze verbeteringen versterken elkaar en hangen onderling samen. Naarmate één onderdeel van het end-to-endproces zich ontwikkelt, worden de latencybesparingen doorgegeven aan het bredere systeem. En de vooruitgang vertraagt voorlopig niet. 

Populaire toepassingen van AI-gegenereerd stemklonen

Stemklonen maakt nu deel uit van de dagelijkse processen in sectoren over de hele wereld. Van uitgeverijen tot onderwijsinstellingen: AI-gegenereerd stemklonen wordt ingezet om toegankelijkheidsproblemen op te lossen en de productie te versnellen.

Hier zijn enkele populaire toepassingen van AI-gegenereerd stemklonen:

Contentcreatie

Van YouTubers en podcasters tot videoproducenten en luisterboekstudio's: bedrijven gebruiken stemklonen om snel vertelstemmen te genereren en opnamefouten te herstellen. Het zorgt voor snellere doorlooptijden, minder heen-en-weer in de montage, maakt scriptwijzigingen zonder opnieuw opnemen mogelijk en helpt creators hun contentproductie op te schalen. In veel van deze gevallen maakt spraak hoogwaardige gesproken content toegankelijker voor kleinere teams.

Bertelsmann werkt samen met ElevenLabs om de luisterboekproductie binnen zijn portfolio te stroomlijnen. 36 bedrijven binnen de Bertelsmann Group gebruiken ElevenLabs om productietijdlijnen te verbeteren, nieuwe creatieve richtingen te testen en content naar doelgroepen in heel Europa te brengen.

Toegankelijkheid

Stemklonen biedt mensen met degeneratieve aandoeningen een manier om hun stem te behouden voordat ze die verliezen, zodat ze nog lang kunnen spreken nadat natuurlijke spraak moeilijk wordt. Naast individueel gebruik biedt stemklonen betaalbare toegang tot hoogwaardige stemmodellen. Met deze modellen kunnen bedrijven hun audiocontent opschalen op een manier die eerder niet mogelijk was.

Kort voor zijn overlijden werkte ElevenLabs samen met acteur Eric Dane om een digitale kopie van zijn stem te maken. Het stemmodel bood zijn dochters een manier om hun vader te horen zoals hij werkelijk klonk. Over de noodzaak om de toegang tot deze technologie uit te breiden, zei Rebecca Gayheart Dane dat zijn ElevenLabs-stem „hem ontroerde omdat hij dat deel van zichzelf terughad, en omdat onze dochters zijn stem altijd zouden kunnen horen.”

Onderwijs 

Stemtechnologie stelt docenten in staat om hun collegepresentaties om te zetten in volledig opgenomen bestanden die ze met studenten kunnen delen. In plaats van elk college op te nemen, kunnen docenten hun content uitschrijven en hun AI-stemkloon laten spreken. Vooral met meertalige reproductie kunnen docenten informatie in één taal opnemen en aan studenten in hun moedertaal aanbieden. 

PhysicsWallah werkt samen met ElevenLabs om zijn AI-bijlesoplossing tot leven te brengen. Met realtime, natuurlijk klinkende gesproken uitleg kan het platform een AI-stem gebruiken en tegelijk meer dan 90% van de vragen van studenten beantwoorden. Omdat 52% van de PhysicsWallah-studenten liever eerst via audio leert, was ElevenLabs de logische keuze.

Hoe je oplichting met stemklonen herkent en voorkomt

Oplichting met stemklonen is een vrij nieuwe dreiging waarop veel mensen niet zijn voorbereid. De meesten van ons weten hoe we phishing via tekst herkennen, maar vishing (voice phishing) is minder bekend. Dit is deels waarom 77% van alle vishingaanvallen slaagt, wat slachtoffers elk jaar aanzienlijke bedragen kost.

Bij deze oplichting wordt een gekloonde stem gebruikt van een naaste van het doelwit, vaak een partner of familielid dat met spoed belt om geld af te troggelen. Net als alle phishing is dit gebaseerd op handelingsbias: de aanvaller wil dat je reageert voordat je nadenkt. Als je pauzeert, kritisch nadenkt of de „beller” via een ander kanaal bereikt, valt de illusie uiteen.

Wees vooral alert op verzoeken om geld over te maken. Een onbekend nummer moet extra alarmbellen doen rinkelen, zelfs als de stem vertrouwd klinkt.

Neem vooral altijd even extra de tijd om de situatie te beoordelen en kritisch na te denken. Als je een voice-phishingscam ontdekt, meld deze dan bij de lokale autoriteiten en blokkeer het nummer. 

Hoe je jezelf beschermt tegen AI-stemklonen

ElevenLabs werkt met een gelaagd veiligheidssysteem dat is ontworpen om misbruik te voorkomen. Het blokkeert het klonen van stemmen van beroemdheden en andere risicovolle stemmen, vereist verificatie voor toegang tot de modus Professional Voice Cloning en monitort het platform actief op beleidsovertredingen.

We bieden ook een openbare AI Speech Classifier, waarmee je kunt controleren of een audiofragment met ElevenLabs is gegenereerd. Dankzij deze beschermingslagen ondervinden kwaadwillenden aanzienlijk meer obstakels dan legitieme gebruikers.

Vanuit persoonlijk perspectief zijn dit drie stappen die je kunt nemen om jezelf tegen AI-stemklonen te beschermen:

• Beperk openbaar beschikbare stemopnames: Verwijder waar mogelijk openbaar beschikbare opnames en stemdata uit je profielen. Maak je socialmediaplatforms privé als ze videocontent delen en beperk je digitale voetafdruk, zodat kwaadwillenden zo weinig mogelijk materiaal hebben om mee te werken.
• Zie dit als een mogelijke dreiging: Oplichting met stemklonen vindt op dit moment plaats. Zorg dat je begrijpt hoe deze werkt en behandel inkomende telefoontjes van onbekende nummers voorzichtig. Je kunt zelfs een geheim familiecodewoord afspreken waarmee bellers in risicovolle situaties kunnen bevestigen dat ze de echte persoon zijn.
• Schakel nummerweergave en spamfilters in: Het inschakelen van telefoonfilters die je apparaat of provider aanbiedt, helpt voorkomen dat bekende frauduleuze nummers je telefoon bereiken. Hoewel deze filters niet perfect zijn, kunnen ze veel doen om deze scams te stoppen voordat ze beginnen.

Geen van deze stappen vereist dat je stopt met technologie voor stemklonen of je volledig terugtrekt uit het openbare leven. Het gaat erom op de hoogte te blijven van hoe mogelijke dreigingen eruit kunnen zien en je daarop aan te passen.

Hoe ElevenLabs ongeautoriseerd stemklonen voorkomt

ElevenLabs staat niet toe dat je een stem kloont waarvoor je geen toestemming hebt. Voor elke stemkloon die op het platform wordt gemaakt, moet de spreker bevestigen dat de stem van hen is of dat ze uitdrukkelijke rechten hebben om deze te gebruiken.

Enkele waarborgen die in dit proces zijn ingebouwd:

• Toestemmingsverificatie: Voordat een stemkloon kan worden gemaakt, vereist ElevenLabs een bevestiging dat de persoon die deze maakt de eigenaar van de stem is of toestemming van de eigenaar heeft om deze te klonen. Voor Professional Voice Cloning omvat dit aanvullende stappen voor identiteitsverificatie.
• Geblokkeerde risicovolle stemmen: ElevenLabs blokkeert het klonen van stemmen van beroemdheden, publieke figuren en andere risicovolle stemmen om imitatie te voorkomen.
• Doorlopende monitoring: Het platform controleert actief op beleidsovertredingen en misbruik, en accounts die dit beleid schenden kunnen handhavingsmaatregelen opgelegd krijgen.
• Openbare detectietools: Onze AI Speech Classifier laat iedereen controleren of een audiostuk met ElevenLabs is gegenereerd. Zo krijgen individuen en platforms een manier om verdachte content te verifiëren.

Dankzij deze beschermingsmaatregelen kan iemand niet zomaar een opname van een andere persoon uploaden en zonder toestemming van die persoon spraak in diens stem genereren. Het doel is om stemklonen veilig en toegankelijk te maken voor de mensen voor wie het bedoeld is, en tegelijk misbruik aanzienlijk moeilijker te maken.

Ga aan de slag met ElevenCreative voor naadloos stemklonen 

Of je nu voor de lol meer wilt weten over stemklonen of klaar bent om een voice AI-chatbot op enterpriseniveau te maken, ElevenCreative is ontwikkeld om hoogwaardige spraakuitvoer eenvoudig te maken. Kloon je stem met een kort audiofragment of kies vandaag nog voor een productieklaar stemkloon. Zet je nieuwe stem in voor meer dan 90 talen, terwijl je vocale identiteit centraal blijft staan. Zodra je stem is gekloond, kan die alles ondersteunen wat je verder in ElevenCreative maakt, van Text to Speech en Dubbing tot volledige video- en Studio-projecten.

Maak je stemkloon vandaag nog met ElevenCreative of bekijk de documentatie voor meer informatie.

Wat is stemklonen? Veelgestelde vragen