Stemconversie

Wat is stemconversie?

Met stemconversie kun je de stem van de ene persoon omzetten naar die van een ander. Hierbij wordt een proces gebruikt dat stemklonen heet, om de doelstem te coderen – dat wil zeggen: de stem waarnaar we omzetten – en hetzelfde bericht te genereren op een manier die overeenkomt met de identiteit van de doelspreker, maar de oorspronkelijke intonatie behoudt.

Toepassingen

Hoogwaardige technologie voor stemconversie en stemklonen kan de manier waarop content in uiteenlopende sectoren wordt geproduceerd, geleverd en gebruikt, ingrijpend veranderen. De technologie kan productietijd en -kosten optimaliseren en mensen die hun stem delen om conversiealgoritmen te trainen, mogelijkheden bieden om passieve vergoedingen te verdienen.

• In de filmindustrie kunnen acteurs hun stemdatabases delen met producenten om audiotracks te maken, zonder naar de set of studio te hoeven reizen;
• verkeerd uitgesproken zinnen kunnen in de postproductie veel effectiever opnieuw worden opgenomen;
• de technologie kan ook worden gebruikt om de stemmen van historische personen getrouw te reproduceren in fictieve scenario's of om overleden acteurs weer tot leven te brengen;
• ook bij de ontwikkeling van videogames is de technologie vergelijkbaar nuttig: uitspraken corrigeren of gewoon experimenteren kan ter plekke en zonder dat de acteur fysiek aanwezig is voor de opname;
• in de geneeskunde kunnen patiënten die hun spraakvermogen hebben verloren, bijvoorbeeld door een behandeling voor keelkanker, de kans krijgen om weer met hun eigen stem te communiceren;
• virtuele assistenten kunnen persoonlijker worden, omdat gebruikers thuis het mogelijk natuurlijker vinden om te communiceren met bijvoorbeeld de stem van een dierbare dan met die van een virtuele onbekende;
• omgekeerd kan de reclamebranche profiteren van synthetische voice-overs die net zo echt klinken als een mens, maar problemen rond rechten en royalty's vermijden. Als juist een herkenbare stem nodig is, kunnen reclameproducenten de technologie ook gebruiken om met toestemming de stem van een bepaalde acteur te klonen, zonder dat die persoon fysiek aanwezig hoeft te zijn bij lange opnamesessies;
• de luisterboek- en podcastsector zijn nog twee groeiende sectoren waarin de toepassing van stemklonen en stemconversie de kans biedt om de productie en bewerking van meeslepende content te optimaliseren.

Stemconversie van Eleven

Hoewel we bij Eleven als onderdeel van ons pakket tools software voor stemconversie ontwikkelen, ondersteunt ons onderzoek naar stemklonen en stemsynthese voornamelijk de ontwikkeling van ons belangrijkste product, dat we begin volgend jaar willen uitbrengen: de automatische, identiteitsbehoudende nasynchronisatie-tool.

Ons doel is om alle gesproken content met één klik toegankelijk te maken in verschillende talen, met behoud van de stem van de oorspronkelijke spreker. Stel je een educatieve YouTube-video in het Engels voor. Als iemand alleen Spaans spreekt, maar het onderwerp interessant zou vinden als diegene de taal kende, is dat een probleem. Ondertiteling biedt natuurlijk een oplossing, maar we willen een veel meeslependere en vermakelijkere manier bieden om content te beleven. We willen diezelfde persoon dezelfde boodschap op natuurlijke wijze kunnen laten uitspreken in Spaans op moedertaalniveau, ook als die persoon die taal eigenlijk niet spreekt.

Daarvoor stelt stemklonen ons in staat hun identiteit te behouden – het geluid van hun stem. We gebruiken het om nieuwe uitingen in een andere taal te genereren, zodat het klinkt alsof dezelfde persoon spreekt.

Stemconversie speelt een rol omdat we hun emoties, intentie en manier van spreken willen behouden voor maximale beleving. We trainen robuuste meertalige modellen waarmee we uitingen in de brontaal kunnen analyseren en met de juiste intonatie kunnen overzetten naar de doeltaal.

Proces

Om de stem van de ene persoon om te zetten naar die van een ander, dus spraak uit de bron naar spraak voor het doel, hebben we een algoritme nodig dat de inhoud van de bronspraak kan uitdrukken met de kenmerken van de doelspraak. Een goede vergelijking is met face-swapping-apps, waarmee je je eigen gezicht met dat van iemand anders kunt combineren tot één afbeelding.

Hiervoor neem je de afbeelding van een gezicht en breng je de eigenschappen ervan in kaart. De punten in het onderstaande voorbeeld doen precies dat: ze vormen de grenzen waarbinnen de kenmerken van het andere gezicht worden weergegeven.

Bij stemconversie hebben we een manier nodig waarop het algoritme eigenschappen van de doelspraak kan coderen. Het algoritme wordt getraind op een dataset met veel voorbeelden van die spraak. Het splitst die samples op tot een fundamenteel niveau – als het ware de 'atomen' van spraak. Spraak bestaat uit zinnen. Zinnen bestaan uit woorden. Woorden zijn opgebouwd uit fonemen, die de kenmerken van doelspraak aangeven. Dat is het fundamentele niveau waarop het algoritme werkt.

De kunst van stemconversie is om de inhoud van bronspraak weer te geven met fonemen van doelspraak. Maar hierbij is er, net als bij het voorbeeld van face-swapping, een afweging: hoe meer markeringen je gebruikt om de eigenschappen van een gezicht in kaart te brengen, hoe meer beperkingen je oplegt aan het gezicht dat je daarbinnen weergeeft. Minder markeringen betekenen minder beperkingen. Hetzelfde geldt voor stemconversie. Hoe meer voorrang we geven aan doelspraak, hoe groter het risico dat we niet meer synchroon lopen met de bronspraak. Maar als we er niet genoeg voorrang aan geven, lopen we het risico veel kwijt te raken van wat die spraak kenmerkt. Als we bijvoorbeeld een opname van iemand die boos schreeuwt zouden weergeven met de stem van Morgan Freeman, zouden we een probleem hebben. Geven we te veel voorrang aan de emoties in de bronspraak, dan verliezen we de indruk dat Morgan Freeman echt spreekt. Leggen we te veel nadruk op zijn spraakpatroon, dan verliezen we de emotionele lading van de bronspraak.

Ethiek

Ethische zorgen rond stemklonen verdienen aandacht, omdat steeds meer mensen zich zorgen maken over de mogelijkheden om deze technologie te misbruiken. In 2020 gebruikten oplichters audio-deepfakes om zich tijdens een telefoongesprek voor te doen als een CEO en een bankoverschrijving van $35 miljoen te autoriseren. Een technologie die overtuigend kan laten lijken alsof iemand iets heeft gezegd wat diegene niet heeft gezegd, roept begrijpelijkerwijs de angst op dat deze wordt gebruikt voor desinformatie, smaad of fraude. Ook stemconversie roept belangrijke vragen op over auteursrechtinbreuk als gebruikers ermee kunnen profiteren van content die zonder toestemming van stemeigenaren is gegenereerd.

Bij Eleven vinden we dat we moeten doen wat we kunnen om ervoor te zorgen dat onze technologie niet voor kwalijke doeleinden wordt gebruikt, en om waarborgen te implementeren die beschermen tegen de risico's ervan:

• we werken alleen samen met klanten die zich houden aan onze Voorwaarden, die kwaadwillig gebruik van onze technologie met de bedoeling om desinformatie te verspreiden, smaad te plegen, fraude te plegen of voor enig ander doel dat als illegaal of schadelijk kan worden beschouwd, verbieden;
• synthetische videocontent van Eleven bevat een duidelijk watermerk dat aangeeft dat deze door AI is gegenereerd. Audiocontent bevat een duidelijke bestandsbeschrijving. Wanneer we herkenbare stemmen gebruiken, doen we dat voor demonstratiedoeleinden en in contexten die geen belangenconflicten veroorzaken;
• tegelijkertijd proberen we stemeigenaren en hun licentiehouders te ondersteunen bij het opeisen van hun rechten.
• Heb je ideeën over hoe we ons standpunt kunnen verbeteren? Laat het ons dan weten via ethics@elevenlabs.io

Wij geloven dat angst voor misbruik niet de doorslaggevende factor moet zijn die onze houding tegenover krachtige nieuwe technologieën bepaalt. We moeten er juist naar streven om tijdens de ontwikkeling passende waarborgen in te voeren, zodat we het risico op schade beperken en tegelijk optimaal gebruikmaken van de mogelijkheden die de technologie de bredere gemeenschap biedt.

Toekomst

Technologie voor stemconversie en stemklonen kan de filmindustrie, televisie, contentcreatie, gameontwikkeling, podcasts en luisterboeken, evenals de reclamebranche, ingrijpend veranderen. De toepassingen gaan echter verder dan commercieel gebruik, met mogelijke toepassingen in de geneeskunde, het onderwijs en communicatie.

Stemklonen maakt de weg vrij voor een toekomst waarin elke vorm van content in elke taal en met elke stem kan worden gegenereerd, om miljoenen mensen wereldwijd te bereiken en een volledig nieuwe economie te creëren. Ons doel bij Eleven is om deze toekomst te helpen realiseren.