Deze stem bestaat niet - generatieve stem-AI

De laatste tijd lijkt iedereen het te hebben over generatieve AI. Grote taalmodellen en tekst-naar-beeldmodellen die worden aangedreven door deep learning, zoals ChatGPT, Stable Diffusion, DALL-E en Midjourney, hebben voor veel opschudding gezorgd in de techwereld en daarbuiten. Velen rekenen ze tot de belangrijkste recente ontwikkelingen op het gebied van AI. Of je het daar nu mee eens bent of niet, het algemene gevoel lijkt te zijn dat er iets bijzonder krachtigs is verschenen. In 2023 zullen we horen over modellen die je kunnen helpen tekenen of video's maken. Net zoals we ons afvragen wat de nieuwste en beste smartphone is, zullen we ons binnenkort afvragen wat het nieuwste en beste foundation model is. Maar ondanks al deze opwinding vinden we dat er binnen generatieve media nog één gebied sterk onderbelicht is: AI-stemmen. Het is ook het gebied waarop we marktleider willen worden. Bij Eleven benutten we dagelijks het potentieel van deep-learningtechnieken voor onze levensechte text-to-speech- en voice cloning-tools. En nu gebruiken we ook ons eigen generatieve model, waarmee je volledig nieuwe synthetische stemmen vanaf nul kunt ontwerpen.

Voice Generator - ontwerp een stem

Onze gebruikers komen dagelijks naar het platform om hun personages tot leven te brengen, of het nu voor luisterboeken, games of fanfictie is. We beseften dat onze huidige stemmenbibliotheek te klein is om iedereen stemmen te laten vinden die bij hun contentbehoeften passen én exclusief voor elke gebruiker blijven. Onze oplossing was om je volledig nieuwe synthetische stemmen te laten ontwerpen.

We kregen een idee voor onze aanpak toen we de methoden onderzochten die we momenteel gebruiken voor spraaksynthese en voice cloning. Beide processen vereisen een manier om de kenmerken van een specifieke stem te coderen. Speaker embeddings dragen deze identiteit: ze vormen een vectorrepresentatie van de stem van een spreker. We beseften dat we uit de verdeling van speaker embeddings konden samplen door een speciaal model te trainen waarmee we oneindig veel nieuwe stemmen kunnen maken.

Omdat onze gebruikers vooral specifieke spraakkenmerken zoeken, moesten we het proces een bepaalde mate van controle geven. We hebben ons model uitgebreid met conditionering om stemmen te genereren op basis van hun kenmerken. Met het model kun je nu enkele basisparameters instellen die de kernidentiteit van de nieuwe stem bepalen: geslacht, leeftijd, accent, toonhoogte en spreekstijl. Met andere woorden: elke keer dat je op ‘genereren’ klikt, krijg je, zelfs als je dezelfde basisparameters kiest, een volledig nieuwe stem die nog niet eerder bestond.

Hieronder vind je enkele voorbeelden van stemmen die je op deze manier kunt ontwerpen:

'Design Voice' wordt deze februari beschikbaar op ons platform als onderdeel van Voice Lab.

Wat heb je eraan?

Onze tools kunnen nu al spraak produceren die net zo levensecht is als die van mensen, en we verwachten dat het aantal mogelijke toepassingen voor kunstmatige stemmen alleen maar zal toenemen. Voor veel van deze nieuwe toepassingen, waaronder audio opnemen voor nieuwsuitgaven of commercials, is het nodig dat één stem beperkt blijft tot en herkenbaar is voor een specifiek merk of een specifieke use case, en nergens anders wordt gebruikt. Andere use cases, zoals verhalen vertellen en videogames, geven prioriteit aan flexibiliteit en de vrijheid om al vroeg in de ontwikkeling te experimenteren. Daarom wilden we, in plaats van een gigantische verzameling virtuele sprekers te maken, gebruikers het laatste woord geven over welke stemmen het beste bij hun doel passen.

Boekauteurs krijgen nu niet alleen de mogelijkheid om hun werk eenvoudig naar audio om te zetten, maar behouden ook de artistieke controle over het ontwerpen van narratie op maat. Dit biedt hun publiek interessante nieuwe manieren om met publicaties om te gaan en vergroot bovendien aanzienlijk het aantal boeken waar we met plezier naar kunnen luisteren.

Nieuwsuitgevers begeven zich steeds vaker op het gebied van audio, en het kiezen van onderscheidende stemmen die hun publicaties vertegenwoordigen is een belangrijke taak: veel luisteraars waarderen zowel de vorm als de inhoud. Net zo belangrijk is dat uitgevers er nu zeker van kunnen zijn dat een specifieke stem hen, en alleen hen, vertegenwoordigt.

Videogameontwikkelaars kunnen nu met alle benodigde tools binnen handbereik een groot aantal anders zwijgende NPC's van stemmen voorzien. Ze kunnen niet alleen kostenefficiënter werken zonder concessies te doen aan kwaliteit, maar ook stemmen ontwerpen die volledig uniek zijn voor de virtuele werelden die ze creëren.

Reclamecreatieven hebben voice-overs nodig die bij specifieke campagnes passen. Daarom is het een aanzienlijk voordeel dat ze al aan het begin van de ontwikkeling aansprekende en doelgerichte narratie kunnen ontwerpen. Ze kunnen nu direct experimenteren met meerdere stemmen en voordrachtstijlen, zonder extra middelen in te schakelen.

Van creators die allerlei soorten audio- en videocontent produceren tot bedrijfsfunctionarissen die bedrijfscommunicatie van stemmen willen voorzien: de mogelijkheden om aansprekende audio te ontwerpen die zowel uniek is als afgestemd op een specifieke use case, zijn nu eindeloos.

Ethische AI

Net zoals voice cloning zorgen oproept over de gevolgen van mogelijk misbruik, maken steeds meer mensen zich zorgen dat de verspreiding van AI-technologie het levensonderhoud van professionals in gevaar brengt. Bij Eleven zien we een toekomst waarin stemacteurs hun stemmen tegen betaling in licentie kunnen geven om spraakmodellen te trainen voor specifiek gebruik. Klanten en studio's zullen nog altijd graag professionele stemacteurs inzetten in hun projecten, en het gebruik van AI draagt simpelweg bij aan snellere doorlooptijden en meer vrijheid om vroeg in de ontwikkeling te experimenteren en richting te bepalen. De technologie zal veranderen hoe gesproken audio wordt ontworpen en opgenomen, maar doordat stemacteurs niet langer fysiek aanwezig hoeven te zijn bij elke sessie, kunnen ze echt aan meer projecten tegelijk meewerken en hun stemmen daadwerkelijk vereeuwigen.

Daarnaast zijn we enthousiast omdat een groot aantal boeken, nieuwsberichten, onafhankelijke games en andere content waarvan de auteurs en ontwikkelaars de opnamekosten anders niet zouden kunnen betalen, nu via een ander medium toegankelijk wordt. Deze grotere toegankelijkheid biedt de kans om in elk geval een breder publiek te bereiken.

Bij Eleven zetten we ons volledig in voor zowel het respecteren van intellectuele-eigendomsrechten als het implementeren van waarborgen tegen mogelijk misbruik van onze technologie:

• We werken alleen samen met klanten die zich houden aan onze Voorwaarden, die kwaadwillig gebruik van onze technologie verbieden voor doeleinden die als illegaal of schadelijk kunnen worden beschouwd;
• We werken ook aan het watermerken van alle audio die door ons model wordt gegenereerd, zodat deze direct naar ons kan worden herleid;
• Wanneer we herkenbare stemmen gebruiken, doen we dat voor demonstratiedoeleinden en in contexten die niet tot belangenconflicten leiden;
• Tegelijkertijd willen we stemeigenaren en hun licentiegevers ondersteunen bij het opeisen van hun rechten. Alle bekende inbreuken worden beoordeeld en aangepakt.

Vooruitblik - verbeter je eigen stem

In de toekomst willen we de mogelijkheden van onze stemgeneratie- en voice cloning-modellen combineren, zodat gebruikers hun eigen stemmen kunnen verbeteren. Je kunt je stem klonen en die vervolgens naar elk gewenst effect aanpassen. Als je bang bent dat je natuurlijke spreekstijl wat monotoon is, kun je er meer variatie aan toevoegen. Als je het echt vervelend vindt om opgenomen te worden, kun je de output aanpassen zodat die natuurlijker klinkt. Iedereen die voor welk doel dan ook audio met de eigen stem moet produceren, of het nu een vooraf opgenomen presentatie of een audiobericht is, kan dat met één klik doen met onze tools.

Gelukkig nieuwjaar

Nu 2022 ten einde loopt, willen we onze bètagebruikers bedanken voor jullie voortdurende deelname en feedback. Veel van de functies die we ontwikkelen, komen voort uit jullie input en suggesties. We zijn ontzettend blij dat jullie erbij zijn en wensen jullie allemaal een gelukkig nieuwjaar.

Eleven Labs Beta
Ga hierheen om je te registreren voor ons bètaplatform en het zelf te proberen. We brengen voortdurend verbeteringen aan en alle inzichten van gebruikers zijn in deze vroege fase zeer waardevol voor ons.