Eleven op INTERSPEECH 2022

Hoe het ging

We zijn net terug van de INTERSPEECH-conferentie van dit jaar, die tot nu toe onze beste gelegenheid was om alle ontwikkelingen waaraan we de afgelopen maanden hebben gewerkt te presenteren en er feedback op te krijgen.

Het was geweldig om van de besten in het vak te leren, ideeën met hen uit te wisselen en daarbij relaties voor de toekomst op te bouwen. We ontmoetten teams van een aantal fantastische startups die in hetzelfde vakgebied werken als wij, met name aan stemklonen, spraaksynthese (TTS) en stemconversie (VC), zoals Supertone en LOVO. We vonden het net zo interessant om met enkele van de meest gevestigde bedrijven, zoals Meta en Google, te praten over het werk achter de schermen bij de ontwikkeling van TTS- en VC-software.

We gingen meteen aan de slag. De oprechte belangstelling voor ons werk maakte ons ontzettend blij – alles overtrof onze verwachtingen. In de vier dagen daarna bespraken we ons onderzoek en onze voortgang binnen de drie hierboven genoemde gebieden van spraaktechnologie: de cruciale eerste stappen op weg naar onze eigen automatische nasynchronisatietool, waarvan we versie 1.0 begin volgend jaar willen uitbrengen.

Het belangrijkste voor ons was hier om te bewijzen dat we stemmen nauwkeurig kunnen klonen: dat we de overeenkomst kunnen behouden tussen de bronstemdata waarop we ons algoritme trainen en de manier waarop diezelfde stem klinkt wanneer deze synthetisch wordt gegenereerd. Ten tweede was het cruciaal om te bewijzen dat onze TTS-tools op weg zijn om deel uit te maken van een platform voor synthetische spraak dat uiterst menselijk en natuurlijk klinkt, met ongeëvenaarde prosodie en tonaliteit.

Het eerste is natuurlijk belangrijk omdat nieuw gegenereerde uitingen direct herkenbaar moeten zijn als uitgesproken door een bepaalde persoon: we moeten de identiteit van de spreker correct behouden. Prosodie en tonaliteit zijn belangrijk omdat toon en tempo intentie overbrengen, en dat is juist wat spraak menselijk laat klinken. Het ultieme doel is dat het programma woorden niet alleen vloeiend uitspreekt, maar de uiting ook van de juiste emotionele lading voorziet, zodat het klinkt alsof het begrijpt wat het zegt.

TTS-demo

Hieronder zie je een dergelijke TTS-demo die we tijdens de conferentie gebruikten. De eerste link is de originele video, gevolgd door ons voorbeeld met dezelfde boodschap, uitgesproken met een andere stem. Let wel: dit is text-to-speech, geen stemconversie. Onze enige input was het uitschrijven van de woorden uit de originele video om de spraak die je hoort te genereren. Alle prosodie en intonatie komen van het algoritme zelf; er is geen nabewerking toegepast. Kijk of je herkent van wie de stem is!

In onze volgende bijdrage, die specifiek is gewijd aan het genereren van spraak uit tekstinvoer, lees je meer over Eleven TTS-technologie.

Als je onze technologie interessant vindt en onze bètatester wilt worden, kun je je hiervoor hier aanmelden.

Origineel:

Eleven Labs stemklonen TTS:

Inhoud boven vorm

In de maanden voorafgaand aan de conferentie richtten we ons bijna uitsluitend op het leveren van voorbeelden die onze technologie aantoonbaar maken en op het tonen van ons eigen onderzoek. INTERSPEECH is immers een onderzoeksconferentie en we waren ervan overtuigd dat inhoud boven vorm moest gaan, zeker bij zo'n specifiek gerichte bijeenkomst. Toen de conferentie begon, maakten we echter grapjes dat onze sterke focus op technologie onze inspanningen rond branding misschien wat te minimalistisch deed lijken. We waren al snel opgelucht, zo niet gesterkt in onze overtuiging, toen we zagen dat ook anderen, waaronder de grote spelers, voor bescheidener opstellingen kozen.

Tot volgend jaar

Onze reis naar Korea was een groot succes voor Eleven en gaf ons veel motivatie om nog harder door te gaan. We kijken er nu al naar uit om te zien welke vooruitgang we het komende jaar kunnen boeken, zowel in ons onderzoek als in de manieren waarop we het presenteren. Hopelijk hebben we tegen die tijd onze nasynchronisatietools van productiekwaliteit voor nasynchronisatie klaar en gebruiken we de stemmen van mensen om hen talen te laten spreken die ze niet beheersen.