Eleven på INTERSPEECH 2022

Så gick det

Vi har precis kommit tillbaka från årets INTERSPEECH-konferens, som var det bästa tillfället vi hittills haft att presentera och få feedback på all utveckling vi arbetat med under de senaste månaderna.

Det har varit fantastiskt att lära av och dela idéer med de främsta inom området, och samtidigt bygga relationer för framtiden. Vi träffade team från flera fantastiska startups som arbetar inom samma område som vi, särskilt med Voice Cloning, talsyntes (TTS) och röstkonvertering (VC) – Supertone och LOVO är bara två exempel. Vi var lika glada över att prata med några av de mest etablerade företagen, som Meta och Google, om arbetet bakom kulisserna med att utveckla programvara för TTS och VC.

Vi satte genast igång. Den genuina entusiasmen för vårt arbete kunde inte ha gjort oss gladare – allt överträffade våra förväntningar. Under de följande fyra dagarna diskuterade vi vår forskning och våra framsteg inom de tre områdena för talteknik ovan – de helt avgörande första stegen mot att utveckla vårt egna automatiska dubbningsverktyg, vars version 1.0 vi planerar att släppa i början av nästa år.

Det viktigaste för oss var att bevisa att vi kan klona röster troget – att vi kan bevara likheten mellan källröstdata som vi tränar vår algoritm på och hur samma röst låter när den genereras syntetiskt. För det andra var det avgörande att visa att våra TTS-verktyg är på väg att bli en del av den mest mänskliga och naturligt klingande plattformen för syntetiskt tal, med oöverträffad prosodi och tonalitet.

Det första är naturligtvis viktigt eftersom vi behöver att de nygenererade yttrandena direkt kan identifieras som talade av en viss person – vi måste bevara talarens identitet korrekt. Prosodi och tonalitet är viktiga eftersom tonfall och tempo förmedlar avsikt, vilket är det som får tal att låta mänskligt från första början. Det ultimata målet är att programmet inte bara uttalar ord flytande, utan också ger yttrandet rätt känslomässig laddning så att det låter som om det förstår vad det säger.

TTS-demo

Nedan kan du se en sådan TTS-demo som vi använde under konferensen. Den första länken är originalvideon, följt av vårt exempel med samma budskap talat med en annan röst. Observera att det här är text-till-tal – inte röstkonvertering. Vår enda indata var att skriva ner orden som sades i originalvideon för att generera talet du hör. All prosodi och intonation kommer från själva algoritmen, utan någon efterbearbetning. Se om du känner igen vems röst det är!

I vårt nästa inlägg, som är särskilt ägnat åt att generera tal från text, kan du läsa mer om Eleven TTS-teknik.

Om du gillar vår teknik och vill bli vår betatestare kan du anmäla dig genom att klicka här.

Original:

Eleven Labs Voice Cloning TTS:

Innehåll före form

Under månaderna före konferensen fokuserade vi nästan uteslutande på att ta fram konkreta exempel på vår teknik och visa vår egen forskning. INTERSPEECH är trots allt en forskningskonferens, och vi var fast beslutna om att innehållet måste komma före formen, särskilt vid en så tydligt inriktad sammankomst. När konferensdagen kom började vi dock skämta om att vårt starka teknikfokus kanske fick vårt varumärkesarbete att framstå som alltför minimalistiskt. Vi blev snart ganska lättade, om inte rentav bekräftade, när vi såg att även andra, inklusive de stora aktörerna, hade valt enklare upplägg.

Till nästa år

Vår resa till Korea var en stor framgång för Eleven och gav oss mycket motivation att fortsätta arbeta ännu hårdare. Vi ser redan fram emot de framsteg vi kan göra under nästa år, både i vår forskning och i hur vi presenterar den. Förhoppningsvis har vi då våra dubbningsverktyg i produktionskvalitet klara, och använder människors röster för att låta dem tala språk de inte behärskar.