Nu lanserar vi Voice Changer

Voice Changer kallades ursprungligen speech-to-speech. I samband med AI-röstassistenter, syftar ”speech-to-speech” också på sammanslagna arkitekturer där en enda modell hanterar ljudinmatning och ljudutmatning direkt. ElevenAgents använder en avancerad kaskadarkitektur för sin plattform. Läs mer: Kaskadmodeller jämfört med sammanslagna modeller.

Voice Changer

Vi har lagt till Voice Changer i Speech Synthesis. Voice Changer är ett verktyg för röstkonvertering som tar en inspelning av en röst och får den att låta som om den talades av en annan – samtidigt som det ursprungliga framförandet bevaras. Det innebär att känslorna, timingen, tempot och uttalet i inspelningen förs över till utdata-rösten.

Det ger dig en nivå av kontroll som text-to-speech-prompter ensamma inte alltid kan ge. Det finns två huvudsakliga sätt att använda det på.

Få fram mer känsla ur en röst. Alla röster reagerar inte lika bra på känslomässig vägledning via text-to-speech-prompter. Med Voice Changer kan du spela in eller ladda upp mycket uttrycksfullt tal och återskapa dess känslomässiga omfång i en annan röst. Om du behöver få en professionell berättare att låta varmare, eller en karaktär i en barnbok att låta mer lekfull, kan du själv framföra repliken och låta Voice Changer överföra den till målrösten.

Finjustera talets framförande. Våra text-to-speech-modeller hanterar vanligtvis intonation bra direkt. Men när du behöver exakt kontroll över hur en viss fras framförs – var betoningen hamnar, hur en paus faller, hur rytmen känns – kan du demonstrera det med din egen röst och sedan tillämpa det framförandet på valfri röst med Voice Changer. Det blir ännu mer användbart när vi integrerar Voice Changer direkt i Studio, men målet är detsamma: att ge dig exakt kontroll över dina resultat.

Här är en genomgång från en av medlemmarna i vår community:

Forskning

För att konvertera källtal till måltal behöver vi uttrycka innehållet i källtalet med måltalets egenskaper. En användbar liknelse är ansiktsbyte: appar som tar två ansikten och blandar dem, så att en persons ansiktsdrag renderas i den andra personens mappade struktur.

Det görs genom att ta bilden av ett ansikte och mappa dess attribut. Markörerna i exemplet nedan gör just det – de är gränserna inom vilka det andra ansiktet skulle renderas.

Nyckeln till röstkonvertering är att rendera innehållet i källtalet med måltalets fonem. Men här finns en avvägning, precis som i exemplet med ansiktsbyte: ju fler markörer du använder för att mappa ett ansiktes attribut, desto fler begränsningar lägger du på ansiktet som mappas inom dem. Färre markörer innebär färre begränsningar.

Detsamma gäller röstkonvertering. Ju mer vi prioriterar måltalet, desto större är risken att det hamnar ur synk med källtalet. Men om vi inte prioriterar det tillräckligt mycket riskerar vi att förlora mycket av det som gör talet karaktäristiskt. Om vi till exempel skulle rendera en inspelning av någon som skriker argt med en viskande röst, skulle vi få problem. Om vi prioriterar känslorna i källtalet för mycket, blir priset att vi förlorar intrycket av att det är en viskande röst som talar. Om vi lägger för stor vikt vid det viskande talmönstret, förlorar vi källtalets känslomässiga laddning.

Produkt och senaste uppdateringar

Ändringar i färdiga röster

Vi gör ändringar i de standardröster som finns i Speech Synthesis. Vi kommer att avveckla några röster och ersätta dem med nya, med över 20 tillägg planerade under de kommande veckorna.

Vi kommer också att börja visa information i gränssnittet om hur länge varje röst förväntas vara tillgänglig. Under december kommer vi att förnya våra funktioner för röstdelning och ersättning för användning för att förbättra röstutbudet. Mer information kommer snart.

Eleven Turbo v2 och uLaw-formatet 8 kHz

Turbo v2 är resultatet av månader av forskning från vårt team. Den är utformad för interaktioner i realtid, men fungerar för alla användningsområden. Den stöder även standardformatet (m)uLaw 8 kHz för IVR-system.

Normalisering och metadata med Studio

Studio har nu stöd för branschstandarder för inlämning av ljudböcker, inklusive nivåjustering och dynamisk komprimering. Du kan också bädda in metadata direkt i ditt Studio-projekt (ISBN, författare och titel).

Uttalslexikon

Det här har varit en av våra mest efterfrågade funktioner. Förra månaden lade vi till stöd för SSML-taggar för att ange uttal med IPA- och CMU-lexikon i våra engelska modeller. Nu har vi lanserat stöd för uttalslexikon i Studios gränssnitt, så att du kan ladda upp en fil som anger uttal med IPA, CMU eller ordersättningar (alias). Lexikonfiler använder branschstandardformatet .PLS, ett öppet lexikonfilformat.

IPA och CMU stöds för närvarande av Turbo v2 English. Ordersättningar stöds av alla modeller och språk. Fullständig dokumentation finns här.

Om du har feedback är du välkommen att kontakta oss på Discord!

Prova Voice Changer

Säg det som du vill och hör det framföras med en helt annan röst, med full kontroll över framförandet. Fånga viskningar, skratt, accenter och subtila känslomässiga nyanser.