Conversione Vocale

Cos'è la conversione vocale?

La conversione vocale ti consente di trasformare la voce di una persona in quella di un'altra. Utilizza un processo chiamato clonazione vocale per codificare la voce di destinazione, ovvero la voce in cui effettuiamo la conversione, e generare lo stesso messaggio pronunciato in un modo che corrisponda all'identità del parlante di destinazione, preservando però l'intonazione originale.

Utilizzi

Le tecnologie di conversione vocale e clonazione vocale di alta qualità possono rivoluzionare il modo in cui i contenuti vengono prodotti, distribuiti e fruiti in diversi settori. Consentono di ottimizzare tempi e costi di produzione e offrono a chi mette a disposizione la propria voce per addestrare gli algoritmi di conversione la possibilità di ottenere compensi passivi.

• nel cinema, gli attori potrebbero condividere i database delle loro voci con i produttori per creare tracce audio senza dover raggiungere il set o lo studio;
• le battute pronunciate in modo errato potrebbero essere registrate di nuovo in post-produzione in modo molto più efficace;
• la tecnologia può essere usata anche per riprodurre fedelmente le voci di personaggi storici in scenari di finzione o per riportare in vita attori scomparsi;
• anche lo sviluppo di videogiochi può trarre vantaggio dalla tecnologia: correggere battute o semplicemente sperimentare potrebbe avvenire sul momento, senza che l'attore debba essere fisicamente presente per la registrazione;
• in medicina, ai pazienti che hanno perso la capacità di parlare, ad esempio in seguito a un trattamento per il tumore alla gola, può essere data la possibilità di comunicare di nuovo con la propria voce;
• gli assistenti virtuali potrebbero diventare personalizzati, poiché per gli utenti domestici potrebbe risultare più naturale interagire, ad esempio, con la voce di una persona cara anziché con quella di uno sconosciuto virtuale;
• al contrario, il settore pubblicitario potrebbe trarre vantaggio dall'introduzione di voci fuori campo sintetiche che suonano reali quanto qualsiasi voce umana, evitando al contempo le questioni legate alla titolarità dei diritti e alle royalty. D'altra parte, quando serve proprio una voce riconoscibile, anche i produttori pubblicitari potrebbero usare la tecnologia per clonare consensualmente la voce di un determinato attore, senza che debba essere fisicamente presente a lunghe sessioni di registrazione;
• i settori degli audiolibri e dei podcast sono altri due ambiti in crescita in cui l'applicazione della clonazione vocale e della conversione vocale offre la possibilità di ottimizzare la produzione e il montaggio di contenuti immersivi.

Conversione vocale di ElevenLabs

Sebbene in Eleven sviluppiamo software di conversione vocale come parte della nostra suite di strumenti, la nostra ricerca sulla clonazione vocale e sulla sintesi vocale alimenta soprattutto lo sviluppo del nostro prodotto principale, che prevediamo di lanciare all'inizio del prossimo anno: lo strumento automatico di doppiaggio che preserva l'identità vocale.

Il nostro obiettivo è rendere tutti i contenuti parlati accessibili in più lingue, con la voce del parlante originale, con un solo clic. Immagina un video di YouTube educativo in inglese. Se qualcuno parla soltanto spagnolo, ma troverebbe interessante l'argomento se conoscesse la lingua, questo è un problema. Certo, i sottotitoli offrono una soluzione, ma il nostro obiettivo è offrire un modo molto più coinvolgente e piacevole di fruire dei contenuti. Vogliamo riuscire a generare quella stessa persona che pronuncia lo stesso messaggio in uno spagnolo naturale, a livello madrelingua, anche se in realtà non lo parla.

A questo scopo, la clonazione vocale ci consente di preservarne l'identità, ovvero il suono della voce. La usiamo per generare nuove frasi in una lingua diversa, in modo che sembri parlare la stessa persona.

La conversione vocale entra in gioco perché vogliamo preservarne le emozioni, l'intento e lo stile di espressione, per un'immersione totale. Addestriamo modelli multilingue robusti che ci permettono di analizzare le frasi nella lingua di origine e adattarle alla lingua di destinazione con l'intonazione corretta.

Processo

Per convertire la voce di una persona in quella di un'altra, cioè il parlato di origine in parlato di destinazione, ci serve un algoritmo in grado di esprimere il contenuto del parlato di origine con le caratteristiche di quello di destinazione. Una buona analogia sono le app di face swap, che consentono di mescolare il tuo volto con quello di un'altra persona per creare un'immagine che unisce entrambi.

Per farlo, si prende l'immagine di un volto e se ne mappano gli attributi. I punti nell'esempio qui sotto fanno proprio questo: delimitano l'area entro cui verrebbero riprodotti i tratti dell'altro volto.

Nella conversione vocale, ci serve un modo per consentire all'algoritmo di codificare le proprietà del parlato di destinazione. L'algoritmo viene addestrato su un insieme di dati che comprende molti esempi di quel parlato. Scompone questi campioni fino a un livello fondamentale, per così dire gli "atomi" del parlato. Il parlato è composto da frasi. Le frasi sono composte da parole. Le parole sono composte da fonemi, che definiscono le caratteristiche del parlato di destinazione. È a questo livello fondamentale che opera l'algoritmo.

L'aspetto cruciale della conversione vocale è rendere il contenuto del parlato di origine usando i fonemi del parlato di destinazione. Ma, come nell'esempio del face swap, c'è un compromesso: più marcatori usi per mappare gli attributi di un volto, più vincoli imponi al volto che mappi al loro interno. Meno marcatori significa meno vincoli. Lo stesso vale per la conversione vocale. Maggiore è la preferenza data al parlato di destinazione, maggiore è il rischio di andare fuori sincrono con quello di origine. Ma se non gli diamo abbastanza preferenza, rischiamo di perdere gran parte di ciò che rende caratteristico quel parlato. Ad esempio, se dovessimo rendere la registrazione di qualcuno che urla con rabbia con la voce di Morgan Freeman, avremmo un problema. Dare troppa preferenza alle emozioni del parlato di origine significa rischiare di perdere l'impressione che sia davvero Morgan Freeman a parlare. Se invece si pone troppa enfasi sul suo modo di parlare, si perde la carica emotiva del parlato di origine.

Etica

Le preoccupazioni etiche sulla clonazione vocale meritano attenzione, poiché il potenziale abuso della tecnologia preoccupa un numero crescente di persone. Nel 2020, alcuni truffatori hanno usato deepfake audio, impersonando un CEO durante una telefonata per autorizzare un bonifico bancario di 35 milioni di dollari. Una tecnologia che può far sembrare in modo convincente che qualcuno abbia detto qualcosa che non ha detto genera naturalmente timori sul suo utilizzo per disinformare, diffamare o commettere frodi. Analogamente, la conversione vocale solleva importanti questioni di violazione del copyright se consente agli utenti di trarre profitto da contenuti generati senza il consenso dei titolari delle voci.

In Eleven sentiamo il dovere di fare il possibile per assicurarci che la nostra tecnologia non venga usata per scopi illeciti e di adottare misure di protezione contro i suoi rischi:

• collaboriamo soltanto con clienti che rispettano i nostri Termini, i quali vietano l'uso dannoso della nostra tecnologia con l'intento di disinformare, diffamare, commettere frodi o per qualsiasi altro scopo considerato illegale o dannoso;
• i contenuti video sintetici prodotti da Eleven includono una filigrana chiara che indica che sono generati dall'IA. I contenuti audio contengono una descrizione chiara del file. Quando utilizziamo voci riconoscibili, lo facciamo a scopo dimostrativo e in contesti che non danno luogo a conflitti di interesse;
• allo stesso tempo, cerchiamo di supportare i titolari delle voci e i loro licenziatari nel far valere i propri diritti.
• Se hai idee su come migliorare la nostra posizione, faccelo sapere all'indirizzo ethics@elevenlabs.io

Crediamo che il timore di abusi non debba essere il fattore predominante nel guidare il nostro atteggiamento verso le nuove e potenti tecnologie. Dovremmo invece impegnarci affinché vengano introdotte adeguate misure di protezione durante lo sviluppo, per ridurre al minimo il rischio di danni e sfruttare al meglio il potenziale che la tecnologia offre alla comunità nel suo insieme.

Futuro

Le tecnologie di conversione vocale e clonazione vocale promettono di rivoluzionare il cinema, la televisione, la creazione di contenuti, lo sviluppo di videogiochi, i podcast e gli audiolibri, nonché il settore pubblicitario. Ma le loro applicazioni vanno oltre l'ambito commerciale, con potenziali utilizzi in medicina, istruzione e comunicazione.

La clonazione vocale sta aprendo la strada a un futuro in cui qualsiasi contenuto potrà essere generato in qualunque lingua e voce, per raggiungere milioni di persone in tutto il mondo e creare un'economia completamente nuova. Il nostro obiettivo in Eleven è contribuire a realizzare questo futuro.