Presentiamo il Modificatore di Voce

Voice Changer era originariamente chiamato speech-to-speech. Nel contesto degli agenti vocali IA, "speech-to-speech" si riferisce anche ad architetture fuse, in cui un unico modello gestisce direttamente input e output audio. ElevenAgents utilizza un'architettura a cascata avanzata per la sua piattaforma. Scopri di più: Modelli a cascata e fusi.

Modificatore di Voce

Abbiamo aggiunto Voice Changer a Speech Synthesis. Voice Changer è uno strumento di conversione vocale che prende la registrazione di una voce e la fa sembrare pronunciata da un'altra, preservando al contempo l'interpretazione originale. Questo significa che le emozioni, il timing, il ritmo e la pronuncia che dai alla registrazione vengono trasferiti alla voce di output.

Così ottieni un livello di controllo che i prompt di Text to Speech da soli non sempre consentono di raggiungere. Ci sono due modi principali per usarlo.

Trasmetti più emozione a una voce. Non tutte le voci rispondono allo stesso modo alle indicazioni emotive fornite tramite prompt di Text to Speech. Voice Changer ti permette di registrare o caricare un parlato molto espressivo e replicarne la gamma emotiva con una voce diversa. Se vuoi che un narratore professionista suoni più caldo o che un personaggio di un libro per bambini risulti più giocoso, puoi interpretare tu stesso la battuta e lasciare che Voice Changer la trasferisca alla voce di destinazione.

Perfeziona la resa del parlato. I nostri modelli di Text to Speech gestiscono in genere bene l'intonazione fin da subito. Ma quando ti serve un controllo preciso su come viene pronunciata una frase specifica — dove cade l'enfasi, come si inserisce una pausa, quale ritmo assume — Voice Changer ti permette di dimostrarlo con la tua voce e poi di applicare quella resa alla voce che preferisci. Sarà ancora più utile quando integreremo Voice Changer direttamente in Studio, ma l'obiettivo resta lo stesso: offrirti un controllo preciso sul tuo output.

Ecco una guida pratica realizzata da un membro della nostra community:

Ricerca

Per convertire il parlato sorgente in parlato di destinazione, dobbiamo esprimere il contenuto del parlato sorgente con le caratteristiche del parlato di destinazione. Un'analogia utile è lo scambio di volti: app che prendono due volti e li fondono, riproducendo i tratti di una persona nella struttura mappata di un'altra.

Per farlo, si prende l'immagine di un volto e se ne mappano gli attributi. I marcatori nell'esempio qui sotto fanno proprio questo: definiscono i limiti entro cui verrebbe riprodotto l'altro volto.

Il punto chiave nella conversione vocale è riprodurre il contenuto del parlato sorgente usando i fonemi del parlato di destinazione. Ma c'è un compromesso, proprio come nell'esempio dello scambio di volti: più marcatori usi per mappare gli attributi di un volto, più vincoli imponi al volto che mappi al loro interno. Meno marcatori significa meno vincoli.

Lo stesso vale per la conversione vocale. Più priorità diamo al parlato di destinazione, maggiore è il rischio di perdere la sincronizzazione con il parlato sorgente. Ma se non gli diamo abbastanza priorità, rischiamo di perdere gran parte di ciò che rende caratteristico quel parlato. Per esempio, se dovessimo riprodurre la registrazione di qualcuno che urla con rabbia usando una voce sussurrata, avremmo un problema. Se diamo troppa priorità alle emozioni del parlato sorgente, il prezzo da pagare è perdere l'impressione che stia parlando una voce sussurrata. Se invece enfatizziamo troppo il modello di parlato sussurrato, perdiamo la carica emotiva del parlato sorgente.

Prodotto e aggiornamenti recenti

Modifiche alle voci predefinite

Stiamo apportando modifiche alle voci predefinite disponibili in Speech Synthesis. Ritireremo alcune voci e le sostituiremo con nuove, con oltre 20 aggiunte previste nelle prossime settimane.

Inizieremo inoltre a fornire nell'interfaccia informazioni sul periodo di disponibilità previsto per ciascuna voce. Nel corso di dicembre, rinnoveremo le funzionalità di condivisione delle voci e di compensazione per il loro utilizzo, così da migliorare la varietà delle voci. Presto maggiori dettagli.

Eleven Turbo v2 e formato uLaw 8 kHz

Turbo v2 è il risultato di mesi di ricerca del nostro team. È progettato per le interazioni in tempo reale, ma funziona per qualsiasi caso d'uso. Supporta anche il formato standard (m)uLaw a 8 kHz per i sistemi IVR.

Normalizzazione e metadati con Studio

Studio ora supporta le linee guida standard del settore per l'invio di audiolibri, inclusi la regolazione del guadagno e la compressione dinamica. Puoi anche incorporare metadati (ISBN, autore e titolo) direttamente nel tuo progetto Studio.

Dizionario di pronuncia

Questa è stata una delle funzionalità più richieste. Il mese scorso abbiamo aggiunto il supporto dei tag SSML per specificare la pronuncia tramite i dizionari IPA e CMU con i nostri modelli inglesi. Ora abbiamo introdotto il supporto dei dizionari di pronuncia nell'interfaccia di Studio, che ti permette di caricare un file per specificare la pronuncia tramite IPA, CMU o sostituzioni di parole (alias). I file del dizionario usano il formato aperto standard del settore .PLS per file lessicali.

IPA e CMU sono attualmente supportati da Turbo v2 English. Le sostituzioni di parole sono supportate da tutti i modelli e in tutte le lingue. La documentazione completa è disponibile qui.

Se hai commenti o suggerimenti, non esitare a contattarci su Discord!

Prova Voice Changer

Dillo come preferisci e ascoltalo pronunciato con una voce completamente diversa, con il pieno controllo dell'interpretazione. Cattura sussurri, risate, accenti e sottili sfumature emotive.