Presentiamo il Modificatore di Voce

Voice Changer era originariamente chiamato speech-to-speech. Nel contesto degli agenti vocali IA, “speech-to-speech” indica anche architetture fused, in cui un unico modello gestisce direttamente l’input e l’output audio. ElevenAgents utilizza un’architettura a cascata avanzata per la sua piattaforma. Scopri di più: Modelli a cascata e fused.

Voice Changer

Abbiamo aggiunto Voice Changer a Speech Synthesis. Voice Changer è uno strumento di conversione vocale che prende la registrazione di una voce e la fa sembrare pronunciata da un’altra, preservando al contempo l’interpretazione originale. Ciò significa che le emozioni, la tempistica, il ritmo e la pronuncia che inserisci nella registrazione vengono trasferiti alla voce di output.

Questo ti offre un livello di controllo che la sintesi vocale da sola non può sempre garantire. Puoi usarlo in due modi principali.

Ottieni più emozione da una voce. Non tutte le voci rispondono allo stesso modo alle indicazioni emotive fornite tramite prompt di sintesi vocale. Voice Changer ti permette di registrare o caricare un parlato molto espressivo e replicarne la gamma emotiva con una voce diversa. Se vuoi che un narratore professionista suoni più caloroso o che un personaggio di un libro per bambini sia più giocoso, puoi interpretare tu stesso la battuta e lasciare che Voice Changer la trasferisca alla voce di destinazione.

Perfeziona la resa del parlato. I nostri modelli di sintesi vocale gestiscono in genere bene l’intonazione fin da subito. Ma quando ti serve un controllo preciso su come viene pronunciata una frase specifica — dove cade l’enfasi, come si inserisce una pausa, quale ritmo assume — Voice Changer ti permette di mostrarlo con la tua voce e poi di applicare quella resa a qualsiasi voce tu scelga. Sarà ancora più utile quando integreremo Voice Changer direttamente in Studio, ma l’obiettivo resta lo stesso: darti un controllo preciso sull’output.

Ecco una guida pratica realizzata da un membro della nostra community:

Ricerca

Per convertire il parlato sorgente in parlato di destinazione, dobbiamo esprimere il contenuto del parlato sorgente con le caratteristiche del parlato di destinazione. Un’analogia utile è lo scambio di volti: app che prendono due volti e li combinano, inserendo i tratti di una persona nella struttura mappata dell’altra.

Per farlo, si prende l’immagine di un volto e se ne mappano gli attributi. I marcatori nell’esempio qui sotto fanno proprio questo: definiscono i limiti entro cui verrebbe inserito l’altro volto.

Il segreto della conversione vocale è riprodurre il contenuto del parlato sorgente usando i fonemi del parlato di destinazione. Ma c’è un compromesso, proprio come nell’esempio dello scambio di volti: più marcatori usi per mappare gli attributi di un volto, più vincoli imponi al volto che inserisci al loro interno. Meno marcatori significano meno vincoli.

Lo stesso vale per la conversione vocale. Più priorità diamo al parlato di destinazione, più rischiamo di perdere la sincronizzazione con quello sorgente. Ma se non gli diamo abbastanza priorità, rischiamo di perdere gran parte di ciò che rende caratteristico quel parlato. Ad esempio, se dovessimo riprodurre la registrazione di qualcuno che urla con rabbia usando una voce sussurrata, avremmo un problema. Dare troppa priorità alle emozioni del parlato sorgente significa perdere l’impressione che a parlare sia una voce sussurrata. Dare troppa enfasi al modello di parlato sussurrato significa invece perdere la carica emotiva del parlato sorgente.

Prodotto e aggiornamenti recenti

Modifiche alle voci predefinite

Stiamo apportando modifiche alle voci predefinite disponibili in Speech Synthesis. Ritireremo alcune voci e le sostituiremo con nuove, con oltre 20 aggiunte previste nelle prossime settimane.

Inizieremo inoltre a fornire nell’interfaccia informazioni sulla durata prevista della disponibilità di ciascuna voce. Per tutto dicembre rinnoveremo le funzionalità di condivisione delle voci e di compensazione per il loro utilizzo, per migliorare la varietà delle voci. Presto ulteriori dettagli.

Eleven Turbo v2 e formato uLaw a 8 kHz

Turbo v2 è il risultato di mesi di ricerca del nostro team. È progettato per le interazioni in tempo reale, ma funziona per qualsiasi caso d’uso. Supporta anche il formato standard (m)uLaw a 8 kHz per i sistemi IVR.

Normalizzazione e metadati con Studio

Studio ora supporta le linee guida standard del settore per l’invio di audiolibri, inclusi la regolazione del guadagno e la compressione dinamica. Puoi anche incorporare metadati (ISBN, autore e titolo) direttamente nel tuo progetto Studio.

Dizionario di pronuncia

Questa è stata una delle funzionalità più richieste. Il mese scorso abbiamo aggiunto il supporto per i tag SSML per specificare la pronuncia usando i dizionari IPA e CMU con i nostri modelli inglesi. Ora abbiamo rilasciato il supporto per il dizionario di pronuncia nell’interfaccia di Studio, che ti permette di caricare un file per specificare la pronuncia usando IPA, CMU o sostituzioni di parole (alias). I file di dizionario usano il formato aperto standard del settore per file lessicali .PLS.

IPA e CMU sono attualmente supportati da Turbo v2 English. Le sostituzioni di parole sono supportate da tutti i modelli e in tutte le lingue. La documentazione completa è disponibile qui.

Se hai commenti o suggerimenti, non esitare a contattarci su Discord!

Prova Voice Changer

Dillo come vuoi e ascoltalo pronunciato con una voce completamente diversa, con il pieno controllo sull’interpretazione. Cattura sussurri, risate, accenti e sottili sfumature emotive.