Vai alla navigazione

Eleven v4

Il nostro modello Text to Speech più recente e avanzato.

Eleven v4 è il nostro modello Text to Speech più recente e avanzato, nonché il primo di una nuova generazione di modelli. Rispetto a Eleven v3, migliora la qualità dell’output, la fedeltà della voce, la coerenza, l’emozione, l’interpretazione, i tag audio e la copertura linguistica.

In generale, Eleven v4 rappresenta un miglioramento netto rispetto a Eleven v3 e offre risultati migliori in quasi tutti i casi. Ti consigliamo vivamente di passare a v4 e testarlo con le tue voci e i tuoi contenuti per vedere di persona la differenza. Anche se alcuni casi limite potrebbero richiedere una soluzione diversa, per la maggior parte degli utenti v4 sarà la scelta migliore.

Per i tag, la punteggiatura e i prompt per i dialoghi, consulta Prompt per Eleven v4.

Clonazione vocale

La fedeltà della clonazione vocale fa un grande passo avanti con Eleven v4. Le voci clonate riproducono le caratteristiche della voce sorgente — timbro, cadenza e interpretazione — con maggiore fedeltà rispetto a qualsiasi modello precedente.

Le Clonazioni Vocali Istantanee (IVC) sono più accurate che mai in Eleven v4. Riproducono con maggiore fedeltà le caratteristiche distintive di una voce sorgente, rendendo più semplice creare rapidamente un clone convincente da un breve campione audio.

La Clonazione Vocale Istantanea ha ricevuto un importante aggiornamento in Eleven v4, offrendo una fedeltà complessivamente migliore. Se non l’hai ancora provata, questo è un buon momento per testarla con il tuo audio.

Le Clonazioni Vocali Professionali (PVC) sono pienamente supportate in Eleven v4. Si basano sugli stessi progressi nella fedeltà vocale e offrono una riproduzione più fedele della voce sorgente per i workflow che richiedono il massimo livello di coerenza e controllo.

A causa di questo significativo salto in termini di fedeltà, Eleven v4 potrebbe suonare molto diversamente da Eleven v3. Eleven v3 ha posto le basi per Eleven v4, con una forte enfasi sull’interpretazione e sulla fedeltà, mentre Eleven v4 sviluppa queste basi con una fedeltà vocale notevolmente migliorata. Di conseguenza, Eleven v4 è progettato per riprodurre la voce sorgente in modo più fedele, anche se potresti comunque preferire il suono di una voce in Eleven v3. Fedeltà e preferenza personale non coincidono sempre, quindi ti consigliamo di confrontare entrambe le versioni con i tuoi contenuti per scegliere quella più adatta al tuo caso d’uso.

Poiché Eleven v4 riproduce più fedelmente le caratteristiche della voce sorgente, inclusi accento, interpretazione, volume e altre qualità distintive, la qualità della registrazione sorgente conta più che mai. Un audio di training chiaro e pulito aiuta Eleven v4 a riprodurre la voce accuratamente, senza introdurre suoni o caratteristiche indesiderati. Rumore di fondo, distorsione o altri problemi di registrazione possono influire sul risultato.

Stiamo ancora sperimentando con Eleven v4 per capire come usarlo al meglio. Finora, sembra molto più efficace nel riprodurre audio ricco di sfumature, in particolare quando sono disponibili molti dati di training, come nel caso delle Clonazioni Vocali Professionali. Le nostre indicazioni sull’uso di dati di training diversificati potrebbero cambiare mentre continuiamo a testare come controllare il modello con un dataset più versatile. Per ora, ti consigliamo di attenerti a un unico stile di parlato nell’audio di training, che Eleven v4 dovrebbe riprodurre meglio dei modelli precedenti.

Gestione dell’accento nativo

Questo è uno dei cambiamenti più importanti di Eleven v4 rispetto a tutti i modelli precedenti, ed è utile comprenderlo chiaramente.

Quando la lingua che generi corrisponde a quella della tua voce di riferimento, l’accento originale viene mantenuto esattamente come prima.

Quando la lingua che generi è diversa da quella della voce di riferimento, Eleven v4 genera un parlato fluido e naturale nella lingua di destinazione, anziché trasferire l’accento della voce di riferimento dalla sua lingua originale.

In pratica: se cloni la voce di una persona coreana e generi l’inglese, Eleven v4 produrrà un inglese naturale e fluido invece di un inglese parlato con accento coreano. Questo rende ogni voce utilizzabile in tutte le lingue supportate ed è particolarmente utile per il doppiaggio, i contenuti multilingue e gli agenti vocali che devono servire utenti in lingue diverse usando un’unica voce.

Se il tuo workflow dipende dal fatto che una voce mantenga il proprio accento nativo in altre lingue, testa direttamente questo comportamento con Eleven v4 prima della migrazione: è un cambiamento intenzionale nel funzionamento della generazione tra lingue diverse, non un bug.

Tuttavia, questa nuova funzionalità è ancora in fase di perfezionamento e stiamo valutando modi per renderla attivabile o disattivabile, anziché sempre attiva. Si tratta ancora di un progetto di ricerca, quindi al momento non abbiamo tempistiche né ulteriori informazioni al riguardo.

Varianti del modello

Eleven v4 è disponibile in due varianti, così puoi scegliere il giusto equilibrio tra qualità e velocità per il tuo caso d’uso:

  • Eleven v4 (eleven_v4) — il nostro modello di massima qualità, ideale per la creazione di contenuti, audiolibri, voci fuori campo di personaggi e qualsiasi caso d’uso in cui la qualità è la priorità principale.
  • Eleven v4 Turbo (eleven_v4_turbo) — qualità estremamente elevata con una latenza incredibilmente bassa, progettato appositamente per casi d’uso in tempo reale come gli agenti conversazionali e le esperienze vocali interattive.

Entrambe le varianti usano due impostazioni vocali: Stabilità e Somiglianza.

La stabilità controlla quanto l’interpretazione rimane coerente tra le generazioni. Valori più bassi consentono un’interpretazione più espressiva e varia; valori più alti mantengono la performance più vicina a una base fissa.

La somiglianza controlla quanto l’output aderisce alla voce di riferimento. Valori più alti impongono una maggiore aderenza al riferimento, a scapito di una certa naturalezza.

Quando selezioni una Clonazione Vocale Professionale e Eleven v4, le impostazioni vocali includono un cursore aggiuntivo per Intensità del clone. L’intensità del clone controlla quanto l’output segue le registrazioni di training del clone. Con valori più bassi, la voce viene leggermente smussata e l’interpretazione acquisisce maggiore flessibilità espressiva, offrendo spesso un suono complessivamente migliore pur rimanendo simile alla voce originale. Con valori più alti, l’output resta più vicino alle registrazioni di training con meno smussatura, imitando più fedelmente l’interpretazione e la performance della voce originale. Valori più alti possono essere particolarmente utili per voci con tratti distintivi o accenti unici. Per la maggior parte delle voci, inizia dallo 0%.

I cursori Stile e Velocità non sono disponibili in Eleven v4 e SSML non è supportato.

I tag audio (ad esempio [whispering], [shouting], [laughing]) ti permettono di guidare l’interpretazione con un controllo preciso, e Eleven v4 li gestisce con un livello di sfumatura superiore ai modelli precedenti. Non sono ancora perfetti e continuiamo a iterare e migliorare l’affidabilità con cui il modello segue le istruzioni dei tag: è un’area in cui stiamo investendo attivamente e continuerà a migliorare.

Esempi

Questi esempi sono grezzi. Non è stato applicato un post-processing significativo: nessuna equalizzazione, compressione, normalizzazione, de-essing, rimozione delle occlusive o simili. Se senti problemi ricorrenti, come clipping, occlusive, EQ irregolare o sbalzi di volume, è molto probabile che siano presenti nei dati di training di quella voce. Il modello Eleven v4 li ha semplicemente riprodotti, dato che è molto accurato, anche nel riprodurre i difetti. Abbiamo lasciato l’audio inalterato così puoi sentire ciò che ha prodotto il modello.

Fedeltà della clonazione vocale

Ogni esempio inizia con un’anteprima della Voice Library. Abbiamo poi preso un testo e lo abbiamo generato usando una Clonazione Vocale Istantanea di quella voce sia su Eleven v3 sia su Eleven v4.

Questo non è un confronto perfetto. Eleven v4 funziona anche con le Clonazioni Vocali Professionali, che possono migliorare ulteriormente la corrispondenza. Tuttavia, per rendere il confronto più equo, abbiamo usato le Clonazioni Vocali Istantanee sia per Eleven v3 sia per Eleven v4.

Questi esempi mostrano quanto della voce originale viene riprodotto dal modello. È importante notare che ciò include anche EQ, qualità, volume e qualsiasi altro piccolo dettaglio o imperfezione dell’audio, come occlusive, sibilanti aspre e fluttuazioni del volume.

Ascolta l’anteprima, poi Eleven v3 e infine Eleven v4.

Voce NfUrCNRReUL9RXS9upG1.

"Brother... I must cross the sea, though I'd rather stay beside you. If the gods will it, we'll see each other again. Until then, when the sun sinks beyond the waves, know that I'll be looking toward home."
He clasped my forearm beneath the pale morning sky. I held on a moment longer, then watched him turn toward the waiting ship.

Voce HBDoL4wkcalemIO0nUAu.

"When I was young, I thought the mountain stood because it was strong. Then winter came, and the mountain wore its crown of snow without complaint. Spring followed, and it let every stream run free.
"So remember, traveler: strength is not always holding fast. Sometimes it is knowing what to carry, and what the season asks you to release."

Recitazione vocale

Queste sono generazioni di Eleven v4. I tag audio nel testo guidano l’interpretazione.

Voce EkK5I93UQWFDigLMpZcX.

[casual] "You're looking for work, eh? Hmm, I might have something for you. Just outside the valley, there's a group of wild horned boars I need you to take care of - nasty little beasts. The village would be grateful if you could get that done, and I'll make it worth your while."
------------
[annoyed] [under his breath] "Oh, you again... [sigh] Did you take care of that little problem I mentioned earlier? No, not yet? All right, off you go. I don't have time to chitchat. I'm busy standing here... handing out quests."
------------
[ecstatic] "You did it, you crazy bastard! [dismissive] Not that I didn't have any faith in you, but you wouldn't be the first one to fail. Yes, yes, I know. One of them might have been a little bigger than the others. But hey, you survived. You got it done. You helped the village."

Voce t7VaN65ClS2VrEUwk1nR.

[quietly curious] "Hmm… that mark. I haven't seen one like it in years. Where did you get it? Oh, you gonna make me guess? [giggle]"
------------
[measured] "No need to explain, if you'd rather not. This town has a way of leaving its mark on people. [soft chuckle] Usually not quite so literally."
------------
[lower, thoughtful] "Keep it covered when you can. There are still a few who remember what it means, and they may not ask as politely as I have."

Audiolibro

Questa è una narrazione di Eleven v4. I tag definiscono il ritmo e il tono della scena.

Voce KHRvDizAHFVPzoSehNY6.

[Quiet, measured narration] The moonlit training court lay beneath the keep, its stone walls silvered with frost. Beyond the battlements, a dragon's distant call rolled over the mountains.
Sir Alden lifted his blunted practice sword. "Ready?"
Bram, his broad shoulders wrapped in a travel-worn cloak, studied the wooden shield strapped to his arm. "I've faced worse odds."
[Pause, dry amusement] "You lost to a turnip cart yesterday," Sir Alden said.
"It was a very determined cart," Bran muttered
[Gradually building energy] They circled across the frost-dusted stones. One step. Another. Alden watched Bram's hands; Bram watched the faint blue glow gathering along Alden's blade. The air between them prickled with harmless magic.
[Quick, light, playful pace] Bram charged. Alden slipped aside. Clack! Wood met steel. Bram turned, his cloak flaring, and swung wide. Alden ducked beneath it. Bram's boot skidded on the frost; he windmilled, caught himself, and bowed as if he'd meant to do that all along.
"Magnificent," Alden said.
"I was giving you time to admire the cloak," Bran retorted.

Il modello continuerà a evolversi

Eleven v4 è in fase di sviluppo attivo e continuo. Man mano che continuiamo ad addestrare e migliorare il modello dopo il lancio, il suo comportamento potrebbe cambiare nel tempo con il miglioramento della qualità. Ti consigliamo di ritestare periodicamente il tuo caso d’uso man mano che il modello evolve e condivideremo aggiornamenti importanti quando verranno rilasciati.

FAQ

La famiglia di modelli Eleven v4 supporta più di 90 lingue, tra cui:

Afrikaans (af), Amarico (am), Arabo (ar), Armeno (hy), Assamese (as), Asturiano (ast), Azero (az), Bielorusso (be), Bengali (bn), Bosniaco (bs), Bulgaro (bg), Birmano (my), Cantonese (yue), Catalano (ca), Cebuano (ceb), Croato (hr), Ceco (cs), Danese (da), Olandese (nl), Inglese (en), Estone (et), Filippino (fil), Finlandese (fi), Francese (fr), Fulah (Pulaar) (ff), Galiziano (gl), Georgiano (ka), Tedesco (de), Greco (el), Gujarati (gu), Hausa (ha), Ebraico (he), Hindi (hi), Ungherese (hu), Islandese (is), Indonesiano (id), Italiano (it), Giapponese (ja), Giavanese (jv), Kamba (kam), Kannada (kn), Kazako (kk), Coreano (ko), Kirghiso (ky), Lao (lo), Lettone (lv), Lingala (ln), Lituano (lt), Luganda (lg), Lussemburghese (lb), Macedone (mk), Malese (ms), Malayalam (ml), Maltese (mt), Cinese mandarino (zh), Māori (mi), Marathi (mr), Mongolo (mn), Nepalese (ne), Norvegese (no), Occitano (oc), Odia (or), Pashto (ps), Persiano (fa), Polacco (pl), Portoghese (pt), Punjabi (pa), Rumeno (ro), Russo (ru), Serbo (sr), Shona (sn), Sindhi (sd), Slovacco (sk), Sloveno (sl), Somalo (so), Curdo sorani (ckb), Spagnolo (es), Swahili (sw), Svedese (sv), Tagico (tg), Tamil (ta), Telugu (te), Thailandese (th), Turco (tr), Ucraino (uk), Urdu (ur), Uzbeko (uz), Vietnamita (vi), Gallese (cy), Wolof (wo), Zulu (zu).

Il parametro language_code accetta codici di due lettere ISO 639-1 per la maggior parte delle lingue. Le lingue senza un codice ISO 639-1 usano codici di tre lettere ISO 639-3: asturiano (ast), cantonese (yue), cebuano (ceb), filippino (fil), kamba (kam) e curdo sorani (ckb).

Quando la voce di riferimento e il parlato generato sono nella stessa lingua, l’accento della voce viene mantenuto. Ad esempio, se cloni una persona che parla inglese con un particolare accento inglese e generi un parlato in inglese, quell’accento verrà mantenuto.

Per impostazione predefinita, quando la lingua generata è diversa da quella della voce di riferimento, Eleven v4 punta a un parlato fluido e naturale nella lingua di destinazione anziché trasferire l’accento di riferimento. Puoi provare a usare i tag audio per guidare un accento o uno stile di interpretazione, ma i risultati possono variare, quindi testa la tua voce specifica e il tuo caso d’uso.

In generale, Eleven v4 riproduce le caratteristiche della voce sorgente in modo molto più fedele rispetto a Eleven v3, inclusi timbro, cadenza, interpretazione e altre peculiarità. Di conseguenza, un clone di Eleven v4 suonerà generalmente più simile alla voce sorgente e potrebbe suonare piuttosto diversamente dalla sua versione Eleven v3.

Eleven v4 funziona sia con Clonazione Vocale Istantanea sia con Clonazione Vocale Professionale.

Con la Clonazione Vocale Istantanea, crei una voce senza una fase di training separata. Carica un breve campione, generalmente da uno a due minuti, e in pochi secondi avrai una voce da usare.

La Clonazione Vocale Professionale funziona come per i modelli precedenti. Addestra un modello dedicato su un set più ampio di registrazioni.

Se hai già una Clonazione Vocale Professionale e vuoi addestrarla su Eleven v4, apri Le mie voci, trova la voce nell’elenco e passaci sopra con il cursore. Vedrai i modelli disponibili per quella voce. Fai clic sul pulsante più accanto a Eleven v4 per avviare il fine-tuning.

Le voci di Voice Design funzionano con Eleven v4, ma potrebbero non essere altrettanto espressive o non suonare altrettanto bene rispetto ai modelli precedenti.