Eleven v4

Eleven v4 è il nostro modello Text to Speech più recente e avanzato, nonché il primo di una nuova generazione di modelli. Rispetto a Eleven v3, migliora la qualità dell’output, l’accuratezza della voce, la coerenza, l’emozione, la resa, i tag audio e la copertura linguistica.

In generale, Eleven v4 rappresenta un netto miglioramento rispetto a Eleven v3 e offre risultati migliori in quasi tutti i casi. Ti consigliamo vivamente di passare a v4 e testarlo con le tue voci e i tuoi contenuti per vedere la differenza. Anche se alcuni casi limite potrebbero richiedere una soluzione diversa, per la maggior parte degli utenti v4 sarà la scelta migliore.

Per i tag, la punteggiatura e i prompt per i dialoghi, consulta Prompt per Eleven v4.

Clonazione vocale

Con Eleven v4, l’accuratezza della clonazione vocale fa un notevole passo avanti. Le voci clonate catturano le caratteristiche della voce sorgente — timbro, cadenza e resa — con una fedeltà superiore a quella di qualsiasi modello precedente.

Le Clonazioni Vocali Istantanee (IVC) sono più accurate che mai in Eleven v4. Catturano più fedelmente le caratteristiche distintive di una voce sorgente, rendendo più semplice creare rapidamente un clone convincente a partire da un breve campione audio.

Le Clonazioni Vocali Professionali (PVC) sono pienamente supportate in Eleven v4. Si basano sugli stessi progressi nell’accuratezza vocale e offrono una riproduzione più fedele della voce sorgente per i workflow che richiedono il massimo livello di coerenza e controllo.

A causa di questo significativo salto di accuratezza, Eleven v4 potrebbe suonare sostanzialmente diverso da Eleven v3. Eleven v3 ha posto le basi per Eleven v4, con una forte enfasi sulla resa e sull’accuratezza, mentre Eleven v4 sviluppa tali basi con un’accuratezza vocale nettamente migliorata. Di conseguenza, Eleven v4 è progettato per catturare più fedelmente la voce sorgente, anche se potresti comunque preferire il modo in cui una voce suonava in Eleven v3. Accuratezza e preferenza personale non coincidono sempre, quindi ti consigliamo di confrontare entrambe le versioni con i tuoi contenuti per scegliere quella più adatta al tuo caso d’uso.

Dato che Eleven v4 riproduce più fedelmente le caratteristiche della voce sorgente, inclusi accento, resa, volume e altre qualità distintive, la qualità della registrazione sorgente è più importante che mai. Un audio di addestramento chiaro e pulito aiuta Eleven v4 a catturare la voce con precisione, senza introdurre suoni o caratteristiche indesiderati. Rumore di fondo, distorsione o altri problemi di registrazione possono influire sul risultato.

Stiamo ancora sperimentando con Eleven v4 per capire come usarlo al meglio. Finora, sembra molto più efficace nel catturare le sfumature audio, soprattutto quando è disponibile molto audio di addestramento, come nel caso delle Clonazioni Vocali Professionali. Le nostre indicazioni sull’uso di dati di addestramento vari potrebbero cambiare mentre continuiamo a testare come controllare il modello con un dataset più versatile. Per ora, consigliamo di mantenere un unico stile di parlato nell’audio di addestramento, che Eleven v4 dovrebbe catturare meglio dei modelli precedenti.

Gestione dell’accento nativo

Questo è uno dei cambiamenti più importanti di Eleven v4 rispetto a tutti i modelli precedenti, ed è utile comprenderlo chiaramente.

Quando la lingua che generi coincide con quella della voce di riferimento, l’accento originale viene preservato esattamente come prima.

Quando la lingua che generi è diversa dalla lingua della voce di riferimento, Eleven v4 genera un parlato fluido e naturale nella lingua di destinazione, invece di trasferire l’accento della voce di riferimento dalla sua lingua originale.

In pratica: se cloni la voce di una persona coreana e generi testo in inglese, Eleven v4 produrrà un inglese naturale e fluente anziché inglese parlato con accento coreano. Questo rende ogni voce utilizzabile in tutte le lingue supportate ed è particolarmente utile per il doppiaggio, i contenuti multilingue e gli agenti vocali che devono servire utenti in lingue diverse con un’unica voce.

Se il tuo workflow dipende dal fatto che una voce mantenga il proprio accento nativo in altre lingue, testa direttamente questo comportamento con Eleven v4 prima della migrazione: è un cambiamento intenzionale nel modo in cui funziona la generazione multilingue, non un bug.

Tuttavia, questa nuova funzionalità è ancora in fase di ottimizzazione e stiamo esplorando modi per renderla un’opzione attivabile anziché mantenerla sempre attiva. Si tratta ancora di un progetto di ricerca, quindi al momento non abbiamo una tempistica né ulteriori informazioni al riguardo.

Varianti del modello

Eleven v4 è disponibile in due varianti, così puoi scegliere il giusto equilibrio tra qualità e velocità per il tuo caso d’uso:

• Eleven v4 (eleven_v4) — il nostro modello di massima qualità, ideale per la creazione di contenuti, gli audiolibri, le voci fuori campo dei personaggi e qualsiasi caso d’uso in cui la qualità è la priorità assoluta.
• Eleven v4 Turbo (eleven_v4_turbo) — qualità estremamente elevata con una latenza straordinariamente bassa, progettato appositamente per casi d’uso in tempo reale come agenti conversazionali ed esperienze vocali interattive.

Entrambe le varianti utilizzano due impostazioni vocali: Stabilità e Somiglianza.

La stabilità controlla quanto la resa rimane coerente tra le diverse generazioni. Valori più bassi consentono una resa più espressiva e varia; valori più alti mantengono la performance più vicina a una base fissa.

La somiglianza controlla quanto l’output aderisce alla voce di riferimento. Valori più alti impongono una maggiore aderenza al riferimento, a scapito in alcuni casi della naturalezza.

Quando generi parlato con una Clonazione Vocale Professionale su Eleven v4, viene visualizzato un cursore aggiuntivo Intensità del clone. L’intensità del clone controlla quanto l’output segue le registrazioni di addestramento del clone. Con valori più bassi, la voce viene leggermente ammorbidita e la resa acquista maggiore flessibilità interpretativa, spesso con un risultato complessivamente migliore pur mantenendo le caratteristiche della voce originale. Con valori più alti, l’output rimane più vicino alle registrazioni di addestramento con minore ammorbidimento, imitando più da vicino la resa e l’interpretazione della voce originale. Valori più alti possono essere particolarmente utili per voci con tratti distintivi o accenti unici. Per la maggior parte delle voci, inizia da 0%.

I cursori Stile e Velocità non sono disponibili in Eleven v4 e SSML non è supportato.

I tag audio (ad es. [whispering], [shouting], [laughing]) ti consentono di dirigere la resa con un controllo granulare, e Eleven v4 li gestisce con un livello di sfumatura superiore ai modelli precedenti. Non sono ancora perfetti e continuiamo a iterare e migliorare l’affidabilità con cui il modello segue le istruzioni dei tag: è un’area su cui stiamo investendo attivamente e continuerà a migliorare.

Esempi

Accuratezza della clonazione vocale

Ogni esempio inizia con un’anteprima della Voice Library. Abbiamo poi preso del testo e lo abbiamo generato utilizzando una Clonazione Vocale Istantanea di quella voce sia su Eleven v3 sia su Eleven v4.

Non è un confronto perfetto. Eleven v4 funziona anche con le Clonazioni Vocali Professionali, che possono migliorare ulteriormente la corrispondenza. Tuttavia, per rendere il confronto più equo, abbiamo utilizzato le Clonazioni Vocali Istantanee sia per Eleven v3 sia per Eleven v4.

Questi esempi mostrano quanto della voce originale riesca a cogliere il modello. È importante notare che questo include anche EQ, qualità, volume e altri piccoli dettagli e imperfezioni dell’audio, come plosive, sibilanti aspre e fluttuazioni di volume.

Ascolta l’anteprima, poi Eleven v3 e infine Eleven v4.

Voce NfUrCNRReUL9RXS9upG1.

"Brother... I must cross the sea, though I'd rather stay beside you. If the gods will it, we'll see each other again. Until then, when the sun sinks beyond the waves, know that I'll be looking toward home."
He clasped my forearm beneath the pale morning sky. I held on a moment longer, then watched him turn toward the waiting ship.

Voce HBDoL4wkcalemIO0nUAu.

"When I was young, I thought the mountain stood because it was strong. Then winter came, and the mountain wore its crown of snow without complaint. Spring followed, and it let every stream run free.
"So remember, traveler: strength is not always holding fast. Sometimes it is knowing what to carry, and what the season asks you to release."

Recitazione vocale

Queste sono generazioni di Eleven v4. I tag audio nel testo dirigono la resa.

Voce EkK5I93UQWFDigLMpZcX.

[casual] "You're looking for work, eh? Hmm, I might have something for you. Just outside the valley, there's a group of wild horned boars I need you to take care of - nasty little beasts. The village would be grateful if you could get that done, and I'll make it worth your while."
------------
[annoyed] [under his breath] "Oh, you again... [sigh] Did you take care of that little problem I mentioned earlier? No, not yet? All right, off you go. I don't have time to chitchat. I'm busy standing here... handing out quests."
------------
[ecstatic] "You did it, you crazy bastard! [dismissive] Not that I didn't have any faith in you, but you wouldn't be the first one to fail. Yes, yes, I know. One of them might have been a little bigger than the others. But hey, you survived. You got it done. You helped the village."

Voce t7VaN65ClS2VrEUwk1nR.

[quietly curious] "Hmm… that mark. I haven't seen one like it in years. Where did you get it? Oh, you gonna make me guess? [giggle]"
------------
[measured] "No need to explain, if you'd rather not. This town has a way of leaving its mark on people. [soft chuckle] Usually not quite so literally."
------------
[lower, thoughtful] "Keep it covered when you can. There are still a few who remember what it means, and they may not ask as politely as I have."

Audiolibro

Questa è una narrazione di Eleven v4. I tag definiscono il ritmo e il tono della scena.

Voce KHRvDizAHFVPzoSehNY6.

[Quiet, measured narration] The moonlit training court lay beneath the keep, its stone walls silvered with frost. Beyond the battlements, a dragon's distant call rolled over the mountains.
Sir Alden lifted his blunted practice sword. "Ready?"
Bram, his broad shoulders wrapped in a travel-worn cloak, studied the wooden shield strapped to his arm. "I've faced worse odds."
[Pause, dry amusement] "You lost to a turnip cart yesterday," Sir Alden said.
"It was a very determined cart," Bran muttered
[Gradually building energy] They circled across the frost-dusted stones. One step. Another. Alden watched Bram's hands; Bram watched the faint blue glow gathering along Alden's blade. The air between them prickled with harmless magic.
[Quick, light, playful pace] Bram charged. Alden slipped aside. Clack! Wood met steel. Bram turned, his cloak flaring, and swung wide. Alden ducked beneath it. Bram's boot skidded on the frost; he windmilled, caught himself, and bowed as if he'd meant to do that all along.
"Magnificent," Alden said.
"I was giving you time to admire the cloak," Bran retorted.

Il modello continuerà a evolversi

Eleven v4 è in sviluppo attivo e continuo. Man mano che continueremo ad addestrare e migliorare il modello dopo il lancio, il suo comportamento potrebbe cambiare nel tempo con il miglioramento della qualità. Ti consigliamo di ritestare periodicamente il tuo caso d’uso man mano che il modello evolve e condivideremo aggiornamenti significativi quando verranno rilasciati.

FAQ