Eleven v4

Eleven v4 est notre modèle Text to Speech le plus récent et le plus avancé, et le premier d’une nouvelle génération de modèles. Il améliore la qualité de sortie, la fidélité vocale, la cohérence, l’émotion, l’interprétation, les balises audio et la couverture linguistique par rapport à Eleven v3.

Dans l’ensemble, Eleven v4 constitue une amélioration par rapport à Eleven v3 et offre de meilleurs résultats dans presque tous les cas. Nous vous recommandons vivement de passer à v4 et de le tester avec vos propres voix et contenus afin de constater la différence par vous-même. Même si quelques cas particuliers peuvent nécessiter une autre solution, la plupart des utilisateurs devraient préférer v4.

Pour les balises, la ponctuation et les instructions de dialogue, consultez Instructions pour Eleven v4.

Clonage de voix

La précision du clonage de voix progresse considérablement avec Eleven v4. Les voix clonées reproduisent les caractéristiques de la voix source, son timbre, son rythme et son interprétation, avec une fidélité supérieure à celle de tous les modèles précédents.

Les Instant Voice Clones (IVC) sont plus précis que jamais dans Eleven v4. Ils reproduisent plus fidèlement les caractéristiques distinctives d’une voix source, ce qui facilite la création rapide d’un clone convaincant à partir d’un court échantillon audio.

Les Professional Voice Clones (PVC) sont entièrement pris en charge dans Eleven v4. Ils s’appuient sur les mêmes avancées en matière de précision vocale et offrent une reproduction plus fidèle de la voix source pour les workflows nécessitant le plus haut niveau de cohérence et de contrôle.

En raison de ce bond important en précision, Eleven v4 peut avoir un son très différent d’Eleven v3. Eleven v3 a posé les bases d’Eleven v4, en mettant fortement l’accent sur l’interprétation et la précision, tandis qu’Eleven v4 s’appuie sur ces fondations avec une fidélité vocale nettement améliorée. Par conséquent, Eleven v4 est conçu pour reproduire plus fidèlement la voix source, même si vous pouvez préférer le rendu d’une voix dans Eleven v3. La précision et les préférences personnelles ne coïncident pas toujours. Nous vous recommandons donc de comparer les deux versions avec votre propre contenu afin de choisir celle qui convient le mieux à votre cas d’usage.

Puisqu’Eleven v4 reproduit plus fidèlement les caractéristiques de la voix source, notamment son accent, son interprétation, son volume et d’autres qualités distinctives, la qualité de l’enregistrement source est plus importante que jamais. Un audio d’entraînement clair et propre aide Eleven v4 à reproduire la voix avec précision, sans introduire de sons ou de caractéristiques indésirables. Le bruit de fond, la distorsion ou d’autres problèmes d’enregistrement peuvent affecter le résultat.

Nous continuons d’expérimenter avec Eleven v4 afin de mieux comprendre comment l’utiliser. Jusqu’à présent, il semble bien plus performant pour reproduire les nuances audio, en particulier lorsqu’il dispose d’un grand volume d’audio d’entraînement, comme avec les Professional Voice Clones. Nos recommandations sur l’utilisation de données d’entraînement variées peuvent évoluer à mesure que nous continuons de tester le contrôle du modèle avec un jeu de données plus polyvalent. Pour le moment, nous vous recommandons de vous en tenir à un seul style de parole dans vos enregistrements d’entraînement, qu’Eleven v4 devrait mieux reproduire que les modèles précédents.

Gestion native des accents

Il s’agit de l’un des plus grands changements apportés par Eleven v4 par rapport aux anciens modèles, et il est important de bien le comprendre.

Lorsque la langue que vous générez correspond à la langue de votre voix de référence, l’accent d’origine est conservé exactement comme auparavant.

Lorsque la langue que vous générez diffère de celle de la voix de référence, Eleven v4 produit une parole fluide et naturelle dans la langue cible, plutôt que de conserver l’accent de la voix de référence issu de sa langue d’origine.

En pratique, si vous clonez la voix d’une personne coréenne et générez de l’anglais, Eleven v4 produira un anglais naturel et fluide, plutôt qu’un anglais prononcé avec un accent coréen. Ainsi, chaque voix peut être utilisée dans toutes les langues prises en charge. C’est particulièrement utile pour le doublage, les contenus multilingues et les agents vocaux qui doivent servir des utilisateurs dans différentes langues à partir d’une seule voix.

Si votre workflow dépend d’une voix qui conserve son accent natif dans d’autres langues, testez directement ce comportement avec Eleven v4 avant de migrer. Il s’agit d’un changement délibéré dans le fonctionnement de la génération interlangue, et non d’un bug.

Cependant, cette nouvelle fonctionnalité est encore en cours d’ajustement. Nous étudions la possibilité d’en faire une option activable plutôt qu’une fonctionnalité toujours active. Il s’agit encore d’un projet de recherche et nous n’avons, à ce stade, ni calendrier ni informations supplémentaires à partager.

Variantes de modèle

Eleven v4 existe en deux variantes. Vous pouvez ainsi choisir le bon équilibre entre qualité et vitesse pour votre cas d’usage :

• Eleven v4 (eleven_v4) : notre modèle offrant la meilleure qualité, idéal pour la création de contenu, les livres audio, les voix off de personnages et tout cas d’usage où la qualité est prioritaire.
• Eleven v4 Turbo (eleven_v4_turbo) : une qualité extrêmement élevée avec une latence remarquablement faible, spécialement conçu pour les cas d’usage en temps réel, tels que les agents conversationnels et les expériences vocales interactives.

Les deux variantes utilisent deux paramètres vocaux : Stabilité et Similarité.

La stabilité contrôle la cohérence de l’interprétation entre les générations. Des valeurs plus faibles permettent une interprétation plus expressive et variée ; des valeurs plus élevées maintiennent l’interprétation plus proche d’une référence fixe.

La similarité contrôle dans quelle mesure la sortie respecte la voix de référence. Des valeurs plus élevées imposent une correspondance plus étroite avec la référence, ce qui peut réduire légèrement le naturel.

Lorsque vous sélectionnez un Professional Voice Clone et Eleven v4, les paramètres vocaux incluent un curseur supplémentaire, Intensité du clone. L’intensité du clone contrôle dans quelle mesure la sortie suit les enregistrements d’entraînement du clone. À des valeurs faibles, la voix est légèrement lissée et l’interprétation gagne en flexibilité, ce qui offre souvent un meilleur rendu global tout en préservant la ressemblance avec la voix d’origine. À des valeurs élevées, la sortie reste plus proche des enregistrements d’entraînement avec moins de lissage, reproduisant plus fidèlement l’interprétation et la performance de la voix d’origine. Des valeurs élevées peuvent être particulièrement utiles pour les voix aux traits distinctifs ou aux accents uniques. Pour la plupart des voix, commencez à 0 %.

Les curseurs Style et Vitesse ne sont pas disponibles dans Eleven v4, et le SSML n’est pas pris en charge.

Les balises audio, par exemple [whispering], [shouting], [laughing], vous permettent de diriger l’interprétation avec un contrôle précis, et Eleven v4 les gère avec un niveau de nuance supérieur aux modèles précédents. Elles ne sont pas encore parfaites et nous continuons d’itérer pour améliorer la fiabilité avec laquelle le modèle suit les instructions des balises. Il s’agit d’un domaine dans lequel nous investissons activement, et les résultats continueront de s’améliorer.

Exemples

Précision du clonage de voix

Chaque exemple commence par un aperçu de la Voice Library. Nous avons ensuite pris un texte et l’avons généré à l’aide d’un Instant Voice Clone de cette voix dans Eleven v3 et Eleven v4.

Il ne s’agit pas d’une comparaison parfaite. Eleven v4 fonctionne également avec les Professional Voice Clones, qui peuvent améliorer encore davantage la correspondance. Toutefois, afin de rendre la comparaison plus équitable, nous avons utilisé des Instant Voice Clones pour Eleven v3 comme pour Eleven v4.

Ces exemples montrent dans quelle mesure le modèle reproduit la voix d’origine. Il est important de noter que cela inclut aussi l’égalisation, la qualité, le volume et tout autre détail ou imperfection mineur de l’audio, tels que les plosives, les sifflantes marquées et les fluctuations de volume.

Écoutez l’aperçu, puis Eleven v3, puis Eleven v4.

Voix NfUrCNRReUL9RXS9upG1.

"Brother... I must cross the sea, though I'd rather stay beside you. If the gods will it, we'll see each other again. Until then, when the sun sinks beyond the waves, know that I'll be looking toward home."
He clasped my forearm beneath the pale morning sky. I held on a moment longer, then watched him turn toward the waiting ship.

Voix HBDoL4wkcalemIO0nUAu.

"When I was young, I thought the mountain stood because it was strong. Then winter came, and the mountain wore its crown of snow without complaint. Spring followed, and it let every stream run free.
"So remember, traveler: strength is not always holding fast. Sometimes it is knowing what to carry, and what the season asks you to release."

Jeu vocal

Il s’agit de générations Eleven v4. Les balises audio dans le texte dirigent l’interprétation.

Voix EkK5I93UQWFDigLMpZcX.

[casual] "You're looking for work, eh? Hmm, I might have something for you. Just outside the valley, there's a group of wild horned boars I need you to take care of - nasty little beasts. The village would be grateful if you could get that done, and I'll make it worth your while."
------------
[annoyed] [under his breath] "Oh, you again... [sigh] Did you take care of that little problem I mentioned earlier? No, not yet? All right, off you go. I don't have time to chitchat. I'm busy standing here... handing out quests."
------------
[ecstatic] "You did it, you crazy bastard! [dismissive] Not that I didn't have any faith in you, but you wouldn't be the first one to fail. Yes, yes, I know. One of them might have been a little bigger than the others. But hey, you survived. You got it done. You helped the village."

Voix t7VaN65ClS2VrEUwk1nR.

[quietly curious] "Hmm… that mark. I haven't seen one like it in years. Where did you get it? Oh, you gonna make me guess? [giggle]"
------------
[measured] "No need to explain, if you'd rather not. This town has a way of leaving its mark on people. [soft chuckle] Usually not quite so literally."
------------
[lower, thoughtful] "Keep it covered when you can. There are still a few who remember what it means, and they may not ask as politely as I have."

Livre audio

Il s’agit d’une narration Eleven v4. Les balises définissent le rythme et le ton de la scène.

Voix KHRvDizAHFVPzoSehNY6.

[Quiet, measured narration] The moonlit training court lay beneath the keep, its stone walls silvered with frost. Beyond the battlements, a dragon's distant call rolled over the mountains.
Sir Alden lifted his blunted practice sword. "Ready?"
Bram, his broad shoulders wrapped in a travel-worn cloak, studied the wooden shield strapped to his arm. "I've faced worse odds."
[Pause, dry amusement] "You lost to a turnip cart yesterday," Sir Alden said.
"It was a very determined cart," Bran muttered
[Gradually building energy] They circled across the frost-dusted stones. One step. Another. Alden watched Bram's hands; Bram watched the faint blue glow gathering along Alden's blade. The air between them prickled with harmless magic.
[Quick, light, playful pace] Bram charged. Alden slipped aside. Clack! Wood met steel. Bram turned, his cloak flaring, and swung wide. Alden ducked beneath it. Bram's boot skidded on the frost; he windmilled, caught himself, and bowed as if he'd meant to do that all along.
"Magnificent," Alden said.
"I was giving you time to admire the cloak," Bran retorted.

Le modèle continuera d’évoluer

Eleven v4 fait l’objet d’un développement actif et continu. À mesure que nous continuons à entraîner et à améliorer le modèle après son lancement, son comportement peut évoluer avec l’amélioration de sa qualité. Nous vous recommandons de tester régulièrement votre cas d’usage à mesure que le modèle évolue. Nous partagerons les mises à jour importantes au fur et à mesure de leur déploiement.

FAQ