Eleven v4
Notre modèle Text to Speech le plus récent et le plus avancé.
Eleven v4 est notre modèle Text to Speech le plus récent et le plus avancé, et le premier d’une nouvelle génération de modèles. Il améliore la qualité de sortie, la précision vocale, la cohérence, l’émotion, l’interprétation, les balises audio et la couverture linguistique par rapport à Eleven v3.
Dans l’ensemble, Eleven v4 constitue une nette amélioration par rapport à Eleven v3 et offre de meilleurs résultats dans presque tous les cas. Nous vous recommandons vivement de passer à v4 et de le tester avec vos propres voix et contenus pour constater la différence. Si quelques cas particuliers peuvent nécessiter une autre solution, la plupart des utilisateurs devraient trouver que v4 est le meilleur choix.
Pour les balises, la ponctuation et les instructions de dialogue, consultez Instructions pour Eleven v4.
Clonage de voix
La précision du clonage de voix franchit un cap majeur avec Eleven v4. Les voix clonées restituent plus fidèlement que tout modèle précédent les caractéristiques de la voix source, notamment le timbre, la cadence et l’interprétation.
Les clonages de voix instantanés (IVC) sont plus précis que jamais dans Eleven v4. Ils capturent plus fidèlement les caractéristiques déterminantes d’une voix source, ce qui facilite la création rapide d’un clone convaincant à partir d’un court échantillon audio.
Le clonage de voix instantané a bénéficié d’une amélioration significative dans Eleven v4 et offre une précision globalement nettement meilleure. Si vous ne l’avez pas encore essayé, c’est le bon moment pour le tester avec vos propres fichiers audio.
Les clonages de voix professionnels (PVC) sont entièrement pris en charge dans Eleven v4. Ils reposent sur les mêmes avancées en matière de précision vocale et offrent une reproduction plus fidèle de la voix source pour les flux de travail qui exigent le plus haut niveau de cohérence et de contrôle.
En raison de ce gain de précision significatif, Eleven v4 peut sonner très différemment de Eleven v3. Eleven v3 a posé les bases de Eleven v4, en mettant fortement l’accent sur l’interprétation et la précision, tandis que Eleven v4 s’appuie sur ces bases avec une précision vocale nettement améliorée. Eleven v4 est donc conçu pour capturer plus fidèlement la voix source, même si vous pouvez encore préférer le rendu d’une voix dans Eleven v3. La précision et les préférences personnelles ne coïncident pas toujours. Nous vous recommandons donc de comparer les deux versions avec votre propre contenu afin de choisir celle qui convient le mieux à votre cas d’usage.
Comme Eleven v4 reproduit plus fidèlement les caractéristiques de la voix source, notamment son accent, son interprétation, son volume et d’autres qualités distinctives, la qualité de l’enregistrement source importe plus que jamais. Un audio d’entraînement clair et net aide Eleven v4 à capturer la voix avec précision, sans introduire de sons ou de caractéristiques indésirables. Le bruit de fond, la distorsion ou d’autres problèmes d’enregistrement peuvent affecter le résultat.
Nous expérimentons encore avec Eleven v4 afin de mieux comprendre comment l’utiliser. Jusqu’à présent, il semble bien mieux capturer les nuances audio, particulièrement lorsqu’il dispose d’un volume important d’audio d’entraînement, comme pour les clonages de voix professionnels. Nos recommandations concernant l’utilisation de données d’entraînement variées peuvent évoluer à mesure que nous poursuivons nos tests pour déterminer comment contrôler le modèle avec un jeu de données plus polyvalent. Pour l’instant, nous vous recommandons de vous en tenir à un seul style de parole dans vos données audio d’entraînement, que Eleven v4 devrait mieux capturer que les modèles précédents.
Gestion native des accents
C’est l’un des plus grands changements apportés par Eleven v4 par rapport aux anciens modèles, et il est important de bien le comprendre.
Lorsque la langue que vous générez correspond à celle de votre voix de référence, l’accent d’origine est préservé exactement comme auparavant.
Lorsque la langue que vous générez diffère de celle de la voix de référence, Eleven v4 génère une parole fluide et naturelle dans la langue cible, au lieu de conserver l’accent de la voix de référence issu de sa langue d’origine.
En pratique, si vous clonez la voix d’une personne coréenne et générez de l’anglais, Eleven v4 produira un anglais naturel et fluide, plutôt qu’un anglais parlé avec un accent coréen. Chaque voix peut ainsi être utilisée dans toutes les langues prises en charge. C’est particulièrement utile pour le doublage, les contenus multilingues et les agents vocaux qui doivent servir des utilisateurs dans différentes langues à partir d’une seule voix.
Si votre flux de travail exige qu’une voix conserve son accent natif dans d’autres langues, testez directement ce comportement avec Eleven v4 avant de migrer. Il s’agit d’un changement intentionnel du fonctionnement de la génération interlingue, et non d’un bug.
Toutefois, cette nouvelle fonctionnalité est encore en cours d’ajustement et nous étudions la possibilité d’en faire une option plutôt qu’un comportement systématiquement activé. Il s’agit toujours d’un projet de recherche. Nous n’avons donc, à ce stade, ni calendrier ni informations complémentaires à communiquer.
Variantes du modèle
Eleven v4 est proposé en deux variantes, afin que vous puissiez choisir le bon équilibre entre qualité et vitesse pour votre cas d’usage :
- Eleven v4 (
eleven_v4) : notre modèle de la plus haute qualité, idéal pour la création de contenu, les livres audio, les voix off de personnages et tout cas d’usage où la qualité est la priorité absolue. - Eleven v4 Turbo (
eleven_v4_turbo) : une qualité extrêmement élevée avec une latence remarquablement faible, conçu pour les cas d’usage en temps réel tels que les agents conversationnels et les expériences vocales interactives.
Les deux variantes utilisent deux réglages vocaux : la stabilité et la similarité.
La stabilité contrôle la cohérence de l’interprétation entre les générations. Des valeurs plus faibles permettent une interprétation plus expressive et variée ; des valeurs plus élevées maintiennent l’interprétation plus près d’une référence fixe.
La similarité contrôle à quel point la sortie respecte la voix de référence. Des valeurs plus élevées imposent une correspondance plus étroite avec la référence, ce qui peut se faire au détriment d’un certain naturel.
Lorsque vous générez de la parole avec un clonage de voix professionnel dans Eleven v4, un curseur supplémentaire Force du clone apparaît. La force du clone contrôle à quel point la sortie suit les enregistrements d’entraînement du clone. Avec des valeurs plus faibles, la voix est légèrement lissée et l’interprétation gagne en flexibilité, ce qui offre souvent un meilleur rendu global tout en restant fidèle à la voix d’origine. Avec des valeurs plus élevées, la sortie reste plus proche des enregistrements d’entraînement, avec moins de lissage, et reproduit plus étroitement l’interprétation et le jeu de la voix d’origine. Des valeurs élevées peuvent être particulièrement utiles pour les voix aux traits distinctifs ou aux accents uniques. Pour la plupart des voix, commencez à 0 %.
Les curseurs Style et Vitesse ne sont pas disponibles dans Eleven v4, et SSML n’est pas pris en charge.
Les balises audio (par exemple [whispering], [shouting], [laughing]) vous permettent de diriger l’interprétation avec un contrôle précis, et Eleven v4 les gère avec un niveau de nuance supérieur à celui des modèles précédents. Elles ne sont pas encore parfaites, et nous continuons d’itérer pour améliorer la fiabilité avec laquelle le modèle suit les instructions des balises. Il s’agit d’un domaine dans lequel nous investissons activement et continuellement, et les résultats continueront de s’améliorer.
Exemples
Ces exemples sont bruts. Aucun post-traitement important n’a été appliqué : pas d’égalisation, de compression, de normalisation, de de-essing, de suppression des plosives ou d’un traitement similaire. Si vous entendez des problèmes récurrents, tels que de l’écrêtage, des plosives, une égalisation irrégulière ou des variations de volume, ils sont très probablement présents dans les données d’entraînement de cette voix. Le modèle Eleven v4 les a simplement capturés, car il est très précis, même lorsqu’il restitue des défauts. Nous avons laissé l’audio intact afin que vous puissiez entendre ce que le modèle a produit.
Précision du clonage de voix
Chaque exemple commence par un aperçu de la Voice Library. Nous avons ensuite pris un texte et l’avons généré avec un clonage de voix instantané de cette voix dans Eleven v3 et Eleven v4.
Cette comparaison n’est pas parfaite. Eleven v4 fonctionne également avec les clonages de voix professionnels, qui peuvent encore améliorer la correspondance. Toutefois, pour une comparaison plus équitable, nous avons utilisé des clonages de voix instantanés pour Eleven v3 comme pour Eleven v4.
Ces exemples montrent dans quelle mesure le modèle capture la voix d’origine. Il est important de noter que cela inclut également l’égalisation, la qualité, le volume et tout autre détail ou imperfection mineure de l’audio, tels que les plosives, les sifflantes prononcées et les fluctuations de volume.
Écoutez l’aperçu, puis Eleven v3, puis Eleven v4.
Voix NfUrCNRReUL9RXS9upG1.
Voix HBDoL4wkcalemIO0nUAu.
Interprétation vocale
Il s’agit de générations Eleven v4. Les balises audio du texte dirigent l’interprétation.
Voix EkK5I93UQWFDigLMpZcX.
Voix t7VaN65ClS2VrEUwk1nR.
Livre audio
Il s’agit d’une narration Eleven v4. Les balises définissent le rythme et le ton de la scène.
Voix KHRvDizAHFVPzoSehNY6.
Le modèle continuera d’évoluer
Eleven v4 fait l’objet d’un développement actif et continu. À mesure que nous continuerons à entraîner et à améliorer le modèle après son lancement, son comportement pourra évoluer avec l’amélioration de sa qualité. Nous vous recommandons de tester à nouveau votre cas d’usage régulièrement à mesure que le modèle évolue. Nous partagerons les mises à jour importantes à mesure de leur déploiement.
FAQ
Quelles langues Eleven v4 prend-il en charge ?
Eleven v4 prend en charge l’afrikaans, l’amharique, l’arabe, l’arménien, l’assamais, l’asturien, l’azerbaïdjanais, le biélorusse, le bengali, le bosnien, le bulgare, le birman, le cantonais, le catalan, le cebuano, le croate, le tchèque, le danois, le néerlandais, l’anglais, l’estonien, le filipino, le finnois, le français, le peul (pulaar), le galicien, le géorgien, l’allemand, le grec, le gujarati, le haoussa, l’hébreu, l’hindi, le hongrois, l’islandais, l’indonésien, l’italien, le japonais, le kannada, le kazakh, le coréen, le kirghiz, le lao, le lingala, le lituanien, le luganda, le luxembourgeois, le macédonien, le malais, le malayalam, le maltais, le chinois mandarin, le māori, le marathi, le mongol, le népalais, le norvégien bokmål, l’occitan, l’odia, le pachto, le persan, le polonais, le portugais (Brésil), le pendjabi, le roumain, le russe, le serbe, le shona, le sindhi, le slovaque, le slovène, le somali, le kurde sorani, l’espagnol (Amérique latine), le swahili, le suédois, le tadjik, le tamoul, le télougou, le thaï, le turc, l’ukrainien, l’ourdou, l’ouzbek, le vietnamien, le gallois et le wolof.
Certaines langues sont traitées plus couramment que d’autres, mais dans l’ensemble, Eleven v4 gère très bien la grande majorité d’entre elles.
Une voix clonée conservera-t-elle son accent ?
Lorsque la voix de référence et la parole générée sont dans la même langue, l’accent de la voix est préservé. Par exemple, si vous clonez une personne parlant anglais avec un accent anglais particulier et générez une parole en anglais, cet accent sera conservé.
Puis-je faire parler une voix dans une autre langue avec son accent d'origine ?
Par défaut, lorsque la langue générée diffère de celle de la voix de référence, Eleven v4 vise une parole fluide et naturelle dans la langue cible plutôt que de conserver l’accent de référence. Vous pouvez essayer d’utiliser des balises audio pour orienter un accent ou un style d’interprétation, mais les résultats peuvent varier. Testez donc votre voix et votre cas d’usage spécifiques.
Un clone Eleven v4 ressemblera-t-il à sa version Eleven v3 ?
En général, Eleven v4 reproduit les caractéristiques de la voix source bien plus précisément que Eleven v3, notamment son timbre, sa cadence, son interprétation et d’autres maniérismes. Par conséquent, un clone Eleven v4 ressemblera généralement davantage à la voix source et pourra sembler très différent de sa version Eleven v3.
Dois-je entraîner Eleven v4 ?
Eleven v4 fonctionne avec le clonage de voix instantané et le clonage de voix professionnel.
Avec le clonage de voix instantané, vous créez une voix sans étape d’entraînement distincte. Importez un court échantillon, généralement d’une à deux minutes, et vous obtenez en quelques secondes une voix que vous pouvez utiliser.
Le clonage de voix professionnel fonctionne de la même manière que pour les modèles précédents. Il entraîne un modèle dédié sur un ensemble d’enregistrements plus long.
Si vous disposez déjà d’un clonage de voix professionnel et souhaitez l’entraîner sur Eleven v4, ouvrez My Voices, trouvez la voix dans la liste et survolez-la. Vous verrez les modèles disponibles pour cette voix. Cliquez sur le bouton plus à côté de Eleven v4 pour commencer le fine-tuning.
Dois-je utiliser Voice Design avec Eleven v4 ?
Les voix Voice Design fonctionnent avec Eleven v4, mais elles peuvent être moins expressives ou offrir un rendu moins bon que avec les modèles précédents.