Traduction de voix IA

Traduction vocale / AI dubbing

Nous lançons l'outil de traduction vocale IA le mois prochain. Cela permet aux utilisateurs de convertir n'importe quel contenu audio ou vidéo dans une autre langue tout en conservant la voix originale du locuteur. Notre objectif est simple : rendre le contenu multilingue accessible et authentique à travers des médias comme le streaming, le jeu et le cinéma.

Nous avons vu Spotify et OpenAI présenter leurs avancées en traduction vocale et capacités de parole, et nous sommes impatients de partager nos propres développements.

Le nouvel outil ne se limite pas à la traduction ; il s'agit de préserver l'identité du locuteur et ses schémas de parole originaux à travers les langues, offrant une expérience plus connectée et immersive que ce que le sous-titrage traditionnel peut offrir.

Imaginez une vidéo éducative en anglais. Si quelqu'un ne parle que l'espagnol (mais trouverait le sujet intéressant), c'est un problème. Nous voulons pouvoir générer la personne originale parlant le message original naturellement en espagnol de qualité native.

Cela nécessite de combiner conversion vocale, voice cloning et multilingue synthèse vocale dans un nouvel outil unique. Ici, le voice cloning nous permet de préserver l'identité du locuteur - le son de sa voix. Nous utilisons la synthèse vocale pour générer de nouvelles phrases dans une langue différente comme si c'était la même personne qui parlait. La conversion vocale intervient car nous voulons préserver les émotions, l'intention et le style de livraison originaux pour une immersion maximale.

Nous avons investi beaucoup de recherche et d'innovation pour développer une technologie capable de rendre la parole humaine ultra-réaliste, de comprendre le contexte et d'encoder des profils vocaux. Notre outil de traduction vocale IA est une étape importante pour permettre aux créateurs d'élargir leur portée et aider les publics potentiels à découvrir du contenu qu'ils trouvent pertinent et captivant, quelle que soit la langue qu'ils comprennent.

Qu'est-ce que le doublage, la conversion vocale et la synthèse vocale ?

Le doublage est un processus qui consiste à fournir une bande sonore dans une langue différente en remplaçant les voix des acteurs originaux par celles de doubleurs parlant une autre langue - également appelé "re-voicing" - une tâche traditionnellement coûteuse et chronophage. Chez Eleven, notre objectif est de le faire automatiquement tout en préservant les voix originales à travers les langues.

La conversion vocale permet à une personne de parler avec la voix d'une autre. Elle utilise le voice cloning pour encoder une voix cible et la superposer à la voix source. Le résultat est le message original apparemment prononcé par quelqu'un d'autre.

Text-to-speech (TTS) est à la base de toute technologie de synthèse vocale. TTS a radicalement évolué au fil des ans, bien qu'il semble encore souvent robotique. C'est parce que prononcer des mots de manière fluide est insuffisant pour donner à la parole une qualité humaine. C'est le ton et le rythme dictés par l'intention qui proviennent de la compréhension de ce qui est dit qui la rendent naturelle. Chez Eleven, nous essayons d'atteindre cela : en exposant notre modèle à une richesse de données de parole humaine, nous l'entraînons à comprendre à la fois le contexte logique et émotionnel des énoncés, et à ajuster la livraison en conséquence.

Bientôt disponible

Nous attendons avec impatience la sortie d'octobre et de changer notre façon d'interagir avec le contenu multilingue.