API de doublage IA : Comment doubler de l’audio et de la vidéo à grande échelle

Il y a quelques décennies, doubler une vidéo impliquait de réserver un studio, d'engager des doubleurs pour votre langue cible, d'enregistrer, puis de réenregistrer chaque réplique, avant d'attendre des semaines la livraison finale.

Une API de doublage IA ramène ce processus à quelques appels REST. Envoyez votre contenu audio ou vidéo et recevez une version doublée dans de nouvelles langues, en préservant la synchronisation et la palette émotionnelle d'origine.

Ce guide explique le fonctionnement d'une API de doublage IA et ce qui distingue une solution prête pour la production d'un pipeline assemblé de toutes pièces. Nous verrons également comment intégrer la nouvelle API de doublage d'ElevenLabs, qui propose désormais Dubbing v2, notre dernier modèle de doublage, à tous vos workflows.

En résumé

• Une API de doublage IA reçoit un contenu audio ou vidéo source et renvoie une version doublée dans de nouvelles langues.
• Dubbing v2 est un modèle audio vers audio qui s'appuie sur l'interprétation originale : l'émotion, le ton et la diction sont ainsi conservés dans chaque doublage.
• L'API Dubbing d'ElevenLabs couvre plus de 90 langues avec une traduction tenant compte de la synchronisation.
• Les développeurs créent un projet de doublage, ajoutent des langues cibles et téléchargent les doublages finalisés en quelques appels REST.
• Les clients Enterprise peuvent modifier les transcriptions sources et les traductions, puis régénérer uniquement les segments modifiés. 

Qu'est-ce qu'une API de doublage IA ?

Une API de doublage IA est une interface programmatique qui accepte du contenu audio ou vidéo dans une langue et renvoie un audio doublé dans les langues cibles. Elle automatise toute la chaîne de localisation : transcription de la source, traduction des dialogues, clonage de la voix de chaque intervenant, génération de la parole dans la langue cible et alignement du résultat sur la synchronisation d'origine.

Si les développeurs ont assemblé des services de Speech to Text, de traduction automatique et de Text to Speech en pipelines de doublage de fortune, ces solutions ne sont pas fiables à grande échelle.

L'identité des intervenants se fragmente entre les étapes, la synchronisation peut dériver et un script autrefois riche en émotions devient monotone.

Une API de doublage conçue à cette fin intègre diverses fonctionnalités supplémentaires pour résoudre ces problèmes. De la séparation des intervenants et la préservation de la voix à la synchronisation interne et au clonage de voix, une API de doublage IA de qualité restitue la voix de l'intervenant d'origine plutôt qu'une traduction plate.

Fonctionnement du doublage IA : audio vers audio ou pipelines en cascade

La plupart des systèmes de doublage automatisé reposent sur des pipelines en cascade. Ils transcrivent l'audio source, traduisent la transcription, puis synthétisent une nouvelle parole à partir de ce texte. Tout ce qui dépasse la transcription brute, comme l'hésitation, la tension, le sarcasme ou une confidence murmurée, est perdu avant le début de la synthèse.

ElevenLabs Dubbing v2 adopte une approche différente. 

Dubbing v2 propose un modèle audio vers audio qui conditionne directement le résultat sur l'enregistrement original, plutôt que sur sa transcription. Le ton, l'émotion et le registre émotionnel sont transférés dans le doublage, car le modèle entend l'interprétation au lieu d'en lire une description.

Nous estimons que Dubbing v2 produit des doublages atteignant 80 à 90 % de la qualité humaine, ce qui permet désormais au doublage IA de fonctionner même pour les contenus cinématographiques.

Trois autres capacités clés complètent Dubbing v2 :

• Traduction tenant compte de la synchronisation : le modèle traduit en tenant compte du timing, afin que les débuts et fins de l'audio doublé s'alignent d'emblée sur l'original. Aucune manipulation vidéo ni synchronisation labiale n'est nécessaire. L'audio est placé exactement là où se trouvaient les dialogues d'origine.
• Clonage de voix automatique : Chaque traduction est livrée avec un clone vocal de l'intervenant d'origine, sans étape de clonage manuel. L'identité de l'intervenant, la hauteur et la tonalité de sa voix sont préservées dans chaque langue prise en charge, même en présence de plusieurs intervenants.
• Précision au niveau des variantes régionales : Dubbing v2 distingue les variantes régionales, comme l'espagnol latino-américain ou castillan, grâce à des contrôles régionaux via des codes de langue tels que pt-BR pour le portugais brésilien.

Les critères clés d'une API de doublage IA

Lors de l'évaluation d'une API de doublage IA pour votre pipeline de développement, plusieurs critères essentiels sont à prendre en compte.

Voici les principales caractéristiques des meilleures API de doublage IA :

• Large couverture linguistique et régionale : recherchez une couverture étendue, plus de 90 langues, et la capacité de cibler finement des éléments tels que les variantes régionales.
• Préservation de l'interprétation : vérifiez si le système s'appuie sur l'audio source ou sur sa transcription. L'architecture audio vers audio détermine si l'émotion survivra au doublage.
• Qualité de synchronisation fluide : un audio doublé qui dérive par rapport au timing d'origine exige des heures de retouches manuelles. La synchronisation doit fonctionner par défaut afin d'éviter les coûts de post-traitement.
• Gestion de plusieurs intervenants et de l'arrière-plan : une API de doublage IA doit gérer facilement les intervenants qui se chevauchent ou les effets sonores. L'API doit également préserver la musique de fond ou les mixages d'un extrait.
• Modification et régénération : une API de doublage qui vous permet de corriger une transcription, d'affiner une traduction et de régénérer uniquement les segments concernés évite de redoubler des fichiers entiers.
• Conformité : les charges de travail Enterprise exigent la conformité aux normes SOC 2, RGPD et ISO 27001 avant que le contenu ne transite par le système.

La suite de ce guide présente l'API Dubbing d'ElevenLabs, qui réunit toutes les fonctionnalités de la liste ci-dessus.

Comment doubler du contenu audio et vidéo avec l'API Dubbing d'ElevenLabs

L'API Dubbing est organisée autour de projets. Chaque projet contient un fichier source et sa transcription. Vous pouvez ensuite ajouter une langue cible pour chaque langue vers laquelle vous souhaitez doubler, chacune disposant de sa propre traduction et de son propre résultat.

Le workflow de création et de récupération ci-dessous est accessible à tous les utilisateurs de la plateforme ElevenAPI.

1) Créer un projet de doublage

Envoyez votre média source sous forme de fichier ou d'URL publique. L'authentification utilise votre clé API dans l'en-tête xi-api-key. Vous pouvez transmettre un libellé de référence facultatif pour identifier le projet de votre côté, ainsi que des termes clés pour orienter la transcription et la traduction vers des noms de produits ou de marques.

Créer à partir d'une URL

curl -X POST https://api.elevenlabs.io/v1/dubbing/project \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -F "source_url=https://example.com/promo.mp4" \
  -F "source_language=en" \
  -F "reference=Q3 marketing video"

Créer à partir d'un fichier

curl -X POST https://api.elevenlabs.io/v1/dubbing/project \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -F "file=@promo.mp4" \
  -F "source_language=en" \
  -F "reference=Q3 marketing video"

La réponse renvoie un project_id avec le statut queued. Omettez source_language et le modèle le détectera automatiquement lors de la transcription.

2) Interroger le projet jusqu'à ce qu'il soit prêt

Les sources sont transcrites de manière asynchrone. Interrogez donc le projet jusqu'à ce que son statut passe à ready. 

curl https://api.elevenlabs.io/v1/dubbing/project/{project_id} \
  -H "xi-api-key: $ELEVENLABS_API_KEY"

Un projet prêt dispose de sa transcription source et attend l'ajout de langues cibles. La progression par langue est gérée au niveau de chaque langue. Le projet conserve donc le statut ready à partir de ce moment. 

3) Ajouter des langues cibles

Ajoutez une langue par cible. Le paramètre cloning_strength, de 0 à 10, avec 7 par défaut, contrôle le compromis entre la similarité avec la voix d'origine et une diction naturelle dans la langue cible. 

curl -X POST https://api.elevenlabs.io/v1/dubbing/project/{project_id}/language \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"target_language": "es", "voice_settings": {"cloning_strength": 7}}'

Chaque langue passe successivement par les statuts queued, processing puis completed.

Pour doubler dans cinq langues, effectuez cinq appels sur le même projet. La source n'est transcrite qu'une fois et chaque langue est traduite à partir de celle-ci.

4) Télécharger le résultat doublé

Récupérez la langue une fois son statut passé à completed. La réponse inclut une URL de téléchargement signée pour l'audio doublé.

curl https://api.elevenlabs.io/v1/dubbing/project/{project_id}/language/{language_id} \
  -H "xi-api-key: $ELEVENLABS_API_KEY"

Les URL de téléchargement sont limitées dans le temps. Récupérez donc à nouveau la langue chaque fois que vous souhaitez obtenir un nouveau lien.

Avec ces quatre étapes, vous disposez d'une boucle de doublage entièrement automatisée : créer, interroger, ajouter des langues, télécharger.

Modifier et régénérer des doublages via l'API

Si l'automatisation des résultats couvre la plupart des cas d'usage, une localisation haut de gamme nécessite souvent une relecture humaine pour que chaque formulation soit parfaite. L'API Dubbing offre aux clients Enterprise un contrôle au niveau des segments sur les deux volets de la traduction. 

La transcription source est la référence unique à partir de laquelle toutes les langues sont traduites, et elle est entièrement modifiable. Vous pouvez corriger une réplique mal entendue, rectifier l'attribution d'un intervenant ou ajuster le timing de n'importe quel segment :

curl -X PATCH https://api.elevenlabs.io/v1/dubbing/project/{project_id}/transcript/segment/{segment_id} \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"text": "Welcome to our latest product demo."}'

Chaque langue cible dispose de sa propre transcription, qui associe chaque segment source à sa traduction. Les traductions sont modifiables de la même manière.

Vous pouvez également fournir votre propre transcription source et votre traduction : votre workflow de localisation existant garde ainsi le contrôle sur les mots, tandis que le modèle se charge des voix.

Lorsqu'une transcription est modifiée après la finalisation d'un doublage, la langue est marquée comme obsolète et un seul appel suffit à la régénérer à partir du texte actuel.

curl -X POST https://api.elevenlabs.io/v1/dubbing/project/{project_id}/language/{language_id}/transcript/regenerate \
  -H "xi-api-key: $ELEVENLABS_API_KEY"

Les régénérations sont gratuites jusqu'à une fois la durée du média source. Vous pouvez donc itérer sur une traduction sans multiplier votre facture de doublage. Au-delà de ce quota, la régénération est facturée au tarif standard du doublage.

Cas d'usage des API de doublage IA

Une API de doublage vidéo est utile dès lors que vous devez localiser de grands volumes d'audio. Le doublage manuel est long et exigeant ; une API de doublage IA permet d'accélérer considérablement le processus.

Voici quelques cas d'usage des API de doublage IA :

• Plateformes de création de médias : intégrez directement le doublage aux workflows de production de vos créateurs afin que les utilisateurs puissent expérimenter sans quitter votre application.
• Contenu de formation et d'assistance : les entreprises qui recrutent à l'international peuvent localiser leur contenu dans différentes langues et proposer des vidéos de formation à l'intégration à tous les utilisateurs.
• Streaming et médias : les pipelines de localisation peuvent doubler automatiquement des séries longues ou d'autres contenus destinés à une diffusion sur plusieurs territoires. 
• Supports marketing : déployez des campagnes vidéo multilingues sans devoir réenregistrer les répliques de doubleurs dans des dizaines de langues.
• Edtech : les plateformes de cours doublent les vidéos des formateurs pour chaque marché desservi, tout en préservant leur voix. 

Les API de doublage font de la production de contenus localisés de haute qualité à grande échelle une option accessible.

Dubbing v2 est désormais disponible sur ElevenAPI

L'API Dubbing est disponible pour les développeurs en libre-service comme pour les développeurs Enterprise. Dubbing v2 est accessible à tous, tandis que les points de terminaison de modification sont réservés aux Workspaces Enterprise. 

Découvrez l'API Dubbing pour connaître l'ensemble de ses capacités, ou inscrivez-vous et créez une clé API pour réaliser votre premier doublage en quelques minutes.

FAQ sur les API de doublage