API de doblaje IA: cómo doblar audio y vídeo a gran escala

Hace unas décadas, doblar un vídeo implicaba reservar un estudio, contratar actores de doblaje para tu idioma de destino, grabar (y volver a grabar) cada frase y esperar semanas para recibir el resultado final.

Una API de doblaje con IA reduce ese proceso a unas pocas llamadas REST. Envía tu audio o vídeo y recibe un doblaje en nuevos idiomas que conserva el ritmo y el rango emocional originales.

Esta guía explica cómo funciona una API de doblaje con IA y qué diferencia a una solución preparada para producción de un pipeline improvisado. También veremos cómo integrar la nueva API de doblaje de ElevenLabs, que ahora ofrece Dubbing v2, nuestro modelo de doblaje más reciente, en cualquier workflow.

Resumen

• Una API de doblaje con IA toma audio o vídeo de origen y devuelve contenido doblado en nuevos idiomas.
• Dubbing v2 es un modelo de audio a audio que se basa en la interpretación original; así, la emoción, el tono y la entonación se trasladan a cada doblaje.
• La API de Doblaje IA de ElevenLabs abarca más de 90 idiomas con traducción adaptada a la sincronización.
• Desarrolladores crean un proyecto de doblaje, añaden idiomas de destino y descargan los doblajes terminados con unas pocas llamadas REST.
• Clientes empresariales pueden editar transcripciones y traducciones de origen, y después regenerar solo los segmentos que hayan cambiado. 

¿Qué es una API de doblaje con IA?

Una API de doblaje con IA es una interfaz programática que acepta audio o vídeo en un idioma y devuelve audio doblado en idiomas de destino. Automatiza toda la cadena de localización: transcribe el contenido de origen, traduce el diálogo, clona la voz de cada hablante, genera voz en el idioma de destino y alinea el resultado con el ritmo original.

Aunque desarrolladores han combinado servicios de Voz a Texto, traducción automática y Texto a Voz para crear pipelines de doblaje improvisados, no resultan fiables para cargas de trabajo a gran escala.

La identidad del hablante se fragmenta entre fases, la sincronización puede desviarse y un guion antes rico en emociones se vuelve monótono.

Una API de doblaje diseñada específicamente para ello incluye varias funciones adicionales que resuelven estos problemas. Desde la separación de hablantes y la conservación de la voz hasta la sincronización interna y la clonación de voz, una API de doblaje con IA de alta calidad hace que el resultado suene como el hablante original, no como una traducción plana.

Cómo funciona el doblaje con IA: audio a audio frente a pipelines en cascada

La mayoría de sistemas de doblaje automatizado son pipelines en cascada. Transcriben el audio de origen, traducen la transcripción y sintetizan nueva voz a partir de ese texto. Todo lo que va más allá de la transcripción sin procesar, como la vacilación, la tensión, el sarcasmo o un comentario en susurros, se pierde antes de que comience la síntesis.

ElevenLabs Dubbing v2 adopta un enfoque diferente. 

Dubbing v2 ofrece un modelo de audio a audio que condiciona el resultado directamente a la grabación original, en lugar de a su transcripción. El tono, la emoción y el registro emocional se trasladan al doblaje porque el modelo escucha la interpretación en vez de leer una descripción de ella.

Estimamos que Dubbing v2 produce doblajes con entre un 80 y un 90 % de la calidad humana, lo que significa que el doblaje con IA ya funciona incluso con contenido cinematográfico.

Otras tres capacidades clave completan Dubbing v2:

• Traducción adaptada a la sincronización: el modelo traduce teniendo en cuenta el ritmo, por lo que los inicios y las pausas del audio doblado se alinean con el original de forma predeterminada. No requiere manipulación de vídeo ni sincronización labial. El audio se reproduce exactamente donde estaba el diálogo original.
• Clonación de voz automática: cada traducción se entrega con un clon de voz del hablante original, sin necesidad de clonación manual. La identidad del hablante, el tono y la tonalidad se mantienen en todos los idiomas compatibles, incluso si hay varios hablantes.
• Precisión por configuración regional: Dubbing v2 distingue variantes regionales, como el español latinoamericano o castellano, mediante controles regionales a través de códigos de idioma como pt-BR para el portugués de Brasil.

Qué buscar en una API de doblaje con IA

Al evaluar una API de doblaje con IA para tu pipeline de desarrollo, hay varios criterios clave que debes tener en cuenta.

Estas son las principales características de las mejores API de doblaje con IA:

• Amplia cobertura de idiomas y variantes regionales: busca variedad (más de 90 idiomas) y la capacidad de seleccionar con precisión aspectos como las variantes regionales.
• Conservación de la interpretación: pregunta si el sistema se basa en el audio de origen o en la transcripción. La arquitectura de audio a audio determina si la emoción sobrevivirá al doblaje.
• Calidad de sincronización fluida: el audio doblado que se desvía del ritmo original genera horas de trabajo manual. La sincronización debe funcionar de forma predeterminada para evitar la carga del posprocesamiento.
• Capacidades para varios hablantes y sonido de fondo: una API de doblaje con IA debe gestionar sin problemas hablantes superpuestos o efectos de sonido. La API también debe conservar la música de fondo o las mezclas presentes en un clip.
• Edición y regeneración: una API de doblaje que te permite corregir una transcripción, refinar una traducción y regenerar solo los segmentos afectados evita que tengas que volver a doblar archivos enteros.
• Cumplimiento normativo: las cargas de trabajo empresariales necesitan cumplir con SOC 2, RGPD e ISO 27001 antes de que el contenido pase por el sistema.

El resto de esta guía explica la API de Doblaje IA de ElevenLabs, que incluye todas las funciones de la lista anterior.

Cómo doblar audio y vídeo con la API de Doblaje IA de ElevenLabs

La API de Doblaje IA se organiza en torno a proyectos. Cada proyecto contiene un archivo de origen y su transcripción. Después puedes añadir un idioma de destino por cada idioma al que quieras doblar, y cada idioma tendrá su propia traducción y resultado.

El workflow básico de creación y obtención que verás a continuación está disponible para todos los usuarios de la plataforma ElevenAPI.

1) Crea un proyecto de doblaje

Envía tu contenido de origen como archivo o mediante una URL pública. La autenticación usa tu clave de API en la cabecera xi-api-key. Puedes incluir una etiqueta de referencia opcional para identificar el proyecto por tu parte, así como términos clave para orientar la transcripción y la traducción hacia nombres de productos o marcas.

Crear desde una URL

curl -X POST https://api.elevenlabs.io/v1/dubbing/project \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -F "source_url=https://example.com/promo.mp4" \
  -F "source_language=en" \
  -F "reference=Q3 marketing video"

Crear a partir de un archivo

curl -X POST https://api.elevenlabs.io/v1/dubbing/project \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -F "file=@promo.mp4" \
  -F "source_language=en" \
  -F "reference=Q3 marketing video"

La respuesta devuelve un project_id con el estado queued. Omite source_language para que el modelo lo detecte automáticamente durante la transcripción.

2) Consulta el proyecto hasta que esté listo

Las fuentes se transcriben de forma asíncrona, así que consulta el proyecto hasta que su estado sea ready. 

curl https://api.elevenlabs.io/v1/dubbing/project/{project_id} \
  -H "xi-api-key: $ELEVENLABS_API_KEY"

Un proyecto listo tiene preparada la transcripción de origen y espera a que añadas idiomas de destino. El progreso de cada idioma está en los propios idiomas, por lo que el proyecto mantiene el estado ready a partir de ese momento. 

3) Añade idiomas de destino

Añade un idioma para cada destino. El ajuste cloning_strength (de 0 a 10; 7 de forma predeterminada) controla el equilibrio entre la similitud con la voz original y una entonación natural en el idioma de destino. 

curl -X POST https://api.elevenlabs.io/v1/dubbing/project/{project_id}/language \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"target_language": "es", "voice_settings": {"cloning_strength": 7}}'

Cada idioma pasa por los estados queued y processing hasta completed.

Para doblar a cinco idiomas, haz cinco llamadas al mismo proyecto. La fuente se transcribe una vez y cada idioma se traduce a partir de ella.

4) Descarga el resultado doblado

Obtén el idioma cuando su estado sea completed. La respuesta incluye una URL de descarga firmada para el audio doblado.

curl https://api.elevenlabs.io/v1/dubbing/project/{project_id}/language/{language_id} \
  -H "xi-api-key: $ELEVENLABS_API_KEY"

Recuerda que las URL de descarga tienen una duración limitada, así que vuelve a obtener el idioma siempre que quieras un enlace nuevo.

Con estos cuatro pasos, tienes un ciclo de doblaje totalmente automatizado: crear, consultar, añadir idiomas y descargar.

Editar y regenerar doblajes mediante API

Aunque automatizar el resultado cubrirá la mayoría de casos de uso, la localización prémium suele requerir una revisión humana del texto para asegurarse de que todo sea perfecto. La API de Doblaje IA ofrece a clientes empresariales control a nivel de segmento sobre ambos lados de la traducción. 

La transcripción de origen es la única fuente de verdad desde la que se traduce a todos los idiomas, y se puede editar por completo. Puedes corregir una frase mal interpretada, arreglar la asignación de un hablante o ajustar el ritmo de cualquier segmento:

curl -X PATCH https://api.elevenlabs.io/v1/dubbing/project/{project_id}/transcript/segment/{segment_id} \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"text": "Welcome to our latest product demo."}'

Cada idioma de destino tiene su propia transcripción, que vincula cada segmento de origen con su traducción. Las traducciones se pueden editar de la misma forma.

También puedes incluir tu propia transcripción y traducción de origen, para que tu workflow de localización existente controle el texto mientras el modelo se encarga de las voces.

Cuando una transcripción cambia después de completar un doblaje, el idioma se marca como desactualizado y una sola llamada lo regenera a partir del texto actual.

curl -X POST https://api.elevenlabs.io/v1/dubbing/project/{project_id}/language/{language_id}/transcript/regenerate \
  -H "xi-api-key: $ELEVENLABS_API_KEY"

Las regeneraciones son gratuitas hasta 1 vez la duración del contenido de origen, por lo que iterar sobre una traducción no multiplica tu factura de doblaje. Una vez superada la cuota de 1 vez, la regeneración se factura según tu tarifa de doblaje estándar.

Casos de uso de las API de doblaje con IA

Una API de doblaje de vídeo resulta útil siempre que necesites localizar audio a gran escala. El doblaje manual requiere mucho tiempo y trabajo, mientras que una API de doblaje con IA te permite acelerar el proceso considerablemente.

Estos son algunos casos de uso de las API de doblaje con IA:

• Plataformas de creación de contenido: integra el doblaje directamente en los workflows de producción de creadores para que usuarios puedan experimentar sin salir de tu app.
• Contenido de formación y soporte: las empresas con procesos de contratación globales pueden localizar contenido a distintos idiomas y ofrecer vídeos de formación para la incorporación de todos los usuarios.
• Streaming y medios: los pipelines de localización pueden doblar automáticamente series de larga duración u otros contenidos para su lanzamiento en varios territorios. 
• Materiales de marketing: lanza campañas de vídeo multilingües sin tener que volver a grabar las frases de actores de doblaje en decenas de idiomas.
• Tecnología educativa: las plataformas de cursos doblan los vídeos de instructores para cada mercado al que llegan, al tiempo que conservan la voz del instructor. 

En todos los ámbitos, las API de doblaje hacen que producir contenido localizado de alta calidad a gran escala sea una opción accesible.

Dubbing v2 ya está disponible en ElevenAPI

La API de Doblaje IA está disponible para desarrolladores tanto de autoservicio como empresariales, con Dubbing v2 accesible para todos y rutas de API de edición para espacios de trabajo empresariales. 

Explora la API de Doblaje IA para conocer todas sus capacidades o regístrate y crea una clave de API para realizar tu primer doblaje en minutos.

Preguntas frecuentes sobre las API de doblaje