API de dublagem com IA: Como dublar áudio e vídeo em escala

Há algumas décadas, dublar um vídeo significava reservar um estúdio, contratar dubladores para o idioma de destino, gravar (e regravar) cada fala e depois esperar semanas pela entrega final.

Uma API de dublagem com IA resume esse processo a algumas chamadas REST. Envie seu áudio ou vídeo e receba uma versão dublada em novos idiomas, preservando o tempo e a carga emocional originais.

Este guia explica como funciona uma API de dublagem com IA e o que diferencia uma solução pronta para produção de um pipeline improvisado. Também vamos explorar como integrar a nova API de dublagem da ElevenLabs, que agora oferece o Dubbing v2, nosso mais recente modelo de dublagem, a qualquer workflow.

Resumo

• Uma API de dublagem com IA recebe áudio ou vídeo de origem e retorna conteúdo dublado em novos idiomas.
• O Dubbing v2 é um modelo de áudio para áudio que se baseia na performance original, levando emoção, tom e interpretação para cada dublagem.
• A API de Dublagem da ElevenLabs abrange mais de 90 idiomas com tradução que considera a sincronização.
• Desenvolvedores criam um projeto de dublagem, adicionam idiomas de destino e baixam as dublagens finalizadas com algumas chamadas REST.
• Clientes Enterprise podem editar transcrições de origem e traduções e depois regenerar somente os segmentos alterados. 

O que é uma API de dublagem com IA?

Uma dublagem com IA API é uma interface programática que aceita áudio ou vídeo em um idioma e retorna áudio dublado nos idiomas de destino. Ela automatiza toda a cadeia de localização: transcreve o conteúdo de origem, traduz os diálogos, clona a voz de cada pessoa, gera a fala no idioma de destino e alinha a saída ao tempo original.

Embora desenvolvedores já tenham combinado serviços de Speech to Text, tradução automática e Text to Speech em pipelines de dublagem improvisados, eles não são confiáveis para cargas de trabalho em escala.

A identidade do falante se fragmenta entre as etapas, o tempo pode se desalinhar e um roteiro antes rico em emoção se torna monótono.

Uma API de dublagem desenvolvida especificamente para isso inclui diversos recursos adicionais que resolvem esses problemas. Da separação de falantes e preservação de voz à sincronização interna e clonagem de voz, uma API de dublagem com IA de alta qualidade faz o resultado soar como o falante original, e não como uma tradução sem expressão.

Como funciona a dublagem com IA: áudio para áudio vs. pipelines em cascata

A maioria dos sistemas de dublagem automatizada usa pipelines em cascata. Eles transcrevem o áudio de origem, traduzem a transcrição e sintetizam uma nova fala a partir desse texto. Tudo que vai além da transcrição bruta, como hesitação, tensão, sarcasmo ou um comentário sussurrado, se perde antes de a síntese começar.

A ElevenLabs Dubbing v2 adota uma abordagem diferente. 

O Dubbing v2 oferece um modelo de áudio para áudio que baseia a saída diretamente na gravação original, em vez de na transcrição dela. Tom, emoção e registro emocional são transferidos para a dublagem porque o modelo ouve a performance em vez de ler uma descrição dela.

Estimamos que o Dubbing v2 produza dublagens com 80% a 90% da qualidade humana, o que significa que a dublagem com IA agora funciona até mesmo para conteúdo cinematográfico.

Outros três recursos principais completam o Dubbing v2:

• Tradução que considera a sincronização: O modelo traduz levando o tempo em conta, para que os inícios e términos do áudio dublado se alinhem ao original automaticamente. Não há manipulação de vídeo nem sincronização labial. O áudio fica exatamente onde o diálogo original estava.
• Clonagem de voz automática: Cada tradução é entregue com um clone de voz do falante original, sem nenhuma etapa manual de clonagem. A identidade do falante, o tom e a tonalidade são mantidos em todos os idiomas compatíveis, mesmo com vários falantes.
• Precisão por localidade: O Dubbing v2 diferencia variantes regionais, como espanhol latino-americano ou castelhano, com controles de localidade por meio de códigos de idioma como pt-BR para português brasileiro.

O que procurar em uma API de dublagem com IA

Ao avaliar uma API de dublagem com IA para o seu pipeline de desenvolvimento, há alguns critérios essenciais a considerar.

Estes são os principais recursos das melhores APIs de dublagem com IA:

• Ampla cobertura de idiomas e localidades: Procure abrangência (mais de 90 idiomas) e a capacidade de direcionar granularmente aspectos como variantes regionais.
• Preservação da performance: Verifique se o sistema se baseia no áudio de origem ou na transcrição. A arquitetura de áudio para áudio determina se a emoção será preservada na dublagem.
• Qualidade de sincronização sem atrito: Um áudio dublado que se desvia do tempo original gera horas de ajustes manuais. A sincronização precisa funcionar por padrão para evitar trabalho extra de pós-processamento.
• Recursos para vários falantes e som de fundo: Uma API de dublagem com IA deve lidar com falantes sobrepostos ou efeitos sonoros com facilidade. A API também deve preservar a música de fundo ou as mixagens dentro de um clipe.
• Edição e regeneração: Uma API de dublagem que permite corrigir uma transcrição, refinar uma tradução e regenerar somente os segmentos afetados evita que você precise dublar arquivos inteiros novamente.
• Conformidade: Cargas de trabalho Enterprise exigem conformidade com SOC 2, LGPD e ISO 27001 antes que o conteúdo passe pelo sistema.

O restante deste guia apresenta a API de Dublagem da ElevenLabs, que reúne todos os recursos da lista acima.

Como dublar áudio e vídeo com a API de Dublagem da ElevenLabs

A API de Dublagem é organizada em projetos. Cada projeto contém um arquivo de origem e sua transcrição. Depois, você pode adicionar um idioma de destino para cada idioma para o qual deseja dublar, e cada idioma terá sua própria tradução e saída.

O workflow básico de criação e obtenção abaixo está disponível para todos os usuários na plataforma ElevenAPI.

1) Crie um projeto de dublagem

Envie sua mídia de origem como upload de arquivo ou URL pública. A autenticação usa sua chave de API no cabeçalho xi-api-key. Você pode enviar um rótulo de referência opcional para identificar o projeto do seu lado e termos-chave para direcionar a transcrição e a tradução a nomes de produtos ou marcas.

Criar a partir de uma URL

curl -X POST https://api.elevenlabs.io/v1/dubbing/project \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -F "source_url=https://example.com/promo.mp4" \
  -F "source_language=en" \
  -F "reference=Q3 marketing video"

Criar a partir do upload de um arquivo

curl -X POST https://api.elevenlabs.io/v1/dubbing/project \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -F "file=@promo.mp4" \
  -F "source_language=en" \
  -F "reference=Q3 marketing video"

A resposta retorna um project_id com o status queued. Omita source_language para que o modelo o detecte automaticamente durante a transcrição.

2) Consulte o status até que o projeto esteja pronto

As fontes são transcritas de forma assíncrona, então consulte o projeto até que seu status seja ready. 

curl https://api.elevenlabs.io/v1/dubbing/project/{project_id} \
  -H "xi-api-key: $ELEVENLABS_API_KEY"

Um projeto ready tem sua transcrição de origem preparada e aguarda a adição dos idiomas de destino. O progresso de cada idioma está nos próprios idiomas, então o projeto permanece ready a partir desse ponto. 

3) Adicione idiomas de destino

Adicione um idioma para cada destino. A configuração cloning_strength (de 0 a 10; padrão 7) controla o equilíbrio entre a similaridade com a voz original e uma interpretação natural no idioma de destino. 

curl -X POST https://api.elevenlabs.io/v1/dubbing/project/{project_id}/language \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"target_language": "es", "voice_settings": {"cloning_strength": 7}}'

Cada idioma passa pelos status queued e processing até completed.

Para dublar em cinco idiomas, faça cinco chamadas para o mesmo projeto. A fonte é transcrita uma vez, e todos os idiomas são traduzidos a partir dela.

4) Baixe o resultado dublado

Obtenha o idioma quando seu status for completed. A resposta inclui uma URL de download assinada para o áudio dublado.

curl https://api.elevenlabs.io/v1/dubbing/project/{project_id}/language/{language_id} \
  -H "xi-api-key: $ELEVENLABS_API_KEY"

Lembre-se de que as URLs de download têm prazo de validade, então obtenha o idioma novamente sempre que quiser um link novo.

Com essas quatro etapas, você tem um ciclo de dublagem totalmente automatizado: criar, consultar, adicionar idiomas e baixar.

Como editar e regenerar dublagens via API

Embora automatizar a saída cubra a maioria dos casos de uso, uma localização premium muitas vezes precisa de uma revisão humana do texto para garantir que tudo fique perfeito. A API de Dublagem dá a clientes Enterprise controle no nível de segmento sobre os dois lados da tradução. 

A transcrição de origem é a única fonte da verdade da qual todos os idiomas traduzem e pode ser totalmente editada. Você pode corrigir uma fala transcrita incorretamente, ajustar a atribuição de um falante ou alterar o tempo de qualquer segmento:

curl -X PATCH https://api.elevenlabs.io/v1/dubbing/project/{project_id}/transcript/segment/{segment_id} \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"text": "Welcome to our latest product demo."}'

Cada idioma de destino disponibiliza sua própria transcrição, associando cada segmento de origem à sua tradução. As traduções podem ser editadas da mesma forma.

Você também pode usar sua própria transcrição e tradução de origem, mantendo seu workflow de localização atual no controle das palavras enquanto o modelo cuida das vozes.

Quando uma transcrição é alterada após a conclusão de uma dublagem, o idioma é marcado como desatualizado, e uma única chamada o regenera a partir do texto atual.

curl -X POST https://api.elevenlabs.io/v1/dubbing/project/{project_id}/language/{language_id}/transcript/regenerate \
  -H "xi-api-key: $ELEVENLABS_API_KEY"

As regenerações são gratuitas até 1x a duração da mídia de origem, ou seja, iterar uma tradução não multiplica sua conta de dublagem. Acima da cota de 1x, a regeneração é cobrada pela sua tarifa padrão de dublagem.

Casos de uso de APIs de dublagem com IA

Uma API de dublagem de vídeo é útil sempre que você precisa localizar áudio em grande volume. A dublagem manual exige muito tempo e trabalho, enquanto uma API de dublagem com IA permite acelerar bastante o processo.

Confira alguns casos de uso de APIs de dublagem com IA:

• Plataformas de criação de mídia: Incorpore a dublagem diretamente aos workflows de produção dos seus criadores para que eles possam experimentar sem sair do seu app.
• Conteúdo de treinamento e suporte: Empresas com equipes de contratação globais podem localizar conteúdo em diferentes idiomas, oferecendo vídeos de treinamento de integração para todos os usuários.
• Streaming e mídia: Pipelines de localização podem dublar automaticamente séries longas ou outras mídias para lançamento em vários territórios. 
• Materiais de marketing: Lance campanhas de vídeo multilíngues sem precisar regravar as falas de dubladores em dezenas de idiomas.
• Edtech: Plataformas de cursos dublam vídeos de instrutores para todos os mercados que atendem, preservando a voz do instrutor. 

Em todos os casos, as APIs de dublagem tornam acessível a produção de conteúdo localizado e de alta qualidade em escala.

O Dubbing v2 já está disponível na ElevenAPI

A API de Dublagem está disponível para desenvolvedores self-service e Enterprise, com o Dubbing v2 acessível a todos e endpoints de edição para workspaces Enterprise. 

Explore a API de Dublagem para conhecer todos os recursos ou cadastre-se e crie uma chave de API para fazer sua primeira dublagem em minutos.

Perguntas frequentes sobre APIs de dublagem