Como construí um gerador de texto para comerciais usando ElevenLabs, Gemini e VEO 2

Passei duas décadas criando conteúdo — do jornalismo a vídeos de produtos. A IA possibilita novos fluxos de trabalho criativos. Com a união entre vibe coding e uma geração de vídeo cada vez mais realista, pensei se conseguiria criar uma ferramenta que recebe um prompt simples e produz um anúncio de 20 segundos.

O conceito era simples: digitar uma ideia inicial de produto e receber um comercial de 30 segundos totalmente produzido, com imagens, locução e efeitos sonoros gerados por IA. Veja como criei isso usando as APIs de Text to Speech da ElevenLabs e de efeitos sonoros, o Gemini do Google e o VEO 2 do Google para geração de vídeo. Na época em que o projeto foi criado, o VEO 3 ainda não havia sido lançado.

A versão final foi criada quase inteiramente com o impressionante Claude 4 Opus, da Anthropic, ao longo de alguns dias, já que eu continuava atingindo o limite de requisições. 

Escolha da stack: Node.js, Express, React e Claude 4 Opus

Escolhi Node.js com Express para o backend e React para o frontend. O Node processa atualizações em tempo real à medida que os vídeos são gerados, enquanto a arquitetura baseada em componentes do React facilita o gerenciamento e a expansão da interface em várias etapas.

Programo de vez em quando desde criança — comecei com uma caneta robótica no ensino fundamental. Mas sempre pensei mais em produtos do que atuei como engenheiro em tempo integral. Ferramentas como o Claude 4 Opus mudaram isso. Com os prompts certos, eu podia avançar rápido, implementar recursos corretamente e focar na lógica do produto, em vez de código repetitivo. 

Não se trata de terceirizar a criatividade para a IA — trata-se de desenvolver melhor com as ferramentas certas.

Assistente em oito etapas: do prompt ao anúncio finalizado

Criar um comercial para um novo produto ou serviço, mesmo que tenha apenas 20 segundos, envolve várias etapas complexas. Por isso, dividi o processo em oito fases distintas:

1. Informações do produto
2. Geração de roteiro
3. Criação de vídeo
4. Efeitos sonoros
5. Montagem de vídeo
6. Locução
7. Vídeo final
8. Publicações nas redes sociais

Cada etapa se baseia na anterior, criando um pipeline que transforma uma ideia simples em um comercial completo. Em cada fase, a pessoa tem total controle para alterar qualquer elemento ou gerar novamente qualquer trecho de texto, vídeo ou áudio.

Aprimorando ideias com o Gemini Flash

O primeiro desafio era que a maioria das pessoas não começa com ideias de produto totalmente formadas. Elas podem digitar algo vago, como "algo para produtividade". É aí que o Gemini entra.

Usei o modelo Gemini 2.0 Flash do Google para transformar ideias iniciais em conceitos concretos de produto. A engenharia de prompts foi essencial aqui — eu precisava que o Gemini fosse específico e concreto, não vago e genérico. Em vez de aceitar "algo para fitness", o sistema transforma a ideia em algo como "FitPulse AI: uma pulseira inteligente que usa biometria avançada para criar microrrotinas de exercícios personalizadas ao longo do dia."

"""Enhance a product idea using Gemini"""
        
        prompt = f"""
        Enhance this product idea to make it more compelling:
        
        Original idea: {idea}
        Target mood: {mood}
        Target audience: {audience}
        
        Make it:
        1. Clear and specific about the value proposition
        2. Appeal to {audience}
        3. Match the {mood.lower()} tone
        4. Be memorable and marketable
        
        Keep it to 2-3 sentences.
        """

Gerando roteiros não genéricos com o Gemini

Em seguida, veio a geração do roteiro. Usando novamente o Gemini, estruturei a saída em quatro cenas de 5 segundos, cada uma com três componentes:

• O roteiro da locução
• Um prompt para geração de vídeo
• Uma descrição dos efeitos sonoros

O ponto-chave era fazer o Gemini entender o clima e o público. Um comercial "irreverente" para millennials precisa de uma linguagem diferente de um comercial "profissional" para clientes corporativos. 

Dediquei bastante tempo ao refinamento dos prompts para evitar o discurso genérico de IA e criar roteiros que parecessem feitos sob medida para cada produto.

     """Generate a 4-scene commercial script"""
        
        prompt = f"""
        Create a 30-second commercial script with exactly 4 scenes.
        
        Product: {product_name}
        Audience: {target_audience}
        Key Message: {key_message}
        Mood: {mood}
        
        Return a JSON array with 4 scenes, each with:
        - number: 1-4
        - duration: 5
        - script: What the voiceover says
        - videoPrompt: Visual description for video generation
        - sfxPrompt: Sound effects description
        
        Example format:
        [{{"number": 1, "duration": 5, "script": "...", "videoPrompt": "...", "sfxPrompt": "..."}}]
        """

Criando cenas de 5 segundos com o VEO 2

Usei a API hospedada da FAL.ai para o modelo VEO 2 do Google. O prompt de vídeo de cada cena é enviado à FAL.ai, que retorna um clipe de vídeo de 5 segundos. Essa foi uma das integrações mais desafiadoras — lidar com longos tempos de geração, gerenciar limites da API e fornecer retorno aos usuários enquanto esperam.

Inicialmente, eu planejava usar o Google AI Studio ou o Vertex AI para a API do Veo 2, pois assim usaria a mesma chave de API do Gemini, mas não consegui fazer o Veo 2 funcionar na minha conta.

Implementei um sistema de gerenciamento de estado que salva os vídeos gerados localmente, para que os usuários não precisem gerar novamente um conteúdo caro caso saiam e voltem. Quando você está atingindo os limites de requisições do Claude, a última coisa que quer é perder os vídeos gerados porque atualizou a página. 

O conteúdo de vídeo para um clipe de 20 segundos, sem considerar recortes ou gerações adicionais, custou cerca de US$ 10.

Usando a ElevenLabs para efeitos sonoros e locução

Foi aqui que usei minha criatividade com as APIs da ElevenLabs. Embora a ElevenLabs seja conhecida principalmente pela geração de voz, também temos uma API de efeitos sonoros muito impressionante. Confira o incrível exemplo do Soundboard para conhecer possíveis casos de uso. 

Usei-a para gerar quatro variações de efeitos sonoros para cada cena — animados, energéticos, calmos e dramáticos. Os usuários podem ouvir uma prévia de cada opção e selecionar a que melhor se encaixa em sua visão.

const response = await elevenLabs.soundGeneration({
  text: modifiedPrompt,
  duration_seconds: duration,
  prompt_influence: 0.3
});

Montando os vídeos finais com FFmpeg

Com quatro clipes de vídeo e quatro faixas de efeitos sonoros, eu precisava combiná-los. Isso significou mergulhar no FFmpeg, o canivete suíço do processamento de vídeo. O backend executa comandos do FFmpeg para:

1. Misturar os efeitos sonoros a cada clipe de vídeo
2. Concatenar todos os clipes em um único vídeo
3. Adicionar a faixa de locução ao vídeo final

Acertar os comandos do FFmpeg exigiu bastante depuração. A mixagem de áudio, em especial, requer atenção cuidadosa aos níveis e à sincronização. Aprendi que o áudio de fundo deve ser reduzido para cerca de 30% do volume ao ser mixado com a locução — acima disso, disputa atenção; abaixo disso, praticamente não faz diferença.

Locução: onde a ElevenLabs realmente se destaca

Para a locução, integrei a API de Text to Speech da ElevenLabs para oferecer aos usuários uma seleção de vozes. O sistema gera um único roteiro de locução coeso a partir dos roteiros de todas as cenas e, em seguida, o envia à ElevenLabs com configurações de voz otimizadas:

const voiceSettings = {
  stability: 0.75,
  similarity_boost: 0.75,
  style: 0.0,
  use_speaker_boost: true
};

Essas configurações proporcionam uma narração clara e profissional, ideal para comerciais. Depois de testar diferentes configurações, descobri que esse equilíbrio oferece consistência sem soar robótico.

Tratamento resiliente de erros e experiência do usuário

Desenvolver com várias APIs de IA significa lidar com diferentes modos de falha. Limites de requisições, erros de tempo limite, respostas malformadas — tudo isso acontece. Principalmente quando você está depurando às 2 da manhã e o VEO 2 decide retornar algo inesperado.

Implementei um tratamento abrangente de erros com opções de contingência:

• Se o Gemini falhar, o sistema fornece roteiros alternativos inteligentes
• Se a geração de vídeo falhar, vídeos de espaço reservado ficam disponíveis
• Se a geração de som falhar, são usadas faixas de áudio básicas

O objetivo era garantir que os usuários sempre pudessem concluir seu comercial, mesmo que alguns serviços de IA estivessem em um dia ruim.

Considerações de desempenho

Gerar um comercial envolve várias chamadas de API de IA que podem levar alguns minutos. Para melhorar a experiência, eu:

• Processo vídeos em paralelo sempre que possível
• Exibo indicadores de progresso em tempo real
• Salvo localmente o conteúdo gerado mais caro
• Permito que os usuários gerem novamente componentes individuais

Também implementei um sistema de persistência de estado. Se alguém fechar o navegador no meio da geração, poderá voltar e retomar de onde parou. Isso não fazia parte do plano original, mas, depois de perder meu próprio progresso algumas vezes durante os testes, tornou-se uma prioridade.

Principais aprendizados e os próximos passos

O desenvolvimento dessa ferramenta trouxe três lições importantes.

Primeiro, o design de prompts é fundamental. A qualidade da saída de qualquer modelo de IA depende muito de como você formula a entrada. Dediquei tanto tempo ao refinamento dos prompts quanto à escrita de código.

Segundo, a experiência do usuário supera a complexidade técnica. Os usuários não se importam com quantos serviços de IA estão envolvidos — eles se importam que a ferramenta funcione. Indicadores de progresso, tratamento de erros e ciclos de feedback rápidos fazem toda a diferença.

Terceiro, assistentes de IA como o Claude aceleram o desenvolvimento. Concentrei-me na lógica do produto enquanto delegava o código repetitivo e a sintaxe ao modelo. Não se trata de pular etapas — trata-se de desenvolver melhor.

O que começou como um projeto de fim de semana se tornou uma ferramenta real e extensível. Equipes de marketing poderiam usá-la para prototipagem, startups para vídeos de apresentação e criadores para conteúdo patrocinado.

O sistema é flexível por definição. Você pode mudar os estilos de vídeo ajustando os prompts do VEO 2, modificar a duração das cenas para diferentes formatos ou adicionar música com o FFmpeg.

A verdadeira oportunidade está em orquestrar vários sistemas de IA. Nenhum modelo isolado consegue gerar um comercial completo — mas, juntos, Gemini, VEO 2 e ElevenLabs podem produzir algo muito mais poderoso do que qualquer um deles sozinho.

Não se trata de a IA substituir criadores. Trata-se de dar ferramentas melhores a eles. Depois de 20 anos trabalhando com conteúdo, vi muitas mudanças — mas esta parece fundamental.

Se quiser explorar como a tecnologia da ElevenLabs pode ajudar a criar novas abordagens para conteúdo e mídia, fale com nossa equipe de vendas.