Cómo construí un generador de texto a anuncio comercial usando ElevenLabs, Gemini y VEO 2

Llevo dos décadas creando contenido, desde periodismo hasta vídeos de producto. La IA permite abrir flujos de trabajo creativos completamente nuevos. Con la convergencia del vibe coding y una generación de vídeo cada vez más realista, me pregunté si podía crear una herramienta que tomara un simple prompt y generara un anuncio de 20 segundos.

El concepto era sencillo: escribir una idea aproximada de producto y obtener un anuncio de 30 segundos totalmente producido, con imágenes generadas por IA, locución y efectos de sonido. Así lo creé usando las API de Texto a Voz de ElevenLabs y de efectos de sonido, Gemini de Google y VEO 2 de Google para generar vídeo. Cuando lo creé, VEO 3 aún no se había lanzado.

La versión final se creó casi por completo con el impresionante Claude 4 Opus de Anthropic, aunque me llevó unos días porque no dejaba de alcanzar el límite de solicitudes. 

Selección del stack: Node.js, Express, React y Claude 4 Opus

Elegí Node.js con Express para el backend y React para el frontend. Node gestiona las actualizaciones en tiempo real mientras se generan los vídeos, y la arquitectura basada en componentes de React facilita gestionar y ampliar la interfaz de varios pasos.

He programado de forma intermitente desde pequeño; empecé con un bolígrafo robot en primaria. Pero siempre he sido más de pensar en producto que ingeniero a tiempo completo. Herramientas como Claude 4 Opus cambiaron eso. Con los prompts adecuados, podía avanzar rápido, implementar funciones correctamente y centrarme en la lógica de producto en lugar del código repetitivo. 

No se trata de delegar la creatividad en la IA, sino de crear de forma más inteligente con las herramientas adecuadas.

Asistente de ocho pasos: del prompt al anuncio terminado

Crear un anuncio para un nuevo producto o servicio, incluso uno de solo 20 segundos, implica varios pasos complejos, así que lo dividí en ocho fases distintas:

1. Información del producto
2. Generación de guion
3. Creación de vídeo
4. Efectos de sonido
5. Montaje de vídeo
6. Locución
7. Vídeo final
8. Publicaciones en redes sociales

Cada paso se basa en el anterior y crea un flujo que transforma una idea simple en un anuncio completo. En cada fase, la persona tiene control total para cambiar cualquier elemento o regenerar cualquier texto, vídeo o audio.

Perfeccionar ideas con Gemini Flash

El primer reto era que la mayoría de la gente no parte de ideas de producto completamente definidas. Puede escribir algo vago como «algo para la productividad». Ahí es donde entra Gemini.

Usé el modelo Gemini 2.0 Flash de Google para convertir ideas aproximadas en conceptos de producto concretos. El diseño de prompts era crucial: necesitaba que Gemini fuera específico y concreto, no vago y genérico. En lugar de aceptar «algo para hacer ejercicio», el sistema lo transforma en algo como «FitPulse AI: una pulsera inteligente que utiliza biometría avanzada para crear microentrenamientos personalizados a lo largo del día».

"""Enhance a product idea using Gemini"""
        
        prompt = f"""
        Enhance this product idea to make it more compelling:
        
        Original idea: {idea}
        Target mood: {mood}
        Target audience: {audience}
        
        Make it:
        1. Clear and specific about the value proposition
        2. Appeal to {audience}
        3. Match the {mood.lower()} tone
        4. Be memorable and marketable
        
        Keep it to 2-3 sentences.
        """

Generar guiones no genéricos con Gemini

Después llegó la generación del guion. De nuevo con Gemini, estructuré la salida en cuatro escenas de 5 segundos, cada una con tres componentes:

• El guion de la locución
• Un prompt para generar vídeo
• Una descripción de los efectos de sonido

La clave era que Gemini entendiera el tono y el público. Un anuncio «peculiar» para millennials necesita un lenguaje distinto a uno «profesional» para clientes empresariales. 

Dediqué bastante tiempo a perfeccionar los prompts para evitar el lenguaje genérico de la IA y crear guiones adaptados a cada producto.

     """Generate a 4-scene commercial script"""
        
        prompt = f"""
        Create a 30-second commercial script with exactly 4 scenes.
        
        Product: {product_name}
        Audience: {target_audience}
        Key Message: {key_message}
        Mood: {mood}
        
        Return a JSON array with 4 scenes, each with:
        - number: 1-4
        - duration: 5
        - script: What the voiceover says
        - videoPrompt: Visual description for video generation
        - sfxPrompt: Sound effects description
        
        Example format:
        [{{"number": 1, "duration": 5, "script": "...", "videoPrompt": "...", "sfxPrompt": "..."}}]
        """

Crear escenas de 5 segundos con VEO 2

Utilicé la API alojada de FAL.ai para el modelo VEO 2 de Google. El prompt de vídeo de cada escena se envía a FAL.ai, que devuelve un clip de vídeo de 5 segundos. Fue una de las integraciones más complejas: gestionar tiempos de generación largos, límites de la API y ofrecer información a usuarios mientras esperan.

Al principio planeaba usar Google AI Studio o Vertex AI para la API de Veo 2, ya que así usaría la misma clave de API que para Gemini, pero no conseguí que Veo 2 funcionara en mi cuenta.

Implementé un sistema de gestión de estado que guarda los vídeos generados localmente, para que usuarios no tengan que regenerar contenido costoso si salen y vuelven. Cuando alcanzas los límites de solicitudes de Claude, lo último que quieres es perder los vídeos generados por haber actualizado la página. 

El contenido de vídeo para un clip de 20 segundos, sin contar nuevos montajes ni regeneraciones, costaba unos 10 $.

Usar ElevenLabs para efectos de sonido y locución

Aquí es donde fui creativo con las API de ElevenLabs. Aunque ElevenLabs es conocido principalmente por la generación de voz, también contamos con una API de efectos de sonido impresionante. Consulta el increíble ejemplo de Soundboard para ver posibles casos de uso. 

La usé para generar cuatro variaciones de efectos de sonido para cada escena: alegre, enérgico, tranquilo y dramático. Usuarios pueden previsualizar cada opción y elegir la que mejor encaje con su visión.

const response = await elevenLabs.soundGeneration({
  text: modifiedPrompt,
  duration_seconds: duration,
  prompt_influence: 0.3
});

Montar los vídeos finales con FFmpeg

Con cuatro clips de vídeo y cuatro pistas de efectos de sonido, necesitaba combinarlos. Eso supuso profundizar en FFmpeg, la navaja suiza del procesamiento de vídeo. El backend ejecuta comandos de FFmpeg para:

1. Mezclar los efectos de sonido con cada clip de vídeo
2. Concatenar todos los clips en un único vídeo
3. Añadir la pista de locución al vídeo final

Dar con los comandos correctos de FFmpeg requirió bastante depuración. La mezcla de audio, en particular, exige prestar mucha atención a los niveles y los tiempos. Aprendí que el audio de fondo debe reducirse a aproximadamente un 30 % del volumen cuando se mezcla con la locución: si es más alto, compite por la atención; si es más bajo, casi no merece la pena incluirlo.

Locución: donde ElevenLabs realmente destaca

Para la locución, integré la API de texto a voz de ElevenLabs para ofrecer a usuarios una selección de voces. El sistema genera un único guion de locución coherente a partir de los guiones de todas las escenas y, después, lo envía a ElevenLabs con ajustes de voz optimizados:

const voiceSettings = {
  stability: 0.75,
  similarity_boost: 0.75,
  style: 0.0,
  use_speaker_boost: true
};

Estos ajustes proporcionan una narración clara y profesional que funciona bien para anuncios. Tras experimentar con distintas configuraciones, descubrí que este equilibrio aporta consistencia sin sonar robótico.

Gestión robusta de errores y experiencia de usuario

Crear con varias API de IA implica afrontar distintos tipos de fallos. Límites de solicitudes, errores de tiempo de espera, respuestas malformadas... todo ocurre. Especialmente cuando estás depurando a las 2 de la madrugada y VEO 2 decide devolver algo inesperado.

Implementé una gestión integral de errores con opciones alternativas:

• Si Gemini falla, el sistema proporciona guiones alternativos inteligentes
• Si falla la generación de vídeo, hay vídeos de marcador de posición disponibles
• Si falla la generación de sonido, se utilizan pistas de audio básicas

El objetivo era garantizar que usuarios siempre pudieran terminar su anuncio, incluso si algunos servicios de IA tenían un mal día.

Consideraciones de rendimiento

Generar un anuncio implica varias llamadas a API de IA que pueden tardar varios minutos. Para mejorar la experiencia:

• Proceso vídeos en paralelo siempre que es posible
• Muestro indicadores de progreso en tiempo real
• Guardo localmente el contenido generado costoso
• Permito a usuarios regenerar componentes individuales

También implementé un sistema de persistencia de estado. Si alguien cierra el navegador a mitad de la generación, puede volver y retomar el proceso donde lo dejó. No estaba en mi plan original, pero después de perder mi propio progreso varias veces durante las pruebas, se convirtió en una prioridad.

Conclusiones principales y próximos pasos

Crear esta herramienta me dejó tres lecciones clave.

Primero, el diseño de prompts es fundamental. La calidad del resultado de cualquier modelo de IA depende en gran medida de cómo plantees la entrada. Dediqué tanto tiempo a perfeccionar los prompts como a escribir código.

Segundo, la experiencia de usuario supera a la complejidad técnica. A usuarios no les importa cuántos servicios de IA intervengan; les importa que la herramienta funcione. Los indicadores de progreso, la gestión de errores y los ciclos de respuesta rápidos marcan la diferencia.

Tercero, los asistentes de IA como Claude aceleran el desarrollo. Me centré en la lógica de producto mientras delegaba en el modelo el código repetitivo y la sintaxis. No se trata de saltarse pasos, sino de crear de forma más inteligente.

Lo que empezó como un proyecto de fin de semana se convirtió en una herramienta real y ampliable. Los equipos de marketing podrían usarla para crear prototipos, las startups para vídeos de presentación y creadores para contenido patrocinado.

El sistema es flexible por diseño. Puedes cambiar los estilos de vídeo ajustando los prompts de VEO 2, modificar la duración de las escenas para distintos formatos o añadir música mediante FFmpeg.

La verdadera oportunidad está en orquestar varios sistemas de IA. Ningún modelo por sí solo puede generar un anuncio completo, pero combinados, Gemini, VEO 2 y ElevenLabs pueden producir algo mucho más potente que cualquiera de ellos por separado.

No se trata de que la IA sustituya a creadores. Se trata de dar a creadores mejores herramientas. Después de 20 años creando contenido, he visto muchos cambios, pero este parece fundamental.

Si quieres explorar cómo la tecnología de ElevenLabs puede ayudar a ofrecer nuevos enfoques para el contenido y los medios ponte en contacto con nuestro equipo de ventas.