Comment j'ai créé un générateur de textes publicitaires avec ElevenLabs, Gemini et VEO 2

Cela fait deux décennies que je crée du contenu, du journalisme aux vidéos produits. L’IA permet d’ouvrir des flux de travail créatifs entièrement nouveaux. À la croisée de la programmation intuitive et de la génération vidéo toujours plus réaliste, je me suis demandé si je pouvais créer un outil capable de transformer une simple requête en spot publicitaire de 20 secondes.

Le concept était simple : saisir une idée de produit approximative et obtenir une publicité de 30 secondes entièrement produite, avec des visuels générés par l’IA, une voix off et des effets sonores. Voici comment je l’ai conçu avec les API de Text to Speech d’ElevenLabs et de SFX, Gemini de Google et VEO 2 de Google pour la génération vidéo. Au moment de sa création, VEO 3 n’était pas encore sorti.

La version finale a été créée presque entièrement avec l’impressionnant Claude 4 Opus d’Anthropic, sur plusieurs jours toutefois, car j’atteignais régulièrement la limite de requêtes. 

Choix de la stack : Node.js, Express, React et Claude 4 Opus

J’ai choisi Node.js avec Express pour le backend et React pour le frontend. Node gère les mises à jour en temps réel à mesure que les vidéos sont générées, tandis que l’architecture à composants de React facilite la gestion et l’extension de l’interface en plusieurs étapes.

J’écris du code de façon intermittente depuis l’enfance, à commencer par un stylo-robot à l’école primaire. Mais j’ai toujours davantage raisonné en produit qu’en ingénieur à plein temps. Des outils comme Claude 4 Opus ont changé cela. Avec les bonnes requêtes, je pouvais avancer vite, implémenter correctement des fonctionnalités et me concentrer sur la logique produit plutôt que sur le code rébarbatif. 

Il ne s’agit pas de déléguer la créativité à l’IA, mais de concevoir plus intelligemment avec les bons outils.

Assistant en huit étapes : de la requête à la publicité finalisée

Créer une publicité pour un nouveau produit ou service, même de seulement 20 secondes, implique plusieurs étapes complexes. Je les ai donc réparties en huit phases distinctes :

1. Informations sur le produit
2. Génération du script
3. Création de la vidéo
4. Effets sonores
5. Assemblage vidéo
6. Voix off
7. Vidéo finale
8. Publications sur les réseaux sociaux

Chaque étape s’appuie sur la précédente pour former un pipeline qui transforme une simple idée en publicité complète. À chaque étape, l’utilisateur garde le contrôle total pour modifier n’importe quel élément ou régénérer tout texte, toute vidéo ou tout audio.

Affiner les idées avec Gemini Flash

Le premier défi était que la plupart des personnes ne partent pas d’idées de produit déjà abouties. Elles peuvent saisir quelque chose d’aussi vague que « quelque chose pour la productivité ». C’est là que Gemini intervient.

J’ai utilisé le modèle Gemini 2.0 Flash de Google pour transformer des idées imprécises en concepts de produits concrets. L’ingénierie des requêtes était ici cruciale : Gemini devait être précis et concret, non vague et générique. Au lieu d’accepter « quelque chose pour le fitness », le système le transforme en une proposition du type « FitPulse AI : un bracelet intelligent qui utilise des données biométriques avancées pour créer des micro-entraînements personnalisés tout au long de votre journée ».

"""Enhance a product idea using Gemini"""
        
        prompt = f"""
        Enhance this product idea to make it more compelling:
        
        Original idea: {idea}
        Target mood: {mood}
        Target audience: {audience}
        
        Make it:
        1. Clear and specific about the value proposition
        2. Appeal to {audience}
        3. Match the {mood.lower()} tone
        4. Be memorable and marketable
        
        Keep it to 2-3 sentences.
        """

Générer des scripts spécifiques avec Gemini

Vint ensuite la génération du script. Toujours avec Gemini, j’ai structuré la sortie en quatre scènes de 5 secondes, chacune composée de trois éléments :

• Le script de la voix off
• Une requête de génération vidéo
• Une description des effets sonores

L’essentiel était de faire comprendre à Gemini l’ambiance et le public cible. Une publicité « décalée » destinée aux millennials requiert un langage différent d’une publicité « professionnelle » pour des clients d’entreprise. 

J’ai consacré beaucoup de temps à affiner les requêtes afin d’éviter le jargon générique de l’IA et de créer des scripts adaptés à chaque produit.

     """Generate a 4-scene commercial script"""
        
        prompt = f"""
        Create a 30-second commercial script with exactly 4 scenes.
        
        Product: {product_name}
        Audience: {target_audience}
        Key Message: {key_message}
        Mood: {mood}
        
        Return a JSON array with 4 scenes, each with:
        - number: 1-4
        - duration: 5
        - script: What the voiceover says
        - videoPrompt: Visual description for video generation
        - sfxPrompt: Sound effects description
        
        Example format:
        [{{"number": 1, "duration": 5, "script": "...", "videoPrompt": "...", "sfxPrompt": "..."}}]
        """

Créer des scènes de 5 secondes avec VEO 2

J’ai utilisé l’API hébergée de FAL.ai pour le modèle VEO 2 de Google. La requête vidéo de chaque scène est envoyée à FAL.ai, qui renvoie un clip vidéo de 5 secondes. Ce fut l’une des intégrations les plus délicates : il fallait gérer les longs temps de génération, les limites des API et informer les utilisateurs pendant l’attente.

J’avais initialement prévu d’utiliser Google AI Studio ou Vertex AI pour l’API Veo 2, ce qui m’aurait permis d’utiliser la même clé API que pour Gemini, mais je n’ai pas réussi à faire fonctionner Veo 2 sur mon compte.

J’ai mis en place un système de gestion d’état qui enregistre les vidéos générées localement afin que les utilisateurs n’aient pas à régénérer du contenu coûteux s’ils quittent la page puis reviennent. Lorsque vous atteignez les limites de requêtes de Claude, la dernière chose que vous souhaitez est de perdre vos vidéos générées après avoir actualisé la page. 

Le contenu vidéo d’un clip de 20 secondes coûtait environ 10 $, sans compter d’éventuels nouveaux montages ou régénérations.

Utiliser ElevenLabs pour les effets sonores et la voix off

C’est là que j’ai fait preuve de créativité avec les API d’ElevenLabs. Si ElevenLabs est surtout connu pour la génération vocale, nous proposons également une API d’effets sonores très performante. Consultez l’incroyable exemple de Soundboard pour découvrir des cas d’utilisation potentiels. 

Je l’ai utilisée pour générer quatre variantes d’effets sonores pour chaque scène : entraînante, énergique, calme et dramatique. Les utilisateurs peuvent prévisualiser chaque option et choisir celle qui correspond à leur vision.

const response = await elevenLabs.soundGeneration({
  text: modifiedPrompt,
  duration_seconds: duration,
  prompt_influence: 0.3
});

Assembler les vidéos finales avec FFmpeg

Avec quatre clips vidéo et quatre pistes d’effets sonores, je devais les combiner. Cela m’a conduit à explorer en profondeur FFmpeg, le couteau suisse du traitement vidéo. Le backend exécute des commandes FFmpeg pour :

1. Mixer les effets sonores avec chaque clip vidéo
2. Concaténer tous les clips en une seule vidéo
3. Ajouter la piste de voix off à la vidéo finale

Obtenir les bonnes commandes FFmpeg a nécessité un débogage important. Le mixage audio, en particulier, exige une attention rigoureuse aux niveaux et au timing. J’ai appris que le volume de l’audio d’arrière-plan devait être réduit à environ 30 % lorsqu’il est mixé avec la voix off : plus élevé, il détourne l’attention ; plus faible, autant s’en passer.

Voix off : là où ElevenLabs excelle vraiment

Pour la voix off, j’ai intégré l’API de synthèse vocale d’ElevenLabs afin de proposer aux utilisateurs une sélection de voix. Le système génère un script de voix off unique et cohérent à partir des scripts de toutes les scènes, puis l’envoie à ElevenLabs avec des paramètres vocaux optimisés :

const voiceSettings = {
  stability: 0.75,
  similarity_boost: 0.75,
  style: 0.0,
  use_speaker_boost: true
};

Ces paramètres offrent une narration claire et professionnelle, bien adaptée aux publicités. Après avoir testé différentes configurations, j’ai constaté que cet équilibre assure une restitution cohérente sans sonner de façon robotique.

Gestion robuste des erreurs et expérience utilisateur

Concevoir avec plusieurs API d’IA implique de gérer divers modes de défaillance. Limites de requêtes, erreurs de délai d’attente, réponses mal formées : tout cela arrive. Surtout lorsque vous déboguez à 2 h du matin et que VEO 2 décide de renvoyer un résultat inattendu.

J’ai mis en place une gestion complète des erreurs avec des solutions de repli :

• Si Gemini échoue, le système fournit des scripts de remplacement intelligents
• Si la génération vidéo échoue, des vidéos de substitution sont disponibles
• Si la génération audio échoue, des pistes audio de base sont utilisées

L’objectif était de permettre aux utilisateurs de toujours finaliser leur publicité, même si certains services d’IA connaissent une mauvaise journée.

Considérations relatives aux performances

Générer une publicité implique plusieurs appels d’API d’IA pouvant prendre plusieurs minutes. Pour améliorer l’expérience, j’ai :

• Traité les vidéos en parallèle lorsque possible
• Affiché des indicateurs de progression en temps réel
• Enregistré localement le contenu généré coûteux
• Permis aux utilisateurs de régénérer des composants individuels

J’ai également mis en place un système de persistance de l’état. Si une personne ferme son navigateur au milieu de la génération, elle peut revenir et reprendre là où elle s’était arrêtée. Ce n’était pas prévu au départ, mais après avoir perdu ma propre progression à plusieurs reprises durant les tests, cela est devenu une priorité.

Principaux enseignements et prochaines étapes

La conception de cet outil a fait ressortir trois enseignements majeurs.

Premièrement, la conception des requêtes est essentielle. La qualité du résultat de tout modèle IA dépend fortement de la manière dont vous formulez les données d’entrée. J’ai consacré autant de temps à affiner les requêtes qu’à écrire du code.

Deuxièmement, l’expérience utilisateur prime sur la complexité technique. Les utilisateurs ne se préoccupent pas du nombre de services d’IA impliqués, ils veulent que l’outil fonctionne. Les indicateurs de progression, la gestion des erreurs et des boucles de retour rapides font toute la différence.

Troisièmement, les assistants IA comme Claude accélèrent le développement. Je me suis concentré sur la logique produit tout en confiant au modèle le code rébarbatif et la syntaxe. Il ne s’agit pas de sauter des étapes, mais de concevoir plus intelligemment.

Ce qui avait commencé comme un projet de week-end est devenu un outil concret et extensible. Les équipes marketing pourraient l’utiliser pour le prototypage, les start-up pour leurs vidéos de présentation et les créateurs pour du contenu sponsorisé.

Le système est flexible par conception. Vous pouvez modifier les styles vidéo en ajustant les requêtes VEO 2, adapter la durée des scènes à différents formats ou ajouter de la musique via FFmpeg.

La véritable opportunité réside dans l’orchestration de plusieurs systèmes d’IA. Aucun modèle seul ne peut générer une publicité complète, mais Gemini, VEO 2 et ElevenLabs réunis peuvent produire un résultat bien plus abouti que chacun pris isolément.

Il ne s’agit pas pour l’IA de remplacer les créateurs. Il s’agit de leur offrir de meilleurs outils. Après 20 ans dans le contenu, j’ai connu de nombreux changements, mais celui-ci semble fondamental.

Pour découvrir comment la technologie d’ElevenLabs peut ouvrir de nouvelles approches du contenu et des médias, Nous contacter.