Come ho creato un generatore di spot pubblicitari con ElevenLabs, Gemini e VEO 2

Creo contenuti da due decenni, dal giornalismo ai video di prodotto. L'IA rende possibili workflow creativi completamente nuovi. Con l'incontro tra vibe coding e generazione video sempre più realistica, mi sono chiesto se potessi creare uno strumento in grado di trasformare un semplice prompt in uno spot pubblicitario di 20 secondi.

Il concetto era semplice: inserire un'idea approssimativa di prodotto e ottenere uno spot di 30 secondi interamente realizzato, con immagini generate dall'IA, voce fuori campo ed effetti sonori. Ecco come l'ho creato usando ElevenLabs TTS e le API SFX, Gemini di Google e VEO 2 di Google per la generazione video. Quando l'ho creato, VEO 3 non era ancora stato rilasciato.

La versione finale è stata realizzata quasi interamente con l'impressionante Claude 4 Opus di Anthropic, anche se nell'arco di alcuni giorni, dato che continuavo a raggiungere il rate limit. 

Scelta dello stack: Node.js, Express, React e Claude 4 Opus

Ho scelto Node.js con Express per il backend e React per il frontend. Node gestisce gli aggiornamenti in tempo reale durante la generazione dei video, mentre l'architettura a componenti di React semplifica la gestione e l'estensione dell'interfaccia in più passaggi.

Scrivo codice a intermittenza fin dall'infanzia, a partire da una penna robot alle elementari. Ma sono sempre stato più orientato al prodotto che un ingegnere a tempo pieno. Strumenti come Claude 4 Opus hanno cambiato le cose. Con i prompt giusti, potevo lavorare velocemente, implementare correttamente le funzionalità e concentrarmi sulla logica del prodotto anziché sul boilerplate. 

Non si tratta di delegare la creatività all'IA, ma di sviluppare in modo più intelligente con gli strumenti giusti.

Procedura guidata in otto passaggi: dal prompt allo spot finito

Creare uno spot per un nuovo prodotto o servizio, anche di appena 20 secondi, richiede diversi passaggi complessi. Per questo l'ho suddiviso in otto fasi distinte:

1. Informazioni sul prodotto
2. Generazione dello script
3. Creazione del video
4. Effetti sonori
5. Montaggio video
6. Voce fuori campo
7. Video finale
8. Post sui social

Ogni passaggio si basa sul precedente, creando una pipeline che trasforma una semplice idea in uno spot completo. In ogni fase, la persona mantiene il pieno controllo per modificare qualsiasi elemento o rigenerare qualsiasi testo, video o audio.

Perfezionare le idee con Gemini Flash

La prima sfida era che la maggior parte delle persone non parte da idee di prodotto già ben definite. Potrebbero digitare qualcosa di vago, come "qualcosa per la produttività". È qui che entra in gioco Gemini.

Ho usato il modello Gemini 2.0 Flash di Google per trasformare idee approssimative in concetti di prodotto concreti. Il prompt engineering è stato fondamentale: avevo bisogno che Gemini fosse specifico e concreto, non vago e generico. Invece di accettare "qualcosa per il fitness", il sistema lo trasforma in qualcosa come "FitPulse AI: un braccialetto intelligente che usa biometria avanzata per creare micro-allenamenti personalizzati durante tutta la giornata."

"""Enhance a product idea using Gemini"""
        
        prompt = f"""
        Enhance this product idea to make it more compelling:
        
        Original idea: {idea}
        Target mood: {mood}
        Target audience: {audience}
        
        Make it:
        1. Clear and specific about the value proposition
        2. Appeal to {audience}
        3. Match the {mood.lower()} tone
        4. Be memorable and marketable
        
        Keep it to 2-3 sentences.
        """

Generare script non generici con Gemini

Il passaggio successivo è stato generare lo script. Sempre con Gemini, ho strutturato l'output in quattro scene di 5 secondi, ciascuna con tre componenti:

• Lo script della voce fuori campo
• Un prompt per la generazione video
• Una descrizione degli effetti sonori

Il punto chiave era fare in modo che Gemini comprendesse il tono e il pubblico. Uno spot "stravagante" per i millennial richiede un linguaggio diverso rispetto a uno "professionale" per clienti enterprise. 

Ho dedicato molto tempo a perfezionare i prompt per evitare il linguaggio generico dell'IA e creare script su misura per ogni prodotto.

     """Generate a 4-scene commercial script"""
        
        prompt = f"""
        Create a 30-second commercial script with exactly 4 scenes.
        
        Product: {product_name}
        Audience: {target_audience}
        Key Message: {key_message}
        Mood: {mood}
        
        Return a JSON array with 4 scenes, each with:
        - number: 1-4
        - duration: 5
        - script: What the voiceover says
        - videoPrompt: Visual description for video generation
        - sfxPrompt: Sound effects description
        
        Example format:
        [{{"number": 1, "duration": 5, "script": "...", "videoPrompt": "...", "sfxPrompt": "..."}}]
        """

Creare scene di 5 secondi con VEO 2

Ho usato l'API fornita da FAL.ai per il modello VEO 2 di Google. Il prompt video di ogni scena viene inviato a FAL.ai, che restituisce un clip video di 5 secondi. È stata una delle integrazioni più complesse: gestire tempi di generazione lunghi, limiti delle API e fornire feedback agli utenti mentre attendono.

Inizialmente avevo pianificato di usare Google AI Studio o Vertex AI per l'API di Veo 2, così avrei utilizzato la stessa chiave API di Gemini, ma non sono riuscito a far funzionare Veo 2 sul mio account.

Ho implementato un sistema di gestione dello stato che salva localmente i video generati, così gli utenti non devono rigenerare contenuti costosi se escono e poi tornano. Quando raggiungi i rate limit di Claude, l'ultima cosa che vuoi è perdere i video generati perché hai aggiornato la pagina. 

I contenuti video per un clip di 20 secondi, senza considerare nuovi montaggi o rigenerazioni, costavano circa 10 $.

Usare ElevenLabs per effetti sonori e voce fuori campo

È qui che ho sperimentato con le API di ElevenLabs. Sebbene ElevenLabs sia nota soprattutto per la generazione vocale, offriamo anche un'API per effetti sonori davvero notevole. Scopri l'incredibile esempio di Soundboard per vedere alcuni possibili casi d'uso. 

L'ho usata per generare quattro varianti di effetti sonori per ogni scena: allegri, energici, calmi e drammatici. Gli utenti possono ascoltare l'anteprima di ogni opzione e scegliere quella più adatta alla loro visione.

const response = await elevenLabs.soundGeneration({
  text: modifiedPrompt,
  duration_seconds: duration,
  prompt_influence: 0.3
});

Montare i video finali con FFmpeg

Con quattro clip video e quattro tracce di effetti sonori, dovevo combinarli. Questo ha significato approfondire FFmpeg, il coltellino svizzero dell'elaborazione video. Il backend esegue comandi FFmpeg per:

1. Mixare gli effetti sonori con ogni clip video
2. Concatenare tutti i clip in un unico video
3. Aggiungere la traccia della voce fuori campo al video finale

Impostare correttamente i comandi FFmpeg ha richiesto molto debugging. Il mixaggio audio, in particolare, richiede grande attenzione a livelli e tempistiche. Ho scoperto che l'audio di sottofondo dovrebbe essere ridotto a circa il 30% del volume quando viene mixato con la voce fuori campo: più alto compete per l'attenzione, più basso è come se non ci fosse.

Voce fuori campo: dove ElevenLabs dà il meglio

Per la voce fuori campo, ho integrato l'API Text to Speech di ElevenLabs per offrire agli utenti una selezione di voci. Il sistema genera un unico script coerente per la voce fuori campo a partire dagli script di tutte le scene, poi lo invia a ElevenLabs con impostazioni vocali ottimizzate:

const voiceSettings = {
  stability: 0.75,
  similarity_boost: 0.75,
  style: 0.0,
  use_speaker_boost: true
};

Queste impostazioni offrono una narrazione chiara e professionale, perfetta per gli spot. Dopo aver sperimentato diverse configurazioni, ho scoperto che questo equilibrio garantisce coerenza senza suonare artificiale.

Gestione affidabile degli errori ed esperienza utente

Sviluppare con più API di IA significa gestire varie modalità di errore. Rate limit, errori di timeout, risposte malformate: succede di tutto. Soprattutto quando fai debugging alle 2 di notte e VEO 2 decide di restituire qualcosa di inaspettato.

Ho implementato una gestione completa degli errori con opzioni di fallback:

• Se Gemini non funziona, il sistema fornisce script di fallback intelligenti
• Se la generazione video non funziona, sono disponibili video segnaposto
• Se la generazione audio non funziona, vengono usate tracce audio di base

L'obiettivo era garantire che gli utenti potessero sempre completare il proprio spot, anche se alcuni servizi di IA avevano una giornata no.

Considerazioni sulle prestazioni

Generare uno spot richiede più chiamate API di IA, che possono richiedere diversi minuti. Per migliorare l'esperienza, ho:

• Elaborato i video in parallelo quando possibile
• Mostrato indicatori di avanzamento in tempo reale
• Salvato localmente i contenuti generati più costosi
• Consentito agli utenti di rigenerare singoli componenti

Ho anche implementato un sistema di persistenza dello stato. Se qualcuno chiude il browser durante la generazione, può tornare e riprendere da dove aveva lasciato. Non faceva parte del mio piano iniziale, ma dopo aver perso più volte i miei progressi durante i test, è diventata una priorità.

Punti chiave e prossimi passi

Sviluppando questo strumento, sono emerse tre lezioni fondamentali.

Primo: la progettazione dei prompt è fondamentale. La qualità dell'output di qualsiasi modello di IA dipende in larga misura da come formuli l'input. Ho dedicato alla rifinitura dei prompt tanto tempo quanto alla scrittura del codice.

Secondo: l'esperienza utente conta più della complessità tecnica. Agli utenti non interessa quanti servizi di IA siano coinvolti: interessa che lo strumento funzioni. Indicatori di avanzamento, gestione degli errori e cicli di feedback rapidi fanno davvero la differenza.

Terzo: gli assistenti IA come Claude accelerano lo sviluppo. Mi sono concentrato sulla logica del prodotto, delegando al modello il boilerplate e la sintassi. Non si tratta di saltare passaggi, ma di sviluppare in modo più intelligente.

Quello che è iniziato come un progetto del fine settimana è diventato uno strumento reale ed estensibile. I team di marketing potrebbero usarlo per creare prototipi, le startup per i video di presentazione e i creator per contenuti sponsorizzati.

Il sistema è flessibile per progettazione. Puoi cambiare gli stili video modificando i prompt di VEO 2, variare la durata delle scene per diversi formati oppure aggiungere musica tramite FFmpeg.

La vera opportunità sta nell'orchestrare più sistemi di IA. Nessun singolo modello può generare uno spot completo, ma insieme Gemini, VEO 2 ed ElevenLabs possono produrre qualcosa di molto più potente di quanto ciascuno possa fare da solo.

Non si tratta di sostituire i creator con l'IA. Si tratta di offrire ai creator strumenti migliori. Dopo 20 anni nel mondo dei contenuti, ho visto molti cambiamenti, ma questa trasformazione mi sembra fondamentale.

Se vuoi scoprire come la tecnologia ElevenLabs può aiutarti a sperimentare nuovi approcci ai contenuti e ai media, contatta il nostro team commerciale.