Wie ich einen Text-zu-Werbung-Generator mit ElevenLabs, Gemini und VEO 2 gebaut habe

Seit zwei Jahrzehnten erstelle ich Inhalte – von Journalismus bis zu Produktvideos. KI ermöglicht völlig neue kreative Workflows. An der Schnittstelle von Vibe-Coding und immer realistischerer Videogenerierung fragte ich mich, ob ich ein Tool entwickeln könnte, das aus einem einfachen Prompt einen 20-sekündigen Werbespot erstellt.

Das Konzept war einfach: eine grobe Produktidee eingeben und einen vollständig produzierten 30-Sekunden-Werbespot mit KI-generierten Bildern, Voiceover und Soundeffekten erhalten. So habe ich ihn mit ElevenLabs TTS und SFX-APIs, Googles Gemini und VEO 2 von Google für die Videogenerierung erstellt. Zum Zeitpunkt der Entwicklung war VEO 3 noch nicht veröffentlicht.

Die finale Version entstand fast vollständig mit Anthropics beeindruckendem Claude 4 Opus, allerdings über mehrere Tage hinweg, da ich immer wieder an das Rate Limit stieß. 

Stack-Auswahl: Node.js, Express, React und Claude 4 Opus

Für das Backend wählte ich Node.js mit Express und für das Frontend React. Node verarbeitet Echtzeit-Updates während der Videogenerierung, während die komponentenbasierte Architektur von React die mehrstufige Oberfläche einfach verwaltbar und erweiterbar macht.

Seit meiner Kindheit programmiere ich immer wieder – angefangen mit einem Roboterstift in der Grundschule. Doch ich war stets eher Produktdenker als Vollzeitentwickler. Tools wie Claude 4 Opus haben das verändert. Mit den richtigen Prompts konnte ich schnell arbeiten, Funktionen korrekt umsetzen und mich auf die Produktlogik statt auf Boilerplate konzentrieren. 

Es geht nicht darum, Kreativität an KI auszulagern – sondern mit den richtigen Tools intelligenter zu entwickeln.

Achtstufiger Assistent: Vom Prompt zum fertigen Werbespot

Die Erstellung eines Werbespots für ein neues Produkt oder einen neuen Service umfasst selbst bei nur 20 Sekunden mehrere komplexe Schritte. Deshalb habe ich den Prozess in acht Phasen unterteilt:

1. Produktinformationen
2. Skriptgenerierung
3. Videoerstellung
4. Soundeffekte
5. Videobearbeitung
6. Voiceover
7. Finales Video
8. Social-Media-Posts

Jeder Schritt baut auf dem vorherigen auf und schafft eine Pipeline, die eine einfache Idee in einen vollständigen Werbespot verwandelt. In jeder Phase behalten Nutzende die volle Kontrolle, um jedes Element zu ändern oder Text, Video oder Audio neu zu generieren.

Ideen mit Gemini Flash verfeinern

Die erste Herausforderung bestand darin, dass die meisten Menschen nicht mit vollständig ausgearbeiteten Produktideen beginnen. Vielleicht geben sie etwas Vages ein wie „etwas für Produktivität“. Hier kommt Gemini ins Spiel.

Ich nutzte Googles Modell Gemini 2.0 Flash, um grobe Ideen in konkrete Produktkonzepte zu verwandeln. Prompt Engineering war dabei entscheidend – Gemini sollte spezifisch und konkret sein, nicht vage und generisch. Statt „etwas für Fitness“ zu akzeptieren, verwandelt das System die Idee in etwas wie „FitPulse AI: Ein intelligentes Armband, das fortschrittliche biometrische Daten nutzt, um personalisierte Mini-Workouts für Ihren Alltag zu erstellen.“

"""Enhance a product idea using Gemini"""
        
        prompt = f"""
        Enhance this product idea to make it more compelling:
        
        Original idea: {idea}
        Target mood: {mood}
        Target audience: {audience}
        
        Make it:
        1. Clear and specific about the value proposition
        2. Appeal to {audience}
        3. Match the {mood.lower()} tone
        4. Be memorable and marketable
        
        Keep it to 2-3 sentences.
        """

Nicht-generische Skripte mit Gemini erstellen

Als Nächstes folgte die Skriptgenerierung. Wieder mit Gemini strukturierte ich die Ausgabe in vier Szenen à 5 Sekunden, jeweils mit drei Komponenten:

• Das Voiceover-Skript
• Ein Prompt zur Videogenerierung
• Eine Beschreibung der Soundeffekte

Entscheidend war, dass Gemini Stimmung und Zielgruppe versteht. Ein „origineller“ Werbespot für Millennials braucht eine andere Sprache als ein „professioneller“ für Unternehmenskunden. 

Ich habe viel Zeit darauf verwendet, die Prompts zu verfeinern, um generische KI-Sprache zu vermeiden und Skripte zu erstellen, die auf jedes Produkt zugeschnitten wirken.

     """Generate a 4-scene commercial script"""
        
        prompt = f"""
        Create a 30-second commercial script with exactly 4 scenes.
        
        Product: {product_name}
        Audience: {target_audience}
        Key Message: {key_message}
        Mood: {mood}
        
        Return a JSON array with 4 scenes, each with:
        - number: 1-4
        - duration: 5
        - script: What the voiceover says
        - videoPrompt: Visual description for video generation
        - sfxPrompt: Sound effects description
        
        Example format:
        [{{"number": 1, "duration": 5, "script": "...", "videoPrompt": "...", "sfxPrompt": "..."}}]
        """

5-Sekunden-Szenen mit VEO 2 erstellen

Ich nutzte die gehostete API von FAL.ai für Googles Modell VEO 2. Der Videoprompt jeder Szene wird an FAL.ai gesendet, das einen 5-sekündigen Videoclip zurückgibt. Das war eine der anspruchsvolleren Integrationen – mit langen Generierungszeiten, API-Limits und der Aufgabe, Nutzenden während der Wartezeit Feedback zu geben.

Ursprünglich wollte ich für die Veo-2-API Google AI Studio oder Vertex AI nutzen, weil ich dann denselben API-Schlüssel wie für Gemini verwenden könnte. Aber ich konnte Veo 2 nicht in meinem Account zum Laufen bringen.

Ich implementierte ein Zustandsverwaltungssystem, das generierte Videos lokal speichert. So müssen Nutzende teure Inhalte nicht erneut generieren, wenn sie die Seite verlassen und zurückkehren. Wenn Sie bei Claude an Rate Limits stoßen, möchten Sie zuletzt Ihre generierten Videos verlieren, nur weil Sie die Seite aktualisiert haben. 

Die Videoinhalte für einen 20-sekündigen Clip kosteten ohne Neuschnitte oder erneute Generierungen etwa 10 US-Dollar.

ElevenLabs für Soundeffekte und Voiceover nutzen

Hier wurde ich kreativ mit den APIs von ElevenLabs. ElevenLabs ist vor allem für Stimmengenerierung bekannt, bietet aber auch eine sehr beeindruckende Soundeffekt-API. Das beeindruckende Soundboard zeigt mögliche Anwendungsfälle. 

Ich nutzte sie, um für jede Szene vier Varianten von Soundeffekten zu generieren – fröhlich, energiegeladen, ruhig und dramatisch. Nutzende können jede Option vorhören und die Variante wählen, die ihrer Vision entspricht.

const response = await elevenLabs.soundGeneration({
  text: modifiedPrompt,
  duration_seconds: duration,
  prompt_influence: 0.3
});

Finale Videos mit FFmpeg zusammenstellen

Mit vier Videoclips und vier Soundeffektspuren musste ich alles zusammenführen. Das erforderte einen tiefen Einstieg in FFmpeg, das Schweizer Taschenmesser der Videobearbeitung. Das Backend führt FFmpeg-Befehle aus, um:

1. Soundeffekte mit jedem Videoclip zu mischen
2. alle Clips zu einem Video zusammenzufügen
3. die Voiceover-Spur zum finalen Video hinzuzufügen

Die FFmpeg-Befehle korrekt umzusetzen, erforderte umfangreiches Debugging. Insbesondere Audiomischung verlangt sorgfältige Aufmerksamkeit für Pegel und Timing. Ich habe gelernt, dass Hintergrundaudio beim Mischen mit Voiceover auf etwa 30 % Lautstärke reduziert werden sollte – höher konkurriert es um Aufmerksamkeit, niedriger kann es genauso gut fehlen.

Voiceover: Hier glänzt ElevenLabs wirklich

Für das Voiceover integrierte ich die Text-to-Speech-API von ElevenLabs, um Nutzenden eine Auswahl an Stimmen anzubieten. Das System erstellt aus allen Szenenskripten ein zusammenhängendes Voiceover-Skript und sendet es anschließend mit optimierten Stimmeinstellungen an ElevenLabs:

const voiceSettings = {
  stability: 0.75,
  similarity_boost: 0.75,
  style: 0.0,
  use_speaker_boost: true
};

Diese Einstellungen liefern eine klare, professionelle Sprecherstimme, die gut für Werbespots funktioniert. Nach Tests mit verschiedenen Konfigurationen stellte ich fest, dass diese Balance Konsistenz bietet, ohne roboterhaft zu klingen.

Robuste Fehlerbehandlung und Nutzererlebnis

Mit mehreren KI-APIs zu entwickeln bedeutet, mit unterschiedlichen Fehlerarten umzugehen. Rate Limits, Timeout-Fehler, fehlerhafte Antworten – all das passiert. Besonders beim Debuggen um 2 Uhr nachts, wenn VEO 2 beschließt, etwas Unerwartetes zurückzugeben.

Ich implementierte eine umfassende Fehlerbehandlung mit Fallback-Optionen:

• Wenn Gemini ausfällt, stellt das System intelligente Fallback-Skripte bereit
• Wenn die Videogenerierung fehlschlägt, stehen Platzhaltervideos bereit
• Wenn die Soundgenerierung fehlschlägt, werden einfache Audiospuren verwendet

Ziel war, sicherzustellen, dass Nutzende ihren Werbespot immer fertigstellen können, selbst wenn einige KI-Dienste einen schlechten Tag haben.

Überlegungen zur Performance

Die Generierung eines Werbespots umfasst mehrere KI-API-Aufrufe, die einige Minuten dauern können. Um das Nutzererlebnis zu verbessern, habe ich:

• Videos, wo möglich, parallel verarbeitet
• Echtzeit-Fortschrittsanzeigen eingeblendet
• teure generierte Inhalte lokal gespeichert
• Nutzenden ermöglicht, einzelne Komponenten neu zu generieren

Außerdem implementierte ich ein System zur Zustandswiederherstellung. Wenn jemand den Browser während der Generierung schließt, kann die Person zurückkehren und dort weitermachen, wo sie aufgehört hat. Das war ursprünglich nicht geplant, wurde aber zur Priorität, nachdem ich während der Tests selbst mehrfach Fortschritt verloren hatte.

Wichtigste Erkenntnisse und was als Nächstes kommt

Die Entwicklung dieses Tools hat drei zentrale Erkenntnisse hervorgebracht.

Erstens ist Prompt-Design entscheidend. Die Qualität der Ausgabe eines KI-Modells hängt stark davon ab, wie Sie die Eingabe formulieren. Ich habe genauso viel Zeit in die Verfeinerung von Prompts wie ins Programmieren investiert.

Zweitens schlägt Nutzererlebnis technische Komplexität. Nutzende interessiert nicht, wie viele KI-Dienste beteiligt sind – entscheidend ist, dass das Tool funktioniert. Fortschrittsanzeigen, Fehlerbehandlung und schnelle Feedback-Schleifen machen den Unterschied.

Drittens beschleunigen KI-Assistenten wie Claude die Entwicklung. Ich konzentrierte mich auf die Produktlogik und überließ Boilerplate und Syntax dem Modell. Es geht nicht darum, Schritte zu überspringen – sondern intelligenter zu entwickeln.

Was als Wochenendprojekt begann, wurde zu einem echten, erweiterbaren Tool. Marketingteams könnten es für Prototypen nutzen, Start-ups für Pitch-Videos und Kreative für gesponserte Inhalte.

Das System ist bewusst flexibel gestaltet. Sie können Videostile durch Anpassung der VEO-2-Prompts ändern, Szenenlängen für andere Formate anpassen oder über FFmpeg Musik hinzufügen.

Die eigentliche Chance liegt in der Orchestrierung mehrerer KI-Systeme. Kein einzelnes Modell kann einen vollständigen Werbespot erstellen – doch kombiniert können Gemini, VEO 2 und ElevenLabs etwas erzeugen, das weitaus leistungsfähiger ist als jedes einzelne System für sich.

Es geht nicht darum, dass KI Kreative ersetzt. Es geht darum, Kreativen bessere Tools zu geben. Nach 20 Jahren in der Content-Branche habe ich viele Veränderungen erlebt – aber dieser Wandel fühlt sich grundlegend an.

Wenn Sie erkunden möchten, wie die Technologie von ElevenLabs neue Ansätze für Inhalte und Medien ermöglichen kann, kontaktieren Sie unser Vertriebsteam.