Jak stworzyłem generator tekstu na reklamy przy użyciu ElevenLabs, Gemini i VEO 2

Od dwóch dekad tworzę treści — od dziennikarstwa po filmy produktowe. AI otwiera zupełnie nowe możliwości pracy twórczej. Na styku vibe codingu i coraz bardziej realistycznego generowania wideo zacząłem się zastanawiać, czy da się stworzyć narzędzie, które z prostego promptu zrobi 20-sekundową reklamę.

Pomysł był prosty: wpisujesz zarys produktu i dostajesz w pełni przygotowaną 30-sekundową reklamę z obrazami wygenerowanymi przez AI, nałożonym głosem i efektami dźwiękowymi. Tak stworzyłem ją za pomocą ElevenLabs TTS i API SFX, Gemini od Google oraz VEO 2 od Google do generowania wideo. W chwili tworzenia tego narzędzia VEO 3 nie było jeszcze dostępne.

Finalna wersja powstała niemal w całości przy użyciu imponującego Claude 4 Opus od Anthropic, choć zajęło to kilka dni, bo ciągle trafiałem na limit zapytań. 

Wybór stosu technologicznego: Node.js, Express, React i Claude 4 Opus

Do backendu wybrałem Node.js z Expressem, a do frontendu React. Node obsługuje aktualizacje w czasie rzeczywistym podczas generowania filmów, a architektura komponentowa Reacta ułatwia zarządzanie i rozbudowę wieloetapowego interfejsu.

Kod piszę z przerwami od dzieciństwa — zaczęło się od robota-rysownika w podstawówce. Zawsze jednak bardziej myślałem produktowo niż jak inżynier na pełen etat. Narzędzia takie jak Claude 4 Opus to zmieniły. Dzięki dobrym promptom mogłem działać szybko, poprawnie wdrażać funkcje i skupić się na logice produktu zamiast na powtarzalnym kodzie. 

Nie chodzi o oddawanie kreatywności AI — tylko o mądrzejsze tworzenie z odpowiednimi narzędziami.

Ośmiostopniowy kreator: od promptu do gotowej reklamy

Stworzenie reklamy nowego produktu lub usługi, nawet trwającej tylko 20 sekund, obejmuje wiele złożonych kroków. Dlatego podzieliłem proces na osiem etapów:

1. Informacje o produkcie
2. Generowanie scenariusza
3. Tworzenie wideo
4. Efekty dźwiękowe
5. Montaż wideo
6. Nałożony głos
7. Finalne wideo
8. Posty w mediach społecznościowych

Każdy krok bazuje na poprzednim, tworząc proces, który zmienia prosty pomysł w gotową reklamę. Na każdym etapie człowiek ma pełną kontrolę: może zmienić dowolny element albo wygenerować ponownie fragment tekstu, wideo czy audio.

Dopracowywanie pomysłów z Gemini Flash

Pierwszym wyzwaniem było to, że większość osób nie zaczyna od w pełni dopracowanego pomysłu na produkt. Mogą wpisać coś ogólnego, na przykład „coś do produktywności”. Tu wkracza Gemini.

Użyłem modelu Gemini 2.0 Flash od Google, aby zamieniać wstępne pomysły w konkretne koncepcje produktów. Kluczowe było tu projektowanie promptów — Gemini miało być konkretne, a nie ogólnikowe i schematyczne. Zamiast przyjąć „coś do fitnessu”, system zmienia to w coś w rodzaju: „FitPulse AI: inteligentna opaska na nadgarstek, która wykorzystuje zaawansowaną biometrię do tworzenia spersonalizowanych mikrotreningów w ciągu dnia”.

"""Enhance a product idea using Gemini"""
        
        prompt = f"""
        Enhance this product idea to make it more compelling:
        
        Original idea: {idea}
        Target mood: {mood}
        Target audience: {audience}
        
        Make it:
        1. Clear and specific about the value proposition
        2. Appeal to {audience}
        3. Match the {mood.lower()} tone
        4. Be memorable and marketable
        
        Keep it to 2-3 sentences.
        """

Tworzenie niebanalnych scenariuszy z Gemini

Potem przyszedł czas na generowanie scenariusza. Ponownie użyłem Gemini i ułożyłem wynik w cztery 5-sekundowe sceny, każdą z trzema elementami:

• Scenariusz nałożonego głosu
• Prompt do generowania wideo
• Opis efektów dźwiękowych

Kluczowe było nauczenie Gemini rozumienia nastroju i odbiorców. „Nietypowa” reklama dla milenialsów wymaga innego języka niż „profesjonalna” reklama dla klientów korporacyjnych. 

Poświęciłem sporo czasu na dopracowanie promptów, aby uniknąć typowego języka AI i tworzyć scenariusze dopasowane do każdego produktu.

     """Generate a 4-scene commercial script"""
        
        prompt = f"""
        Create a 30-second commercial script with exactly 4 scenes.
        
        Product: {product_name}
        Audience: {target_audience}
        Key Message: {key_message}
        Mood: {mood}
        
        Return a JSON array with 4 scenes, each with:
        - number: 1-4
        - duration: 5
        - script: What the voiceover says
        - videoPrompt: Visual description for video generation
        - sfxPrompt: Sound effects description
        
        Example format:
        [{{"number": 1, "duration": 5, "script": "...", "videoPrompt": "...", "sfxPrompt": "..."}}]
        """

Tworzenie 5-sekundowych scen z VEO 2

Skorzystałem z hostowanego API FAL.ai dla modelu VEO 2 od Google. Prompt wideo dla każdej sceny trafia do FAL.ai, które zwraca 5-sekundowy klip. Była to jedna z trudniejszych integracji — trzeba było obsłużyć długi czas generowania, limity API i przekazywać użytkownikom informacje podczas oczekiwania.

Początkowo planowałem użyć Google AI Studio lub Vertex AI do API Veo 2, ponieważ mógłbym wtedy korzystać z tego samego klucza API co do Gemini, ale nie udało mi się uruchomić Veo 2 na moim koncie.

Wdrożyłem system zarządzania stanem, który zapisuje wygenerowane filmy lokalnie, więc użytkownicy nie muszą ponownie generować kosztownych treści po wyjściu i powrocie. Gdy trafiasz na limity zapytań Claude, ostatnią rzeczą, jakiej chcesz, jest utrata wygenerowanych filmów przez odświeżenie strony. 

Materiały wideo do 20-sekundowego klipu kosztowały około 10 USD, zakładając brak ponownego montażu i regenerowania.

Wykorzystanie ElevenLabs do efektów dźwiękowych i nałożonego głosu

Tu wykazałem się kreatywnością, korzystając z API ElevenLabs. ElevenLabs jest znane głównie z generowania głosu, ale mamy też imponujące API efektów dźwiękowych. Zobacz świetny Soundboard — przykład możliwych zastosowań. 

Użyłem go, by wygenerować cztery warianty efektów dźwiękowych dla każdej sceny — optymistyczny, energiczny, spokojny i dramatyczny. Użytkownicy mogą odsłuchać każdą opcję i wybrać tę, która najlepiej pasuje do ich wizji.

const response = await elevenLabs.soundGeneration({
  text: modifiedPrompt,
  duration_seconds: duration,
  prompt_influence: 0.3
});

Składanie finalnych filmów w FFmpeg

Mając cztery klipy wideo i cztery ścieżki efektów dźwiękowych, musiałem je połączyć. Wymagało to zagłębienia się w FFmpeg — szwajcarski scyzoryk do obróbki wideo. Backend uruchamia polecenia FFmpeg, aby:

1. Zmiksować efekty dźwiękowe z każdym klipem wideo
2. Połączyć wszystkie klipy w jeden film
3. Dodać ścieżkę nałożonego głosu do finalnego filmu

Dopracowanie poleceń FFmpeg wymagało sporo debugowania. Zwłaszcza miksowanie audio wymaga uważnego podejścia do poziomów i synchronizacji. Dowiedziałem się, że dźwięk tła przy miksowaniu z nałożonym głosem powinien mieć około 30% głośności — wyżej walczy o uwagę, a niżej równie dobrze mógłby nie istnieć.

Nałożony głos: tu ElevenLabs naprawdę błyszczy

Do nałożonego głosu zintegrowałem API zamiany tekstu na mowę ElevenLabs, aby zaoferować użytkownikom wybór głosów. System tworzy jeden spójny scenariusz nałożonego głosu ze scenariuszy wszystkich scen, a następnie wysyła go do ElevenLabs z zoptymalizowanymi ustawieniami głosu:

const voiceSettings = {
  stability: 0.75,
  similarity_boost: 0.75,
  style: 0.0,
  use_speaker_boost: true
};

Te ustawienia zapewniają wyraźną, profesjonalną narrację, która dobrze sprawdza się w reklamach. Po testach różnych konfiguracji uznałem, że ta równowaga daje spójność bez robotycznego brzmienia.

Niezawodna obsługa błędów i doświadczenie użytkownika

Tworzenie z użyciem wielu API AI oznacza radzenie sobie z różnymi typami błędów. Limity zapytań, błędy przekroczenia czasu, nieprawidłowe odpowiedzi — wszystko się zdarza. Zwłaszcza gdy debugujesz o 2 w nocy, a VEO 2 postanawia zwrócić coś nieoczekiwanego.

Wdrożyłem kompleksową obsługę błędów z opcjami awaryjnymi:

• Jeśli Gemini zawiedzie, system udostępnia inteligentne scenariusze zastępcze
• Jeśli generowanie wideo zawiedzie, dostępne są zastępcze filmy
• Jeśli generowanie dźwięku zawiedzie, używane są podstawowe ścieżki audio

Celem było zapewnienie, by użytkownicy zawsze mogli ukończyć swoją reklamę, nawet gdy niektóre usługi AI mają gorszy dzień.

Wydajność

Wygenerowanie reklamy wymaga wielu wywołań API AI, które mogą trwać kilka minut. Aby poprawić to doświadczenie:

• Przetwarzam filmy równolegle, gdy to możliwe
• Pokazuję wskaźniki postępu w czasie rzeczywistym
• Zapisuję lokalnie kosztowne wygenerowane treści
• Pozwalam użytkownikom ponownie generować pojedyncze elementy

Wdrożyłem też system trwałego zapisywania stanu. Jeśli ktoś zamknie przeglądarkę w trakcie generowania, może wrócić i kontynuować od miejsca, w którym skończył. Nie było tego w pierwotnym planie, ale po kilkukrotnej utracie własnych postępów podczas testów stało się to priorytetem.

Najważniejsze wnioski i co dalej

Tworzenie tego narzędzia przyniosło trzy ważne lekcje.

Po pierwsze, projektowanie promptów jest kluczowe. Jakość wyniku każdego modelu AI w dużej mierze zależy od tego, jak sformułujesz dane wejściowe. Na dopracowanie promptów poświęciłem tyle samo czasu co na pisanie kodu.

Po drugie, doświadczenie użytkownika jest ważniejsze niż złożoność techniczna. Użytkowników nie obchodzi, ile usług AI bierze udział w procesie — liczy się, że narzędzie działa. Wskaźniki postępu, obsługa błędów i szybkie informacje zwrotne robią ogromną różnicę.

Po trzecie, asystenci AI tacy jak Claude przyspieszają rozwój. Skupiłem się na logice produktu, zostawiając modelowi powtarzalny kod i składnię. Nie chodzi o pomijanie kroków — tylko o mądrzejsze tworzenie.

To, co zaczęło się jako projekt na weekend, stało się prawdziwym narzędziem, które można rozbudowywać. Zespoły marketingowe mogą używać go do prototypowania, startupy do filmów pitchowych, a twórcy do treści sponsorowanych.

System jest elastyczny z założenia. Możesz zmieniać style wideo, dostosowując prompty VEO 2, modyfikować długość scen dla różnych formatów lub dodać muzykę przez FFmpeg.

Prawdziwa szansa tkwi w orkiestracji wielu systemów AI. Żaden pojedynczy model nie wygeneruje pełnej reklamy — ale razem Gemini, VEO 2 i ElevenLabs mogą stworzyć coś znacznie potężniejszego niż każdy z nich osobno.

Nie chodzi o to, by AI zastępowała twórców. Chodzi o danie twórcom lepszych narzędzi. Po 20 latach pracy z treściami widziałem wiele zmian — ale ta wydaje się fundamentalna.

Jeśli chcesz sprawdzić, jak technologia ElevenLabs może pomóc tworzyć nowe podejścia do treści i mediów, skontaktuj się z naszym zespołem sprzedaży.