मैंने ElevenLabs, Gemini, और VEO 2 का उपयोग करके टेक्स्ट-टू-कमर्शियल जनरेटर कैसे बनाया

मैंने पत्रकारिता से लेकर प्रोडक्ट वीडियो तक, कंटेंट बनाने में दो दशक बिताए हैं। AI पूरी तरह नए क्रिएटिव वर्कफ़्लो खोलना संभव बनाता है। वाइब कोडिंग और लगातार अधिक वास्तविक होते वीडियो जनरेशन के मेल ने मुझे सोचने पर मजबूर किया कि क्या मैं ऐसा टूल बना सकता हूँ, जो एक साधारण प्रॉम्प्ट लेकर 20 सेकंड का विज्ञापन बना दे।

विचार सीधा था: प्रोडक्ट का एक मोटा-सा आइडिया टाइप करें और बदले में AI से बने विज़ुअल्स, वॉइसओवर और साउंड इफेक्ट्स के साथ पूरी तरह तैयार 30 सेकंड का कमर्शियल पाएं। मैंने इसे ElevenLabs TTS और SFX APIs, Google के Gemini और Google के VEO 2 का इस्तेमाल करके वीडियो जनरेशन के लिए बनाया। इसे बनाते समय VEO 3 रिलीज़ नहीं हुआ था।

अंतिम वर्ज़न लगभग पूरी तरह Anthropic के प्रभावशाली Claude 4 Opus से बनाया गया था, हालांकि इसमें कुछ दिन लगे क्योंकि मैं बार-बार रेट लिमिट पर पहुंच रहा था। 

स्टैक का चयन: Node.js, Express, React और Claude 4 Opus

मैंने बैकएंड के लिए Express के साथ Node.js और फ्रंटएंड के लिए React चुना। वीडियो बनते समय Node रीयल-टाइम अपडेट संभालता है, जबकि React की कंपोनेंट-आधारित आर्किटेक्चर मल्टी-स्टेप इंटरफ़ेस को मैनेज और एक्सटेंड करना आसान बनाती है।

मैं बचपन से ही कभी-कभी कोड लिखता रहा हूँ — शुरुआत प्राइमरी स्कूल में रोबोट पेन से हुई थी। लेकिन मैं हमेशा फुल-टाइम इंजीनियर से ज़्यादा प्रोडक्ट थिंकर रहा हूँ। Claude 4 Opus जैसे टूल्स ने यह बदल दिया। सही प्रॉम्प्ट्स के साथ मैं तेज़ी से काम कर सकता था, फीचर्स को सही ढंग से लागू कर सकता था और बॉयलरप्लेट के बजाय प्रोडक्ट लॉजिक पर ध्यान दे सकता था। 

यह क्रिएटिविटी को AI को सौंपने की बात नहीं है — यह सही टूल्स के साथ बेहतर तरीके से बनाने की बात है।

आठ-स्टेप विज़ार्ड: प्रॉम्प्ट से तैयार विज्ञापन तक

किसी नए प्रोडक्ट या सेवा के लिए कमर्शियल बनाना, भले ही वह सिर्फ 20 सेकंड का हो, कई जटिल चरणों में होता है। इसलिए मैंने इसे आठ अलग-अलग चरणों में बांटा:

1. प्रोडक्ट की जानकारी
2. स्क्रिप्ट जनरेशन
3. वीडियो निर्माण
4. साउंड इफेक्ट्स
5. वीडियो असेंबली
6. वॉइसओवर
7. अंतिम वीडियो
8. सोशल पोस्ट्स

हर चरण पिछले चरण पर आधारित है और एक ऐसी पाइपलाइन बनाता है, जो साधारण आइडिया को पूरे कमर्शियल में बदल देती है। हर चरण में इंसान के पास किसी भी एलिमेंट को बदलने या टेक्स्ट, वीडियो या ऑडियो के किसी भी हिस्से को दोबारा जनरेट करने का पूरा नियंत्रण होता है।

Gemini Flash से आइडियाज़ को निखारना

पहली चुनौती यह थी कि ज़्यादातर लोग पूरी तरह तैयार प्रोडक्ट आइडिया के साथ शुरुआत नहीं करते। वे शायद “प्रोडक्टिविटी के लिए कुछ” जैसा अस्पष्ट वाक्य टाइप करें। यहीं Gemini काम आता है।

मैंने शुरुआती आइडियाज़ को ठोस प्रोडक्ट कॉन्सेप्ट्स में बदलने के लिए Google का Gemini 2.0 Flash मॉडल इस्तेमाल किया। यहां प्रॉम्प्ट इंजीनियरिंग बेहद ज़रूरी थी — मुझे Gemini से अस्पष्ट और सामान्य नहीं, बल्कि विशिष्ट और ठोस आउटपुट चाहिए था। “फिटनेस के लिए कुछ” स्वीकार करने के बजाय, सिस्टम इसे “FitPulse AI: एक स्मार्ट रिस्टबैंड, जो उन्नत बायोमेट्रिक्स का उपयोग करके आपके पूरे दिन के लिए व्यक्तिगत माइक्रो-वर्कआउट्स बनाता है” जैसे कॉन्सेप्ट में बदल देता है।

"""Enhance a product idea using Gemini"""
        
        prompt = f"""
        Enhance this product idea to make it more compelling:
        
        Original idea: {idea}
        Target mood: {mood}
        Target audience: {audience}
        
        Make it:
        1. Clear and specific about the value proposition
        2. Appeal to {audience}
        3. Match the {mood.lower()} tone
        4. Be memorable and marketable
        
        Keep it to 2-3 sentences.
        """

Gemini के साथ गैर-सामान्य स्क्रिप्ट्स बनाना

अगला चरण स्क्रिप्ट जनरेशन का था। फिर से Gemini का उपयोग करते हुए, मैंने आउटपुट को चार 5-सेकंड के सीन में व्यवस्थित किया, जिनमें से हर एक में तीन हिस्से थे:

• वॉइसओवर स्क्रिप्ट
• वीडियो जनरेशन प्रॉम्प्ट
• साउंड इफेक्ट्स का विवरण

मुख्य बात यह थी कि Gemini मूड और ऑडियंस को समझे। मिलेनियल्स के लिए “क्वर्की” कमर्शियल को एंटरप्राइज़ कस्टमर्स के लिए “प्रोफेशनल” कमर्शियल से अलग भाषा चाहिए। 

मैंने सामान्य AI-जैसी भाषा से बचने और हर प्रोडक्ट के अनुसार बनी हुई लगने वाली स्क्रिप्ट्स तैयार करने के लिए प्रॉम्प्ट्स को बेहतर बनाने में काफी समय लगाया।

     """Generate a 4-scene commercial script"""
        
        prompt = f"""
        Create a 30-second commercial script with exactly 4 scenes.
        
        Product: {product_name}
        Audience: {target_audience}
        Key Message: {key_message}
        Mood: {mood}
        
        Return a JSON array with 4 scenes, each with:
        - number: 1-4
        - duration: 5
        - script: What the voiceover says
        - videoPrompt: Visual description for video generation
        - sfxPrompt: Sound effects description
        
        Example format:
        [{{"number": 1, "duration": 5, "script": "...", "videoPrompt": "...", "sfxPrompt": "..."}}]
        """

VEO 2 के साथ 5-सेकंड के सीन बनाना

मैंने Google के VEO 2 मॉडल के लिए FAL.ai की होस्टेड API इस्तेमाल की। हर सीन का वीडियो प्रॉम्प्ट FAL.ai को भेजा जाता है, जो 5-सेकंड की वीडियो क्लिप लौटाता है। यह मुश्किल इंटीग्रेशन्स में से एक था — लंबे जनरेशन समय को संभालना, API लिमिट्स मैनेज करना और इंतज़ार के दौरान यूज़र्स को फीडबैक देना।

मैंने शुरुआत में Veo 2 API के लिए Google AI Studio या Vertex AI इस्तेमाल करने की योजना बनाई थी, क्योंकि तब मैं Gemini के समान API key इस्तेमाल करता। लेकिन मैं अपने अकाउंट पर Veo 2 को काम नहीं करा पाया।

मैंने एक स्टेट मैनेजमेंट सिस्टम लागू किया, जो जनरेट किए गए वीडियो को लोकली सेव करता है, ताकि यूज़र्स कहीं और जाकर वापस आने पर महंगे कंटेंट को फिर से जनरेट न करें। जब आप Claude पर रेट लिमिट्स से जूझ रहे हों, तो आखिरी चीज़ जो आप चाहेंगे वह यह है कि पेज रीफ़्रेश करने पर आपके जनरेट किए वीडियो खो जाएं। 

बिना किसी रीकट या रीजनरेशन के, 20 सेकंड की क्लिप के वीडियो कंटेंट पर लगभग $10 खर्च आया।

साउंड इफेक्ट्स और वॉइसओवर के लिए ElevenLabs का उपयोग

यहीं मैंने ElevenLabs की APIs के साथ रचनात्मक प्रयोग किए। ElevenLabs मुख्य रूप से वॉइस जनरेशन के लिए जाना जाता है, लेकिन हमारी साउंड इफेक्ट्स API भी बहुत प्रभावशाली है। संभावित उपयोग के मामलों का शानदार Soundboard उदाहरण देखें। 

मैंने हर सीन के लिए साउंड इफेक्ट्स के चार वेरिएशन बनाए — उत्साहपूर्ण, ऊर्जावान, शांत और नाटकीय। यूज़र्स हर विकल्प का प्रीव्यू कर सकते हैं और अपनी कल्पना के अनुरूप विकल्प चुन सकते हैं।

const response = await elevenLabs.soundGeneration({
  text: modifiedPrompt,
  duration_seconds: duration,
  prompt_influence: 0.3
});

FFmpeg के साथ अंतिम वीडियो असेंबल करना

चार वीडियो क्लिप्स और चार साउंड इफेक्ट ट्रैक्स को मुझे एक साथ जोड़ना था। इसके लिए वीडियो प्रोसेसिंग के स्विस आर्मी नाइफ, FFmpeg, की गहराई में जाना पड़ा। बैकएंड ये काम करने के लिए FFmpeg कमांड्स चलाता है:

1. हर वीडियो क्लिप के साथ साउंड इफेक्ट्स मिक्स करना
2. सभी क्लिप्स को जोड़कर एक वीडियो बनाना
3. अंतिम वीडियो में वॉइसओवर ट्रैक जोड़ना

FFmpeg कमांड्स को सही बनाना काफी डीबगिंग मांगता था। खास तौर पर ऑडियो मिक्सिंग में लेवल्स और टाइमिंग पर सावधानी से ध्यान देना पड़ता है। मैंने सीखा कि वॉइसओवर के साथ मिक्स करते समय बैकग्राउंड ऑडियो को लगभग 30% वॉल्यूम तक कम करना चाहिए — इससे ज़्यादा होने पर वह ध्यान के लिए प्रतिस्पर्धा करता है, और कम होने पर उसके होने का कोई खास मतलब नहीं रहता।

वॉइसओवर: जहां ElevenLabs सचमुच चमकता है

वॉइसओवर के लिए मैंने ElevenLabs की टेक्स्ट टू स्पीच API इंटीग्रेट की, ताकि यूज़र्स को आवाज़ों का चयन मिल सके। सिस्टम सभी सीन स्क्रिप्ट्स से एक सुसंगत वॉइसओवर स्क्रिप्ट बनाता है, फिर उसे ऑप्टिमाइज़्ड वॉइस सेटिंग्स के साथ ElevenLabs को भेजता है:

const voiceSettings = {
  stability: 0.75,
  similarity_boost: 0.75,
  style: 0.0,
  use_speaker_boost: true
};

ये सेटिंग्स साफ़, प्रोफेशनल नैरेशन देती हैं, जो कमर्शियल्स के लिए अच्छी तरह काम करती है। अलग-अलग कॉन्फ़िगरेशन आज़माने के बाद, मैंने पाया कि यह संतुलन रोबोटिक लगे बिना एकरूपता देता है।

मज़बूत एरर हैंडलिंग और यूज़र एक्सपीरियंस

कई AI APIs के साथ बनाने का मतलब है कई तरह की विफलताओं से निपटना। रेट लिमिट्स, टाइमआउट एरर्स, गलत फॉर्मेट वाले रिस्पॉन्स — ये सब होते हैं। खासकर तब, जब आप रात के 2 बजे डीबगिंग कर रहे हों और VEO 2 कुछ अनपेक्षित रिटर्न करने का फैसला करे।

मैंने फॉलबैक विकल्पों के साथ व्यापक एरर हैंडलिंग लागू की:

• Gemini फेल होने पर सिस्टम समझदारी भरी फॉलबैक स्क्रिप्ट्स देता है
• वीडियो जनरेशन फेल होने पर प्लेसहोल्डर वीडियो उपलब्ध होते हैं
• साउंड जनरेशन फेल होने पर बुनियादी ऑडियो ट्रैक्स इस्तेमाल किए जाते हैं

लक्ष्य यह सुनिश्चित करना था कि कुछ AI सर्विसेज़ का दिन खराब होने पर भी यूज़र्स अपना कमर्शियल हमेशा पूरा कर सकें।

परफॉर्मेंस से जुड़े विचार

कमर्शियल जनरेट करने में कई AI API कॉल्स शामिल होते हैं, जिनमें कई मिनट लग सकते हैं। अनुभव बेहतर बनाने के लिए, मैंने:

• जहां संभव हो, वीडियो को समानांतर रूप से प्रोसेस किया
• रीयल-टाइम प्रोग्रेस इंडिकेटर्स दिखाए
• महंगे जनरेट किए गए कंटेंट को लोकली सेव किया
• यूज़र्स को अलग-अलग कंपोनेंट्स दोबारा जनरेट करने दिया

मैंने स्टेट पर्सिस्टेंस सिस्टम भी लागू किया। अगर कोई व्यक्ति जनरेशन के बीच में ब्राउज़र बंद कर दे, तो वह वापस आकर वहीं से शुरू कर सकता है जहां उसने छोड़ा था। यह मेरी मूल योजना में नहीं था, लेकिन टेस्टिंग के दौरान कई बार अपनी प्रगति खोने के बाद यह प्राथमिकता बन गया।

मुख्य सीख और आगे क्या

इस टूल को बनाने से तीन अहम सीख मिलीं।

पहली, प्रॉम्प्ट डिज़ाइन बेहद महत्वपूर्ण है। किसी भी AI मॉडल के आउटपुट की क्वालिटी काफी हद तक इस बात पर निर्भर करती है कि आप इनपुट को कैसे फ्रेम करते हैं। मैंने प्रॉम्प्ट्स को बेहतर बनाने में उतना ही समय लगाया, जितना कोड लिखने में।

दूसरी, यूज़र एक्सपीरियंस तकनीकी जटिलता से ज़्यादा मायने रखता है। यूज़र्स को यह परवाह नहीं होती कि कितनी AI सर्विसेज़ शामिल हैं — उन्हें परवाह होती है कि टूल काम करता है। प्रोग्रेस इंडिकेटर्स, एरर हैंडलिंग और तेज़ फीडबैक लूप्स ही असली फर्क पैदा करते हैं।

तीसरी, Claude जैसे AI असिस्टेंट्स डेवलपमेंट को तेज़ करते हैं। मैंने बॉयलरप्लेट और सिंटैक्स मॉडल को सौंपकर प्रोडक्ट लॉजिक पर ध्यान दिया। यह स्टेप्स छोड़ने की बात नहीं है — यह बेहतर तरीके से बनाने की बात है।

जो एक वीकेंड प्रोजेक्ट के रूप में शुरू हुआ था, वह एक वास्तविक, एक्सटेंसिबल टूल बन गया। मार्केटिंग टीमें इसे प्रोटोटाइपिंग के लिए, स्टार्टअप्स पिच वीडियो के लिए और क्रिएटर्स स्पॉन्सर्ड कंटेंट के लिए इस्तेमाल कर सकते हैं।

सिस्टम को जानबूझकर लचीला बनाया गया है। आप VEO 2 प्रॉम्प्ट्स को एडजस्ट करके वीडियो स्टाइल बदल सकते हैं, अलग-अलग फॉर्मेट्स के लिए सीन की लंबाई बदल सकते हैं या FFmpeg के ज़रिए म्यूज़िक जोड़ सकते हैं।

असली अवसर कई AI सिस्टम्स को ऑर्केस्ट्रेट करने में है। कोई एक मॉडल पूरा कमर्शियल जनरेट नहीं कर सकता — लेकिन Gemini, VEO 2 और ElevenLabs मिलकर ऐसा कुछ बना सकते हैं, जो इनमें से किसी एक के अकेले बनाने से कहीं ज़्यादा शक्तिशाली हो।

यह AI द्वारा क्रिएटर्स की जगह लेने की बात नहीं है। यह क्रिएटर्स को बेहतर टूल्स देने की बात है। कंटेंट में 20 साल बिताने के बाद मैंने बहुत से बदलाव देखे हैं — लेकिन यह बदलाव बुनियादी लगता है।

अगर आप जानना चाहते हैं कि ElevenLabs की टेक्नोलॉजी कंटेंट और मीडिया के लिए नए तरीके अपनाने में कैसे मदद कर सकती है, तो हमारी सेल्स टीम से संपर्क करें।