如何用 ElevenLabs、Gemini 和 VEO 2 搭建文本转广告生成器

我从事内容创作已有 20 年，涵盖新闻报道到产品视频。AI 让全新的创作 workflow 成为可能。随着氛围编程与日益逼真的视频生成技术交汇，我开始思考：能否打造一个工具，只需输入简单提示词，就能制作一条 20 秒广告片？

概念很简单：输入一个粗略的产品想法，即可获得一支完整制作的 30 秒广告，包含 AI 生成的画面、旁白和音效。以下是我如何结合 ElevenLabs TTS 和音效 API、Google 的 Gemini，以及 Google 的 VEO 2 来生成视频。当时 VEO 3 尚未发布。

最终版本几乎完全由 Anthropic 出色的 Claude 4 Opus 完成，不过由于不断触及速率限制，前后花了几天时间。 

技术栈选择：Node.js、Express、React 和 Claude 4 Opus

后端我选择了 Node.js 和 Express，前端则使用 React。Node 可在视频生成时处理实时更新，而 React 的组件化架构让多步骤界面易于管理和扩展。

我从小就断断续续地写代码，小学时是从机器人绘图笔开始的。但相比全职工程师，我一直更像一名产品思考者。Claude 4 Opus 这样的工具改变了这一点。有了合适的提示词，我能快速推进、正确实现功能，并专注于产品逻辑，而不是样板代码。 

这不是把创意外包给 AI，而是借助合适的工具更聪明地构建产品。

八步向导：从提示词到成片广告

为新产品或服务制作一支广告，即使只有 20 秒，也需要多个复杂步骤，因此我将其拆分为 8 个明确阶段：

1. 产品信息
2. 脚本生成
3. 视频创建
4. 音效
5. 视频合成
6. 旁白配音
7. 最终视频
8. 社交媒体帖子

每一步都以前一步为基础，形成一条将简单想法转化为完整广告的流程。在每个阶段，人工都能完全控制，可修改任意元素，或重新生成任意文本、视频或音频。

用 Gemini Flash 完善想法

第一个挑战是，大多数人一开始并没有完整成型的产品想法。他们可能只会输入“提高效率的东西”这类模糊描述。这正是 Gemini 发挥作用的地方。

我使用 Google 的 Gemini 2.0 Flash 模型，将粗略想法完善为具体的产品概念。这里的提示词工程至关重要：我需要 Gemini 给出具体明确的内容，而非模糊泛泛的表述。系统不会接受“健身相关的东西”，而是会将其转化为类似“FitPulse AI：一款智能腕带，利用先进生物识别技术，在一天中为你打造个性化微型锻炼”的产品概念。

"""Enhance a product idea using Gemini"""
        
        prompt = f"""
        Enhance this product idea to make it more compelling:
        
        Original idea: {idea}
        Target mood: {mood}
        Target audience: {audience}
        
        Make it:
        1. Clear and specific about the value proposition
        2. Appeal to {audience}
        3. Match the {mood.lower()} tone
        4. Be memorable and marketable
        
        Keep it to 2-3 sentences.
        """

用 Gemini 生成不落俗套的脚本

接下来是脚本生成。我再次使用 Gemini，将输出结构化为 4 个各 5 秒的场景，每个场景包含 3 个部分：

• 旁白脚本
• 视频生成提示词
• 音效描述

关键在于让 Gemini 理解氛围和受众。面向千禧一代的“古怪有趣”广告，与面向企业客户的“专业”广告，需要不同的表达方式。 

我投入了大量时间打磨提示词，避免千篇一律的 AI 腔，并创作出贴合每款产品的脚本。

     """Generate a 4-scene commercial script"""
        
        prompt = f"""
        Create a 30-second commercial script with exactly 4 scenes.
        
        Product: {product_name}
        Audience: {target_audience}
        Key Message: {key_message}
        Mood: {mood}
        
        Return a JSON array with 4 scenes, each with:
        - number: 1-4
        - duration: 5
        - script: What the voiceover says
        - videoPrompt: Visual description for video generation
        - sfxPrompt: Sound effects description
        
        Example format:
        [{{"number": 1, "duration": 5, "script": "...", "videoPrompt": "...", "sfxPrompt": "..."}}]
        """

用 VEO 2 创建 5 秒场景

我使用了 FAL.ai 托管的 Google VEO 2 模型 API。每个场景的视频提示词会发送至 FAL.ai，再返回一段 5 秒视频片段。这是较棘手的集成之一：需要处理较长的生成时间、管理 API 限制，并在用户等待时提供反馈。

我原本计划使用 Google AI Studio 或 Vertex AI 的 Veo 2 API，因为这样就能与 Gemini 共用同一个 API 密钥，但无法让 Veo 2 在我的账户上运行。

我实现了一套状态管理系统，将生成的视频保存在本地。这样用户离开后再回来时，无需重新生成昂贵的内容。当你不断触及 Claude 的速率限制时，最不希望发生的就是因为刷新页面而丢失生成的视频。 

一段 20 秒视频的内容成本约为 10 美元，前提是不重新剪辑或生成。

使用 ElevenLabs 制作音效和旁白

在这里，我开始灵活运用 ElevenLabs 的 API。ElevenLabs 虽然主要以语音生成闻名，但我们的音效 API 同样令人印象深刻。可以看看出色的 Soundboard，了解其潜在应用场景。 

我用它为每个场景生成 4 种不同风格的 音效：欢快、活力、平静和戏剧化。用户可以预览每个选项，并选择符合其构想的版本。

const response = await elevenLabs.soundGeneration({
  text: modifiedPrompt,
  duration_seconds: duration,
  prompt_influence: 0.3
});

使用 FFmpeg 合成最终视频

有了 4 段视频片段和 4 条音效轨道后，我需要将它们合并。这意味着要深入使用视频处理的瑞士军刀——FFmpeg。后端运行 FFmpeg 命令来：

1. 将音效与每段视频片段混音
2. 将所有片段拼接为一个视频
3. 为最终视频添加旁白轨道

要正确编写 FFmpeg 命令，需要大量调试。尤其是音频混音，必须仔细处理音量和时序。我了解到，背景音频与旁白混合时，音量应降至约 30%：再高会分散注意力，再低则几乎没有存在感。

旁白：ElevenLabs 真正出色之处

在旁白方面，我集成了 ElevenLabs 的 文本转语音 API，为用户提供多种音色选择。系统会根据所有场景脚本生成一份连贯的旁白脚本，再通过优化后的语音设置发送至 ElevenLabs：

const voiceSettings = {
  stability: 0.75,
  similarity_boost: 0.75,
  style: 0.0,
  use_speaker_boost: true
};

这些设置可提供清晰、专业且适合广告的旁白。尝试不同配置后，我发现这一平衡能保持一致性，同时避免机械感。

稳健的错误处理与用户体验

基于多个 AI API 开发，意味着需要应对各种失败情况：速率限制、超时错误、格式错误的响应，这些都可能发生。尤其是在凌晨 2 点调试时，VEO 2 突然返回意外结果。

我实现了全面的错误处理和备用方案：

• 如果 Gemini 失败，系统会提供智能备用脚本
• 如果视频生成失败，可使用占位视频
• 如果音效生成失败，则使用基础音频轨道

目标是确保即使某些 AI 服务状态不佳，用户仍能始终完成广告制作。

性能考量

生成一支广告需要多次 AI API 调用，可能耗时数分钟。为改善体验，我：

• 尽可能并行处理视频
• 显示实时进度指示器
• 在本地保存成本较高的生成内容
• 允许用户重新生成单个组件

我还实现了状态持久化系统。如果有人在生成过程中关闭浏览器，回来后可以从中断处继续。这原本不在计划中，但在测试时多次丢失自己的进度后，它成了优先事项。

核心收获与下一步

开发这个工具让我总结出 3 个关键经验。

第一，提示词设计至关重要。 任何 AI 模型的输出质量都高度取决于如何构建输入。我打磨提示词所花的时间，不亚于写代码。

第二，用户体验胜过技术复杂性。 用户不在意涉及多少 AI 服务，他们在意的是工具能否正常运行。进度指示、错误处理和快速反馈循环至关重要。

第三，Claude 等 AI 助手能加速开发。 我专注于产品逻辑，将样板代码和语法交给模型处理。这不是跳过步骤，而是更聪明地构建。

一个周末项目最终变成了真正可扩展的工具。营销团队可用它制作原型，初创公司可用它制作路演视频，创作者则可用它制作赞助内容。

系统在设计上具有灵活性。你可以通过调整 VEO 2 提示词改变视频风格，为不同格式修改场景时长，或通过 FFmpeg 添加 音乐。

真正的机会在于编排多个 AI 系统。没有单一模型能生成完整广告，但将 Gemini、VEO 2 和 ElevenLabs 结合起来，就能产出远超任何单个模型的成果。

这不是让 AI 取代创作者，而是为创作者提供更好的工具。我从事内容行业 20 年，见证了许多变化，但这次变革让我觉得意义深远。

如果你想了解 ElevenLabs 技术如何为内容和媒体带来新方式，欢迎联系销售团队。