ElevenLabs、Gemini、VEO 2を使ったテキストからコマーシャル生成ツールの構築方法

ジャーナリズムからプロダクト動画まで、20年にわたってコンテンツを制作してきました。AIによって、まったく新しいクリエイティブワークフローが実現します。バイブコーディングと、ますますリアルになる動画生成が交わるなかで、シンプルなプロンプトから20秒の広告スポットを作れるツールを作れないかと考えました。

コンセプトはシンプルです。大まかなプロダクトのアイデアを入力すると、AI生成のビジュアル、ボイスオーバー、サウンドエフェクトを備えた完成済みの30秒CMが返ってきます。これを構築した方法をご紹介します。使用したのはElevenLabs TTSとSFX API、GoogleのGemini、そしてGoogleのVEO 2による動画生成です。作成当時、VEO 3はまだリリースされていませんでした。

最終バージョンは、印象的なAnthropicのClaude 4 Opusを使ってほぼ全面的に作成しました。ただし、レート制限に何度も達したため、数日かかりました。 

技術スタックの選定：Node.js、Express、React、Claude 4 Opus

バックエンドにはExpressとNode.js、フロントエンドにはReactを選びました。Nodeは動画生成中のリアルタイム更新を処理し、Reactのコンポーネントベースのアーキテクチャにより、複数ステップのインターフェースを簡単に管理・拡張できます。

子どもの頃から、時々コードを書いてきました。始まりは小学校のロボットペンです。ただ、ずっとフルタイムのエンジニアというよりは、プロダクト志向の人間でした。Claude 4 Opusのようなツールがそれを変えました。適切なプロンプトがあれば、迅速に進め、機能を正確に実装し、定型コードではなくプロダクトロジックに集中できます。 

これは創造性をAIに外注することではありません。適切なツールで、よりスマートに構築するということです。

8ステップのウィザード：プロンプトから完成した広告まで

新しいプロダクトやサービスのCM制作は、20秒のものでも複数の複雑なステップを伴います。そこで、8つの明確なフェーズに分けました。

1. プロダクト情報
2. スクリプト生成
3. 動画作成
4. サウンドエフェクト
5. 動画の編集
6. ボイスオーバー
7. 最終動画
8. SNS投稿

各ステップは前のステップを基盤にしており、シンプルなアイデアを完成されたCMへと変換するパイプラインを構成します。各段階で、テキスト、動画、オーディオのあらゆる要素を変更したり、再生成したりすることを人が完全にコントロールできます。

Gemini Flashでアイデアを磨く

最初の課題は、多くの人が完成されたプロダクトアイデアを持って始めるわけではないことでした。「生産性向上のための何か」のような曖昧なものを入力するかもしれません。そこでGeminiの出番です。

GoogleのGemini 2.0 Flashモデルを使い、大まかなアイデアを具体的なプロダクトコンセプトへと発展させました。ここでのプロンプトエンジニアリングは重要でした。Geminiには、曖昧で一般的な回答ではなく、具体的で明確な回答を求める必要がありました。「フィットネス向けの何か」をそのまま受け入れるのではなく、システムは「FitPulse AI：高度な生体計測を活用し、1日を通してパーソナライズされたマイクロワークアウトを作成するスマートリストバンド」のようなアイデアに変換します。

"""Enhance a product idea using Gemini"""
        
        prompt = f"""
        Enhance this product idea to make it more compelling:
        
        Original idea: {idea}
        Target mood: {mood}
        Target audience: {audience}
        
        Make it:
        1. Clear and specific about the value proposition
        2. Appeal to {audience}
        3. Match the {mood.lower()} tone
        4. Be memorable and marketable
        
        Keep it to 2-3 sentences.
        """

Geminiでありきたりではないスクリプトを生成する

次にスクリプトを生成しました。ここでもGeminiを使い、出力を5秒ずつの4シーンに構成し、各シーンには3つの要素を含めました。

• ボイスオーバー用スクリプト
• 動画生成プロンプト
• サウンドエフェクトの説明

重要なのは、Geminiに雰囲気とターゲット層を理解させることでした。ミレニアル世代向けの「風変わりな」CMには、エンタープライズ顧客向けの「プロフェッショナルな」CMとは異なる表現が必要です。 

ありきたりなAIらしい表現を避け、各プロダクトに合わせたスクリプトを作るため、プロンプトの改善にかなりの時間を費やしました。

     """Generate a 4-scene commercial script"""
        
        prompt = f"""
        Create a 30-second commercial script with exactly 4 scenes.
        
        Product: {product_name}
        Audience: {target_audience}
        Key Message: {key_message}
        Mood: {mood}
        
        Return a JSON array with 4 scenes, each with:
        - number: 1-4
        - duration: 5
        - script: What the voiceover says
        - videoPrompt: Visual description for video generation
        - sfxPrompt: Sound effects description
        
        Example format:
        [{{"number": 1, "duration": 5, "script": "...", "videoPrompt": "...", "sfxPrompt": "..."}}]
        """

VEO 2で5秒のシーンを作成する

GoogleのVEO 2モデル向けに、FAL.aiがホストするAPIを使用しました。各シーンの動画プロンプトがFAL.aiに送信され、5秒の動画クリップが返されます。これは難易度の高いインテグレーションのひとつでした。長い生成時間への対応、API制限の管理、待機中のユーザーへのフィードバック提供が必要だったからです。

当初はGoogle AI StudioまたはVertex AIのVeo 2 APIを使う予定でした。Geminiと同じAPIキーを使えるためです。しかし、自分のアカウントではVeo 2を動作させられませんでした。

生成した動画をローカルに保存する状態管理システムを実装しました。これにより、ページを離れて戻ってきても、コストのかかるコンテンツを再生成する必要がありません。Claudeでレート制限に達しているとき、ページを更新したせいで生成済みの動画を失うのは、何としても避けたいことです。 

再編集や再生成をしない前提では、20秒のクリップの動画コンテンツには約10ドルかかりました。

ElevenLabsでサウンドエフェクトとボイスオーバーを作成する

ここでElevenLabsのAPIをクリエイティブに活用しました。ElevenLabsは主に音声生成で知られていますが、非常に優れたサウンドエフェクトAPIも提供しています。活用事例として、素晴らしいSoundboardをご覧ください。 

各シーンでサウンドエフェクトを4種類生成しました。アップビート、エネルギッシュ、落ち着いた雰囲気、ドラマチックです。各オプションをプレビューし、イメージに合うものを選べます。

const response = await elevenLabs.soundGeneration({
  text: modifiedPrompt,
  duration_seconds: duration,
  prompt_influence: 0.3
});

FFmpegで最終動画を編集する

4つの動画クリップと4つのサウンドエフェクトトラックを組み合わせる必要がありました。そのため、動画処理の万能ツールであるFFmpegを深く掘り下げました。バックエンドでは、以下のFFmpegコマンドを実行します。

1. 各動画クリップにサウンドエフェクトをミックスする
2. すべてのクリップを1本の動画に連結する
3. 最終動画にボイスオーバートラックを追加する

FFmpegコマンドを正しく動かすには、かなりのデバッグが必要でした。特にオーディオミキシングでは、音量レベルとタイミングに細心の注意が求められます。ボイスオーバーとミックスする際は、バックグラウンドオーディオの音量を約30％まで下げるべきだと学びました。それ以上では注意を奪い合い、それ以下では存在しないのとほとんど変わりません。

ボイスオーバー：ElevenLabsが真価を発揮する領域

ボイスオーバーには、ElevenLabsのテキスト読み上げAPIを統合し、複数の音声から選べるようにしました。システムはすべてのシーンのスクリプトから一貫性のある1本のボイスオーバースクリプトを生成し、最適化された音声設定とともにElevenLabsへ送信します。

const voiceSettings = {
  stability: 0.75,
  similarity_boost: 0.75,
  style: 0.0,
  use_speaker_boost: true
};

この設定により、CMに適した、明瞭でプロフェッショナルなナレーションが得られます。さまざまな構成を試した結果、ロボットらしく聞こえることなく一貫性を保てるバランスだと分かりました。

堅牢なエラー処理とユーザー体験

複数のAI APIを使って構築するということは、さまざまな障害パターンに対応するということです。レート制限、タイムアウトエラー、不正な形式のレスポンスなど、どれも起こり得ます。特に午前2時にデバッグしていて、VEO 2が予期しないものを返すときはなおさらです。

フォールバックオプションを備えた包括的なエラー処理を実装しました。

• Geminiが失敗した場合、システムがインテリジェントなフォールバックスクリプトを提供する
• 動画生成が失敗した場合、プレースホルダー動画を利用できる
• サウンド生成が失敗した場合、基本的なオーディオトラックを使用する

一部のAIサービスの調子が悪い日でも、ユーザーが必ずCMを完成させられるようにすることが目標でした。

パフォーマンスに関する考慮事項

CMの生成には、数分かかる複数のAI API呼び出しが必要です。体験を改善するため、以下を行いました。

• 可能な場合は動画を並列処理する
• リアルタイムの進行状況インジケーターを表示する
• コストのかかる生成コンテンツをローカルに保存する
• 個々のコンポーネントを再生成できるようにする

状態を永続化するシステムも実装しました。生成の途中でブラウザを閉じても、戻って中断したところから再開できます。当初の計画にはありませんでしたが、テスト中に何度か自分の進捗を失ったため、優先事項になりました。

重要な学びと次のステップ

このツールの構築から、3つの重要な学びが得られました。

第一に、プロンプト設計は重要です。 AIモデルの出力品質は、入力をどのように構成するかに大きく左右されます。コードを書くのと同じくらいの時間を、プロンプトの改善に費やしました。

第二に、ユーザー体験は技術的な複雑さに勝ります。 ユーザーが気にするのは、どれだけ多くのAIサービスが関わっているかではなく、ツールが機能することです。進行状況インジケーター、エラー処理、迅速なフィードバックループが大きな違いを生みます。

第三に、ClaudeのようなAIアシスタントは開発を加速させます。 定型コードや構文をモデルに任せることで、プロダクトロジックに集中しました。これは手順を省くことではなく、よりスマートに構築することです。

週末のプロジェクトとして始まったものが、実用的で拡張可能なツールになりました。マーケティングチームはプロトタイピングに、スタートアップはピッチ動画に、クリエイターはスポンサーコンテンツに利用できます。

このシステムは、柔軟に使えるよう設計されています。VEO 2のプロンプトを調整して動画スタイルを変えたり、異なる形式に合わせてシーンの長さを変更したり、FFmpeg経由で音楽を追加したりできます。

本当の可能性は、複数のAIシステムをオーケストレーションすることにあります。単一のモデルで完成したCMを生成することはできません。しかしGemini、VEO 2、ElevenLabsを組み合わせれば、それぞれ単独の場合をはるかに超える強力な成果を生み出せます。

これはAIがクリエイターに取って代わるという話ではありません。クリエイターにより良いツールを提供するということです。コンテンツ業界で20年を過ごすなかで、多くの変化を見てきました。しかし、この変化は根本的なものに感じます。

ElevenLabsのテクノロジーがコンテンツやメディアへの新しいアプローチにどう役立つかを知りたい方は、営業チームにお問い合わせください。