AIダビングAPI：音声やビデオを大規模に吹き替える方法

数十年前、ビデオを吹き替えるにはスタジオを予約し、ターゲット言語のボイスアクターを雇い、すべてのセリフを録音（再録音）し、最終納品まで何週間も待つ必要がありました。

AIダビングAPIなら、その工程が数回のRESTコールで完結します。音声やビデオを送信するだけで、元のタイミングや感情表現を保ったまま、新しい言語で吹き替えた出力を受け取れます。

このガイドでは、AIダビングAPIの仕組みや、プロダクションレベルのAPIと簡易的なパイプラインの違いを解説します。また、ElevenLabsの新しいダビングAPIのインテグレーション方法もご紹介します。今ではDubbing v2という最新のダビングモデルを、あらゆるワークフローに組み込めます。

概要

• AIダビングAPIは、元の音声やビデオを受け取り、新しい言語で吹き替えた出力を返します。
• Dubbing v2は、元のパフォーマンスをもとにした音声to音声モデルです。感情やトーン、話し方がすべての吹き替えに反映されます。
• ElevenLabsのダビングAPIは、90以上の言語に対応し、同期を意識した翻訳を行います。
• デベロッパーはダビングプロジェクトを作成し、ターゲット言語を追加し、数回のRESTコールで完成した吹き替えをダウンロードできます。
• エンタープライズのお客様は、元のトランスクリプトや翻訳を編集し、変更した部分だけを再生成できます。

AIダビングAPIとは？

AIダビングAPIは、1つの言語の音声やビデオを受け取り、ターゲット言語で吹き替えた音声を返すプログラムインターフェースです。元の音声の書き起こし、セリフの翻訳、各話者のボイスクローン、ターゲット言語での音声生成、元のタイミングへのアラインメントまで、ローカライズの流れを自動化します。

これまでデベロッパーは、スピーチtoテキスト、機械翻訳、テキスト読み上げなどを組み合わせて簡易的なダビングパイプラインを作ってきましたが、大規模なワークロードには信頼性が足りませんでした。

各工程で話者の個性が失われたり、タイミングがずれたり、感情豊かなスクリプトが単調になってしまうこともあります。

専用設計のダビングAPIには、こうした課題を解決するさまざまな機能が備わっています。話者分離やボイス保存、内部同期やボイスクローンなど、高品質なAIダビングAPIなら、ただの翻訳ではなく、元の話者らしい吹き替えが実現できます。

AIダビングの仕組み：音声to音声 vs. カスケード型パイプライン

多くの自動ダビングシステムはカスケード型パイプラインです。元の音声を翻訳し、トランスクリプトを翻訳し、そのテキストから新しい音声を合成します。ためらいや緊張、皮肉、ささやきなど、トランスクリプト以外の要素は合成前に失われてしまいます。

ElevenLabsのDubbing v2は、異なるアプローチを取っています。

Dubbing v2は、トランスクリプトではなく元の録音自体をもとに出力を生成する音声to音声モデルです。モデルがパフォーマンスそのものを聞くため、トーンや感情、ニュアンスが吹き替えにも反映されます。

Dubbing v2は、人間の品質の80〜90％に相当する吹き替えを実現できると考えています。これにより、映画のようなコンテンツにもAIダビングが使えるようになりました。

Dubbing v2には、他にも3つの主要な機能があります：

• 同期を意識した翻訳：モデルがタイミングを考慮して翻訳するため、吹き替え音声の開始・終了が元の音声と自動で揃います。ビデオ編集やリップシンクは不要で、音声が元のセリフとぴったり重なります。
• 自動ボイスクローン：すべての翻訳が、元の話者のボイスクローンで提供されます。手動でクローンを作る必要はありません。話者の個性やピッチ、トーンは、複数話者でもすべての対応言語で維持されます。
• ロケール単位の精度：Dubbing v2は、ラテンアメリカやカスティーリャなどの地域差も区別できます。pt-BR（ブラジルポルトガル語）などの言語コードでロケールを指定可能です。

AIダビングAPI選びのポイント

デベロッパー向けパイプラインにAIダビングAPIを導入する際、いくつかの重要な基準があります。

優れたAIダビングAPIの主な特徴はこちら：

• 幅広い言語・ロケール対応： 90以上の言語対応や、地域差など細かな指定ができるかを確認しましょう。
• パフォーマンスの再現性： システムが元の音声をもとにしているか、トランスクリプトをもとにしているかを確認しましょう。音声to音声アーキテクチャなら、感情も吹き替えに残ります。
• シームレスな同期品質：吹き替え音声が元のタイミングからずれると、手作業での修正が必要になります。同期が標準で機能することが重要です。
• 複数話者・バックグラウンド対応： AIダビングAPIは、話者が重なる場合やサウンドエフェクトにも対応できる必要があります。また、バックグラウンドの音楽やミックスも維持できることが望ましいです。
• 編集と再生成： トランスクリプトの修正や翻訳の調整、変更部分だけの再生成ができるAPIなら、ファイル全体を再ダビングする手間が省けます。
• コンプライアンス： エンタープライズ用途では、SOC2やGDPR、ISO 27001などのコンプライアンス対応が必須です。

この後のガイドでは、上記すべての機能を備えたElevenLabsのダビングAPIについて詳しく解説します。

ElevenLabsダビングAPIで音声やビデオを吹き替える方法

ダビングAPIはプロジェクト単位で管理されます。各プロジェクトには1つの元ファイルとそのトランスクリプトが含まれます。吹き替えたい言語ごとにターゲット言語を追加でき、それぞれに翻訳と出力が紐づきます。

以下の基本的な作成・取得ワークフローは、すべてのユーザーがElevenAPIプラットフォームで利用できます。

1）ダビングプロジェクトを作成

元のメディアをファイルアップロードまたは公開URLで送信します。認証はxi-api-keyヘッダーにAPIキーを使います。プロジェクト識別用のリファレンスラベルや、製品名・ブランド名に寄せるためのキータームも任意で指定できます。

URLから作成

curl -X POST https://api.elevenlabs.io/v1/dubbing/project \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -F "source_url=https://example.com/promo.mp4" \
  -F "source_language=en" \
  -F "reference=Q3 marketing video"

ファイルアップロードから作成

curl -X POST https://api.elevenlabs.io/v1/dubbing/project \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -F "file=@promo.mp4" \
  -F "source_language=en" \
  -F "reference=Q3 marketing video"

レスポンスには、ステータスがqueuedのproject_idが返されます。source_languageを省略すると、トランスクリプション時に自動検出されます。

2）プロジェクトが準備完了になるまでポーリング

元データは非同期で書き起こされるため、プロジェクトのステータスがreadyになるまでポーリングします。

curl https://api.elevenlabs.io/v1/dubbing/project/{project_id} \
  -H "xi-api-key: $ELEVENLABS_API_KEY"

readyになったプロジェクトは、元のトランスクリプトが用意され、ターゲット言語の追加待ち状態です。各言語ごとの進捗はlanguagesに記録されるため、プロジェクト自体はこの時点からreadyのままです。

3）ターゲット言語を追加

ターゲットごとに1言語ずつ追加します。cloning_strength（0〜10、デフォルト7）で、元の声の再現度とターゲット言語での自然さのバランスを調整できます。

curl -X POST https://api.elevenlabs.io/v1/dubbing/project/{project_id}/language \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"target_language": "es", "voice_settings": {"cloning_strength": 7}}'

各言語はqueued、processing、completedの順に進みます。

5言語に吹き替える場合は、同じプロジェクトに5回リクエストします。元データの書き起こしは1回だけで、各言語はそこから翻訳されます。

4）吹き替え出力をダウンロード

言語のステータスがcompletedになったら取得できます。レスポンスには、吹き替え音声の署名付きダウンロードURLが含まれます。

curl https://api.elevenlabs.io/v1/dubbing/project/{project_id}/language/{language_id} \
  -H "xi-api-key: $ELEVENLABS_API_KEY"

ダウンロードURLには有効期限があるため、新しいリンクが必要な場合は再度取得してください。

この4ステップで、完全自動のダビングループ（作成→ポーリング→言語追加→ダウンロード）が実現します。

API経由での吹き替え編集・再生成

自動出力でほとんどの用途はカバーできますが、プレミアムなローカライズでは言葉そのものに人の手を加えて完璧に仕上げたい場合もあります。ダビングAPIなら、エンタープライズのお客様向けに翻訳両面のセグメント単位でコントロールできます。

元のトランスクリプトは、すべての言語が翻訳する唯一の基準であり、完全に編集可能です。聞き間違いの修正や話者割り当ての変更、任意セグメントのタイミング調整もできます：

curl -X PATCH https://api.elevenlabs.io/v1/dubbing/project/{project_id}/transcript/segment/{segment_id} \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"text": "Welcome to our latest product demo."}'

各ターゲット言語には独自のトランスクリプトがあり、元のセグメントと翻訳がペアになっています。翻訳も同様に編集可能です。

既存のトランスクリプトや翻訳を持ち込むこともでき、ローカライズワークフローを自分で管理しつつ、モデルが音声部分を担当します。

吹き替え完了後にトランスクリプトが変更されると、その言語はstale（古い）とマークされ、1回のリクエストで最新テキストから再生成できます。

curl -X POST https://api.elevenlabs.io/v1/dubbing/project/{project_id}/language/{language_id}/transcript/regenerate \
  -H "xi-api-key: $ELEVENLABS_API_KEY"

再生成は、元メディアの長さの1倍まで無料です。翻訳を何度も調整してもダビング料金が増えません。1倍を超える分は通常のダビング料金がかかります。

AIダビングAPIの活用例

ビデオダビングAPIは、大量の音声をローカライズしたいときに便利です。手作業のダビングは時間も手間もかかりますが、AIダビングAPIなら大幅な効率化が可能です。

AIダビングAPIの活用例をいくつかご紹介します：

• メディア制作プラットフォーム： クリエイター向けの制作ワークフローにダビング機能を組み込み、ユーザーがアプリ内で気軽に試せるようにできます。
• トレーニング・サポートコンテンツ： グローバル採用の企業は、さまざまな言語でコンテンツをローカライズし、すべてのユーザー向けにオンボーディング動画を提供できます。
• ストリーミング・メディア：ローカライズパイプラインで、長編シリーズや他のメディアも自動で多地域向けに吹き替えできます。
• マーケティング資料： 多言語ビデオキャンペーンを展開する際、何十もの言語でボイスアクターの再録音をせずに済みます。
• Edtech： コースプラットフォームは、講師の声を保ったまま、すべての市場向けに講義動画を吹き替えできます。

あらゆる分野で、ダビングAPIは高品質なローカライズコンテンツを大規模に制作する手段を身近にします。

Dubbing v2がElevenAPIで利用可能になりました

ダビングAPIはセルフサーブ・エンタープライズ両方のデベロッパー向けに提供中です。Dubbing v2は全ユーザーが利用でき、エンタープライズ向けには編集エンドポイントも用意しています。

ぜひダビングAPIで全機能をチェックするか、サインアップしてAPIキーを作成して、数分で初めてのダビングを試してみてください。

ダビングAPIに関するFAQ