プロダクト吹き替え

ダビングスタジオ

吹き替えを細かく制御。

ダビングスタジオはメンテナンスモードです。重大なバグ修正のみ継続して提供され、新機能の開発は予定されていません。既存のダビングスタジオのお客様は、引き続き中断なくご利用いただけます。

ダビングスタジオプロジェクトを作成する

  1. モデルとしてDubbing v1を選択し、Dubbing projectを選びます。
  2. Create Dubをクリックします。ダビングスタジオプロジェクトが作成されると、開けるようになります。

基本概念

話者カード

ダビングスタジオの話者カード

話者カードには、ソースビデオ内の会話の元の文字起こしと翻訳（追加した場合）が表示されます。‘Transcribe Audio’をクリックして元の音声を再文字起こししたり、矢印をクリックして既存の文字起こしを再翻訳したりできます。

文字起こしと翻訳を編集する

文字起こしと翻訳はどちらも自由に編集できます。話者カード内をクリックして、テキストを入力・編集してください。

話者の識別

各話者の名前は、話者カードの左上に表示されます。話者名を変更したり、クリップを別の話者に再割り当てしたりするには、タイムラインを使用します。

タイムライン

タイムラインにはダビングスタジオの重要な要素が多数含まれています。詳しくは以下の各セクションをご覧ください。

基本的な操作

タイムラインを操作する主な方法は3つあります。

  1. カーソルをクリックしてドラッグする
  2. 横方向にスクロールする
  3. タイムライン右側で特定のタイムコードを入力する

クリップの調整とオーディオの再生成

  1. クリップの左右にあるハンドルをドラッグして、長さを調整します。
  2. 更新アイコンをクリックして、そのクリップのオーディオを再生成します。

ダビングスタジオでの調整と再生成

ダイナミック生成と固定生成

注意：デフォルトでは、ダビングスタジオでのすべての再生成は固定生成です。つまり、含まれるテキスト量にかかわらず、システムはクリップの長さを固定します。テキストを変更せずにクリップの長さを調整した場合や、クリップに大量の単語を追加・削除した場合、音声が大幅に速くなったり遅くなったりすることがあります。

たとえば、「I’m doing well.」というフレーズを含むクリップを考えてみましょう。このクリップを10秒間に設定し、固定生成でオーディオを生成すると、音声は遅く引き延ばされたように聞こえます。

または、セグメントを右クリックしてオプションから選択すると、ダイナミック生成を使用できます。テキストの長さに合わせてクリップの長さを調整し、より自然な音声にします。

ただし、ダイナミック生成はビデオの同期やタイミングに影響する可能性があるため注意してください。たとえば、多くの単語を含むクリップでダイナミック生成を選択し、次のクリップまでに適切に拡張するための十分なスペースがない場合、オーディオが正しく生成されないことがあります。

ダビングスタジオのダイナミック生成

古いオーディオ

古いオーディオとは、さまざまな理由（クリップ長、設定、文字起こし／翻訳の変更など）で再生成が必要なオーディオを指します。古いクリップを個別に再生成するか、‘Generate Stale Audio’をクリックして、すべての古いオーディオクリップを一括生成できます。

クリップ履歴

クリップを右クリックして’Clip History’を選択すると、以前の生成結果を確認し、最もよく聞こえるものを選択できます。

クリップを分割・結合する

  1. クリップを分割するには、カーソルを特定のタイムコードに移動し、‘Split’をクリックします。
  2. 2つのクリップを結合するには、クリップの端を合わせてドラッグし、‘Merge.‘をクリックします。

ダビングスタジオでの結合

クリップを分割・結合すると、タイムライン上部の話者カードもこれらの変更を反映して更新されます。

クリップを別の話者に再割り当てする

クリップを別の話者に再割り当てするには、セグメントをクリックして別のトラックへドラッグします。

ダビングスタジオでのクリップの再割り当て

追加のオーディオトラックを追加する

タイムライン下部のアクションボタンを使って、新しいオーディオトラックを追加します。

ダビングスタジオでのトラック追加

音声設定

音声の選択

特定の話者トラックでオーディオを生成する際に使用する音声を選択するには、話者名の近くにあるタイムライン左側の設定歯車アイコンをクリックします。

ダビングスタジオでは、主に3種類の音声から選択できます。

  1. クリップクローン：そのクリップのソースオーディオに基づいて、クリップごとに固有のボイスクローンを作成します
  2. トラッククローン：特定の話者のすべてのソースオーディオに基づいて、トラック全体用の単一のボイスクローンを作成します
  3. その他の音声：詳細なメタデータとタグを備えたボイスライブラリ内の数千種類の音声から、最適なものを選択することもできます

クリップを右クリックして’Create Voice from Selection.‘を選択すると、特定のクリップから音声を作成、保存、再利用することもできます。

トラックレベルとクリップレベルの設定

音声設定は2つのレベルで指定できます。

  1. トラックレベル：変更はトラック内のすべてのクリップに適用され、安定性と一貫性の向上に役立ちます。

  2. クリップレベル：変更は特定のクリップにのみ適用されます。クリップレベルの設定を行うには、タイムライン右側のパネルを使用します。 ‘inherit track settings’トグルを無効にし、必要な設定を構成します。

ダビングスタジオの音声 設定

エクスポート

ダビングスタジオ右下の’Export’をクリックして、エクスポートメニューを開きます。

ダビングスタジオは現在、以下のエクスポート形式に対応しています。

  • AAC（オーディオ）
  • MP3（オーディオ）
  • WAV（オーディオ）
  • オーディオトラックの.zip
  • オーディオクリップの.zip
  • AAF（タイムラインデータ）
  • SRT（字幕／キャプション）
  • CSV（speaker、start_time、end_time、transcription、translation）

エクスポート時は、正しい言語を選択してください。

その他の機能

  • **ボイスオーバートラック：**ボイスオーバートラックでは新しい話者を作成します。タイムライン上の任意の場所をクリックしてクリップを追加できます。クリップを作成したら、上部の話者カードで希望するテキストを書き始めます。まずテキストを翻訳してから、“Generate”を押します。画面右側のマイクアイコンをクリックすると、ボイスチェンジャーツールも使用できます。自分の声を使った後、選択した音声に変換できます。
  • **SFXトラック：**SFXトラックを追加し、そのトラック上の任意の場所をクリックしてSFXクリップを作成します。単体のSFX機能と同様に、上部の話者カードにプロンプトを入力し、“Generate”をクリックするだけで新しいSFXオーディオを作成できます。SFXクリップはプロジェクトに合わせて長さを変更し、タイムライン上を自由に移動できます。その場合は必ず”stale”ボタンを押してください。
  • **オーディオをアップロード：**SFX、音楽、バックグラウンドトラックなど、音声のないトラックをアップロードできます。このトラックに音声が含まれていても検出されないため、翻訳や修正はできないことに注意してください。

手動吹き替え

正確な吹き替えスクリプトをすでに用意しており、ダビングスタジオプロジェクトでクリップと話者の割り当てを正確に維持したい場合は、作成時にManual modeオプションを選択できます。

手動吹き替えを作成するには、次のものが必要です。

  1. ビデオファイル
  2. バックグラウンドオーディオファイル
  3. フォアグラウンドオーディオファイル
  4. 各行にspeaker、start_time、end_time、transcription、translationフィールドを含むCSV

CSVファイルを正しく処理するには、あらかじめ定義された形式に厳密に従う必要があります。以下に、サポートされている3種類のタイムコードのサンプルを示します。

  • 秒
  • 時:分:秒:フレーム
  • 時:分:秒,ミリ秒

CSVファイルの例

speaker,start_time,end_time,transcription,translation
Adam,"0.10000","1.15000","Hello, how are you?","Hola, ¿cómo estás?"
Adam,"1.50000","3.50000","I'm fine, thank you.","Estoy bien, gracias."
speakerstart_timeend_timetranscriptiontranslation
Joe0:00:00.0000:00:02.000やあ！Hallo!
Maria0:00:02.0000:00:06.000あら、こんにちは、ジョー。久しぶりね。Oh, hallo, Joe. Es ist schon eine Weile her.
Joe0:00:06.0000:00:11.000ああ、そうだね。忙しくて。Ja, ich weiß. War beschäftigt.
Maria0:00:11.0000:00:17.000そう？何をしていたの？Ja? Was hast du gemacht?
Joe0:00:17.0000:00:23.000ほとんど旅行してた。Hauptsächlich gereist.
Maria0:00:23.0000:00:30.000あら、私が知っている場所かしら？Oh, irgendwo, das ich kenne?
Joe0:00:30.0000:00:36.000スペイン。Spanien.

よくある質問

ダビングスタジオはメンテナンスモードであり、重大なバグ修正のみを提供しています。

トラッククローンとは、吹き替えプロジェクト内のトラック全体から作成されるボイスクローンです。つまり、そのトラック上のすべてのクリップを組み合わせてボイスクローンが作られます。これはデフォルトの動作で、すべてのクリップの特徴をある程度組み合わせたボイスクローンを作成するのに適しています。通常、AIが適切なクローンを作成するのに十分なデータも得られます。ただし、途中で声が大きく変化する場合は、やや不安定な声になることがあります。

一方、クリップクローンとは、トラック上の特定のクリップから作成されるボイスクローンです。特定のクリップから異なるボイスクローンを作成し、そのトーンや演技を使いたい他のクリップに同じ声を割り当てられます。特定のトラックに求める演技が正確に含まれており、それを他のクリップにも適用したい場合や、トラック全体に適用したい場合に便利です。

役立つヒントとして、気に入ったクリップ、つまり声が良いと感じるクリップを見つけ、そのクリップを右クリックしてクローンを作成し、そのクローンをトラック全体に割り当てることで、全体で一貫した声にできます。これはあくまで一つのヒントであり、すべての状況で機能するわけではありませんが、場合によっては非常に効果的です。

デフォルトでは、新しい吹き替えを作成すると、最新のDubbing v2モデルが使用されます。v2モデルで作成した吹き替えは自動生成されます。アプリ内でコンテンツを編集するオプションはありません。APIを介した文字起こしの編集とオーディオの再生成は、エンタープライズプランでのみ利用できます。

ダビングスタジオを使用するには、モデルとしてDubbing v1を選択し、次に吹き替えプロジェクトを選択します。

既存の自動吹き替えを吹き替えプロジェクトに変換することはできません。

新しい吹き替えプロジェクトは吹き替えプロジェクト一覧の先頭に表示され、生成中にさまざまな段階を経ます。

処理が完了したら、3点アイコンをクリックして編集を選択し、吹き替えプロジェクトを開きます。

ダビングスタジオの詳細については、概要をご覧ください。

新しい吹き替えを作成すると、デフォルトで最新のDubbing v2モデルが使用されます。v2モデルで作成された吹き替えは自動生成されます。Dubbing v2にはアプリ内の編集ボタンはありません。

編集ボタンは、従来のv1 Dubbingモデルでのみ利用可能なダビングスタジオを使用する場合にのみ表示されます。ダビングスタジオを使用するには、モデルとしてDubbing v1を選択し、次にダビングプロジェクトを選択します。

Dubbing v2では、エンタープライズプランでのみAPI経由でトランスクリプトを編集し、オーディオを再生成できます。

注： ダビングスタジオはメンテナンスモードであり、重大なバグ修正のみを提供しています。

吹き替えたオーディオまたはビデオをダウンロードできない場合は、別のブラウザを試し、広告ブロッカーとポップアップブロッカーをオフにしてください。

この問題はBraveブラウザで最も多く報告されていますが、他のブラウザでも発生する可能性があります。ほとんどの場合、ブラウザを切り替えるかブロッカーを無効にすると解決します。

プランをダウングレードするか、サブスクリプションを完全にキャンセルすると、インスタントボイスクローンやプロフェッショナルボイスクローンなどの有料機能は利用できなくなります。ただし、現時点ではデータを削除することはなく、再度アップグレードする準備ができたときにもデータは保持されています。

現在、ElevenLabsはDubbingの一部としてリップシンクを提供していません。リップシンクは、サードパーティモデルを通じて画像＆ビデオ、Flows、Studioで利用できます。

Dubbingは、吹き替え先の言語ごとに、ソースメディアの時間単位で課金されます。正確な料金は使用する吹き替えモデルによって異なります。詳細は料金ページをご覧ください。アプリでは、吹き替え開始前に確認できるよう合計料金が表示されます。

ダビングAPIで作成した吹き替えプロジェクトには、1言語分の最低料金がかかります。プロジェクトの作成時にはソースの長さに基づき、1言語分の吹き替え料金が前払いで請求され、この料金は最初のターゲット言語に充当されます。

  • 料金は、最初の言語を追加するときではなく、ソースの準備中にプロジェクトを作成した時点で適用されます。
  • 最初に追加する言語（またはプロジェクト作成時にtarget_languageでキューに入れる言語）には、この前払い料金が充当され、追加料金は発生しません。
  • 追加する言語ごとに、キューに入れた時点で別途課金されます。

失敗時の対応

  • プロジェクトの準備に失敗した場合（たとえば、ソースを文字起こしできない場合）は、作成料金が返金されます。
  • 追加した言語の生成に失敗した場合は、その料金が返金されます。
  • 最初の言語はプロジェクト作成料金によって前払いされています。その生成に失敗した場合、作成料金は返金されませんが、前払い分は失われません。同じプロジェクトでその言語を再試行しても、追加料金はかかりません。
  • プロジェクトまたは言語を削除しても、すでに実行中の吹き替え料金は返金されません。

Dubbingは無料プランを含むすべてのプランで利用できます。無料プランで生成した吹き替えには自動的にウォーターマークが付与され、削除することはできません。有料サブスクリプションではウォーターマークは付与されません。

Dubbing v2では、API経由のトランスクリプト編集とオーディオ再生成はエンタープライズプランでのみ利用できます。

ElevenLabsは、優れた吹き替えを作るという理念のもとに設立されました。俳優の元の声とオリジナルの演技を保ちながら、希望するあらゆる言語で完璧な吹き替えを作成し、すべてのコンテンツをよりアクセスしやすくするツールです。

まずは、Dubbingにアクセスし、オーディオまたはビデオファイルをアップロードするか、YouTube、TikTokなどオンライン上のビデオを吹き替えるためのURLを貼り付けます。

言語を選択セレクターで、吹き替え先の言語を選択します。ここで選択した言語ごとに料金が発生します。詳しくは、Dubbingの料金はいくらですか？をご覧ください。 

デフォルトでは、最新のDubbingモデルであるv2を使用します。v2モデルで作成された吹き替えは自動生成されます。アプリ内でコンテンツを編集するオプションはありません。API経由のトランスクリプト編集とオーディオ再生成はエンタープライズプランでのみ利用できます。

WebサイトでDubbing v2を使用する場合、アップロードするファイルは2GBかつ180分までで、両方の制限を満たす必要があります。

Dubbingの概要や使い方についてより詳しく知りたい場合は、こちらの完全なドキュメントを読むことを強くおすすめします。

吹き替えを編集できるダビングスタジオのプロジェクトを作成するには、モデルとしてDubbing v1を選択し、次にダビングプロジェクトを選択します。

注： ダビングスタジオはメンテナンスモードであり、重大なバグ修正のみを提供しています。

ダビングスタジオでは、以下の形式で出力できます。

  • MP4（ビデオ）
  • AAC（オーディオ）
  • AAF（タイムラインデータ）
  • SRT（字幕）
  • WAV（オーディオ：話者ごとに個別トラック、zipファイルとしてダウンロード）

Dubbing v2は、単一のロスレスオーディオファイルを返します。

Dubbingには、以下の形式のオーディオおよびビデオファイルをアップロードできます。

  • AAC
  • AIFF
  • AVI
  • FLAC
  • M4A
  • M4V
  • MKV
  • MOV
  • MP3
  • MP4
  • MPEG
  • MPG
  • OGA
  • OGG
  • OPUS
  • WAV
  • WEBA
  • WEBM
  • WMV
  • 3GPP
No results