Dubbing v2のご紹介

本日、革新的な新しいAI吹き替えモデル、Dubbing v2をリリースします。

初めて、元の話者の感情とパフォーマンスをあらゆる言語に引き継げるようになりました。Dubbing v2は、文字起こしだけから平板で断片的なオーディオを生成するのではなく、元のパフォーマンスを直接条件付けし、声のトーン、ペース、話し方、感情的な意図を保持します。

これにより、AI吹き替えにおける最大級の未解決課題の一つ、つまり翻訳後の音声を、まるで元の人物が実際に話したかのように感じさせることを実現します。

90以上の言語で元のパフォーマンスを保持

従来のAI吹き替えシステムは、文字起こしに大きく依存しています。正確な翻訳は可能ですが、生成されるオーディオでは、人間の話し方を自然に感じさせるニュアンスが失われがちです。感情、タイミング、強調、ためらい、エネルギーは、テキストだけから再現するのが困難です。

Dubbing v2は、この課題に異なる方法で取り組みます。元のパフォーマンスを直接条件付けすることで、モデルが話者のイントネーションとトーンを捉え、言語間で引き継ぎます。その結果、元の話し方に忠実でありながら、はるかに自然で表現力豊かな吹き替えを実現します。

自然な多言語の話し方のために設計

優れた吹き替えは、単なる直訳ではありません。自然に聞こえるためには、言語ごとに異なる表現、リズム、文構造が必要です。Dubbing v2は、元のコンテンツとの同期を保ちながら、音声用に翻訳を調整します。同期を考慮した翻訳システムが開始・停止・ペースを自動で調整するため、手動調整の手間を減らし、最終出力をプロが制作した吹き替えにより近づけます。

高品質な吹き替えをもっと身近に

プロによる吹き替えには1分あたり数百ドルかかることがあり、多くの場合、翻訳者、ボイスアクター、編集者、オーディオエンジニアを含む大規模な制作体制が必要です。

Dubbing v2は、このプロセスを自動化します。クリエイターや企業は、複雑なワークフローを構築したり、複数のベンダーを調整したりすることなく、高品質な多言語コンテンツを制作できるようになりました。

クリエイター向け：自然な音声のビデオで世界中の視聴者へ

Dubbing v2を使えば、クリエイターはElevenCreative内でワンクリックするだけで、YouTubeビデオなどのコンテンツをローカライズできます。ビデオは、元のクリエイターの個性や話し方を保ちながら、さまざまな言語の視聴者にも自然に聞こえるようになります。品質を犠牲にせず、グローバル展開を大幅に迅速かつ身近なものにします。

今回のリリースにあわせて、Creator Dubbing Partner Programも開始します。対象となるクリエイターは、Dubbing v2を割引価格で利用できます。こちらからお申し込みください。

マーケター向け：キャンペーンを大規模にローカライズ

マーケティングチームは、キャンペーンを一から作り直すことなく、国際市場向けに高品質なローカライズを行えます。広告、プロダクトビデオ、ブランドコンテンツは、言語をまたいでも同じ感情的なインパクトと表現スタイルを維持できます。ElevenCreativeは、ローカライズのワークフロー全体をエンドツーエンドで支援し、チームによる多言語キャンペーンの効率的な拡大を可能にします。

スタジオ・放送局向け：プロフェッショナルな吹き替えワークフロー

スタジオ、放送局、エンタープライズ向けの制作では、ElevenProductionsがDubbing v2とプロフェッショナルなローカライズサービスを組み合わせます。人の翻訳者、専門家によるボイスキャスティング、プロフェッショナルなオーディオミキシングに加え、Dubbing v2が基盤となる音声生成と同期を担います。

その結果、プロ品質の多言語制作に対応する、拡張可能なワークフローが実現します。詳しく見る。

無料で始める

Dubbing v2は、本日からElevenCreativeおよびElevenProductionsでご利用いただけます。今後7日間は、無料で始めることができます。無料プランでは1分、スタータープランでは15分、クリエイター以上のプランでは30分を無料でご利用いただけます。

APIアクセスは近日公開予定です。詳しくは、営業担当にお問い合わせください。