ダビングv2がElevenAPIで利用可能になりました

デベロッパーは、AI吹き替えをプロダクトやワークフローに直接組み込めるようになりました。

吹き替えv2は、元のパフォーマンスを直接条件付けすることで、平坦になりがちなオーディオを改善します。90以上の言語で、トーン、感情、話し方を維持します。 

同期を考慮した翻訳ロジックにより、開始と終了が標準で元の音声に合います。

新モデルの改善点

Dubbing v2は、カスティーリャ・スペイン語とラテンアメリカ・スペイン語のような違いを区別し、より高精度に地域アクセントを捉えます。複数の話者がいるシーンを含め、バックグラウンドオーディオ、音楽、エフェクトの処理も向上しました。

単一のAPIでパイプライン全体を処理

翻訳、ボイスクローン、吹き替え、同期はすべて自動で実行されます。より細かな編集が必要な場合、企業はさらに高度な操作も可能です。独自のソース文字起こしと対象言語の翻訳を用意するか、モデルが生成したものを編集し、変更したセグメントだけを再生成できます。

始めるには

ElevenAPIの吹き替えクイックスタートガイドを読み、開発を始めましょう。