ElevenLabs、コンテンツの言語の壁を打破する音声翻訳ツールを発表

• 音声AIプラットフォームElevenLabsが新しいAI Dubbing機能を発表 - 言語の壁を取り除き、コンテンツの普遍的なアクセスを促進するための最大のマイルストーン
• この音声翻訳ツールは話されたコンテンツを数分で別の言語に変換し、元の話者の声を保持します。自社の研究に基づいて構築されており、世界中のオーディエンスが母国語でコンテンツを楽しむことが可能になります。
• 新しいAI吹き替え機能は、すべてのクリエイター、教育者、メディア企業が数クリックでグローバルなオーディエンスにリーチできるようにします。これは最近のElevenLabsのStudio ツールに続くもので、長編オーディオ制作を効率化します。

10月10日、グローバル - ElevenLabs、音声AI技術の世界的リーダーであるElevenLabsは、画期的な音声翻訳機能をプラットフォームに追加したことを発表しました。ElevenLabsが設立された際の言語の壁を取り除くという基本的な使命から生まれ、これまでの研究の集大成であるAI吹き替えツールは、ユーザーが任意の音声を異なる言語に自動的に翻訳し、元の話者の声を維持することを可能にします。これにより、オーディオやビデオコンテンツの新しい、高品質で効果的な吹き替え方法が生まれます。

ElevenLabsのCEO兼共同創設者、Mati Staniszewskiのコメント:

「AI吹き替えのリリースは、コンテンツの言語の壁を取り除くための最大の一歩です。これにより、オーディエンスは話す言語に関係なく、好きなコンテンツを楽しむことができます。そして、コンテンツクリエイターは、世界中のより大きなオーディエンスに簡単かつ本格的にアクセスできるようになります。私の共同創設者Piotrと私は、これらの言語の壁を直接経験してきたので、AI吹き替えをついに実現できたことに非常に興奮しています。」

ストリーミング、ゲーム、映画などのメディアにおけるコンテンツアクセスの新時代を告げるこの新しいツールは、従来の翻訳や字幕を超え、翻訳時に話者のアイデンティティと元の話し方を保持します。これにより、同じアクターの声が20以上の異なる言語でオーディエンスに届けられ、元の録音の特徴とニュアンスを持ってセリフが伝えられます。

AI Dubbingは、マルチリンガル音声合成、ボイスクローン、テキストとオーディオ処理に関する同社の研究を1つのツールに統合し、翻訳されたコンテンツの信憑性を高め、元の表現の本質を保ちながら、より広いオーディエンスにアクセスしやすくします。AI吹き替え機能は、Eleven Multilingual v2モデルが現在サポートしている20以上の言語での音声翻訳をサポートしており、ヒンディー語、ポルトガル語、スペイン語、日本語、ウクライナ語、ポーランド語、アラビア語などが含まれます。

この動きは、オーディオAI分野におけるElevenLabsの研究をさらに拡大し、元のオーディオの感情やイントネーションを吹き替えオーディオに変換できるようにします。同社はまた、異なる話者の声を検出する独自の方法や、音楽やノイズを対話から区別する方法を開発しました。これにより、複数の話者を含むオーディオやビデオを効果的に処理し、各声が異なる言語でも明確で認識可能なままであることを保証します。

吹き替えプロセスを自動化し、高品質な出力を保証することで、ElevenLabsはクリエイター、教育者、メディア企業のために多言語コンテンツの作成を簡素化します。世界の人口の6%しか英語を母国語とせず、75%は英語を話しません。このリリースにより、すべてのビデオが迅速かつ低コストでグローバルなオーディエンスに提供できるようになります。

この発表は、最近リリースされたStudio - ElevenLabsの長編オーディオ生成と編集のための高度なワークフローに続くもので、話者の割り当て、ポーズの挿入、セグメントの再生成など、さまざまな編集機能をサポートしています。

この追加により、ElevenLabsは言語の壁を打破し、あらゆる言語と声でコンテンツを普遍的にアクセス可能にするという使命を続けています。