Eleven Multilingual v1 のご紹介:新しい音声合成モデル

本日、7 つの新しい言語をサポートする高度な音声合成モデルである Eleven Multilingual v1 をリリースできることを嬉しく思います。フランス語、ドイツ語、ヒンディー語、イタリア語、研磨、ポルトガル語、 、 スペイン語。Eleven Monolingual v1 の基盤となった研究を基に、当社の現在のディープラーニング アプローチは、より多くのデータ、より高い計算能力、そしてますます洗練されたモデル内の斬新な技術を活用し、テキストのニュアンスを理解し、感情豊かなパフォーマンスを実現できるようになりました。この進歩により、クリエイター、ゲーム開発者、パブリッシャーの創造的視野が広がり、生成メディアを使用して、よりローカライズされ、アクセスしやすく、想像力豊かなコンテンツを作成する道が開かれます。

新しいモデルはすべてのサブスクリプション プランで利用可能で、ベータ プラットフォームで今すぐ試すことができます。

これを使用するには、音声合成パネル内に新しく追加されたドロップダウン メニューから選択するだけです。

研究概要

前モデルと同様に、新しいモデルも完全に当社独自の研究に基づいています。それは、 イレブンモノリンガル v1 文脈に応じて伝え方を調整したり、意図や感情を超リアルに伝えたりする能力など、優れたストーリーテリングツールです。これらの機能は、多言語データ トレーニングを通じて新たにサポートされる言語に拡張されました。

このモデルの注目すべき特徴は、多言語テキストを識別し、適切に表現する能力です。これで 1つのプロンプトを使用して複数の言語で音声を生成する 各スピーカーの独自の音声特性を維持しながら。最良の結果を得るには、単一の言語プロンプトを提供することをお勧めします。このモデルは複数の言語を同時に使用してもすでに十分なパフォーマンスを発揮しますが、さらなる機能強化が必要です。

新しいモデルは他のVoiceLabと互換性があります インスタント音声クローニングや音声デザインなどの機能があります。作成されたすべての音声は、元のアクセントを含め、すべての言語にわたって元の音声特性のほとんどを維持することが期待されます。

そうは言っても、このモデルには既知の限界がある。: 数字、頭字語、外国語は、別の言語でプロンプトが表示された場合、デフォルトで英語になることがあります。たとえば、スペイン語のプロンプトに入力された数字「11」や単語「radio」は、英語と同じように発音されることがあります。改善に取り組んでいる間、頭字語と数字を対象言語で表記することをお勧めします。

声の民主化

ElevenLabs は、あらゆるコンテンツをあらゆる言語とあらゆる音声で普遍的にアクセスできるようにするという夢を持って設立されました。私たちのチームメンバーは、ヨーロッパ、アジア、米国各地から集まっています。私たちのチームと世界がますます多言語化されるにつれて、私たちは人間並みの AI 音声をあらゆる言語で利用できるようにするというビジョンのもとで、これまで以上に団結しています。

私たちの最新の テキスト読み上げ (TTS) このモデルは、このビジョンを実現するための最初の足がかりにすぎません。人間並みの品質の AI 音声の登場により、ユーザーや企業はニーズ、優先順位、好みに応じて音声コンテンツを作成、カスタマイズできるようになりました。これにより、クリエイター、中小企業、独立系アーティストにとって平等な競争の場が実現する可能性がすでに示されています。AI オーディオのパワーを活用することで、ユーザーは、より多くのリソースを持つ大規模な組織が生み出すものに匹敵する高品質の聴覚体験を開発できるようになりました。

これらの利点は、ユーザー、企業、機関がより幅広い視聴者の心に響く本物のオーディオを制作できるようにすることで、多言語、多文化、教育アプリケーションにも拡張されます。AI は、幅広い音声、アクセント、言語を提供することで、文化のギャップを埋め、世界的な理解を促進します。Eleven では、この新たなアクセシビリティが最終的に創造性、革新性、多様性を高めると信じています。

コンテンツクリエイター 多様な聴衆と関わりたい人 文化のギャップを埋め、包括性を促進するツールが今や手に入ります。

ゲーム開発者 、 出版社 言語の壁を乗り越え、プレイヤーやリスナーとつながり、品質や正確さを損なうことなく、エンゲージメントと効率を最大限に高め、世界中の視聴者向けに没入感のあるローカライズされた体験を生み出すことができます。

教育機関 今では、さまざまなユーザー向けにターゲット言語で音声コンテンツを制作する手段があり、言語理解や発音スキルを強化し、さまざまな指導スタイルや学習ニーズに対応しています。

アクセシビリティ研究所 アクセスしにくいリソースを、内容と形式の両方でニーズに合った媒体に簡単に変換できる手段を提供することで、視覚障害や学習障害のある人々の支援をさらに強化できるようになりました。

現在および将来のクリエイターや開発者が可能性の限界を押し広げていく姿を見るのが待ちきれません。