Eleven Multilingual v1 のご紹介:新しい音声合成モデル
- 公開日
聴くこの記事を聴く
本日、7つの新しい言語に対応した高度な音声合成モデル、Eleven Multilingual v1をリリースできることを大変うれしく思います。対応言語はフランス語、ドイツ語、ヒンディー語、イタリア語、ポーランド語、ポルトガル語、そしてスペイン語です。Eleven Monolingual v1を支えた研究を基盤に、現在の深層学習アプローチでは、より多くのデータ、より高い計算能力、そして新しい技術を、ますます高度化するモデルに取り入れています。これにより、テキストの微妙なニュアンスを理解し、感情豊かな表現を届けられます。この進化は、クリエイター、ゲームデベロッパー、出版社の創作の可能性を広げ、よりローカライズされ、利用しやすく、想像力に富んだコンテンツを生成メディアで生み出す道を開きます。
新しいモデルはすべてのサブスクリプションプランで利用でき、Betaプラットフォームで今すぐお試しいただけます。
使用するには、音声合成パネルに新たに追加されたドロップダウンメニューから選択してください。
研究概要
前モデルと同様に、新しいモデルはすべて社内研究に基づいています。Eleven Monolingual v1を優れたストーリーテリングツールにした、文脈に応じて話し方を調整する能力や、意図と感情を極めてリアルに伝える能力など、すべての強みを継承しています。これらの機能は、多言語データによるトレーニングを通じて、新たに対応した言語にも拡張されました。
このモデルの注目すべき機能は、多言語テキストを識別し、適切に発話できることです。1つのプロンプトで複数の言語の音声を生成でき、それぞれの話者に固有の音声特性を維持できます。最良の結果を得るには、1言語のみのプロンプトをおすすめします。すでに複数言語を同時に扱っても十分に機能しますが、さらなる改善が必要です。
新しいモデルは、VoiceLabのほかの機能、すなわちInstant ボイスクローンとボイスデザインにも対応しています。作成されたすべての音声は、元のアクセントを含め、ほとんどの元の話し方の特性をすべての言語で維持することが期待されます。
ただし、このモデルには既知の制限があります。異なる言語でプロンプトを入力した場合でも、数字、頭字語、外国語は英語として発音されることがあります。たとえば、スペイン語のプロンプトで入力した数字の「11」や単語の「radio」は、英語と同じように発音される場合があります。改善を進める間は、頭字語と数字を対象言語で綴って入力することをおすすめします。
音声の民主化
ElevenLabsは、あらゆるコンテンツを、あらゆる言語とあらゆる声で誰もが利用できるようにするという夢から始まりました。チームメンバーはヨーロッパ、アジア、米国の各地から集まっています。チームと世界がますます多言語化するなか、人間品質のAI音声をすべての言語で利用できるようにするというビジョンへの思いは、さらに強まっています。
テキスト読み上げ（TTS）モデルの最新バージョンは、このビジョンを実現するための最初の一歩にすぎません。人間品質のAI音声の登場により、ユーザーや企業はニーズ、優先事項、好みに応じてオーディオコンテンツを作成・カスタマイズできるようになりました。これはすでに、クリエイターや中小企業、個人アーティストにとって競争条件を平等にする可能性を示しています。AIオーディオの力を活用すれば、より多くのリソースを持つ大規模組織が生み出すものに匹敵する、高品質な聴覚体験を開発できます。
こうしたメリットは今や、多言語・多文化・教育分野のアプリケーションにも広がっています。ユーザー、企業、機関がより幅広いオーディエンスの心に響く本格的なオーディオを制作できるようになるためです。豊富な音声、アクセント、言語を提供することで、AIは文化的な隔たりを埋め、グローバルな理解を促進します。Elevenでは、この新たな利用しやすさが、最終的により大きな創造性、イノベーション、多様性を育むと考えています。
コンテンツクリエイターは、多様なオーディエンスと関わりたいと考えるなら 文化的な隔たりを埋め、インクルーシビティを促進するためのツールを利用できるようになりました。
ゲームデベロッパーと出版社は、品質や正確性を損なうことなく、言語の壁を越え、プレイヤーやリスナーとつながることで、エンゲージメントと効率を最大化する没入感のあるローカライズされた体験を、国際的なオーディエンスに提供できます。
教育機関は、対象言語で多様なユーザー向けのオーディオコンテンツを制作できるようになりました。言語理解や発音スキルの向上を支え、さまざまな教育スタイルや学習ニーズにも対応できます。
アクセシビリティ機関は、視覚障害や学習困難のある人々が、利用しにくいリソースを内容と形式の両面でニーズに合ったメディアへ簡単に変換できる手段を提供することで、さらなる力を届けられます。
現在そして未来のクリエイターやデベロッパーが、可能性の限界を押し広げていくのが待ちきれません！
