ナビゲーションにスキップ

Eleven v4

最新かつ最先端のテキスト読み上げモデル。

Eleven v4は、最新かつ最先端のテキスト読み上げモデルであり、新世代モデルの第一弾です。Eleven v3と比べ、出力品質、音声の精度、一貫性、感情表現、話し方、オーディオタグ、対応言語が向上しています。

全体として、Eleven v4はEleven v3から大幅に進化しており、ほぼすべてのケースでより良い結果を提供します。v4に切り替え、ご自身の音声とコンテンツで違いをお試しいただくことを強くおすすめします。一部の特殊なケースでは別のモデルが適している可能性もありますが、ほとんどのユーザーにとってv4がより良い選択肢となります。

タグ、句読点、会話のプロンプトについては、Eleven v4のプロンプト作成をご覧ください。

ボイスクローン

Eleven v4では、ボイスクローンの精度が飛躍的に向上しています。クローン音声は、元の音声の特徴(音色、リズム、話し方)を、これまでのどのモデルよりも忠実に再現します。

Eleven v4のインスタントボイスクローン(IVC)は、これまで以上に高精度です。元の音声を特徴づける要素をより忠実に捉えるため、短いオーディオサンプルから説得力のあるクローンをすばやく簡単に作成できます。

Eleven v4ではインスタントボイスクローンが大幅にアップグレードされ、全体的な精度が目に見えて 向上しています。まだ試していない場合は、ご自身のオーディオでテストする絶好の機会です。

Eleven v4は、プロフェッショナルボイスクローン(PVC)にも完全対応しています。同じ音声精度の進歩を活用し、最高レベルの一貫性と制御が求められるワークフローで、元の音声をより忠実に再現します。

この大幅な精度向上により、Eleven v4はEleven v3とはかなり異なる音に聞こえる場合があります。Eleven v3は話し方と精度を重視してEleven v4の基盤を築き、Eleven v4はその基盤の上で音声精度を大幅に向上させています。そのため、Eleven v4は元の音声をより忠実に捉えるよう設計されていますが、Eleven v3での音声の聞こえ方を好む場合もあります。精度と個人の好みは必ずしも一致しないため、ご自身のコンテンツで両バージョンを比較し、用途に最適なものを選ぶことをおすすめします。

Eleven v4は、アクセント、話し方、音量、そのほかの特徴を含め、元の音声の特性をより忠実に再現するため、元の録音品質がこれまで以上に重要です。明瞭でノイズのないトレーニングオーディオを使用すると、不要な音や特徴を持ち込まずに、Eleven v4が音声を正確に捉えられます。バックグラウンドノイズ、歪み、そのほかの録音上の問題が結果に影響することがあります。

Eleven v4の最適な活用方法については、現在も検証を続けています。これまでのところ、特にプロフェッショナルボイスクローンのようにトレーニングオーディオが豊富な場合、繊細な音声表現を捉える能力が大幅に向上しているようです。より多様なデータセットでモデルを制御する方法の検証が進むにつれ、さまざまなトレーニングデータを使用する際のガイダンスが変更される可能性があります。現時点では、トレーニングオーディオの話し方を1種類に統一することをおすすめします。Eleven v4は、以前のモデルよりもそのスタイルを正確に捉えられます。

ネイティブアクセントの処理

これはEleven v4と従来モデルを比較した際の最も大きな変更点の一つであり、正しく理解しておくことが重要です。

生成する言語が参照音声の言語と一致する場合、元のアクセントはこれまでどおりそのまま維持されます。

生成する言語が参照音声の言語と異なる場合、Eleven v4は元の言語のアクセントを引き継ぐのではなく、対象言語で流暢かつ自然な音声を生成します。

たとえば、韓国語話者の音声をクローンして英語を生成すると、Eleven v4は韓国語アクセントの英語ではなく、自然で流暢な英語を生成します。これにより、すべての音声をすべての対応言語で使用できるようになります。吹き替え、多言語コンテンツ、単一の音声で異なる言語のユーザーに対応する必要がある音声エージェントに特に便利です。

音声のネイティブアクセントをほかの言語にも引き継ぐ必要があるワークフローでは、移行前にEleven v4でこの動作を直接テストしてください。これは言語をまたぐ生成の仕組みに意図的に加えられた変更であり、不具合ではありません。

ただし、この新機能は現在も微調整中で、常時有効にするのではなく、切り替え可能にする方法を検討しています。まだ研究段階のプロジェクトであるため、現時点では提供時期や追加情報はありません。

モデルのバリエーション

Eleven v4には2つのバリエーションがあり、用途に応じて品質と速度の最適なバランスを選べます。

  • Eleven v4(eleven_v4)— 最高品質のモデルです。コンテンツ制作、オーディオブック、キャラクターのボイスオーバーなど、品質を最優先するあらゆる用途に最適です。
  • Eleven v4 Turbo(eleven_v4_turbo)— 非常に高い品質を維持しながら、驚くほど低いレイテンシーを実現します。会話型エージェントやインタラクティブな音声体験など、リアルタイムの用途に特化して設計されています。

どちらのバリエーションでも、安定性と類似度という2つの音声設定を使用します。

安定性では、生成ごとに話し方をどの程度一貫させるかを調整します。値を低くすると表現豊かで変化のある話し方になり、値を高くすると一定の基準に近い演技を維持します。

類似度では、出力を参照音声にどの程度近づけるかを調整します。値を高くすると参照音声への忠実度が増しますが、自然さが多少失われることがあります。

プロフェッショナルボイスクローンとEleven v4を選択すると、音声設定に クローン強度 スライダーが追加されます。クローン強度では、出力をクローンのトレーニング録音にどの程度近づけるかを調整します。値を低くすると音声がやや滑らかになり、話し方の表現に柔軟性が加わります。元の音声らしさを維持しながら、全体としてより自然に聞こえることがよくあります。値を高くすると、平滑化を抑えて出力がトレーニング録音に近づき、元の音声の話し方や演技をより忠実に再現します。特徴的な性質や独自のアクセントを持つ音声では、高い値が特に役立つことがあります。ほとんどの音声では、まず0%から始めてください。

Eleven v4では、スタイルと速度のスライダーは利用できず、SSMLにも対応していません。

オーディオタグ(例:[whispering]、[shouting]、[laughing])を使うと、話し方を細かく制御できます。Eleven v4では、従来モデルを上回る繊細さでタグを処理します。まだ完全ではなく、モデルがタグの指示に従う精度を引き続き改善しています。これは継続的に投資している重要分野であり、今後もさらに向上していきます。

ショーケース

これらは未加工のサンプルです。EQ、コンプレッション、ノーマライズ、ディエッシング、破裂音の除去など、 大幅な後処理は一切行っていません。クリッピング、破裂音、EQのばらつき、音量の急変など、 繰り返し発生する問題が聞こえる場合は、その音声のトレーニングデータに含まれている可能性が 非常に高いです。Eleven v4モデルは精度が非常に高いため、欠点も含めてそのまま捉えています。 モデルが生成した音を確認できるよう、オーディオには手を加えていません。

ボイスクローンの精度

各サンプルは、ボイスライブラリのプレビューから始まります。その後、テキストを用意し、その音声のインスタントボイスクローンを使ってEleven v3とEleven v4の両方で生成しました。

これは完全な比較ではありません。Eleven v4はプロフェッショナルボイスクローンにも対応しており、さらに高い再現性を実現できます。ただし、条件をできるだけ公平にするため、Eleven v3とEleven v4の両方でインスタントボイスクローンを使用しました。

これらのサンプルから、モデルが元の音声をどの程度捉えているかを確認できます。これにはEQ、品質、音量のほか、破裂音、耳障りな歯擦音、音量の変動など、オーディオに含まれる細かな特徴や不完全さも含まれる点にご注意ください。

プレビュー、Eleven v3、Eleven v4の順にお聴きください。

音声:NfUrCNRReUL9RXS9upG1。

"Brother... I must cross the sea, though I'd rather stay beside you. If the gods will it, we'll see each other again. Until then, when the sun sinks beyond the waves, know that I'll be looking toward home."
He clasped my forearm beneath the pale morning sky. I held on a moment longer, then watched him turn toward the waiting ship.

音声:HBDoL4wkcalemIO0nUAu。

"When I was young, I thought the mountain stood because it was strong. Then winter came, and the mountain wore its crown of snow without complaint. Spring followed, and it let every stream run free.
"So remember, traveler: strength is not always holding fast. Sometimes it is knowing what to carry, and what the season asks you to release."

ボイスアクティング

これらはEleven v4で生成したサンプルです。テキスト内のオーディオタグで話し方を指定しています。

音声:EkK5I93UQWFDigLMpZcX。

[casual] "You're looking for work, eh? Hmm, I might have something for you. Just outside the valley, there's a group of wild horned boars I need you to take care of - nasty little beasts. The village would be grateful if you could get that done, and I'll make it worth your while."
------------
[annoyed] [under his breath] "Oh, you again... [sigh] Did you take care of that little problem I mentioned earlier? No, not yet? All right, off you go. I don't have time to chitchat. I'm busy standing here... handing out quests."
------------
[ecstatic] "You did it, you crazy bastard! [dismissive] Not that I didn't have any faith in you, but you wouldn't be the first one to fail. Yes, yes, I know. One of them might have been a little bigger than the others. But hey, you survived. You got it done. You helped the village."

音声:t7VaN65ClS2VrEUwk1nR。

[quietly curious] "Hmm… that mark. I haven't seen one like it in years. Where did you get it? Oh, you gonna make me guess? [giggle]"
------------
[measured] "No need to explain, if you'd rather not. This town has a way of leaving its mark on people. [soft chuckle] Usually not quite so literally."
------------
[lower, thoughtful] "Keep it covered when you can. There are still a few who remember what it means, and they may not ask as politely as I have."

オーディオブック

これはEleven v4によるナレーションです。タグでシーンのテンポとトーンを設定しています。

音声:KHRvDizAHFVPzoSehNY6。

[Quiet, measured narration] The moonlit training court lay beneath the keep, its stone walls silvered with frost. Beyond the battlements, a dragon's distant call rolled over the mountains.
Sir Alden lifted his blunted practice sword. "Ready?"
Bram, his broad shoulders wrapped in a travel-worn cloak, studied the wooden shield strapped to his arm. "I've faced worse odds."
[Pause, dry amusement] "You lost to a turnip cart yesterday," Sir Alden said.
"It was a very determined cart," Bran muttered
[Gradually building energy] They circled across the frost-dusted stones. One step. Another. Alden watched Bram's hands; Bram watched the faint blue glow gathering along Alden's blade. The air between them prickled with harmless magic.
[Quick, light, playful pace] Bram charged. Alden slipped aside. Clack! Wood met steel. Bram turned, his cloak flaring, and swung wide. Alden ducked beneath it. Bram's boot skidded on the frost; he windmilled, caught himself, and bowed as if he'd meant to do that all along.
"Magnificent," Alden said.
"I was giving you time to admire the cloak," Bran retorted.

モデルは今後も進化します

Eleven v4は現在も継続的に開発されています。リリース後もトレーニングと改善を続けるため、品質の向上に伴い、動作が変化する可能性があります。モデルの進化に合わせて、用途ごとに定期的に再テストすることをおすすめします。重要なアップデートについては、提供開始時にお知らせします。

よくある質問

Eleven v4モデルファミリーは、以下を含む90以上の言語に対応しています。

アフリカーンス語(af)、アムハラ語(am)、アラビア語(ar)、アルメニア語(hy)、アッサム語(as)、アストゥリアス語(ast)、アゼルバイジャン語(az)、ベラルーシ語(be)、ベンガル語(bn)、ボスニア語(bs)、ブルガリア語(bg)、ビルマ語(my)、広東語(yue)、カタルーニャ語(ca)、セブアノ語(ceb)、クロアチア語(hr)、チェコ語(cs)、デンマーク語(da)、オランダ語(nl)、英語(en)、エストニア語(et)、フィリピノ語(fil)、フィンランド語(fi)、フランス語(fr)、フラニ語(プラール語)(ff)、ガリシア語(gl)、ジョージア語(ka)、ドイツ語(de)、ギリシャ語(el)、グジャラート語(gu)、ハウサ語(ha)、ヘブライ語(he)、ヒンディー語(hi)、ハンガリー語(hu)、アイスランド語(is)、インドネシア語(id)、イタリア語(it)、日本語(ja)、ジャワ語(jv)、カンバ語(kam)、カンナダ語(kn)、カザフ語(kk)、韓国語(ko)、キルギス語(ky)、ラオ語(lo)、ラトビア語(lv)、リンガラ語(ln)、リトアニア語(lt)、ルガンダ語(lg)、ルクセンブルク語(lb)、マケドニア語(mk)、マレー語(ms)、マラヤーラム語(ml)、マルタ語(mt)、中国語(標準中国語)(zh)、マオリ語(mi)、マラーティー語(mr)、モンゴル語(mn)、ネパール語(ne)、ノルウェー語(no)、オック語(oc)、オディア語(or)、パシュトー語(ps)、ペルシャ語(fa)、ポーランド語(pl)、ポルトガル語(pt)、パンジャブ語(pa)、ルーマニア語(ro)、ロシア語(ru)、セルビア語(sr)、ショナ語(sn)、シンド語(sd)、スロバキア語(sk)、スロベニア語(sl)、ソマリ語(so)、ソラニー・クルド語(ckb)、スペイン語(es)、スワヒリ語(sw)、スウェーデン語(sv)、タジク語(tg)、タミル語(ta)、テルグ語(te)、タイ語(th)、トルコ語(tr)、ウクライナ語(uk)、ウルドゥー語(ur)、ウズベク語(uz)、ベトナム語(vi)、ウェールズ語(cy)、ウォロフ語(wo)、ズールー語(zu)。

language_code パラメーターでは、ほとんどの言語にISO 639-1の 2文字コードを使用します。ISO 639-1コードがない言語にはISO 639-3の3文字コードを使用します。対象言語は、アストゥリアス語(ast)、広東語 (yue)、セブアノ語(ceb)、フィリピノ語(fil)、カンバ語(kam)、ソラニー・クルド語(ckb)です。

参照音声と生成音声が同じ言語の場合、音声のアクセントは維持されます。たとえば、特定の 英語アクセントで話す人をクローンして英語音声を生成すると、そのアクセントは維持されます。

デフォルトでは、生成言語が参照音声の言語と異なる場合、Eleven v4は参照音声のアクセントを 引き継ぐのではなく、対象言語で流暢かつ自然に聞こえる音声を生成します。オーディオタグを使って アクセントや話し方を指定することもできますが、結果は異なる場合があります。使用する音声と 用途に合わせてテストしてください。

一般に、Eleven v4はEleven v3よりも、音色、リズム、話し方、そのほかの癖を含む元の音声の 特徴をはるかに正確に再現します。そのため、Eleven v4のクローンは通常、元の音声により近くなり、 Eleven v3版とはかなり異なる音に聞こえる場合があります。

Eleven v4は、インスタントボイスクローンとプロフェッショナルボイスクローンの両方に対応しています。

インスタントボイスクローンでは、個別のトレーニング手順なしで音声を作成できます。通常1~2分の短いサンプルをアップロードすると、数秒で使用可能な音声が完成します。

プロフェッショナルボイスクローンは、以前のモデルと同じように機能します。より長い録音データを使って専用モデルをトレーニングします。

すでにプロフェッショナルボイスクローンがあり、Eleven v4でトレーニングする場合は、マイボイスを開き、リストから音声を見つけてカーソルを合わせます。その音声で利用できるモデルが表示されます。Eleven v4の横にあるプラスボタンをクリックすると、微調整が始まります。

ボイスデザインで作成した音声はEleven v4でも使用できますが、以前のモデルほど表現力が高くなかったり、 音質が良くなかったりする場合があります。