プロフェッショナルボイスクローン
最高クラスのモデルを使って、声をプロフェッショナルにクローンする方法を紹介します。
プロフェッショナルボイスクローンを作成する
声をクローンする際は、AIがどの言語とどのようなデータセットでトレーニングされているかを考慮することが重要です。各モデルの詳細と強みについては、モデルページをご覧ください。
ガイド
法的に何が許可されているか不明な場合は、利用 規約とAIセーフティに関する 情報をご確認ください。
プロフェッショナルボイスクローンのページに移動する
ElevenLabsのサイドバーで Voices の横にあるプラスボタンをクリックして音声作成ページを開き、Professional Voice Clone の下にある Create new をクリックします。
オーディオをアップロードする
現在、プロフェッショナルボイスクローンは歌声に対応していません。オーディオ録音には 話し声のみを含めてください。
Upload samples をクリックして、オーディオサンプルをアップロードします。
トレーニング用に事前収録したオーディオがない場合は、Record yourself を選択してインターフェースから直接録音することもできます。ナレーション、会話、広告向けのサンプルスクリプトを用意しています。独自のスクリプトもアップロードできます。
サンプルの長さに関するフィードバックを確認する
オーディオをアップロードすると、サンプルの長さに関するフィードバックが表示されます。最良の結果を得るには、トレーニング用オーディオを少なくとも1時間、可能であれば3時間近くアップロードすることをおすすめします。
オーディオを処理する
オーディオサンプルをアップロードした後、処理して品質を改善できます。バックグラウンドノイズを除去できるほか、複数の話者が含まれている場合は、話者ごとに分離することもできます。これらのオプションを使用するには、処理するクリップの横にある Audio settings ボタンをクリックします。
サンプルをアップロードする前に注意すべき点と、最良の結果を得るために必要な手順がいくつかあります。
高品質なオーディオを録音する
プロフェッショナルボイスクローンは、トレーニングに使用したサンプルを非常に高い精度でクローンします。声の細かなニュアンスや特徴だけでなく、サンプルに含まれるアーティファクトや不要な音まで、聞こえたものをほぼ完全に再現します。そのため、バックグラウンドノイズ、室内の残響やエコー、音楽、複数人の話し声などが入った低品質のサンプルをアップロードすると、AIはクローンでもそれらすべてを再現しようとします。
Eleven v4は、バックグラウンドノイズ、歪み、その他の欠点も含め、以前のモデルより忠実に元の録音を捉えます。このモデルでは、クリアなトレーニング用オーディオがより重要です。
話者を1人だけにする
オーディオ全体を通して話者が1人だけであることを確認してください。複数の話者、過度なノイズ、または上記のような音が含まれていると、AIが混乱する可能性があります。その結果、クローンする声を判別できなかったり、他の音に隠れて実際の声を誤って解釈したりして、クローンの品質が低下することがあります。
十分な素材を用意する
声を適切にクローンできるだけの素材を用意してください。推奨する最低限の長さは30分ですが、最適な結果と最も精度の高いクローンを得るには、2〜3時間程度のオーディオをおすすめします。提供するオーディオが多いほど、生成されるクローンの品質が向上します。
スタイルを統一する
提供したサンプルの話し方は出力にも反映されるため、求める話し方に合ったトレーニングデータを用意してください（たとえば、自分の声のクローンでオーディオブックを制作する場合は、使用したい声のトーンで本を朗読した録音をトレーニング用に提出します）。一貫性を保つため、アップロードするサンプルには1つのスタイルだけを含めることをおすすめします。Eleven v4は、その1つの話し方を以前のモデルより忠実に捉えます。
PVCで使用する言語の音声サンプルを使う
PVCで主に使用する言語を話しているサンプルを使うのが最適です。AIは現在対応しているどの言語でも話せます。ただし、クローンした声がAIに話させたい言語のネイティブ音声ではない場合、つまり別の言語を話す声をクローンした場合は、元の言語のアクセントが残ったり、単語や抑揚の発音を誤ったりする可能性があります。たとえば、英語を話す声をクローンし、Eleven v4より前のモデルでスペイン語を話させると、スペイン語に英語のアクセントが残る可能性が非常に高くなります。
Eleven v4では、サンプルと同じ言語で生成した音声は元のアクセントを維持します。異なる言語で生成した音声は、対象言語を流暢に話します。他の言語でもトレーニング時のアクセントを維持する必要がある場合は、本格的に使用する前にEleven v4でその動作をテストしてください。
クローンできるのは、対応言語のいずれかで録音されたサンプルのみです。対応していない言語で録音されたサンプルは、アプリケーションで拒否されます。
良い録音と悪い録音でどのような結果になるかは、以下の例をご覧ください。
現在、クローンできるのは自分の声だけです。微調整をリクエストする前に、認証プロセスを完了する必要があります。
ヒントと推奨事項
プロ仕様の録音機材
プロ仕様の録音機材
AIはオーディオのあらゆる要素をクローンするため、最適な結果を得るには高品質な録音機材を使用してください。高品質な入力は、高品質な出力につながります。どのマイクでも使用できますが、専用オーディオインターフェースに接続したXLRマイクをおすすめします。比較的手頃な機材では、Audio Technica AT2020やRode NT1をFocusriteなどのインターフェースに接続する構成がおすすめです。
ポップフィルターを使用する
ポップフィルターを使用する
録音時にはポップフィルターを使用してください。破裂音を抑えられます。
マイクとの距離
マイクとの距離
マイクから適切な距離を取ってください。拳2つ分程度の距離をおすすめしますが、目的とする録音の種類によっても異なります。
ノイズのない録音
ノイズのない録音
オーディオ入力にBGMやノイズなどの干渉音が入っていないことを確認してください。AIによるクローンは、クリアで余計な音のないオーディオで最も効果を発揮します。
室内音響
室内音響
可能であれば、防音・吸音処理された部屋で録音してください。不要なエコーやバックグラウンドノイズが減り、AIに入力するオーディオがよりクリアになります。厚手の羽毛布団やキルトで録音スペースを覆い、一時的な吸音環境を作ることもできます。
オーディオの前処理
オーディオの前処理
AIから特定のサウンドを出力したい場合は、事前にオーディオを編集することを検討してください。たとえば、洗練されたポッドキャストのような出力にしたい場合は、その品質に合うようオーディオを前処理してください。また、長い間や「えー」「あー」といった言いよどみもAIが再現するため、必要に応じて取り除いてください。
音量調整
音量調整
明瞭に聞こえる十分な音量を保ちつつ、歪みが生じるほど大きくならないよう、音量を一定に維持してください。バランスの取れた安定したオーディオレベルを目指します。理想はRMSで-23dB〜-18dB、トゥルーピークで-3dBです。
十分なオーディオの長さ
十分なオーディオの長さ
最良の結果を得るには、上記のガイドラインに従った高品質なオーディオを少なくとも30分、できれば2時間以上用意してください。AIに提供する高品質なデータが多いほど、ボイスクローンの品質が向上します。サンプル数は関係なく、重要なのは合計再生時間です。ただし、数時間分のオーディオをアップロードする場合は、約30分のサンプルに分割することをおすすめします。アップロードしやすくなります。
Eleven v4
プロフェッショナルボイスクローンは、Eleven v4に完全対応しています。音声精度に関する同じ技術的進歩を活用し、声質、話すリズム、アクセント、話し方、音量など、元の声を以前のモデルより忠実に再現します。Eleven v4のクローンは、Eleven v3の同じクローンと大きく異なる場合があります。実際に使用するコンテンツで両方を比較し、用途に合うバージョンを選んでください。
Eleven v4には2つのバリエーションがあり、どちらもプロフェッショナルボイスクローンで使用できます。
- Eleven v4（
eleven_v4）は最高品質のモデルで、コンテンツ制作、オーディオブック、キャラクターのボイスオーバーに適しています。 - Eleven v4 Turbo（
eleven_v4_turbo）は低レイテンシーでもその品質を維持し、会話型エージェントなどのリアルタイム用途に適しています。
どちらのバリエーションも音声設定のStabilityとSimilarityに対応していますが、Eleven v4ではStyleとSpeedを使用できず、SSMLにも対応していません。
ほとんどのプロフェッショナルボイスクローンはEleven v4で自動的に微調整されますが、このモデルをまだ使用できない場合は、微調整プロセスを手動で開始できます。既存のプロフェッショナルボイスクローンをEleven v4でトレーニングするには、My Voicesを開き、対象の声を見つけてカーソルを合わせます。すでに微調整済みのモデルにはチェックマーク、微調整できるモデルにはプラス記号が表示されます。Eleven v4の横にあるプラスボタンをクリックして微調整を開始します。完了すると、アプリ内とメールで通知されます。
クローン強度
プロフェッショナルボイスクローンとEleven v4を選択すると、Voice settings に Clone Strength スライダーが表示されます。Clone Strengthでは、生成音声がクローンのトレーニング用録音にどれだけ忠実に従うかを調整できます。
値を低くすると声がわずかに滑らかになり、話し方の表現に柔軟性が生まれます。元の声らしさを保ちながら、全体としてより自然に聞こえることがよくあります。値を高くすると、滑らかさを抑えてトレーニング用録音に近い出力になり、元の声の話し方や表現をより忠実に再現します。特徴的な声質や独自のアクセントを持つ声では、高い値が特に有効です。
ほとんどの用途では0％をおすすめしますが、独自のアクセントや特徴がある場合は、値を上げると効果的です。その場合は、Clone Strengthを50％に上げることをおすすめします。
よくある質問
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
