ボイスチェンジャーのご紹介

Voice Changerは、もともとスピーチtoスピーチと呼ばれていました。AI音声エージェントの文脈では、「スピーチtoスピーチ」は、単一のモデルがオーディオ入力と出力を直接処理する融合型アーキテクチャも指します。ElevenAgentsは、プラットフォームに高度なカスケード型アーキテクチャを採用しています。詳細はこちら：カスケード型モデルと融合型モデルの比較。

ボイスチェンジャー

ボイスチェンジャーを音声合成に追加しました。Voice Changerは、ある音声の録音を別の声で話したように変換する音声変換ツールです。元のパフォーマンスはそのまま保持されます。つまり、録音に込めた感情、タイミング、話すペース、発音が、出力音声にも引き継がれます。

これにより、テキスト読み上げ（TTS）のプロンプトだけでは必ずしも実現できないレベルの制御が可能になります。主な使い方は2つあります。

音声からより豊かな感情を引き出す。 すべての声が、テキスト読み上げのプロンプトによる感情的な指示に同じようによく反応するわけではありません。Voice Changerなら、表現力豊かな音声を録音またはアップロードし、その感情の幅を別の声で再現できます。プロのナレーターの声をより温かくしたい場合や、児童書のキャラクターをより遊び心のある印象にしたい場合は、自分で演じた話し方をVoice Changerで対象の声に移せます。

話し方を細かく調整する。 テキスト読み上げモデルは通常、最初からイントネーションを適切に処理します。しかし、特定のフレーズをどう話すか、どこを強調するか、間をどう取るか、どんなリズムにするかを正確に制御したいときは、Voice Changerで自分の声を使って実演し、その話し方を任意の声に適用できます。Voice ChangerをStudioに直接統合すれば、さらに便利になりますが、目標は同じです。出力を正確にコントロールできるようにすることです。

コミュニティメンバーによる解説をご覧ください：

研究

ソース音声をターゲット音声へ変換するには、ソース音声の内容をターゲット音声の特性で表現する必要があります。わかりやすい例は顔交換です。2つの顔を取り込んで融合し、ある人物の特徴を別の人物のマッピングされた構造内に描画するアプリのようなものです。

この方法では、顔の画像を取り、その属性をマッピングします。下の例にあるマーカーがそれを行っています。つまり、もう一方の顔が描画される範囲を定めています。

音声変換のポイントは、ターゲット音声の音素を使ってソース音声の内容を描画することです。ただし、顔交換の例と同様にトレードオフがあります。ある顔の属性をマッピングするために使うマーカーが多いほど、その内部にマッピングする顔に課す制約も増えます。マーカーが少なければ、制約も少なくなります。

音声変換でも同じです。ターゲット音声を優先するほど、ソース音声との同期がずれるリスクが高まります。一方で、十分に優先しなければ、その音声らしさの多くが失われるおそれがあります。たとえば、怒鳴っている人の録音をささやくような声で再現しようとすると、問題が生じます。ソース音声の感情を優先しすぎると、ささやくような声が話しているという印象が薄れます。逆に、ささやく話し方を重視しすぎると、ソース音声の感情的な力が失われます。

プロダクトと最近のアップデート

プリメイド音声の変更

音声合成で利用できるデフォルト音声を変更します。いくつかの音声を提供終了し、新しい音声に置き換えます。今後数週間で20以上の音声を追加する予定です。

各音声がいつまで利用可能と見込まれるかについても、UIで情報を提供し始めます。12月中には、音声の共有機能と利用報酬機能を刷新し、音声の多様性を向上させます。詳細は近日公開予定です。

Eleven Turbo v2＆uLaw 8kHz形式

Turbo v2は、数か月にわたる研究の成果です。リアルタイムのインタラクション向けに設計されていますが、あらゆるユースケースで利用できます。また、IVRシステム向けの標準（m）uLaw 8kHz形式にも対応しています。

Studioでの正規化とメタデータ

Studioは、ゲイン調整やダイナミックコンプレッションを含む、業界標準のオーディオブック提出ガイドラインに対応しました。Studioプロジェクト内に、メタデータ（ISBN、著者、タイトル）を直接埋め込むこともできます。

発音辞書

これは、最も多く寄せられていた要望のひとつです。先月、英語モデルでIPAおよびCMU辞書を使って発音を指定できるSSMLタグに対応しました。今回、StudioのUIで発音辞書に対応し、IPA、CMU、または単語置換（エイリアス）で発音を指定したファイルをアップロードできるようになりました。辞書ファイルには、業界標準のオープンな.PLSレキシコンファイル形式を使用します。

IPAとCMUは現在、Turbo v2 Englishでサポートされています。単語置換はすべてのモデルと言語でサポートされています。完全なドキュメントはこちらでご覧いただけます。

ご意見やご感想があれば、ぜひDiscordでお知らせください！

Voice Changerを試す

思いどおりに話して、パフォーマンスを完全にコントロールしながら、まったく異なる声で再生されるのを聞いてみましょう。ささやき声、笑い声、アクセント、繊細な感情のニュアンスも捉えられます。