ボイスチェンジャーのご紹介

Voice Changerは、もともとスピーチtoスピーチと呼ばれていました。AI音声エージェントの文脈では、「スピーチtoスピーチ」は、単一のモデルがオーディオ入力と出力を直接処理する融合アーキテクチャも指します。ElevenAgentsでは、プラットフォームに高度なカスケード型アーキテクチャを採用しています。詳しくはこちら：カスケード型モデルと融合型モデルの比較。

ボイスチェンジャー

ボイスチェンジャーを音声合成に追加しました。Voice Changerは、ある声の録音を別の声が話しているように変換しながら、元の演技を保つ音声変換ツールです。つまり、録音に込めた感情、タイミング、ペース、発音が、出力する音声にも引き継がれます。

これにより、テキスト読み上げのプロンプトだけでは常に実現できないレベルのコントロールが可能になります。主な使い方は2つです。

声からより豊かな感情を引き出す。 すべての声が、テキスト読み上げのプロンプトによる感情表現の指示に同じように反応するわけではありません。Voice Changerなら、表現力豊かな音声を録音またはアップロードし、その感情の幅を別の声で再現できます。プロのナレーターの声をもっと温かくしたいときや、児童書の登場人物をより遊び心のある声にしたいときは、自分で演じた話し方をターゲットの声へ移せます。

話し方を細かく調整する。 テキスト読み上げモデルは通常、特別な設定をしなくてもイントネーションを適切に処理します。しかし、特定のフレーズをどう話すか、どこを強調するか、間をどう置くか、どんなリズムにするかを正確にコントロールしたい場合、Voice Changerなら自分の声で実演し、その話し方を好きな声に適用できます。Voice ChangerをStudioに直接統合すれば、さらに便利になりますが、目標は同じです。出力を細部までコントロールできるようにすることです。

コミュニティメンバーによる使い方の紹介です：

研究

元の音声をターゲット音声に変換するには、元の音声の内容をターゲット音声の特徴で表現する必要があります。わかりやすい例は顔交換です。2つの顔を取り込み、1人の特徴をもう1人のマッピングされた構造の中に描画して融合するアプリです。

そのためには、顔の画像を取り、その属性をマッピングします。下の例のマーカーはまさにそれを行うもので、もう一方の顔を描画する範囲を示しています。

音声変換の鍵は、ターゲット音声の音素を使って元の音声の内容を描画することです。ただし、顔交換の例と同じようにトレードオフがあります。1つの顔の属性をマッピングするマーカーが多いほど、その中にマッピングする顔への制約も増えます。マーカーが少なければ、制約も少なくなります。

音声変換でも同じです。ターゲット音声を優先するほど、元の音声との同期がずれるリスクが高まります。一方、優先度が低すぎると、その音声らしさの多くを失うおそれがあります。たとえば、怒鳴っている人の録音をささやき声で表現しようとすると、問題が生じます。元の音声の感情を優先しすぎると、ささやき声が話しているという印象が失われます。ささやき声の話し方を重視しすぎると、元の音声の感情的な力が失われます。

プロダクトと最近のアップデート

プリメイド音声の変更

音声合成で利用できるデフォルト音声を変更します。一部の音声を廃止して新しい音声に置き換え、今後数週間で20種類以上の追加を予定しています。

各音声がいつまで利用可能かについての情報も、UIで提供を開始します。12月を通して、音声の多様性を高めるため、音声共有機能と利用報酬機能を刷新します。詳細は近日公開予定です。

Eleven Turbo v2＆uLaw 8kHz形式

Turbo v2は、チームによる数か月の研究の成果です。リアルタイムのやり取り向けに設計されていますが、あらゆるユースケースで利用できます。また、IVRシステム向けの標準（m）uLaw 8kHz形式にも対応しています。

Studioでのノーマライゼーションとメタデータ

Studioは、ゲイン調整やダイナミックコンプレッションを含む業界標準のオーディオブック提出ガイドラインに対応しました。ISBN、著者、タイトルなどのメタデータをStudioプロジェクトに直接埋め込むこともできます。

発音辞書

これは特に要望の多かった機能の一つです。先月、英語モデルでIPAおよびCMU辞書を使用して発音を指定できるSSMLタグのサポートを追加しました。今回、Studio UIで発音辞書のサポートをリリースしました。IPA、CMU、または単語置換（エイリアス）で発音を指定したファイルをアップロードできます。辞書ファイルには、業界標準のオープンな.PLSレキシコンファイル形式を使用します。

IPAとCMUは現在、Turbo v2 Englishでサポートされています。単語置換はすべてのモデルと言語で利用できます。完全なドキュメントはこちらでご確認いただけます。

フィードバックがあれば、ぜひDiscordでお知らせください！

Voice Changerを試す

思いどおりに話し、まったく異なる声で再現された音声を聞いてみましょう。演技を完全にコントロールしながら、ささやき声、笑い声、アクセント、繊細な感情のニュアンスまで捉えられます。