インタラクションモデル：自然な人間とAIの対話を実現
- 公開日
- 最終更新日
聴くこの記事を聴く
AI音声エージェントの話の途中で割り込もうとしたことがある人なら、人間の会話向けに設計されていないシステムがどのようなものか分かるでしょう。リズムは不自然で、声は内容と切り離され、情報が正しくてもやり取りに違和感があります。知識豊富な人と話しているのではなく、たまたま言葉を使うソフトウェアを操作しているように感じられます。
この不自然さの原因は構造にあります。多くの音声AIシステムは、会話ではなくターンを処理するように作られています。一度に1回のやり取りを聞き、処理し、応答します。単純なデモでは機能しますが、会話が感情的で予測不能になると破綻します。
インタラクションモデルは、音声とテキストをまたいでリアルタイムにコミュニケーションするよう設計されたAIシステムです。何が話されたかだけでなく、いつ話されたか、その場面で求められる感情的な応答まで捉えます。この記事では、インタラクションモデルの違い、音声AIを導入する企業にとって重要な理由、そしてElevenLabsがそれをどのように実現しようとしているかを説明します。
概要
- 多くの音声AIは、割り込みや沈黙、ターンをまたいで引き継がれる文脈を扱えないため、実際の会話ではうまく機能しません。
- ElevenLabsのインタラクションスタックは、文脈を失ったり会話の流れを損ねたりすることなく、割り込み、間、発話の重なりを処理できるよう設計されています。
- ElevenLabsは、高度なカスケードアーキテクチャと自社開発のスピーチtoテキスト（STT）、テキスト読み上げ（TTS）、そして低レイテンシーで自然な対話に最適化されたスタックにより、真のインタラクションモデルの実現を目指しています。
人間とAIの音声コミュニケーションが自然に感じられない理由
多くの音声AIは、会話を個別の入力と出力の連続として扱います。システムはある程度の長さの発話を待ち、それをテキストに変換して処理し、返答します。これは指示と応答のやり取りでは機能しますが、実際の会話は整然としたテキスト交換の連続ではありません。間や相づちに満ちた、絶え間ない往復です。
ターン間の流れと、ターンをまたいで引き継がれる文脈を取り除くと、3つの具体的な問題が起きます。
- 話を遮る、または待たせる：システムは考えるための間と発話の終わりを区別できないため、まだ話している途中で割り込むか、話し終えた後も沈黙したままになります。文の途中で考えをまとめようとすると遮られ、話を終えると無音の間を待つことになります。
- 話し始めると反応できない：システムは応答を始めた瞬間に聞くのをやめます。方向を変えようと割り込んでも、何かが変わったことを認識できないため、すでに話題を移した質問への答えを続けます。
- 会話の途中で忘れる：各ターンは独立して処理されるため、5回前のやり取りの文脈は引き継がれません。同じことを繰り返し説明することになったり、システムが会話を始めたばかりのように応答したりします。
その結果、機能的には正しくても違和感のある会話になります。
従来の音声AIにはできない、インタラクションモデルの特徴
従来の音声AIが一度に1ターンずつ処理するのに対し、インタラクションモデルは会話全体を動かし、何が話されているか、次に何をすべきかを同時に捉えます。機能上の違いは、最新の入力だけでなく、やり取りの実際の状態に応答することです。
インタラクションモデルには、次の特徴があります。
- リアルタイム応答：会話の速度で応答できるよう設計されており、設定によってはエンドツーエンドのサイクルを1秒未満で実行できます。
- 割り込み、沈黙、重複発話の自然な処理：考えるための間と発話の終わりを区別するため、相手の話を遮ったり、無音の時間を残したりしません。顧客が方向を変えようと重ねて話しても、文脈を失ったり会話を破綻させたりせずに対応します。
- 会話全体での継続性：ターンごとに文脈をリセットするのではなく、会話履歴を引き継ぐため、10ターン目の発言にも最初のターンから起きたすべてが反映されます。
- 適応的な話し方：実行しているタスクに応じて、音声をより落ち着いた、より直接的な、より安心感のある話し方へ切り替えるようプログラムできます。
- 並列タスク実行：情報の検索やツール呼び出しを行いながら話し続けられるため、何かを調べる間に沈黙しません。
インタラクションモデルが試されるのは、うまくいっていない通話です。以下の録音では、顧客がフライトのキャンセルについて電話をかけています。顧客は緊張しており、問題を早急に解決する必要があります。
エージェントは、顧客が使う言葉から緊急性と不満をすぐに認識します。口調を調整し、位置を見失わずに割り込みを処理し、連携したツールを使って欠航便に対する現実的な解決策を提示します。最終的に、顧客は人間のエージェントを必要とせず解決を得られます。
これを、現在使われている一般的なターンベースのエージェントと比べてみましょう。こうしたシステムは一つひとつの間を待ち、中立的な基準で応答し、顧客が感じている不満を完全に見逃します。発信者の実際の感情に対応しないやり取りが数回続けば、通話は人間に引き継ぐ必要が生じる可能性が高く、顧客の不満は電話をかけた時以上に大きくなります。
ElevenLabsがインタラクションモデルを実現する方法
会話パイプラインでは、高度なカスケードアーキテクチャを採用しています。統合モデルとは異なり、1つのモデルがすべてを処理するのではなく、各段階が専門的なコンポーネントとして機能します。
このアプローチの利点は、システム全体を作り直すことなく、パイプラインの各段階を個別に最適化し、任意のコンポーネントをより優れたモデルに置き換えられることです。また、これらのコンポーネントは自社開発のため、単なるデータではなく豊かな文脈を互いに渡すよう協調して最適化されています。これにより、パイプラインは別々のツールの連鎖ではなく、一貫した1つの会話として動作します。
カスケードモデルの構造
統合モデルの構造
画像：カスケードモデルと統合モデル
現在、パイプラインを構成する技術は次のとおりです。
- Scribe v2 Realtime：自社開発のSTTモデルは、90以上の言語で約150msで音声を書き起こします。バックグラウンドノイズ、アクセント、割り込み、笑い声や間といった非言語イベントにも対応します。医療用語から金融用語まで、業界固有の語彙も処理できるよう設計されています。
- 推測的ターンテイキング：このシステムは、固定的な無音しきい値に頼るのではなく会話の流れを読み取り、話す、間を置く、待つタイミングを判断します。音声活動検出モデルの改善により、バックグラウンドの発話や短い応答をより適切に除外し、ターンテイキングをより自然にします。
- Eleven v3 Conversational：最も表現力豊かなTTSモデルで、ライブの双方向対話向けに構築されています。会話の感情的な温度をターンをまたいで引き継ぐため、エージェントの10ターン目の話し方には、直近の応答だけでなく、それまでのすべてが反映されます。
- Expressive Mode：Eleven v3 Conversationalとターンテイキングシステムを基盤とするExpressive Modeは、その瞬間のエージェントの話し方を制御します。顧客が不満を感じているときには状況を落ち着かせ、混乱しているときには安心させ、明確さが必要なときには直接的に伝えます。また、表現タグも読み取るため、[laughs]、[whispers]、[sighs]のようなキューをもとに、特定の場面での話し方を調整できます。
- Flash v2.5：低レイテンシーTTSモデルは32言語をサポートし、75ms未満で音声を生成します。レイテンシーが最優先の場合でも、応答時間を自然な人間の会話リズムの範囲に保ちます。
- Speech Engine：スタック全体をつなぐ接続レイヤーです。サーバーを ElevenAPIにWebSocket経由で接続し、会話ごとに1つの接続を使用します。ElevenLabsがSTTとTTSを処理し、サーバー側でLLMを実行するため、技術チームは独自のモデルを利用し、会話ロジックを自社インフラ上に維持できます。
これらのモデルは継続的に改善され、新バージョンも定期的にリリースされています。新しいリリースごとに、より速い応答、より的確な感情認識、より多くの言語、より滑らかな話し方によって、ソフトウェアと話すことと人と話すことの差を縮めています。
考えながら話す
インタラクションモデルのすべての処理を厳密な順番で実行する必要はありません。ElevenAgentsは、質問と回答の間を沈黙で埋めるのではなく、会話を続けながらバックグラウンドで作業できます。
いくつかの中核システムが連携し、話すことと思考を同時に可能にします。
- 並列ツール呼び出し：エージェントは、話している最中にもデータベースへの照会、ツールの実行、注文状況の確認を行えます。そのため、情報の取得が会話の無音の間のように感じられることはありません。
- ソフトタイムアウト：LLMが応答の生成に予想より時間を要する場合、エージェントは気まずい沈黙を残す代わりに、「少し考えます」や「うーん」といった短いフィラーを発話します。ソフトタイムアウトは自然な会話の流れを維持し、割り込みが起こる可能性を減らします。
- 割り込みを無視する語句：固定的な無音しきい値を使うのではなく、システムは話されている内容の意味を読み取り、ターンが実際に終わったタイミングを推測します。同様に、「はい」や「うん」といった短い相づちは、完全な割り込みをトリガーせずに通過するよう設定できます。これにより、発信者が相づちを打つたびにエージェントが話の位置を見失うことはありません。
これらのシステムは連携して、エージェントが応答をバッファリングまたは読み込み中であるように感じさせないようにします。人が自然に間を埋めるように、バックグラウンドで情報を処理し考えをまとめながら、会話の空白を自然に埋める効率的な会話エンジンを形成します。
ElevenLabsで会話が実際にどのように機能するか
上記のコンポーネントは、整然と一列に順番どおり実行されるわけではありません。互いに重なり合います。サポート通話の途中で発信者が「注文はもう発送されましたか？それともまだ処理中ですか？」と尋ねた場合、ElevenLabsのエージェントがどのように対応するかを見てみましょう。
- 発信者が話す：音声はWebSocket接続を通じてElevenLabsにストリーミングされ、Scribeは音声から約150ms遅れてリアルタイムの文字起こしを開始します。
- システムが流れを読む：Scribeがまだ文字起こしをしている間に、推測的ターンテイキングは発信者が話し終えたのか、それとも考えの途中なのかをすでに評価しています。末尾の「それともまだ処理中ですか？」は間ではなく引き渡しとして解釈されるため、沈黙して待つのではなく次のステップが開始されます。
- LLMが文脈を組み立てて応答する：文字起こしされた質問は、会話履歴、RAGを介して企業自身のシステムから取得した注文記録、通話中の先行するツール出力、システムプロンプトとともにLLMへ送られます。LLMはそのすべてを推論し、一般的なステータスメッセージではなく、発信者の実際の注文に基づいた応答を生成します。
- Eleven v3が応答を合成する：テキストが自然な音声になります。Expressive Modeが有効な場合、応答にはその場面に合った話し方のキューが含まれるため、通常の更新も平板ではなく、落ち着いてゆとりのある調子で聞こえます。レイテンシーが最優先の場合は、Flashが75ms未満で音声を合成します。
- 応答がストリーミングで返る：音声は合成が完了する前に再生を始めるため、残りがまだ生成中でも、発信者は回答の冒頭を聞けます。
- サイクルが繰り返される：新しいターンごとに、会話の口調、文脈、履歴が引き継がれます。
この高速なプロセスを通じて、会話は自然に感じられます。発信者は機械に合わせる必要がなくなります。ゆっくり話したり、過度にはっきり発音したり、電子音を待ったりしません。ただ人と話すように話すだけです。
自然な音声エージェントをビジネス全体に導入
ここで説明したすべてはロードマップ上のものではなく、すでに本番環境で稼働しています。カスケードアーキテクチャから1秒未満のパイプラインまで、世界中の企業がすでにElevenAgentsを活用し、実際の顧客との会話を大規模に処理しています。
エージェントアーキテクチャはガードレール、監査ログ、コンプライアンス管理をサポートしているため、規制対象でリスクの高い環境にも対応できます。ElevenLabsはSOC2 Type II、ISO 27001、HIPAA、PCI DSS Level 1の認証を取得しており、データを特定の境界内に保持する必要があるチーム向けにZero Retention Modeとリージョン別データレジデンシーを提供しています。
エージェントを活用する準備はできていますか？エージェントを作成してコンソールで構築を始めるか、営業チームに相談して、環境に合わせた導入についてご相談ください。
