インタラクションモデル：自然な人間とAIの対話を実現

AI 音声エージェントの話の途中で割り込もうとしたことがある人なら、人との会話を想定して作られていないシステムがどのようなものか、よくわかるでしょう。リズムは不自然で、声と内容がかみ合わず、情報自体は正しくても、やり取りに違和感があります。知識のある人と話しているのではなく、たまたま言葉を使うソフトウェアを操作しているように感じられます。

この不自然さの原因は構造にあります。多くの音声AIシステムは、会話ではなくターンを処理するために作られています。一度に1つのやり取りを聞き取り、処理し、応答します。シンプルなデモでは機能しますが、会話が感情的で予測不能になると破綻します。

インタラクションモデルは、オーディオとテキストをまたいでリアルタイムにコミュニケーションするためのAIシステムです。何が話されたかだけでなく、いつ話されたか、その瞬間にどのような感情的応答が求められるかも捉えます。この記事では、インタラクションモデルの違い、音声AIを導入する企業にとって重要な理由、そしてElevenLabsがどのように実現へ取り組んでいるかを解説します。

概要

• 多くの音声AIは、割り込み、沈黙、ターンをまたいで引き継がれるコンテキストを処理できないため、実際の会話ではうまく機能しません。
• ElevenLabsのインタラクションスタックは、コンテキストを失ったり会話の流れを損なったりせずに、割り込み、間、発話の重なりを処理できるよう設計されています。
• ElevenLabsは、高度なカスケードアーキテクチャ、自社開発のスピーチtoテキスト（STT）とテキスト読み上げ（TTS）、低レイテンシーで自然な双方向の会話に最適化されたスタックによって、真のインタラクションモデルの実現を目指しています。

人間とAIの音声コミュニケーションが不自然に感じられる理由

多くの音声AIは、会話を個別の入力と出力の連続として扱います。システムは一定量の発話を待ち、それをテキストに変換し、処理してから応答します。これは指示と応答のやり取りには有効ですが、実際の会話は明確に区切られたテキスト交換の連続ではありません。間や相づちを含む、途切れないやり取りです。

ターン間の流れと、ターンをまたいで引き継がれるコンテキストが失われることで、3つの具体的な問題が生じます。

• 話を遮る、または待たせる： システムは、考えるための間と発話が終わったことを区別できません。そのため、まだ話している途中に割り込むか、話し終えた後に沈黙したままになります。話の途中で考えをまとめようとすれば遮られ、言いたいことを言い終えると、無音の間を待つことになります。
• 話し始めると反応できない： システムは応答を始めた瞬間、聞き取るのをやめます。軌道修正のために割り込んでも、何かが変わったことを認識できないため、すでに話題を移した質問への回答を続けます。
• 会話の途中で忘れる： 各ターンが個別に処理されるため、5回前のやり取りのコンテキストは引き継がれません。同じことを繰り返し説明することになったり、会話が始まったばかりかのような応答を受けたりします。

その結果、機能面では正しくても、違和感のある会話になります。

従来の音声AIにはできない、インタラクションモデルの役割

従来の音声AIが一度に1つのターンを処理するのに対し、インタラクションモデルは、何が話されているか、次に何が必要かに同時に注意を向けながら、会話全体を処理します。機能上の違いは、インタラクションモデルが直近の入力だけでなく、やり取りの実際の状態に応答することです。

インタラクションモデルの特長：

• リアルタイム応答： システムは会話の速度で応答するよう設計されており、設定に応じてエンドツーエンドのサイクルを1秒未満で実行できます。
• 割り込み、沈黙、重なりの自然な処理： 考えるための間と発話が終わったことを区別するため、人の話を遮ったり、無音の時間を残したりしません。顧客が軌道修正のために発話を重ねても、コンテキストを失ったり会話が破綻したりすることなく対応します。
• やり取り全体での連続性： ターンごとにコンテキストをリセットするのではなく、会話の履歴を引き継ぎます。そのため、10ターン目の発言にも、最初のターン以降に起きたすべてのことが反映されます。
• 適応型デリバリー： 実行しているタスクに応じて、声の表現を変えるようプログラムできます（より落ち着いた、より直接的な、より安心感のある表現など）。
• 並列タスク実行： システムは情報を検索したりツール呼び出しを実行したりしながら、同時に会話を続けます。調べている間に沈黙することはありません。

インタラクションモデルの真価が問われるのは、うまくいっていない通話です。以下の録音では、顧客がフライトの欠航について電話しています。顧客は緊張しており、問題をすぐに解決する必要があります。

エージェントは、顧客が使う言葉から緊急性と苛立ちをすぐに認識します。口調を調整し、話の位置を見失わずに割り込みに対応し、接続されたツールを使って欠航便に対する実際の解決策を提示します。最終的に、顧客は人間のエージェントを必要とせずに解決を得られます。

これを、現在広く使われている一般的なターンベースのエージェントと比べてみましょう。こうしたシステムは各々の間を待ち、中立的な基準で応答し、顧客が感じている苛立ちを完全に見逃します。発信者が実際に感じていることに対応しないやり取りが数回続けば、通話は人間に引き継ぐ必要が生じる可能性が高く、顧客は電話をかけた時よりもさらに不満を感じるでしょう。

ElevenLabsがインタラクションモデルを実現するまで

会話パイプラインには、高度なカスケードアーキテクチャを採用しています。融合型ではなく、1つのモデルですべてを処理するのではなく、各ステージがそれぞれ専門化されたコンポーネントになっています。

このアプローチの利点は、パイプラインの各ステージを個別に最適化でき、システム全体を再構築せずに任意のコンポーネントをより優れたモデルに置き換えられることです。また、これらのコンポーネントを自社開発しているため、単なるデータではなく豊富なコンテキストを相互に渡せるよう共同で最適化されています。これにより、パイプラインは別々のツールの連鎖ではなく、1つの一貫した会話として機能します。

カスケードモデルの構造

融合型モデルの構造

画像：カスケードモデルと融合型モデル

現在、パイプラインは次の技術で構成されています。

• Scribe v2 Realtime： 自社開発のSTTモデルは、90以上の言語で約150msの音声文字起こしを実現します。バックグラウンドノイズ、アクセント、割り込み、笑い声や間といった非言語イベントにも対応します。医療用語から金融業界の専門用語まで、分野固有の語彙も処理できるよう設計されています。
• 推測的ターンテイキング： このシステムは、固定的な無音しきい値に頼るのではなく、会話の流れを読み取り、話す、間を置く、待つタイミングを判断します。音声アクティビティ検出モデルの改善により、バックグラウンドの発話や短い応答をより適切にフィルタリングし、ターンテイキングをより自然にします。
• Eleven v3 Conversational： ライブの双方向対話向けに設計された、特に表現力に優れたTTSモデルの1つです。会話の感情的な温度をターンをまたいで引き継ぐため、エージェントの10ターン目の話し方には、直近の応答だけでなく、それまでのすべてが反映されます。
• Expressive Mode： Eleven v3 Conversationalとターンテイキングシステムを基盤とするExpressive Modeは、その瞬間のエージェントの話し方を制御します。顧客が苛立っている場合は緊張を和らげ、困惑している場合は安心させ、明確さが必要な場合は直接的に伝えます。また、表現タグも読み取るため、[laughs]、[whispers]、[sighs]といったキューに基づき、特定の場面での話し方を形作れます。
• Flash v2.5： 当社の低レイテンシーTTSモデルは32言語に対応し、75ms未満で音声を生成します。レイテンシーが優先される場合も、応答時間を人間の自然な会話リズムの範囲内に保ちます。
• Speech Engine： スタック全体をつなぐ接続レイヤーです。サーバーを当社のElevenAPIにWebSocket経由で接続し、会話ごとに1つの接続を確立します。STTとTTSはElevenLabsが処理し、サーバー側ではLLMを実行するため、技術チームは独自のモデルを導入し、会話ロジックを自社インフラ上で維持できます。

これらのモデルは継続的に改善され、新しいバージョンが定期的にリリースされています。応答の高速化、感情認識の精度向上、対応言語の拡大、より滑らかな話し方により、リリースのたびにソフトウェアとの会話と人との会話の差が縮まっています。

考えながら話す

インタラクションモデルのすべての部分が、厳密な順序で実行される必要はありません。ElevenAgentsは、質問と回答の間に沈黙するのではなく、会話を続けながらバックグラウンドで処理を続けられます。

いくつかの中核システムが連携し、話すことと思考を同時に可能にします。

• 並列ツール呼び出し： エージェントはデータベースを照会し、ツールを実行したり、話している最中に注文状況を確認したりできます。そのため、検索処理が会話中の無音の間のように感じられることはありません。
• ソフトタイムアウト： LLMが応答の生成に予想より時間がかかる場合、エージェントは気まずい沈黙を残す代わりに、「少々お待ちください」や「うーん」といった短いつなぎのフレーズを話します。ソフトタイムアウトは、自然な会話の流れを維持し、割り込みが起きる可能性を減らします。
• 割り込み無視語句： 固定的な無音しきい値を使うのではなく、システムは発話内容の意味を読み取り、ターンが実際に終わったタイミングを推測します。同様に、「はい」や「うん」といった短い肯定の相づちは、完全な割り込みをトリガーせずに通過するよう設定できます。これにより、発信者が相づちを打つたびにエージェントが話の位置を見失うことはありません。

これらのシステムが連携することで、エージェントが応答をバッファリングまたは読み込み中のように感じられるのを防ぎます。情報を処理し、バックグラウンドで考えをまとめながら、人がするように自然に間を埋める、効率的な会話エンジンを構成します。

ElevenLabsで会話が実際にどのように機能するか

上記のコンポーネントは、整然と一列に順番に実行されるわけではありません。互いに重なり合います。サポート通話の途中で、発信者が「注文はもう発送されましたか？それともまだ処理中ですか？」と尋ねた場合、ElevenLabsのエージェントがどのように対応するかを見てみましょう。

1. 発信者が話す： オーディオはWebSocket接続を通じてElevenLabsにストリーミングされ、Scribeは音声から約150ms遅れてリアルタイムの文字起こしを開始します。
2. システムが流れを読み取る： Scribeがまだ文字起こしを行っている間に、推測的ターンテイキングはすでに、発信者が話し終えたか、まだ考えの途中かを評価しています。末尾の「それともまだ処理中ですか？」は、間ではなく受け渡しとして認識されるため、沈黙して待つのではなく次のステップをトリガーします。
3. LLMがコンテキストを組み立てて応答する： 文字起こしされた質問は、会話履歴、企業独自のシステムからRAGを介して取得した注文記録、通話中に行われたツール出力、システムプロンプトとともにLLMに送られます。LLMはこれらすべてを推論し、一般的なステータスメッセージではなく、発信者の実際の注文に基づく応答を生成します。
4. TTSモデルが応答を合成する： テキストは自然な音声に変換されます。Expressive Modeが有効な場合、応答にはその場に適した話し方のキューが含まれるため、定型的な更新も平板ではなく、余裕を持って自然に聞こえます。レイテンシーが優先される場合は、Flashが75ms未満で合成を処理します。
5. 応答がストリーミングで返される： 合成が完了する前にオーディオの再生が始まるため、発信者は残りの部分が生成されている間に回答の冒頭を聞けます。
6. サイクルが繰り返される：新しいターンごとに、会話のトーン、コンテキスト、履歴が引き継がれます。

この高速なプロセス全体を通じて、会話は自然に感じられます。発信者は機械に合わせる必要がなくなります。ゆっくり話したり、過度に明瞭に発音したり、ビープ音を待ったりしません。ただ人と話すように話すだけです。

自然な会話の音声エージェントをビジネス全体に導入

ここで紹介したものはすべて、ロードマップ上の構想ではなく、現在すでに本番環境で提供されています。カスケードアーキテクチャから1秒未満のパイプラインまで、世界中の企業がすでにElevenAgentsを使い、実際の顧客との会話を大規模に処理しています。

エージェントアーキテクチャはガードレール、監査ログ、コンプライアンス管理をサポートしているため、規制が厳しくリスクの高い環境にも対応できます。ElevenLabsはSOC 2 Type II、ISO 27001、HIPAA、PCI DSS Level 1の認証を取得しており、データを特定の境界内に保持する必要があるチーム向けに、Zero Retention Modeと地域別データレジデンシーを提供しています。

エージェントを導入する準備はできていますか？エージェントを作成してコンソールで構築を始めるか、営業チームに相談して、環境に合わせた導入についてお問い合わせください。

インタラクションモデルに関するよくある質問