インタラクションモデル：自然な人間とAIの対話を実現

AI音声エージェントの話の途中で割り込もうとしたことがある方なら、システムが人間の会話向けに作られていないとどう感じるかご存知でしょう。リズムが不自然で、声が内容から切り離されていて、情報が正しくてもやり取りに違和感があります。知識のある人と話しているというより、単に言葉を使うソフトウェアを操作しているような感覚です。

この不自然さの原因は構造にあります。多くの音声AIシステムは「会話」ではなく「ターン」を処理するために作られています。1回ごとに聞いて、処理して、返答する仕組みです。シンプルなデモならそれで十分ですが、会話が感情的で予測できないものになると破綻してしまいます。

インタラクションモデルは、音声とテキストの両方でリアルタイムにやり取りできるAIシステムです。何を話しているかだけでなく、いつ話しているか、その場にふさわしい感情的な反応まで捉えます。この記事では、インタラクションモデルが従来のものとどう違うのか、ボイスAIを導入する企業にとってなぜ重要なのか、そしてElevenLabsがどのように開発を進めているのかを解説します。

まとめ

• 多くの音声AIは、割り込みや沈黙、ターンをまたぐ文脈をうまく処理できないため、実際の会話ではうまく機能しません。
• ElevenLabsのインタラクションスタックは、割り込みやポーズ、重なった発話にも対応し、文脈や会話の流れを失いません。
• ElevenLabsは、高度なカスケード型アーキテクチャ、自社開発のスピーチtoテキスト（STT）とテキスト読み上げ（TTS）、そして低遅延かつ自然な往復会話に最適化されたスタックで、本物のインタラクションモデルを目指しています。

なぜ多くの人間とAIの音声コミュニケーションは自然に感じられないのか

多くの音声AIは、会話を個別の入力と出力の連続として扱います。システムは発話のまとまりを待ち、テキストに変換し、そのテキストを処理して返答します。これはコマンドとレスポンスのやり取りには有効ですが、実際の会話は単なるテキストのやり取りではありません。会話はポーズや割り込みが入り混じった、絶え間ないやり取りです。

ターン間の流れや文脈を切り離してしまうと、次の3つの問題が発生します：

• 割り込んだり、待たせたりする： システムは考え込むためのポーズと発話の終了を区別できないため、まだ話している途中で割り込んだり、話し終えた後に沈黙が続いたりします。途中で考えをまとめようとすると話が遮られ、言い終わると無音の間が生まれます。
• 話し始めると反応できない： システムが返答を始めた瞬間、聞くのをやめてしまいます。話の途中で方向転換しようと割り込んでも、システムは元の質問への答えを続けてしまい、状況の変化を認識できません。
• 進むにつれて忘れてしまう：各ターンが独立して処理されるため、5回前のやり取りの文脈が引き継がれません。結果として、同じことを繰り返したり、会話が始まったばかりのような返答が返ってきたりします。

その結果、機能的には正しくても違和感のある会話になってしまいます。

インタラクションモデルが従来の音声AIにできないこと

従来の音声AIが1ターンずつ処理するのに対し、インタラクションモデルは会話全体を把握し、今何が話されているか、次に何が必要かを同時に考えます。大きな違いは、インタラクションモデルは直前の入力だけでなく、やり取り全体の状態に応じて反応する点です。

インタラクションモデルの特徴：

• リアルタイム応答： システムは会話のスピードで応答するよう設計されており、設定によっては1秒未満でエンドツーエンドのサイクルが完了します。
• 割り込み・沈黙・重なりへの自然な対応： 考え込むためのポーズと発話の終了を区別できるため、話を遮ったり無音になったりしません。顧客が話を重ねて方向転換しても、文脈を失わず会話を維持します。
• やり取り全体の継続性： 各ターンごとに文脈をリセットするのではなく、会話の履歴を引き継ぐため、10ターン目の発話にも最初からの流れが反映されます。
• 適応的な話し方： 実行するタスクに応じて、声のトーン（落ち着いた、より直接的、安心感のあるなど）を切り替えることができます。
• 並列タスク実行： システムは情報取得やツール呼び出しをしながら話し続けることができ、調べている間に無音になることがありません。

インタラクションモデルの真価は、うまくいっていない通話で試されます。下記の録音では、顧客がフライトのキャンセルについて問い合わせています。顧客は緊張しており、早急な解決を求めています。

エージェントは顧客の言葉から緊急性や苛立ちをすぐに察知します。トーンを調整し、割り込みにも対応しつつ、連携したツールを使ってキャンセルされたフライトへの具体的な解決策を提示します。最終的に、顧客は人間の担当者を介さずに問題を解決できます。

これを、現在よく使われているターン制エージェントと比べてみてください。従来のシステムはポーズごとに待ち、ニュートラルなトーンで返答し、顧客の苛立ちを見逃してしまいます。数回のやり取りで顧客の本当の気持ちに応えられなければ、結局人間の担当者に引き継がれ、顧客はさらに不満を感じてしまうでしょう。

ElevenLabsがインタラクションモデルを目指している理由

ElevenLabsの会話パイプラインは、高度なカスケード型アーキテクチャ を採用しており、1つのモデルですべてを処理するのではなく、各段階が専門のコンポーネントになっています。

このアプローチの利点は、パイプラインの各段階を個別に最適化でき、どのコンポーネントもより良いモデルに差し替えられることです。また、これらのコンポーネントを自社開発しているため、単なるデータではなく豊かな文脈をやり取りでき、全体として一貫した会話が実現します。

カスケード型モデル構造

フューズド型モデル構造

画像：カスケード型とフューズド型モデルの比較

現在のパイプラインを構成する技術はこちらです：

• Scribe v2 リアルタイム： 自社開発のSTTモデル は、90以上の言語で約150msの速度で音声を文字起こしします。バックグラウンドノイズやアクセント、割り込み、笑いやポーズなどの非言語的な要素にも対応。医療用語や金融用語など、専門的な語彙にも強い設計です。
• 推測型ターンテイク：このシステムは、会話の流れを読み取り、話す・止まる・待つタイミングを判断します。厳密な無音閾値に頼らず、より自然なターンテイクを実現。音声活動検出モデルの改良により、バックグラウンドの会話や短い返答もより的確にフィルタリングできます。
• Eleven v3 Conversational：最も表現力豊かなTTSモデル で、ライブの往復対話向けに設計されています。会話の感情的な温度をターンをまたいで引き継ぐため、10ターン目の発話にもこれまでの流れが反映されます。
• エクスプレッシブモード：Eleven v3 Conversationalとターンテイクシステムを基盤にしたエクスプレッシブモード では、顧客が苛立っているときは緊張を和らげ、混乱しているときは安心感を与え、明確さが必要なときは直接的に話すなど、その場に応じてエージェントの話し方をコントロールできます。また、[笑う]、[ささやく]、[ため息]などの表現タグも読み取り、特定の場面に合わせた話し方が可能です。
• Flash v2.5：当社の低遅延TTSモデル は32言語に対応し、75ms未満で音声を生成します。遅延が重要な場面でも、人間らしいリズムの範囲内で応答できます。
• スピーチエンジン：スタック全体をつなぐレイヤーで、サーバーとElevenAPI をWebSocketで接続し、会話ごとに1つのコネクションを確立します。STTとTTSは当社が処理し、サーバー側でLLMを動かせるため、独自のモデルや会話ロジックを自社インフラで運用できます。

これらのモデルは常に改良されており、新バージョンが定期的にリリースされています。新しいリリースごとに、ソフトウェアと人間の会話のギャップが縮まり、応答速度や感情認識、対応言語、話し方の滑らかさが向上しています。

考えながら話す

インタラクションモデルのすべてが厳密な順番で動く必要はありません。ElevenAgentsは、質問と答えの間に沈黙するのではなく、会話中もバックグラウンドで処理を続けられます。

同時に話しながら考えるために、いくつかのコアシステムが連携しています：

• 並列ツール呼び出し：エージェントはデータベースを検索したり、ツールを実行 したり、注文状況を確認しながら話し続けることができるため、情報取得のための無音が生まれません。
• ソフトタイムアウト：LLMの応答生成が想定より長引いた場合、エージェントは「少し考えますね」や「うーん」などの短いつなぎ言葉を話し、気まずい沈黙を避けます。ソフトタイムアウト により、自然な会話の流れを維持し、割り込みの発生も減らせます。
• 割り込み無視ワード： 固定の無音閾値ではなく、発話内容の意味を読み取ってターンの終了を直感的に判断します。同様に、「はい」や「うん」などの短い相槌は、完全な割り込みを発生させずに通過 できるため、発話者が割り込んでもエージェントが毎回話の流れを失うことがありません。

これらのシステムが連携することで、エージェントが「バッファ中」や「読み込み中」と感じさせず、情報処理や思考をバックグラウンドで進めながら、自然な会話エンジンとして機能します。

ElevenLabsでの実際の会話の流れ

上記の各コンポーネントは、きれいに順番通り動くわけではなく、重なり合って動作します。たとえば、ElevenLabsのエージェントがサポート通話中に「注文はもう発送されましたか？それともまだ処理中ですか？」と途中で質問された場合の流れをご紹介します。

1. 発話者が話す： オーディオがWebSocket接続を通じてElevenLabsにストリーミングされ、Scribeが約150ms遅れでリアルタイムに文字起こしを開始します。
2. システムが流れを読む： Scribeが文字起こしをしている間にも、推測型ターンテイクが発話者が話し終えたか、考え中かを判断しています。「それともまだ処理中ですか？」という後半はポーズではなく話の引き継ぎと判断され、次の処理に進みます。
3. LLMが文脈を組み立てて応答： 文字起こしされた質問は、会話履歴やビジネスシステムから取得した注文情報（RAG経由）、通話中に得たツールの出力、システムプロンプトとともにLLMに送られます。LLMはこれらすべてをもとに、発話者の実際の注文状況に即した応答を生成します。
4. Elevenv3 が返答を合成： テキストが自然な音声に変換されます。エクスプレッシブモードが有効なら、その場に合った話し方で返答されるため、定型的なアップデートも落ち着いた雰囲気で伝わります。遅延が重要な場合は、Flashが75ms未満で合成を担当します。
5. 返答がストリーミング再生： 合成が終わる前から音声再生が始まるため、発話者は返答の冒頭をすぐに聞くことができます。
6. このサイクルを繰り返す：新しいターンごとに、会話のトーンや文脈、履歴が引き継がれます。

この高速なプロセス全体を通じて、会話は自然に感じられます。発話者は機械に合わせて話す必要がなく、ゆっくり話したり、はっきり発音したり、ビープ音を待ったりすることもありません。人と話すように、自然に会話できます。

自然な音声エージェントをビジネス全体に展開

ここで紹介したすべては、すでに本番環境で稼働しています。カスケード型アーキテクチャからサブセカンドのパイプラインまで、世界中の企業 がElevenAgentsを使って、実際の顧客対応を大規模に行っています。

規制が厳しい環境や重要な現場でも利用されています。エージェントアーキテクチャはガードレールや監査ログ、コンプライアンス管理に対応。ElevenLabsはSOC2 Type II、ISO 27001、HIPAA、PCI DSS Level 1の認証を取得しており、Zero Retention Modeや地域データ管理にも対応しています。

エージェントを導入してみませんか？ エージェントを作成 してコンソールで構築を始めることも、 営業チームに相談 してご利用環境に合わせた導入について話すこともできます。

インタラクションモデルに関するFAQ