会話型AIのレイテンシーとは？影響する要因を解説

会話型AIでは、会話型AIのレイテンシーが、優れたアプリケーションと卓越したアプリケーションを分けます。

会話型AIは本質的に、人との会話と同じ感覚を目指すものです。感情の幅、声の高さ、話すリズムまで再現しようとします。話し終えてからAIエージェントが応答を始めるまでの「自然な」間も考慮すれば、人間が実際にどう会話するかに根ざしたレイテンシー目標が見えてきます。 

大規模に会話型AIエージェントを導入したい企業は、この自然な感覚を実現するため、レイテンシーを可能な限り減らす必要があります。この記事では、会話型AIのレイテンシーとは何か、パイプライン全体で遅延が発生する原因、そして遅延を減らす方法を概説します。 

概要

• 会話型AIのレイテンシーとは、ユーザーが話し終えてからエージェントの最初の言葉を聞くまでの、エンドツーエンドの総遅延です。
• 700msを超えるエージェントは不自然に感じられる場合があり、1,200msを超えると離脱率が高くなります。
• レイテンシーは、会話型AIパイプラインのあらゆる段階で積み重なります。
• ElevenAgentsは単一の統合アーキテクチャでパイプライン全体を処理し、低レイテンシーの会話型AIをビジネスで利用しやすくします。

会話型AIのレイテンシーとは？

会話型AIのレイテンシーとは、話しかけてからシステムが応答するまでにかかる合計時間です。最新のAIモデルでは、レイテンシーはms単位で測定されます。実際には、総レイテンシーはいくつかの個別プロセスで構成され、それぞれがエンドツーエンドのパイプラインの一部を担っています。 

一般的な会話型AIパイプラインは次のとおりです。

1. ユーザーが話す
2. スピーチtoテキストモデルがオーディオを文字起こしする
3. 文字起こし結果がLLMに渡され、応答が生成される
4. LLMのテキストをテキスト読み上げモデルでオーディオに合成する
5. オーディオがユーザーに再生される

これらすべての段階が、会話型AIシステムにレイテンシーを加えます。そのため、レイテンシーを論じる際には、いくつかの略語を明確にしておく必要があります。

モデル推論レイテンシー

モデル推論レイテンシーは、外部要因を除外して内部で測定される、モデルが出力を生成するまでの時間です。一般的な入力に対してエンジンがどれだけ速く動作するかを示す、モデル固有の指標です。たとえば、Flash v2.5のモデル推論レイテンシーは約75msです。これにより、競合他社のモデルとの速度比較ができます。

ただし、これはユーザーが実際に体験するレイテンシーではありません。モデルが出力生成に費やす総時間だけを示す数値です。

LLMの最初のトークンまでの時間

大規模言語モデル（LLM）の最初のトークンまでの時間（TTFT）とは、LLMがプロンプトを処理し、利用可能な最初の出力トークンを生成するまでの合計時間です。

TTS生成はLLMから最初のトークンが届いた時点で始まるため、これはLLMがTTSモデルへの指示を開始するまでの時間を示します。ほとんどのエンドツーエンド会話型AIシステムでは、LLM TTFTが総レイテンシーの大きな部分を占めます。 

TTSの最初のオーディオまでの時間（TTFA）

TTSの最初のオーディオまでの時間（TTFA）は、最初のTTSリクエストから、最初のオーディオチャンクが実際にモデルから出力されるまでの時間を測定します。モデル推論レイテンシーを、TTSエンジンに特化して表す指標です。 

エンドツーエンドの最初のオーディオまでの時間（TTFA）

エンドツーエンドTTFAは、会話型AIの総レイテンシーです。音声認識、LLM TTFT、TTS、TTFA、各ステップ間のすべてのネットワーク通信まで、パイプラインのあらゆる部分の合計です。会話型AIのレイテンシー全体を考える際、ユーザーが体感するのはこの指標です。

ユーザーが話した後、エージェントから何かを聞くまで、エンドツーエンドTTFAを待つことになります。これは包括的な指標であり、パイプラインのどの部分を改善しても向上します。 

会話型AIのレイテンシーが重要な理由

ユーザーがAIエージェントと話すとき、レイテンシーはその体験をどう評価するかを左右する重要な要素になります。低レイテンシーなら応答までの待ち時間が短くなり、会話が自然に感じられ、エージェントも有能に見えます。 

レイテンシーが高いエージェントは、応答の品質が同じでも人工的で能力が低いように感じられます。企業にとっては、わずか数百msの差でも非常に長く感じられ、カスタマーサポートエージェントが鈍く非効率に見えてしまいます。

会話型AIのレイテンシーが実際に重要となる理由を、いくつかのシナリオで見てみましょう。

• 500ms未満：会話エージェントは応答性が高く、スムーズに感じられます。ユーザーは話し終えてから最初の応答を受け取るまでの遅延に気づかない場合もあり、会話が自然に流れます。
• 500ms～1000ms：ユーザーが話し終えてから応答を受け取るまでの遅延が、はっきり感じられるようになる場合があります。わずかに長すぎるため、ユーザーは自分の発言を繰り返したり、エージェントが本当に理解したかを確かめるために間を置いたりするかもしれません。
• 1000ms超：遅延が遅く感じられ始め、間が空くことでAIエージェントが会話についていけていないと感じるユーザーも出てきます。文字起こしには、ときどき割り込みや人間のエージェントとの会話を求める声が記録されるかもしれません。場合によっては、ユーザーが通話を離脱します。

これらの各しきい値は、実際のビジネス成果につながります。 

レイテンシーが低い場合、カスタマーサービスエージェントは問い合わせに自然に対応し、追加の支援なしでユーザーの問題解決を手助けできます。人間のエージェントの負担を軽減し、顧客満足度を高く維持します。一方、レイテンシーが高い場合は、あまりにも長くためらっているように見えるエージェントが顧客をいら立たせます。 

音声エージェントのレイテンシー予算ベンチマークについては別の記事で定義しており、P50とP95の両方で優れたレイテンシーがどのようなものかを示しています。 

会話型AIのレイテンシーの原因は？

会話型AIのレイテンシーは、複数の異なるプロセスをまとめた用語であり、各セグメントが全体に寄与します。そのため、低レイテンシーを阻むボトルネックは、より良いモデルを選ぶだけでは解決できない、システムレベルの問題です。実際、複数のモデルがパイプラインで相互に作用します。

デベロッパー向けに、音声エージェントのレイテンシー最適化に関する詳細な技術ガイドを作成しました。エンドツーエンドの最初のオーディオまでの時間（TTFA）の各段階を改善するために活用できます。

コアパイプライン以外にも、電話通信や関数呼び出しなどの要因がレイテンシーを加えます。これらはモデルインフラストラクチャの内部要因ではありません。 

会話型AIのレイテンシーに寄与するすべての要因を見ていきましょう。 

自動音声認識

音声認識のレイテンシーは、文字起こしを生成するまでの時間ではありません。文字起こし処理はユーザーの発話中にバックグラウンドで実行されるため、発話が終わる頃にはテキストの大部分が準備できています。 

ここでのレイテンシーは、実際には発話が終わってから文字起こしが確定し、次の段階に渡されるまでの間です。Scribe v2 Realtimeは継続的にストリーミングすることで、この差を約150msまで短縮し、ターンが終わる瞬間に出力を準備します。

ターンテイキングとエンドポイント検出 

音声活動検出器（VAD）は、音声認識と言語モデルの間に置かれます。その役割は、ユーザーが実際に話し終えたタイミングを判断することです。 

エラーを避けるため、VADは一定時間の無音が続くまで待ってからターンの終了を判断します。この待機時間は、言語モデルが単語を処理する前に加わるレイテンシーです。わずかな追加レイテンシーではありますが、ユーザーがまだ話している間にシステムが応答を始めるのを防げます。 

技術的に言えば、ほかの会話型AIコンポーネントのレイテンシーがすべてゼロなら、ターンテイキングによるレイテンシーは望ましいものです。人間も発話に応答する前に少し間を取ります。機械が同様の間を取ることで、やり取りに現実味が生まれます。ただし、会話型AIのほかのコンポーネントにもすでにレイテンシーがあるため、最小限のレイテンシーが理想的です。

言語モデルの処理

スピーチtoテキスト（STT）エンジンから文字起こし結果が準備できると、言語モデルが応答を生成します。ここでのレイテンシーは、完全な応答の生成時間ではなく、トークン生成を開始するまでの時間です。トークンは届き次第TTS段階へ直接ストリーミングされるため、最も重要なのはTTFTです。 

モデルの選択だけでなく、プロンプトの長さとナレッジベースの規模もこの段階に影響します。LLMが考慮するコンテキストが多いほど、時間がかかります。これらのシステムを大規模に設計する際は、高速性を維持するために、有用なナレッジベースと簡潔なプロンプトの適切なバランスを取る必要があります。

音声合成

TTSレイテンシーは、言語モデルから最初のトークンを受け取ってからオーディオが始まるまでの時間です。トークンは人間の音声再生より速く届くため、合成モデルが完全な応答を待つことはありません。TTSレイテンシーは、厳密には最初のオーディオチャンクまでの時間です。 

以前はこの段階が会話型AIのレイテンシーに最も大きく寄与しており、古いモデルでは音声生成の開始に2～3秒かかっていました。ElevenLabsのFlash v2.5はこの課題に直接対応し、約75msのレイテンシーで音声合成を提供します。ボトルネックを数秒から1秒未満へと短縮します。

ネットワークレイテンシー

データをある場所から別の場所へ送信すると、必ずレイテンシーが加わります。地理的な距離は、往復ネットワークレイテンシーをさらに悪化させます。 

エンドツーエンドの応答には複数のコンポーネントが連携するため、複数回のネットワークホップを経て大きなレイテンシーが蓄積する可能性があります。 

関数呼び出し

関数呼び出しは、LLM段階でAPIの往復通信を追加します。高速な内部検索なら数十ミリ秒ですが、決済処理や在庫管理システムでは数秒かかる可能性があります。レイテンシーは呼び出すサービスに完全に依存するため、これが直接最適化するのが最も難しい段階です。 

最も効果的なパターンは、ツール呼び出しが完了する前にLLMが応答するよう促すことです。「確認いたします」のようなフレーズを使えば、無音のまま待たせず、外部呼び出しの解決中もユーザーの関心を維持できます。ツールが並行して動作している間に、音声応答が始まります。

会話型AIのレイテンシーを減らす方法

会話型AIのレイテンシーを減らすには、影響の大きい順にパイプラインの各段階へ対処する必要があります。個別の改善もレイテンシーに影響しますが、最大の変化を得るにはパイプライン全体を包括的に改善する必要があります。

会話型AIのレイテンシー削減に向けた、大まかな指針をいくつか紹介します。

• TTSモデルの選択：Flash v2.5のような速度最適化TTSモデルは、Elevenのような品質最適化モデルとは異なるアーキテクチャを使用します。v3。リアルタイム音声エージェントでは、レイテンシー目標を満たす最高品質のモデルを選ぶことが重要です。ほとんどの場合、それは速度に最適化されたモデルです。
• LLMモデルの選択：一般に、小型で高速なLLMは大型モデルよりも最初のトークンまでの時間が短くなります。タスクに求められる品質基準を満たす中で最も高速なLLMを選ぶことは、TTSモデルの選択と同じくらい重要です。
• ストリーミング：ストリーミングTTSは、合成の進行に合わせてオーディオをチャンク単位で返すため、モデルが残りを生成中でもユーザーは最初の言葉を聞けます。この考え方はLLM出力にも当てはまります。言語モデルが後続の文を生成している間に最初の文でTTS合成を始めれば、パイプラインのレイテンシーを短縮できます。 
• システムプロンプトの設計：システムプロンプトを簡潔にするには、指示を各判断ステップの一部として保持するのではなく、手順やワークフローに移します。これにより、モデルが各ターンで推論する必要があるコンテキストの量を減らせます。
• ガードレール：ストリーミングモデルでガードレールを実行すると、チェックが完了するまで再生をブロックするのではなく、チェック完了前に出力の再生を開始できます。
• モデルのコロケーション：ElevenLabs Agentsスタックのように、可能な場合はモデルを同じ場所に配置することで、コンポーネント間の距離を近く保ち、別々にホストされたモデル間のホップによるレイテンシーを防げます。
• 地理的位置：サーバーとユーザーの距離を近くすると、ネットワークがエンドツーエンドTTFAに与える影響を直接減らせるため、レイテンシーを大幅に削減できます。 

これらの要因に加えて、詳細についてはこのレイテンシー最適化の技術ガイドもご活用ください。 

ElevenAgentsで低レイテンシーの会話型AIを始める

会話型AIのレイテンシーは、エージェントを構築・導入する際に考慮すべき非常に重要な要素です。ElevenAgentsでは、レイテンシー最適化がプロセスに組み込まれています。時間を取り戻すためのオーバーラップ技術から、個々のコンポーネントにおける低いモデル推論レイテンシーまで、ElevenAgentsはビジネス向けの低レイテンシー会話型AIスタックを構築します。 

最終的な目標は、現実味を生み出すことです。ユーザーは、コンピュータープログラムの利点を得ながら、人と話すときの気軽さを感じる必要があります。サブプロセスを短縮することで、これは今や実現可能です。

ElevenAgentsの詳細を確認するか、営業に問い合わせることで、今すぐ始められます。

会話型AIのレイテンシーに関するよくある質問