エンタープライズ規模の会話システムでRAGレイテンシを半減した方法

RAGは大規模なナレッジベースに基づいて回答を生成することで精度を高めますが、処理時間が1ミリ秒増えるたびに、通話相手が感じる間も長くなります。RAGレイテンシの80％以上をクエリの書き換えだけで占めていました。

この記事では、そのボトルネックを解消した方法を解説します。

• 複数ターンの会話にクエリの書き換えが必要な理由と、それが情報取得を遅らせていた理由
• モデルレーシングで各クエリを複数のモデルへ同時に送り、最初に返された有効な回答を採用する仕組み
• セルフホスト型のオープンモデルと1秒後のフォールバックが、予測可能なレイテンシの維持に果たす役割

その結果、RAGレイテンシの中央値は326msから155msに短縮され、p75とp95も改善しました。大規模環境で情報取得がエージェントの応答時間に与える影響を評価する技術責任者向けの内容です。