RAG 通过将回答建立在大型知识库的基础上来提高准确性，但增加的每一毫秒延迟，都会成为来电者听到的停顿。仅查询改写就占了 RAG 延迟的 80% 以上。
本文介绍了我们如何消除这一瓶颈：
- 为什么多轮对话需要查询改写，以及它为何会拖慢检索速度
- 模型竞速如何将每个查询同时发送给多个模型，并采用第一个有效响应
- 自托管开放模型和 1 秒回退机制如何让延迟保持可预测
结果：RAG 延迟中位数从 326ms 降至 155ms，p75 和 p95 也同步改善。适合评估检索如何在大规模场景中影响智能体响应时间的技术负责人。
