Comment nous avons réduit de moitié la latence du RAG pour les systèmes conversationnels à l’échelle de l’entreprise
Le model racing accélère la réécriture des requêtes et maintient les agents en temps réel.
Accédez à l’intégralité du contenu
Le RAG améliore la précision en ancrant les réponses dans de vastes bases de connaissances, mais chaque milliseconde ajoutée devient une pause perceptible pour l’appelant. À elle seule, la réécriture des requêtes représentait plus de 80 % de notre latence RAG.
Cet article explique comment nous avons éliminé ce goulot d’étranglement :
- Pourquoi la réécriture des requêtes est indispensable aux conversations à plusieurs tours et pourquoi elle ralentissait la récupération
- Comment le model racing envoie chaque requête à plusieurs modèles simultanément et retient la première réponse valide
- Le rôle des modèles ouverts auto-hébergés et d’un repli après une seconde pour maintenir une latence prévisible
Résultat : la latence RAG médiane est passée de 326 ms à 155 ms, avec des améliorations similaires pour les p75 et p95. Pour les responsables techniques qui évaluent l’effet de la récupération sur le temps de réponse des agents à grande échelle.
