

Hoe we de RAG-latentie voor conversationele systemen op enterprise-schaal hebben gehalveerd
Model racing gebruiken om het herschrijven van queries te versnellen en agents realtime te houden.
Krijg volledige toegang
RAG verbetert de nauwkeurigheid door antwoorden te baseren op grote kennisbanken, maar elke milliseconde die het toevoegt, is een pauze die de beller hoort. Alleen al het herschrijven van queries was verantwoordelijk voor meer dan 80% van onze RAG-latentie.
In dit artikel leggen we uit hoe we die bottleneck hebben weggenomen:
- Waarom het herschrijven van queries nodig is voor gesprekken met meerdere beurten en waarom het ophalen daardoor langzamer werd
- Hoe model racing elke query tegelijk naar meerdere modellen stuurt en het eerste geldige antwoord gebruikt
- De rol van zelfgehoste open modellen en een fallback van één seconde om de latentie voorspelbaar te houden
Het resultaat: de mediane RAG-latentie daalde van 326 ms naar 155 ms, terwijl ook p75 en p95 verbeterden. Voor technische leiders die beoordelen hoe ophalen de reactietijd van agents op schaal beïnvloedt.


