Så halverade vi RAG-latensen för konversationssystem i företagsklass
Med model racing för att snabba upp omskrivning av frågor och hålla agenterna i realtid.
Få full åtkomst
RAG förbättrar noggrannheten genom att förankra svar i stora kunskapsbaser, men varje millisekund det tillför är en paus som uppringaren hör. Bara omskrivning av frågor stod för mer än 80 % av vår RAG-latens.
Här förklarar vi hur vi tog bort den flaskhalsen:
- Varför omskrivning av frågor är nödvändig i konversationer med flera turer, och varför den fördröjde hämtningen
- Hur model racing skickar varje fråga till flera modeller samtidigt och använder det första giltiga svaret
- Vilken roll självhostade öppna modeller och en reservlösning efter en sekund spelar för att göra latensen förutsägbar
Resultatet: medianlatensen för RAG sjönk från 326 ms till 155 ms, samtidigt som p75 och p95 också förbättrades. För tekniska ledare som utvärderar hur hämtning påverkar agenters svarstid i stor skala.
