Come abbiamo dimezzato la latenza RAG per sistemi conversazionali su scala enterprise
Usiamo il model racing per accelerare la riscrittura delle query e mantenere gli agenti in tempo reale.
Ottieni l'accesso completo
Il RAG migliora l'accuratezza basando le risposte su ampie knowledge base, ma ogni millisecondo che aggiunge è una pausa che chi chiama percepisce. La sola riscrittura delle query rappresentava oltre l'80% della nostra latenza RAG.
In questo articolo spieghiamo come abbiamo eliminato questo collo di bottiglia:
- Perché la riscrittura delle query è necessaria nelle conversazioni a più turni e perché rallentava il retrieval
- Come il model racing invia ogni query a più modelli contemporaneamente e usa la prima risposta valida
- Il ruolo dei modelli open forniti internamente e di un fallback di un secondo nel mantenere prevedibile la latenza
Il risultato: la latenza RAG mediana è passata da 326 ms a 155 ms, con miglioramenti anche di p75 e p95. Per i responsabili tecnici che valutano l'impatto del retrieval sui tempi di risposta degli agenti su larga scala.
