Cómo redujimos a la mitad la latencia de RAG en sistemas conversacionales a escala empresarial
Usamos la competición de modelos para acelerar la reformulación de consultas y mantener a los agentes en tiempo real.
Obtén acceso completo
RAG mejora la precisión al fundamentar las respuestas en grandes bases de conocimiento, pero cada milisegundo que añade es una pausa que oye quien llama. La reformulación de consultas por sí sola representaba más del 80 % de nuestra latencia de RAG.
En este artículo explicamos cómo eliminamos ese cuello de botella:
- Por qué la reformulación de consultas es necesaria en conversaciones de varios turnos y por qué ralentizaba la recuperación
- Cómo la competición de modelos envía cada consulta a varios modelos a la vez y toma la primera respuesta válida
- El papel de los modelos abiertos autoalojados y de una alternativa de respaldo al cabo de un segundo para mantener una latencia predecible
El resultado: la latencia media de RAG pasó de 326 ms a 155 ms, con mejoras también en p75 y p95. Para responsables técnicos que evalúan cómo la recuperación afecta al tiempo de respuesta de los agentes a escala.
