Como reduzimos pela metade a latência de RAG em sistemas conversacionais de grande escala
Usando corrida de modelos para acelerar a reformulação de consultas e manter os agentes em tempo real.
Tenha acesso completo
O RAG melhora a precisão ao fundamentar as respostas em grandes bases de conhecimento, mas cada milissegundo que ele adiciona é uma pausa que quem liga percebe. Só a reformulação de consultas era responsável por mais de 80% da nossa latência de RAG.
Este material explica como eliminamos esse gargalo:
- Por que a reformulação de consultas é necessária em conversas com vários turnos e por que ela estava atrasando a recuperação
- Como a corrida de modelos envia cada consulta a vários modelos ao mesmo tempo e usa a primeira resposta válida
- O papel dos modelos abertos hospedados internamente e de uma alternativa após um segundo para manter a latência previsível
O resultado: a latência mediana de RAG caiu de 326 ms para 155 ms, com melhorias também no p75 e no p95. Para líderes técnicos que avaliam como a recuperação afeta o tempo de resposta dos agentes em escala.
