Wie wir die RAG-Latenz für Konversationssysteme im Enterprise-Maßstab halbiert haben
Mit Modell-Racing beschleunigen wir die Abfrageumschreibung und halten Agents in Echtzeit.
Vollständigen Zugriff erhalten
RAG verbessert die Genauigkeit, indem Antworten auf großen Wissensdatenbanken basieren. Doch jede zusätzliche Millisekunde ist eine Pause, die Anrufende hören. Allein die Abfrageumschreibung verursachte mehr als 80 % unserer RAG-Latenz.
Dieser Beitrag erklärt, wie wir diesen Engpass beseitigt haben:
- Warum die Abfrageumschreibung für mehrstufige Gespräche nötig ist und weshalb sie den Abruf verlangsamte
- Wie Modell-Racing jede Abfrage gleichzeitig an mehrere Modelle sendet und die erste gültige Antwort verwendet
- Welche Rolle selbst gehostete offene Modelle und ein Fallback nach einer Sekunde dabei spielen, die Latenz vorhersehbar zu halten
Das Ergebnis: Die mediane RAG-Latenz sank von 326 ms auf 155 ms. Auch p75 und p95 verbesserten sich. Für technische Führungskräfte, die bewerten, wie sich der Abruf im großen Maßstab auf die Antwortzeit von Agents auswirkt.
