एंटरप्राइज़ स्तर के कन्वर्सेशनल सिस्टम्स के लिए हमने RAG लेटेंसी आधी कैसे की

RAG बड़े नॉलेज बेस में जवाबों को आधारित करके सटीकता बढ़ाता है, लेकिन इससे जुड़ने वाला हर मिलीसेकंड कॉलर को सुनाई देने वाला एक ठहराव होता है। सिर्फ़ क्वेरी री-राइटिंग ही हमारी RAG लेटेंसी के 80% से ज़्यादा के लिए ज़िम्मेदार थी।

इस लेख में बताया गया है कि हमने इस बाधा को कैसे हटाया:

• मल्टी-टर्न बातचीत के लिए क्वेरी री-राइटिंग क्यों ज़रूरी है और यह रिट्रीवल को धीमा क्यों कर रही थी
• मॉडल रेसिंग हर क्वेरी को एक साथ कई मॉडलों को कैसे भेजती है और पहला वैध जवाब कैसे लेती है
• लेटेंसी को अनुमानित बनाए रखने में सेल्फ़-होस्टेड ओपन मॉडलों और एक सेकंड के फ़ॉलबैक की भूमिका

नतीजा: औसत RAG लेटेंसी 326ms से घटकर 155ms हो गई, साथ ही p75 और p95 में भी सुधार हुआ। उन तकनीकी लीडर्स के लिए जो बड़े पैमाने पर एजेंट के जवाब देने के समय पर रिट्रीवल के असर का आकलन कर रहे हैं।