कॉन्टेक्स्ट विंडो क्या है? हर LLM यूज़र को क्या जानना चाहिए

कॉन्टेक्स्ट विंडो वह जानकारी की मात्रा है जिसे कोई बड़ा भाषा मॉडल (LLM) एक ही अनुरोध में प्रोसेस कर सकता है। टोकन में मापी जाने वाली इसमें आपका प्रॉम्प्ट, बातचीत का इतिहास, सिस्टम निर्देश, प्राप्त किए गए दस्तावेज़, टूल के नतीजे और मॉडल का जनरेट किया गया जवाब शामिल हो सकता है।

बड़ी कॉन्टेक्स्ट विंडो मॉडल को एक ही अनुरोध में ज़्यादा जानकारी के साथ काम करने देती है। उदाहरण के लिए, किसी बग की जांच करने वाला कोडिंग एजेंट हर हिस्से का अलग-अलग विश्लेषण करने और अनुरोधों के बीच उपयोगी संदर्भ खोने के बजाय, संबंधित सोर्स फ़ाइलों, डॉक्यूमेंटेशन, टेस्ट नतीजों और हाल के कोड बदलावों पर एक साथ काम कर सकता है।

हालांकि, बड़ी कॉन्टेक्स्ट विंडो परफेक्ट मेमोरी जैसी नहीं होती। लंबे प्रॉम्प्ट के लिए ज़्यादा कंप्यूटेशन चाहिए, वे ज़्यादा टोकन इस्तेमाल करते हैं और मॉडल के लिए यह पहचानना मुश्किल बना सकते हैं कि कौन-से विवरण वास्तव में अहम हैं। लंबे कॉन्टेक्स्ट वाले मॉडलों पर रिसर्च, जिसमें बीच में खो जाना स्टडी और NVIDIA का RULER बेंचमार्क शामिल हैं, ने बार-बार पाया है कि कॉन्टेक्स्ट बढ़ने पर मॉडल उपलब्ध जानकारी का कम इस्तेमाल करते हैं, खासकर जब काम की जानकारी कम उपयोगी सामग्री के बीच दबी हो।

इस लेख में बताया गया है कि कॉन्टेक्स्ट विंडो कैसे काम करती हैं, इन्हें कैसे मापा जाता है, इनके भर जाने पर क्या होता है और डेवलपर इन्हें प्रभावी ढंग से कैसे मैनेज कर सकते हैं।

सारांश

• कॉन्टेक्स्ट विंडो वह कुल टोकन बजट है जिसका इस्तेमाल LLM एक अनुरोध के लिए करता है। इसमें यूज़र प्रॉम्प्ट, बातचीत का इतिहास, प्राप्त की गई सामग्री और आउटपुट शामिल होते हैं।
• बड़ी कॉन्टेक्स्ट विंडो लंबे दस्तावेज़ों, कोडबेस और बातचीत को संभव बनाती हैं, लेकिन इस बात की गारंटी नहीं देतीं कि मॉडल उनके हर हिस्से का अच्छी तरह इस्तेमाल करेगा।
• मॉडल लंबे प्रॉम्प्ट के बीच से जानकारी सबसे कम भरोसेमंद ढंग से प्राप्त करते हैं। यह पैटर्न Lost in the Middle स्टडी और RULER बेंचमार्क में दर्ज है।
• प्रभावी कॉन्टेक्स्ट मैनेजमेंट (रिट्रीवल, सारांश और कैशिंग) आमतौर पर भेजे जाने वाले टोकन की संख्या को बस अधिकतम करने से बेहतर होता है।
• सबसे अच्छी कॉन्टेक्स्ट रणनीति वही है जो आपके वास्तविक वर्कलोड के अनुकूल हो, न कि वह जो सबसे बड़ी घोषित कॉन्टेक्स्ट विंडो का इस्तेमाल करती हो।

AI मॉडल में कॉन्टेक्स्ट विंडो क्या होती है?

कॉन्टेक्स्ट विंडो मॉडल का सक्रिय वर्कस्पेस है, जहां मौजूदा अनुरोध से जुड़ी हर चीज़ मॉडल के जवाब जनरेट करने से पहले एक साथ आती है।

किसी AI एजेंट को लें, जो कस्टमर सपोर्ट बातचीत का सारांश बनाता है और समाधान सुझाता है। यह अच्छी तरह करने के लिए मॉडल को इन चीज़ों को प्रोसेस करना होता है:

• सिस्टम प्रॉम्प्ट
• कस्टमर का संदेश
• बातचीत का इतिहास
• कंपनी की नीतियां
• टूल और API के नतीजे
• आउटपुट

विंडो कितनी भी बड़ी हो, ये सभी चीज़ें उसी कॉन्टेक्स्ट विंडो में जगह के लिए प्रतिस्पर्धा करती हैं।

कॉन्टेक्स्ट विंडो में ट्रेनिंग डेटा शामिल नहीं होता। ट्रेनिंग जानकारी को मॉडल के पैरामीटर्स में स्थायी रूप से शामिल कर देती है, जिससे वह सामान्य रूप से क्या “जानता” है, यह तय होता है। दूसरी ओर, कॉन्टेक्स्ट विंडो में सिर्फ मौजूदा टास्क के लिए दी गई जानकारी रहती है।

व्यवहार में यह अंतर अहम है: अगर किसी एप्लिकेशन को किसी खास नीति, कस्टमर रिकॉर्ड या तकनीकी दस्तावेज़ पर मॉडल से तर्क करवाना है, तो केवल इसलिए वह जानकारी उपलब्ध नहीं हो जाती कि मॉडल को मिलती-जुलती सामग्री पर ट्रेन किया गया था। आम तौर पर उसे प्रॉम्प्ट में सीधे या किसी रिट्रीवल अथवा टूल सिस्टम के ज़रिए मॉडल के वर्किंग कॉन्टेक्स्ट में लाना पड़ता है, वरना मॉडल सामने मौजूद असली दस्तावेज़ के बजाय सामान्य जानकारी से तर्क करेगा।

टोकनाइज़ेशन और कॉन्टेक्स्ट विंडो: डेटा कैसे प्रोसेस होता है

LLM के टेक्स्ट प्रोसेस करने से पहले, एक टोकनाइज़र उसे टोकन नाम की छोटी इकाइयों में बांटता है। टोकन एक पूरे शब्द, शब्द के हिस्से, विराम-चिह्न या टेक्स्ट के किसी दूसरे छोटे हिस्से को दर्शा सकता है।

अंग्रेज़ी के लिए एक उपयोगी अनुमान है कि एक टोकन लगभग चार कैरेक्टर या किसी शब्द के करीब तीन-चौथाई हिस्से के बराबर होता है। इस हिसाब से 100 टोकन लगभग 75 शब्दों के बराबर होते हैं। हालांकि, यह सिर्फ एक अनुमान है। “Context windows affect application performance.” वाक्यांश पर विचार करें। ज़रूरी नहीं कि टोकनाइज़र इसे पांच पूरे शब्दों के रूप में दिखाए; टोकनाइज़र के आधार पर एक या अधिक शब्द कई सबवर्ड टोकन में बंट सकते हैं।

टोकनाइज़ेशन भाषाओं के बीच भी काफी अलग होता है। समान अर्थ और दिखने में समान लंबाई वाले दो वाक्य, भाषा और टोकनाइज़र के आधार पर बहुत अलग संख्या में टोकन इस्तेमाल कर सकते हैं। टोकनाइज़र निष्पक्षता पर रिसर्च में पाया गया है कि बहुभाषी सपोर्ट के लिए बनाए गए टोकनाइज़र में भी, समान टेक्स्ट की टोकनाइज़ की गई लंबाई कुछ भाषा-युग्मों में 15 गुना तक अलग हो सकती है। बहुभाषी एप्लिकेशन बनाने वाले डेवलपर को शब्दों की संख्या से अनुमान लगाने के बजाय अपने मॉडल के वास्तविक टोकनाइज़र से टोकन उपयोग मापना चाहिए।

2,00,000 टोकन की कॉन्टेक्स्ट विंडो बहुत बड़ी लग सकती है, लेकिन बातचीत का इतिहास, प्राप्त डॉक्यूमेंटेशन, टूल रिस्पॉन्स और सिस्टम निर्देश लगातार जोड़ने वाला एप्लिकेशन उम्मीद से जल्दी इस सीमा तक पहुंच सकता है। इसलिए, प्रोडक्शन एप्लिकेशन अक्सर टोकन उपयोग पर नज़र रखते हैं और सक्रिय कॉन्टेक्स्ट में सबसे प्रासंगिक जानकारी रखने के लिए सारांश, हिस्ट्री प्रूनिंग, रिट्रीवल फ़िल्टरिंग और प्रॉम्प्ट कंप्रेशन जैसी तकनीकों का उपयोग करते हैं।

भाषा मॉडलों में कॉन्टेक्स्ट विंडो कैसे काम करती है?

कॉन्टेक्स्ट विंडो ट्रांसफॉर्मर आर्किटेक्चर के अटेंशन मैकेनिज़्म के ज़रिए काम करती है। मॉडल जवाब देने से पहले यह मैकेनिज़्म गणना करता है कि इनपुट का हर टोकन दूसरे हर टोकन से कैसे जुड़ा है।

वाक्य लें: "कस्टमर ने लैपटॉप वापस कर दिया क्योंकि उसने चार्ज होना बंद कर दिया था।" इसे सही समझने के लिए मॉडल को यह पता लगाना होता है कि कस्टमर, लैपटॉप, वापस करना और चार्ज होना एक-दूसरे से कैसे जुड़े हैं। जैसे-जैसे सीक्वेंस लंबा होता है, इन संबंधों की संख्या तेज़ी से बढ़ती है।

स्टैंडर्ड सेल्फ-अटेंशन में जरूरी कंप्यूटेशन, सीक्वेंस की लंबाई के वर्ग के अनुसार लगभग बढ़ता है। उदाहरण के लिए, 10,000-टोकन के प्रॉम्प्ट में करीब 100 मिलियन जोड़ीदार तुलनाएं चाहिए, जबकि 100,000-टोकन के प्रॉम्प्ट में करीब 10 बिलियन। आधुनिक मॉडल इस लागत को व्यवहार में कम करने के लिए कई आर्किटेक्चरल और इन्फ्रास्ट्रक्चर ऑप्टिमाइज़ेशन इस्तेमाल करते हैं, लेकिन स्केलिंग की मूल समस्या खत्म नहीं होती।

लंबी बातचीत दूसरी सीमा जोड़ती है: की-वैल्यू या KV कैश। जनरेशन के दौरान मॉडल हर नए टोकन के लिए पहले के टोकन की फिर से गणना करने के बजाय उनके मध्यवर्ती निरूपण बनाए रखते हैं, जिससे इंफरेंस काफी तेज़ होता है। हालांकि, कैश खुद मेमोरी लेता है और सीक्वेंस लंबा होने पर बढ़ता जाता है।

AI मॉडलों में अधिकतम कॉन्टेक्स्ट लंबाई और इसका महत्व

मॉडल की अधिकतम कॉन्टेक्स्ट लंबाई तय करती है कि वह एक अनुरोध में कितनी जानकारी स्वीकार और प्रोसेस कर सकता है। हालांकि, मॉडल बड़ी कॉन्टेक्स्ट विंडो का प्रभावी इस्तेमाल करता है या नहीं, यह अलग सवाल है।

लंबी कॉन्टेक्स्ट विंडो ऐसे उपयोग के मामले संभव बनाती हैं जो पहले के LLM के साथ मुश्किल या अव्यावहारिक थे। डेवलपर सामग्री को पहले कुछ हज़ार टोकन तक सीमित किए बिना मॉडल को पूरा कोड रिपॉज़िटरी, लंबा कानूनी दस्तावेज़, रिसर्च पेपर, मीटिंग ट्रांसक्रिप्ट या बड़ा बातचीत इतिहास दे सकते हैं।

यह अहम है क्योंकि मूल कॉन्टेक्स्ट का अधिक हिस्सा बनाए रखने से मॉडल की सवालों के सटीक जवाब देने, जानकारी के दूर-दराज़ हिस्सों के बीच संबंध पहचानने और ऐसे टास्क करने की क्षमता बेहतर हो सकती है जो पूरे दस्तावेज़ पर निर्भर हों। उदाहरण के लिए, कोडिंग असिस्टेंट को यह समझने के लिए कई फ़ाइलें देखनी पड़ सकती हैं कि कोई फ़ंक्शन कैसे कॉल किया जाता है, जबकि कानूनी-दस्तावेज़ असिस्टेंट को एक सेक्शन की परिभाषाओं की तुलना दस्तावेज़ में बहुत बाद में बताई गई बाध्यताओं से करनी पड़ सकती है।

हालांकि, बड़ी कॉन्टेक्स्ट विंडो अपने-आप बेहतर नतीजे नहीं देती। बहुत लंबे इनपुट लागत और लेटेंसी बढ़ा सकते हैं, और मॉडल बड़े कॉन्टेक्स्ट के बीच दबी जानकारी पर कम ध्यान दे सकते हैं। इसलिए डेवलपर को प्रासंगिक जानकारी चुनकर शामिल करनी चाहिए, लंबे इनपुट को साफ़ ढंग से व्यवस्थित करना चाहिए और जरूरत पड़ने पर रिट्रीवल, सारांश और कॉन्टेक्स्ट प्रूनिंग जैसी तकनीकें इस्तेमाल करनी चाहिए।

मॉडल के अनुसार कॉन्टेक्स्ट विंडो आकारों की तुलना

आज के प्रमुख मॉडल परिवारों में कॉन्टेक्स्ट विंडो का आकार कुछ लाख टोकन से लेकर 10 मिलियन तक बहुत अलग है। मौजूदा फ्लैगशिप मॉडल की तुलना यहां दी गई है:

प्रोवाइडर नए मॉडल जारी करते और अपनी सीमाएं बढ़ाते रहते हैं, इसलिए घोषित सीमाएं जल्दी बदलती हैं। ऐसे किसी भी टेबल को स्थायी रैंकिंग नहीं, बल्कि एक समय की झलक मानें। मॉडल चुनने में कॉन्टेक्स्ट आकार भी केवल एक कारक है। यह अपने-आप रीजनिंग क्वालिटी, आउटपुट सीमाओं, लेटेंसी या लागत के बारे में कुछ नहीं बताता।

छोटी और बड़ी कॉन्टेक्स्ट विंडो के प्रभाव

छोटी कॉन्टेक्स्ट विंडो डेवलपर को चुनिंदा होने के लिए मजबूर करती है। लंबे दस्तावेज़ों को हिस्सों में बांटा जाता है, पुराने बातचीत इतिहास का सारांश बनाया जाता है और बाहरी ज्ञान सिर्फ वास्तव में जरूरत पड़ने पर प्राप्त किया जाता है।

बड़ी कॉन्टेक्स्ट विंडो इनमें से कुछ सीमाएं हटा देती है। आप हर चीज़ को पहले अलग-अलग हिस्सों में बांटे बिना ज़्यादा उदाहरण दे सकते हैं, ज़्यादा बातचीत इतिहास सुरक्षित रख सकते हैं या बड़े दस्तावेज़-समूह का विश्लेषण कर सकते हैं।

हालांकि, बड़ी विंडो एक अलग समस्या लाती है: अटेंशन डाइल्यूशन। जब प्रॉम्प्ट में बहुत अधिक जानकारी होती है, तो मॉडल को यह पहचानने में मुश्किल हो सकती है कि मौजूदा अनुरोध के लिए कौन-से विवरण सबसे ज़्यादा प्रासंगिक हैं। अहम निर्देश या सबूत कम प्रासंगिक सामग्री के बीच दब सकते हैं, जिससे अधूरे, असंगत या कम सटीक जवाबों का जोखिम बढ़ता है।

मॉडल बीच में क्यों खो जाते हैं

मॉडल लंबी प्रॉम्प्ट की शुरुआत या अंत के पास मौजूद जानकारी को सबसे अच्छी तरह प्राप्त करते हैं, और बीच में दबी जानकारी को सबसे खराब ढंग से। प्रभावशाली बीच में खो जाना स्टडी ने लंबे प्रॉम्प्ट के भीतर किसी सवाल के जवाब को अलग-अलग स्थानों पर रखकर और यह मापकर कि मॉडल उसे कितनी बार ढूंढ पाए, इसका सीधा परीक्षण किया। कॉन्टेक्स्ट की शुरुआत और अंत में सटीकता लगातार सबसे अधिक और बीच में सबसे कम रही।

इसका मतलब है कि मॉडल तकनीकी रूप से कोई दस्तावेज़ स्वीकार कर सकता है, लेकिन उसके हर हिस्से का भरोसेमंद ढंग से इस्तेमाल नहीं कर सकता। किसी कस्टमर के सवाल का जवाब 100 सपोर्ट दस्तावेज़ों में से एक में है, इसलिए अगर आप LLM को वे 100 दस्तावेज़ भेजते हैं, तो बड़ी कॉन्टेक्स्ट विंडो उन सभी को समेट सकती है। लेकिन मॉडल को फिर भी 99 अप्रासंगिक हिस्सों में से एक प्रासंगिक अंश चुनना होता है, और लंबी विंडो इसकी गारंटी नहीं देती।

इसलिए किसी मॉडल की घोषित कॉन्टेक्स्ट विंडो और किसी खास वर्कलोड के लिए उसकी प्रभावी कॉन्टेक्स्ट विंडो में अंतर करना ज़रूरी है। RULER औरLongBench जैसे बेंचमार्क इस अंतर को मापने की कोशिश करते हैं। RULER ने पाया कि साधारण रिट्रीवल टेस्ट में लगभग परफेक्ट स्कोर करने वाले मॉडल भी कॉन्टेक्स्ट लंबाई और टास्क जटिलता बढ़ने पर कमजोर हुए। LongBench दस्तावेज़ प्रश्न-उत्तर, मल्टी-डॉक्यूमेंट रीजनिंग, सारांश, फ्यू-शॉट लर्निंग और कोड कंप्लीशन समेत व्यापक टास्क का मूल्यांकन करता है।

लंबा कॉन्टेक्स्ट फिर भी वास्तविक लाभ देता है। क्षमता और समझ अलग गुण हैं, और किसी टास्क के लिए मॉडल चुनते समय दोनों अहम हैं।

कॉन्टेक्स्ट सीमाओं का प्रबंधन: डेवलपर के लिए बेहतरीन तरीके

अच्छे कॉन्टेक्स्ट मैनेजमेंट का मतलब है मॉडल तक पहुंचने वाली जानकारी को नियंत्रित करना: हर अनुरोध में टोकन की संख्या अधिकतम करने की कोशिश के बजाय, टास्क के लिए प्रासंगिक जानकारी सही समय पर देना। नीचे दिए गए तरीके डेवलपर को गैर-ज़रूरी कॉन्टेक्स्ट घटाने, रिस्पॉन्स क्वालिटी सुधारने और लागत व लेटेंसी नियंत्रित करने में मदद कर सकते हैं।

1. सब कुछ लोड करने के बजाय प्रासंगिक जानकारी प्राप्त करें

रिट्रीवल-ऑगमेंटेड जनरेशन या RAG एप्लिकेशन को बाहरी नॉलेज बेस में खोजने और मॉडल के कॉन्टेक्स्ट में सिर्फ प्रासंगिक अंश डालने देता है। हर सपोर्ट अनुरोध में 500 पेज की पूरी मैनुअल डालने के बजाय, एप्लिकेशन कस्टमर के असल सवाल से सबसे करीब के कुछ अंश प्राप्त करता है।

इससे टोकन उपयोग घटता है और मॉडल को यह स्पष्ट संकेत मिलता है कि क्या अहम है। रिट्रीवल की क्वालिटी अब भी मायने रखती है: प्रोडक्शन RAG सिस्टम आम तौर पर दस्तावेज़ों को सावधानी से चंक करके, कई संभावित अंश प्राप्त करके, उन्हें री-रैंक करके और अंतिम प्रॉम्प्ट बनाने से पहले अप्रासंगिक चीज़ें फ़िल्टर करके नतीजे बेहतर बनाते हैं। उदाहरण के लिए, ElevenLabs ने अपनी RAG पाइपलाइन को फिर से बनाया ताकि क्वेरी री-राइटिंग और पैरलल मॉडल कॉल जोड़े जा सकें, जिससे मीडियन रिट्रीवल लेटेंसी आधी हो गई।

2. बातचीत के इतिहास को सोच-समझकर मैनेज करें

कन्वर्सेशनल एप्लिकेशन जल्दी कॉन्टेक्स्ट इकट्ठा करते हैं। पिछले हर संदेश को अनिश्चित समय तक जोड़ते रहना टोकन बर्बाद करता है और बाद के टर्न में अप्रासंगिक विवरण ला सकता है।

एप्लिकेशन सबसे हाल के टर्न रखते हैं, पुराने संवादों का सारांश बनाते हैं, स्थायी तथ्यों को स्ट्रक्चर्ड मेमोरी में निकालते हैं और पुराने विवरण सिर्फ तब प्राप्त करते हैं जब वे फिर से प्रासंगिक बनते हैं। इससे अल्पकालिक कन्वर्सेशनल कॉन्टेक्स्ट, जिसकी मॉडल को तुरंत जरूरत होती है, और दीर्घकालिक एप्लिकेशन मेमोरी, जिसे बाद में वापस लाया जा सकता है, के बीच उपयोगी विभाजन बनता है।

3. कॉन्टेक्स्ट दोहराने पर कैशिंग का इस्तेमाल करें

कई एप्लिकेशन एक जैसे बड़े निर्देश बार-बार भेजते हैं या उन सवालों के जवाब देते हैं जो पहले संभाले गए सवालों जैसे अर्थ रखते हैं। कैशिंग इस ओवरहेड को घटाती है।

प्रॉम्प्ट या कॉन्टेक्स्ट कैशिंग दोहराए गए इनपुट का अधिक कुशलता से दोबारा इस्तेमाल करने देती है, और सेमांटिक कैशिंग इससे एक कदम आगे जाकर पहचानती है कि कोई नया सवाल उस सवाल के लगभग समान अर्थ रखता है जिसका सिस्टम पहले जवाब दे चुका है। "आपकी रिटर्न पॉलिसी क्या है?" और "मेरे पास कोई आइटम लौटाने के लिए कितना समय है?" अलग स्ट्रिंग हैं, लेकिन सेमांटिक कैश इन्हें एक ही सवाल मान सकता है, जिससे पूरी जनरेशन कॉल को छोड़ा जा सकता है और लेटेंसी व टोकन लागत दोनों घटती हैं।

4. वास्तविक कॉन्टेक्स्ट लंबाई पर परफॉर्मेंस मापें

कॉन्टेक्स्ट रणनीति सिर्फ मॉडल प्रोवाइडर की घोषित टोकन सीमा के आधार पर न चुनें। प्रोडक्शन के प्रतिनिधि वर्कलोड टेस्ट करें और कॉन्टेक्स्ट लंबाई बढ़ने पर रिस्पॉन्स क्वालिटी, रिट्रीवल सटीकता, लेटेंसी, टोकन उपयोग, लागत और फेल्योर रेट मापें।

ज़्यादा कॉन्टेक्स्ट देने, कम अंश प्राप्त करने, बातचीत इतिहास का सारांश बनाने या रिट्रीवल को सारांश के साथ जोड़ने जैसी रणनीतियों की तुलना करें। एक मिलियन टोकन कॉन्टेक्स्ट विंडो वाला मॉडल तकनीकी रूप से आपके एप्लिकेशन को सपोर्ट कर सकता है, जबकि छोटी लेकिन सावधानी से प्राप्त की गई प्रॉम्प्ट कम लागत पर ज़्यादा तेज़ और सटीक नतीजे दे सकती है।

स्केलेबल भाषा समाधानों के लिए ElevenAgents से शुरुआत करें

कॉन्टेक्स्ट मैनेजमेंट कन्वर्सेशनल एजेंट में सबसे अहम होता है। उन्हें मौजूदा कथन को पिछले टर्न, बिज़नेस निर्देशों, कस्टमर जानकारी, नॉलेज बेस सामग्री और टूल नतीजों के साथ जोड़ना होता है, और साथ ही इतनी तेज़ी से जवाब देना होता है कि बातचीत स्वाभाविक लगे।

ElevenAgents इन सभी हिस्सों को AI वॉइस एजेंट बनाने और डिप्लॉय करने के लिए एक प्लेटफ़ॉर्म में लाता है। इसका ऑर्केस्ट्रेशन इंजन स्पीच रिकग्निशन, एक LLM और टेक्स्ट टू स्पीच का समन्वय करता है, जबकि डेवलपर प्रॉम्प्ट, नॉलेज बेस, टूल, वर्कफ़्लो और आधारभूत भाषा मॉडल कॉन्फ़िगर करते हैं। अभिव्यक्तिपूर्ण डिलीवरी, जिसमें एजेंट बोलने में भावनात्मक संदर्भ कैसे व्यक्त करता है, उसी कॉन्टेक्स्ट पर निर्भर करती है जो सबसे पहले एजेंट के कहने की बात को आकार देता है।

खास तौर पर नॉलेज मैनेजमेंट के लिए, ElevenAgents फुल-कॉन्टेक्स्ट दस्तावेज़ों और RAG को सपोर्ट करता है, जिसे सीधे प्लेटफ़ॉर्म पर कॉन्फ़िगर किया जा सकता है। छोटे दस्तावेज़ सीधे एजेंट के प्रॉम्प्ट में जाते हैं, इसलिए उनकी सामग्री पूरी बातचीत के दौरान उपलब्ध रहती है। इसके बजाय बड़े नॉलेज बेस को इंडेक्स किया जाता है, जहां RAG हर क्वेरी के लिए प्रासंगिक अंश प्राप्त करता है, न कि सब कुछ एक साथ कॉन्टेक्स्ट विंडो में लोड करता है।

आज ही ElevenAgents के लिए साइन अप करके शुरुआत करें या हमारी टीम से बात करें और अपने डिप्लॉयमेंट विकल्पों के बारे में जानें।

कॉन्टेक्स्ट विंडो FAQ