इंटेंट रिकग्निशन क्या है: NLP में यूज़र के लक्ष्यों को समझना

यूज़र का हर संदेश—चाहे वह किसी LLM एजेंट को लिखा गया हो या Google में इनपुट किया गया हो—के पीछे एक इंटेंट होता है। वे कोई लक्ष्य हासिल करना चाहते हैं, चाहे खास जानकारी ढूँढना हो या कोई काम करना हो।

इंटेंट रिकग्निशन में उस लक्ष्य की पहचान की जाती है, लक्ष्य के आधार पर यूज़र की ज़रूरतों को समझा जाता है और अनुरोध को यथासंभव सटीकता से पूरा किया जाता है। इंटेंट को अच्छी तरह समझने वाला सिस्टम सटीक जवाब देकर ग्राहकों को बेहतर सेवा देता है, जिससे जुड़ाव और संतुष्टि बढ़ती है।

इस लेख में हम जानेंगे कि इंटेंट रिकग्निशन क्या है और LLM सर्च के दौर में इंटेंट कैसे विकसित हुआ है।

सारांश

• इंटेंट रिकग्निशन, नेचुरल लैंग्वेज प्रोसेसिंग की एक तकनीक है जो किसी इनपुट के लक्ष्य को वर्गीकृत करती है।
• बातचीत में इंटेंट पहचानने के लिए मॉडल चार चरणों से गुज़रता है: बातचीत का प्रीप्रोसेसिंग, फीचर एक्सट्रैक्शन, क्लासिफिकेशन और एंटिटी एक्सट्रैक्शन।
• LLM के साथ बातचीत में इंटेंट जानकारी संबंधी, लेन-देन संबंधी, संवादात्मक या नेविगेशन संबंधी हो सकता है।
• इंटेंट रिकग्निशन को फाइनट्यून करते समय शोधकर्ता आम तौर पर भाषाई अस्पष्टता, दायरे से बाहर के इनपुट और कई इंटेंट वाली बातचीत जैसी चुनौतियों पर विचार करते हैं।

इंटेंट रिकग्निशन क्या है?

इंटेंट रिकग्निशन, नेचुरल लैंग्वेज प्रोसेसिंग (NLP) की एक तकनीक है, जो यूज़र संदर्भ के अनुसार क्या हासिल करना चाहता है, इसके आधार पर बोले या लिखे गए इनपुट को वर्गीकृत करती है। इसी वर्गीकरण के कारण इसे कभी-कभी इंटेंट क्लासिफिकेशन भी कहा जाता है, क्योंकि सॉफ़्टवेयर को इनपुट समझकर सही कार्रवाई तय करनी होती है।

ध्यान रखें कि इंटेंट रिकग्निशन सिर्फ़ कीवर्ड मैचिंग नहीं है। एक ही लक्ष्य को व्यक्त करने के बहुत से भाषाई तरीके होते हैं, इसलिए केवल मैचिंग पर्याप्त नहीं होती। उदाहरण के लिए, “मेरी यूज़र डिटेल्स काम नहीं कर रही हैं,” “मैं लॉग इन क्यों नहीं कर पा रहा/रही हूँ?”, “मेरा अकाउंट लॉक लग रहा है,” और “मेरा पासवर्ड काम नहीं कर रहा” एक ही मूल इंटेंट को लिखने के अलग-अलग तरीके हैं।

NLP के एक फ़ंक्शन के रूप में इंटेंट रिकग्निशन का इस्तेमाल करके, आर्टिफ़िशियल इंटेलिजेंस सिस्टम बेहतर ढंग से समझ सकते हैं कि यूज़र बातचीत से क्या चाहता है। इससे वे हर बातचीत में सबसे अच्छा अनुभव दे पाते हैं। 

इंटेंट रिकग्निशन कैसे काम करता है?

इंटेंट रिकग्निशन के लिए AI सिस्टम की सटीक आर्किटेक्चर प्रोवाइडर पर निर्भर करती है। फिर भी, आम तौर पर सिस्टम रॉ इनपुट को स्पष्ट रूप से परिभाषित इंटेंट में बदलने के लिए इन्हीं चार मुख्य चरणों के किसी रूप का उपयोग करता है।

इंटेंट रिकग्निशन के चार चरण ये हैं:

1. प्रीप्रोसेसिंग
2. फीचर एक्सट्रैक्शन
3. क्लासिफिकेशन
4. एंटिटी एक्सट्रैक्शन

आइए इन्हें विस्तार से समझते हैं।

प्रीप्रोसेसिंग

वॉइस हो या टेक्स्ट, इनपुट को साफ़ करना ज़रूरी है ताकि मॉडल के पास काम करने के लिए एक समान और पहचानने योग्य फ़ॉर्मैट हो। टेक्स्ट में इसमें वर्तनी की गलतियाँ सुधारना, विराम चिह्न और कैपिटलाइज़ेशन हटाना, फिर टोकनाइज़ेशन के ज़रिए असामान्य या लंबे शब्दों को छोटे सबवर्ड यूनिट्स में बाँटना शामिल है। स्पष्टता के लिए इस चरण में “a” और “the” जैसे अधिक बार आने वाले फ़ंक्शन शब्द भी हटाए जा सकते हैं, बशर्ते वे वाक्य के अर्थ को सीधे प्रभावित न करते हों।

ऑटोमैटिक स्पीच रिकग्निशन पाइपलाइनों में, मॉडल नॉर्मलाइज़्ड ट्रांसक्रिप्ट पर काम शुरू करे उससे पहले सिस्टम को आने वाले वॉइस डेटा को पहले टेक्स्ट में ट्रांसक्राइब करना होता है। इससे प्रीप्रोसेसिंग में एक और चरण जुड़ जाता है।

फीचर एक्सट्रैक्शन

साफ़ किए गए टेक्स्ट को फिर एक संख्यात्मक रूप में बदला जाता है, जिस पर सॉफ़्टवेयर काम कर सके। फीचर एक्सट्रैक्शन वाक्य का अर्थ बनाए रखता है, लेकिन उसे संख्यात्मक रूप में दर्शाता है।

पिछले कुछ वर्षों में शोधकर्ताओं की इस चरण में अपनाई जाने वाली रणनीतियाँ काफ़ी विकसित हुई हैं। पहले Bag-of-Words मॉडल या Term Frequency-Inverse Document Frequency (TF-IDF) रिप्रेज़ेंटेशन का उपयोग करके शब्दों को उनकी विशिष्टता या आवृत्ति के आधार पर वेट दिया जाता था। इससे जल्दी नतीजे मिलते थे, लेकिन वाक्यों की बारीकियाँ समझ में नहीं आती थीं। आखिरकार, “मैं कैंसल नहीं करना चाहता/चाहती” और “मैं कैंसल करना चाहता/चाहती हूँ” में लगभग सभी शब्द एक जैसे हैं, लेकिन दोनों का अर्थ बिल्कुल अलग है।

TF-IDF के लिए एक और मुश्किल उदाहरण “कुत्ता बिल्ली को काटता है” और “बिल्ली कुत्ते को काटती है” हो सकता है, जहाँ वाक्य में बहुत कम बदलाव से अर्थ पूरी तरह बदल जाता है।

फीचर एक्सट्रैक्शन का आधुनिक तरीका डेंस वेक्टर रिप्रेज़ेंटेशन का इस्तेमाल करके यूज़र के इनपुट को दर्शाने वाला वेक्टर एम्बेडिंग बनाना है। ये एम्बेडिंग निकटता की दूरी के ज़रिए संदर्भ को जोड़ते हैं और समान अर्थ वाले शब्दों को समूहित कर उनके स्थानिक संबंध से संदर्भ का अनुमान लगाते हैं।

Transformer-आधारित एनकोडर इसे और आगे ले जाते हैं और संदर्भात्मक मैप बनाते हैं, जहाँ किसी शब्द का वेक्टर उसके आसपास के शब्दों के आधार पर बदलता है। यह उन शब्दों के लिए ज़रूरी है जिनके अर्थ संदर्भ के अनुसार कई हो सकते हैं (“कृपया ये निर्देश पढ़ें,” “मैंने वह लेख कल पढ़ा था”)। 

वाक्य का संदर्भात्मक रिप्रेज़ेंटेशन ही इंटेंट रिकग्निशन सिस्टम को यह समझने और बाद के चरणों में वर्गीकृत करने की क्षमता देता है कि यूज़र क्या चाहता है।

क्लासिफिकेशन

इनपुट का स्पष्ट रिप्रेज़ेंटेशन मिलने पर मॉडल उस इनपुट की तुलना इंटेंट के अलग-अलग ज्ञात मामलों से कर सकता है और ऐसा करते समय कॉन्फिडेंस वैल्यू असाइन करता है। इंटेंट के प्रकारों को देखने के बाद, वह सबसे अधिक कॉन्फिडेंस वैल्यू वाले इंटेंट को चुनता है।

कुछ टीमें क्लासिफिकेशन के लिए कॉन्फिडेंस थ्रेशहोल्ड के साथ प्रयोग करती हैं। इसे बहुत कम रखने पर काफ़ी गलत इंटेंट भी अगले चरण तक पहुँच सकता है। लेकिन इसे बहुत ज़्यादा रखने पर मॉडल इंटेंट को निश्चित रूप से वर्गीकृत नहीं कर पाएगा और अगले चरण में आगे नहीं बढ़ सकेगा।

अपने क्लासिफिकेशन मॉडल को फाइनट्यून करने से आपको अपने बिज़नेस के लिए सबसे उपयुक्त वैल्यू ढूँढने में मदद मिलेगी। 

अगर मॉडल किसी इंटेंट की पहचान नहीं कर पाता, तो कॉन्फ़िगर होने पर वह यूज़र से और सवाल पूछेगा या किसी ह्यूमन एजेंट को मामला एस्केलेट करेगा।

एंटिटी एक्सट्रैक्शन

हम एंटिटी एक्सट्रैक्शन को अलग चरण के रूप में बता रहे हैं, लेकिन वास्तव में यह क्लासिफिकेशन के साथ-साथ चलता है। एंटिटी एक्सट्रैक्शन इनपुट से ऐसी जानकारी निकालता है जो बाद में जवाब देने में उपयोगी होगी, जैसे ऑर्डर नंबर, अकाउंट डिटेल्स, प्रोडक्ट के नाम या अन्य विशिष्ट जानकारी, जो मॉडल को अनुरोध पूरा करने में मदद करे।

इस चरण में निकाली गई एंटिटीज़ अनुरोध को सफलतापूर्वक पूरा करने के लिए यूज़र-विशिष्ट जानकारी देती हैं। उदाहरण के लिए, अगर क्लासिफिकेशन यह पहचानता है कि यूज़र ऑर्डर कैंसल करना चाहता है, तो एंटिटी एक्सट्रैक्शन एजेंट को बताएगा कि किस ऑर्डर और किस ग्राहक अकाउंट पर कार्रवाई करनी है।

इंटेंट रिकग्निशन बनाम इंटेंट डिटेक्शन

इंटेंट रिकग्निशन और इंटेंट डिटेक्शन का अक्सर एक-दूसरे के स्थान पर इस्तेमाल होता है, हालांकि इनके अर्थ थोड़े अलग हैं। इंटेंट रिकग्निशन यूज़र के अनुरोध में मौजूद इंटेंट को वर्गीकृत करने की पूरी प्रक्रिया है। इंटेंट डिटेक्शन इस प्रक्रिया के केवल पहले चरण को कवर करता है, जिसमें यह पता लगाया जाता है कि यूज़र के जवाब में कोई इंटेंट है भी या नहीं।

व्यवहार में, यह अंतर सिर्फ़ एज केस में मायने रखता है। उदाहरण के लिए, एक कस्टमर सपोर्ट एजेंट जिसे अपने सीखे हुए संदर्भ से बिल्कुल असंबंधित सवाल मिलता है, वह पहले इंटेंट डिटेक्शन से पहचान सकता है कि इंटेंट उसके नॉलेज बेस पर लागू नहीं होता। इसके बाद वह क्या करता है, जैसे सही तरीके से जवाब न दे पाना, यह इंटेंट रिकग्निशन कॉन्फ़िगरेशन से तय होता है।

इंटेंट के प्रकार

जितने सवाल हैं, लगभग उतने ही विशिष्ट इंटेंट होते हैं। सवाल लिखने के हर संभावित तरीके के लिए अलग इंटेंट की ज़रूरत नहीं होती; सिस्टम आम तौर पर पहले इंटेंट की श्रेणी पहचानता है और फिर उसके अनुसार कार्रवाई करता है।

NLP सिस्टम में इंटेंट के मुख्य प्रकार ये हैं:

• जानकारी संबंधी इंटेंट: ऐसे इनपुट को दर्शाता है जहाँ यूज़र का मुख्य उद्देश्य खास जानकारी सीखना या पाना होता है। सही जवाब में अनुरोध की गई सामग्री देनी चाहिए, चाहे स्पष्टीकरण के रूप में या सही संसाधनों की ओर निर्देशित करके, जहाँ यूज़र जानकारी पा सके।
• नेविगेशन संबंधी इंटेंट: यह तब होता है जब यूज़र कोई खास संसाधन या पेज ढूँढना चाहता है। सिस्टम इस इंटेंट को वर्गीकृत करेगा और एंटिटीज़ निकालकर उन्हें सही जगह भेजेगा।
• लेन-देन संबंधी इंटेंट: यह ऐसे इनपुट को दर्शाता है जहाँ यूज़र कोई खास लक्ष्य हासिल करना चाहता है, जैसे अपॉइंटमेंट बुक करना या सब्सक्रिप्शन कैंसल करना। लेन-देन संबंधी इंटेंट हमेशा परिणामकारी कार्रवाइयों पर आधारित होता है।
• संवादात्मक इंटेंट: ऐसे इनपुट को दर्शाता है जो बाकी श्रेणियों के बजाय मुख्य रूप से सामाजिक हों। व्यापक रूप से उपलब्ध LLM के बढ़ने के साथ यह इंटेंट अब अधिक आम हो गया है, क्योंकि कुछ लोग सामान्य-उद्देश्य वाले एजेंट का रोज़मर्रा की चैट के इंटरफ़ेस के रूप में इस्तेमाल करते हैं।

एक LLM इन सभी श्रेणियों में इंटेंट के इन सभी प्रकारों को संभाल सकता है। फिर भी, इनपुट किस इंटेंट श्रेणी का है, यह समझने से अधिक सटीक जवाब तैयार करने में मदद मिलती है। एजेंट कौन-से टूल कॉल्स करता है से लेकर उसके सटीक जवाब तक, सब कुछ पहले यूज़र इनपुट के मूल इंटेंट की पहचान पर निर्भर करता है।

अलग-अलग उद्योगों में इंटेंट रिकग्निशन के उपयोग

इंटेंट रिकग्निशन किसी भी ऑटोमेटेड रिस्पॉन्स सिस्टम का केंद्र है, क्योंकि बातचीत को सार्थक बनाने के लिए जवाब का इंटेंट से मेल खाना ज़रूरी है।

अलग-अलग उद्योगों में इंटेंट के उपयोग के कुछ उदाहरण ये हैं:

• कस्टमर सर्विस: वॉइस एजेंट इंटेंट रिकग्निशन का उपयोग करके ग्राहक के बोले गए अनुरोध को समझता है और उसे सही विभाग या संसाधन तक भेजता है। यहाँ गलत वर्गीकरण से ग्राहक गलत स्टाफ सदस्य तक पहुँच सकता है या उसकी समस्या का समाधान नहीं हो सकता।
• हेल्थकेयर: इंटेंट रिकग्निशन बुकिंग मैनेज करने वाले हेल्थकेयर असिस्टेंट को सक्षम बनाता है। अक्सर हेल्थकेयर या फ़ाइनेंस जैसे अधिक जोखिम वाले उद्योग गंभीर गलतियों का कारण बनने वाले गलत वर्गीकरण से बचने के लिए अधिक कॉन्फिडेंस थ्रेशहोल्ड इस्तेमाल करते हैं।
• ह्यूमन रिसोर्सेज़: HR कन्वर्सेशनल असिस्टेंट कंपनी के आंतरिक डॉक्यूमेंट्स में मौजूद हो सकता है और कर्मचारियों को उनके ज़रूरी संसाधनों तक ले जा सकता है। उदाहरण के लिए, कोई कर्मचारी छुट्टी के फ़ायदों के बारे में पूछ सकता है, और एजेंट जानकारी संबंधी इंटेंट समझकर व्यापक विकी से वे विवरण दिखा सकता है।

हर जगह, सटीक इंटेंट रिकग्निशन सफल बातचीत की शुरुआती शर्त है। अगर इंटेंट गलत है, तो उसके बाद की बातचीत भी गलत दिशा में जाएगी। 

इंटेंट रिकग्निशन में चुनौतियाँ

किसी कथन के इंटेंट को पहचानना पूरी तरह एक भाषाई चुनौती है। अर्थ बदलते हैं, शब्द संदर्भ के अनुसार अपना काम बदलते हैं और एक ही वाक्यांश, उसे कैसे कहा गया था, उसके आधार पर अलग अर्थ दे सकता है। खासकर जब इंटेंट रिकग्निशन को तेज़ी से वॉइस एजेंट्स में लागू किया जा रहा है, तो यह आख़िरी बात बेहद महत्वपूर्ण है।

इंटेंट रिकग्निशन की कुछ मुख्य चुनौतियाँ और उनके समाधान ये हैं:

• अस्पष्टता: जब एक ही वाक्यांश, उसे कहने के तरीके के आधार पर दो अलग-अलग अर्थ देता है, तो भाषाई अस्पष्टता इंटेंट रिकग्निशन की निश्चितता कम कर सकती है। इससे निपटने के लिए मॉडल बातचीत के कई टर्न में संदर्भ बनाते हैं, ताकि वे बेहतर ढंग से समझ सकें कि व्यक्ति क्या चाहता है। मॉडल के पास जितना अधिक संदर्भ होगा, जवाब बनाते समय वह उतना ही सटीक होगा।
• मॉडल के दायरे से बाहर की बातचीत: अगर यूज़र मॉडल से ऐसा कुछ पूछता है जो उसके ज्ञान के दायरे से बहुत बाहर है, तो मॉडल इंटेंट को सबसे मिलती-जुलती श्रेणी में गलत तरीके से वर्गीकृत कर सकता है, जिससे गलत जवाब मिलता है। एक समाधान यह है कि ऐसा होने की संभावना घटाने के लिए मॉडल को एज केस पर ट्रेन किया जाए। बातचीत में कुछ विषयों को पार न किया जा सके, इसके लिए गार्डरेल्स के साथ इस तरीके को मिलाने से जोखिम कम होगा।
• कई इंटेंट वाले इनपुट: स्वाभाविक रूप से, बातचीत में इनपुट और इंटेंट का संबंध हमेशा 1:1 नहीं होता। “क्या आप मेरा ऑर्डर कैंसल करने के साथ-साथ भविष्य के ऑर्डर के लिए मेरा शिपिंग पता भी अपडेट कर सकते हैं?” में दो अलग लक्ष्य हैं। मल्टी-लेबल क्लासिफ़ायर इस्तेमाल करने से ऐसे बातचीत स्ट्रिंग्स की पहचान होती है जिनमें एक से अधिक इंटेंट या लक्ष्य हों, और कई मूल इच्छाओं को संभालते समय सटीकता बढ़ती है।

इन चुनौतियों को समझने और पहले से उनके लिए तैयार रहने से शोधकर्ता उन्हें कम करने के उपाय समय रहते लागू कर सकते हैं। 

ElevenAgents के साथ शुरुआत करें

वॉइस एजेंट में इंटेंट रिकग्निशन कन्वर्सेशनल AI सिस्टम को सटीक रखने और ग्राहक संतुष्टि दर को ऊँचा बनाए रखने में मदद करता है। इंटेंट का बार-बार गलत मिलान आपके एजेंट पर ग्राहक का भरोसा कम करेगा और यूज़र के AI सपोर्ट सिस्टम से जुड़ने की इच्छा घटाएगा। 

ElevenAgents इंटेंट रिकग्निशन का उपयोग करके यूज़र की ज़रूरतों को सटीकता से समझता है और बातचीत में उन्हें पूरा करता है—इंटरैक्शन को सही जगह भेजकर, प्रासंगिक जानकारी लाकर या कॉल को ज़रूरत के अनुसार एस्केलेट करके। 

ElevenAgents के बारे में और जानें या साइन अप करें और ऐसे वॉइस एजेंट बनाना शुरू करें जो समझते हों कि आपके यूज़र क्या चाहते हैं। 

इंटेंट रिकग्निशन के बारे में अक्सर पूछे जाने वाले सवाल