माइक्रो वर्चुअल इंटेलिजेंस के रूप में अटेंशन मैकेनिज़्म

वर्तमान जनरेटिव AI एक ऐसी AI तकनीक है, जो ट्रांसफ़ॉर्मर के आविष्कार के कारण विकसित हुई है, और यह एक बड़ी सफलता थी।

अटेंशन मैकेनिज़्म ही एक ऐसी चीज़ है, जो ट्रांसफ़ॉर्मर को एक ही वाक्यांश में परिभाषित करती है। ट्रांसफ़ॉर्मर की घोषणा करने वाले पेपर के शीर्षक में इसे संक्षिप्त रूप से व्यक्त किया गया है: "अटेंशन इज़ ऑल यू नीड।"

इसकी जड़ें इस तथ्य में हैं कि उस समय के AI शोधकर्ता AI को मनुष्यों की तरह कुशलता से प्राकृतिक भाषा को संभालने में सक्षम बनाने के लिए विभिन्न प्रयास और परीक्षण कर रहे थे, विभिन्न सफल तरीकों का नामकरण कर रहे थे और उन पर पेपर प्रकाशित कर रहे थे।

कई शोधकर्ताओं का मानना ​​था कि इन कई अच्छी तरह से काम करने वाले मैकेनिज़्म को विविध तरीकों से संयोजित करने से, AI जो मनुष्यों की तरह प्राकृतिक भाषा को संभाल सकता है, धीरे-धीरे उभरेगा। वे इस प्रकार नए मैकेनिज़्म खोजने पर काम कर रहे थे जो अन्य मैकेनिज़्म के संयोजन में काम कर सकें, और इन मैकेनिज़्म के इष्टतम संयोजनों की खोज कर रहे थे।

हालांकि, ट्रांसफ़ॉर्मर ने इस पारंपरिक ज्ञान को उलट दिया। यह संदेश कि विभिन्न मैकेनिज़्म को संयोजित करने की आवश्यकता नहीं है, और केवल अटेंशन मैकेनिज़्म ही आवश्यक है, पेपर के शीर्षक में व्यक्त किया गया है।

निश्चित रूप से, ट्रांसफ़ॉर्मर में स्वयं विभिन्न मैकेनिज़्म शामिल हैं, लेकिन इसमें कोई संदेह नहीं है कि उनमें से, अटेंशन मैकेनिज़्म विशेष रूप से अभूतपूर्व और विशिष्ट था।

अटेंशन मैकेनिज़्म का अवलोकन

अटेंशन मैकेनिज़्म एक ऐसी प्रणाली है, जो प्राकृतिक भाषा को शब्द-दर-शब्द संसाधित करने की प्रक्रिया के दौरान, यह सीख सकती है कि किसी दिए गए शब्द को संसाधित करते समय उसे वाक्य में मौजूद कई पिछले शब्दों में से किस पर "ध्यान देना" चाहिए।

यह उसे "यह," "वह," या "उपर्युक्त" (जो पिछले वाक्यों में निहित शब्दों को संदर्भित करते हैं) जैसे शब्दों, या "प्रारंभिक वाक्य," "सूचीबद्ध दूसरा उदाहरण," या "पिछला पैराग्राफ" (जो पाठ में स्थितियों को इंगित करते हैं) जैसे वाक्यांशों का सटीक रूप से समझने की अनुमति देता है कि वे क्या संदर्भित कर रहे हैं।

इसके अलावा, यह शब्दों की सही व्याख्या कर सकता है, भले ही वाक्य में संशोधक दूर हों, और भले ही कोई पाठ लंबा हो जाए, यह अन्य वाक्यों के बीच वर्तमान शब्द के संदर्भ को खोए बिना व्याख्या कर सकता है।

यह "अटेंशन" की उपयोगिता है।

इसके विपरीत, इसका यह भी अर्थ है कि वर्तमान में संसाधित किए जा रहे शब्द की व्याख्या करते समय, अनावश्यक शब्दों को अस्पष्ट कर दिया जाता है और व्याख्या से हटा दिया जाता है।

किसी दिए गए शब्द की व्याख्या के लिए केवल आवश्यक शब्दों को बनाए रखने और अप्रासंगिक शब्दों को हटाने से, व्याख्या किए जाने वाले शब्दों का समूह सीमित संख्या में रहता है, चाहे पाठ कितना भी लंबा क्यों न हो, जिससे व्याख्या घनत्व को पतला होने से रोका जा सके।

वर्चुअल इंटेलिजेंस

अब, विषय को थोड़ा बदलते हुए, मैं वर्चुअल इंटेलिजेंस की अवधारणा के बारे में सोच रहा हूँ।

वर्तमान में, जब व्यवसाय के लिए जनरेटिव AI का उपयोग किया जाता है, यदि आप किसी कंपनी के भीतर की सभी जानकारी को समेकित करते हैं और इसे जनरेटिव AI को ज्ञान के रूप में प्रदान करते हैं, तो ज्ञान की भारी मात्रा वास्तव में AI के लिए इसे उचित रूप से संभालना मुश्किल बना सकती है।

इस कारण से, ज्ञान को कार्य के अनुसार विभाजित करना बेहतर होता है, प्रत्येक कार्य के लिए AI चैट तैयार करना या विशिष्ट कार्यों के लिए विशेष AI उपकरण बनाना बेहतर होता है।

इसका तात्पर्य है कि जटिल कार्यों के लिए, इन खंडित ज्ञान-आधारित AI चैट और उपकरणों को संयोजित करना आवश्यक हो जाता है।

यह जनरेटिव AI का उपयोग करते समय एक वर्तमान सीमा है, लेकिन भविष्य के जनरेटिव AI के साथ भी, विशिष्ट कार्यों के लिए, उस कार्य के लिए आवश्यक ज्ञान पर ही ध्यान केंद्रित करने से उच्च सटीकता प्राप्त होनी चाहिए।

इसके बजाय, मेरा मानना है कि भविष्य का जनरेटिव AI, मनुष्य को ज्ञान को खंडित किए बिना भी, स्थिति के आधार पर आंतरिक रूप से आवश्यक ज्ञान सेटों के बीच स्विच करने में सक्षम होगा।

यह क्षमता वर्चुअल इंटेलिजेंस है। यह एक वर्चुअल मशीन की तरह है जो एक ही कंप्यूटर पर कई अलग-अलग ऑपरेटिंग सिस्टम चला सकती है। इसका मतलब है कि एक इंटेलिजेंस के भीतर, विभिन्न विशिष्टताओं के साथ कई वर्चुअल इंटेलिजेंस कार्य कर सकते हैं।

यहां तक कि वर्तमान जनरेटिव AI भी पहले से ही कई लोगों के बीच चर्चा का अनुकरण कर सकता है या कई पात्रों वाली कहानियों को उत्पन्न कर सकता है। इसलिए, वर्चुअल इंटेलिजेंस एक विशेष क्षमता नहीं है, बल्कि वर्तमान जनरेटिव AI का ही एक विस्तार है।

माइक्रो वर्चुअल इंटेलिजेंस

वर्चुअल इंटेलिजेंस की कार्यप्रणाली, जो कार्य के अनुसार आवश्यक ज्ञान को सीमित करती है, अटेंशन मैकेनिज़्म के समान कुछ करती है।

यानी, यह अटेंशन मैकेनिज़्म के समान है कि यह वर्तमान में संसाधित किए जा रहे कार्य के आधार पर केवल प्रासंगिक ज्ञान पर ध्यान केंद्रित करता है।

इसके विपरीत, अटेंशन मैकेनिज़्म को एक ऐसा मैकेनिज़्म कहा जा सकता है जो वर्चुअल इंटेलिजेंस जैसा कुछ महसूस कराता है। हालाँकि, जिस वर्चुअल इंटेलिजेंस पर मैं विचार कर रहा हूँ, वह एक ऐसा मैकेनिज़्म है जो ज्ञान के एक सेट में से प्रासंगिक ज्ञान का चयन करता है, जबकि अटेंशन मैकेनिज़्म शब्दों के एक सेट पर काम करता है।

इस कारण से, अटेंशन मैकेनिज़्म को माइक्रो वर्चुअल इंटेलिजेंस कहा जा सकता है।

स्पष्ट अटेंशन मैकेनिज़्म

यदि हम अटेंशन मैकेनिज़्म को माइक्रो वर्चुअल इंटेलिजेंस के रूप में देखते हैं, तो इसके विपरीत, मैंने जिस वर्चुअल इंटेलिजेंस का पहले उल्लेख किया था, उसे मैक्रो अटेंशन मैकेनिज़्म का निर्माण करके साकार किया जा सकता है।

और इस मैक्रो अटेंशन मैकेनिज़्म को बड़े भाषा मॉडल की आंतरिक संरचना में जोड़ने या न्यूरल नेटवर्क प्रशिक्षण को शामिल करने की आवश्यकता नहीं है।

यह बस प्राकृतिक भाषा में लिखा गया एक स्पष्ट वाक्य हो सकता है, जैसे "कार्य A करते समय, ज्ञान B और ज्ञान C का संदर्भ लें।"

यह कार्य A के लिए आवश्यक ज्ञान को स्पष्ट करता है। यह वाक्य स्वयं एक प्रकार का ज्ञान है।

इसे एक स्पष्ट अटेंशन मैकेनिज़्म कहा जा सकता है। इस वाक्य को अटेंशन ज्ञान के रूप में वर्णित किया जा सकता है, जो स्पष्ट रूप से उस ज्ञान को बताता है जिस पर कार्य A करते समय ध्यान केंद्रित किया जाना चाहिए।

इसके अलावा, इस अटेंशन ज्ञान को जनरेटिव AI द्वारा उत्पन्न या अपडेट किया जा सकता है।

यदि किसी कार्य में ज्ञान की कमी के कारण विफलता होती है, तो एक सबक के रूप में, उस कार्य के लिए संदर्भित किए जाने वाले अतिरिक्त ज्ञान को शामिल करने के लिए अटेंशन ज्ञान को अपडेट किया जा सकता है।

निष्कर्ष

अटेंशन मैकेनिज़्म ने जनरेटिव AI की क्षमताओं में नाटकीय रूप से सुधार किया है।

यह केवल एक ऐसा तंत्र नहीं था जो संयोग से अच्छी तरह से काम कर गया; जैसा कि हमने यहां देखा है, प्रत्येक स्थिति में संदर्भित करने के लिए जानकारी को गतिशील रूप से कम करने का तंत्र ही उन्नत बुद्धिमत्ता का सार प्रतीत होता है।

और वर्चुअल इंटेलिजेंस और स्पष्ट अटेंशन ज्ञान की तरह, अटेंशन मैकेनिज़्म विभिन्न परतों पर बुद्धिमत्ता को पुनरावर्ती रूप से आगे बढ़ाने की कुंजी भी है।