येथे, मी कृत्रिम शिक्षण बुद्धिमत्ता प्रणाली (Artificial Learning Intelligence System: ALIS) च्या संकल्पना आणि तत्त्वे, तसेच तिच्या मूलभूत डिझाइन आणि विकास पद्धतींचा समावेश करून ती संघटित करण्याचा प्रयत्न करणार आहे.
संकल्पना
सध्याची जनरेटिव्ह एआय (generative AI), प्रामुख्याने मोठे भाषिक मॉडेल (large language models), न्यूरल नेटवर्क वापरून पर्यवेक्षित शिक्षणावर (supervised learning) आधारित प्रशिक्षित केली जातात.
आम्ही या न्यूरल नेटवर्क प्रशिक्षण प्रक्रियेला 'जन्मजात शिक्षण' (innate learning) असे स्थान देतो.
एलआयएस (ALIS) ही एक प्रणाली आहे जी जन्मजात शिक्षणापासून वेगळी अशी 'अधिग्रहित शिक्षण' (acquired learning) प्रक्रिया समाविष्ट करून, जन्मजात आणि अधिग्रहित शिक्षण प्रक्रिया दोन्ही एकत्रित करून व्यापक अनुमान (comprehensive inference) सक्षम करते.
या अधिग्रहित शिक्षणामध्ये, शिकलेले ज्ञान न्यूरल नेटवर्कच्या बाहेर संग्रहित केले जाते आणि अनुमानादरम्यान (during inference) वापरले जाते.
म्हणून, एलआयएसचा (ALIS) तांत्रिक गाभा पुनर्वापर करण्यायोग्य ज्ञानाचे निष्कर्षण (extraction), साठवणूक (storage) आणि अनुमानादरम्यान ज्ञानाची निवड व वापर (selection and utilization) यामध्ये आहे.
शिवाय, एलआयएस (ALIS) ही केवळ एक मूलभूत तंत्रज्ञान नाही, तर जन्मजात आणि अधिग्रहित शिक्षण एकत्रित करणारी एक प्रणाली तंत्रज्ञान देखील आहे.
शिक्षण बुद्धिमत्ता प्रणालीचे घटक
एलआयएस (ALIS) सध्याच्या जन्मजात शिक्षणाला (innate learning) आणि भविष्यातील अधिग्रहित शिक्षणाला (acquired learning) शिक्षण आणि अनुमानाच्या चौकटीत समान तत्त्वांवर आधारित मानतो.
एलआयएसमधील (ALIS) शिक्षणाची तत्त्वे स्पष्ट करण्यासाठी, आम्ही शिक्षण बुद्धिमत्ता प्रणालीचे पाच घटक परिभाषित करतो:
पहिले आहे बुद्धिमत्ता प्रोसेसर (Intelligent Processor). हे एक प्रक्रिया प्रणाली आहे जी ज्ञानाचा वापर करून अनुमान करते आणि शिक्षणासाठी ज्ञान निष्कर्षित करते.
बुद्धिमत्ता प्रोसेसरची प्रतिनिधी उदाहरणे म्हणजे एलएलएम (LLMs) आणि मानवी मेंदूचे काही भाग.
दुसरे आहे ज्ञान भांडार (Knowledge Store). हे एक साठवणूक ठिकाण आहे जिथे निष्कर्षित ज्ञान (extracted knowledge) संग्रहित केले जाते आणि आवश्यकतेनुसार ते पुनर्प्राप्त केले जाऊ शकते.
एलएलएममध्ये (LLMs), ज्ञान भांडार हे न्यूरल नेटवर्कचे पॅरामीटर्स (parameters) असतात. मानवांमध्ये, ते मेंदूतील दीर्घकालीन स्मृतीशी (long-term memory) संबंधित आहे.
तिसरे आहे जग (World). हे मानवी किंवा एलआयएस (ALIS) सारख्या शिक्षण बुद्धिमत्ता प्रणालीद्वारे अनुभवले जाणारे बाह्य वातावरण (external environment) संदर्भित करते.
मानवांसाठी, जग म्हणजे प्रत्यक्ष वास्तविकता (reality) आहे. एलएलएमच्या (LLMs) बाबतीत, एलएलएमकडून (LLM) आउटपुट प्राप्त करणारी आणि त्याला अभिप्राय (feedback) देणारी यंत्रणा जगाच्या समतुल्य मानली जाते.
चौथे आहे स्थिती स्मृती (State Memory). हे एक अंतर्गत तात्पुरती स्मृती आहे, जसे की स्क्रॅचपॅड (scratchpad), जी शिक्षण बुद्धिमत्ता प्रणाली अनुमानादरम्यान (during inference) वापरते.
एलएलएममध्ये (LLMs), ही अनुमानादरम्यान वापरली जाणारी मेमरी स्पेस आहे, ज्याला 'हिडन स्टेट्स' (hidden states) असे म्हणतात. मानवांमध्ये, ती अल्पकालीन स्मृतीशी (short-term memory) संबंधित आहे.
पाचवे आहे चौकट (Framework). ही तथाकथित विचारांची चौकट आहे. शिक्षण बुद्धिमत्ता प्रणालीच्या परिभाषेत, ती अनुमानादरम्यान आवश्यक ज्ञान निवडण्यासाठीचे निकष (criteria) आणि स्थिती स्मृती (state memory) व्यवस्थित करण्यासाठीची तार्किक स्थिती अवकाश संरचना (logical state space structure) संदर्भित करते.
एलएलएममध्ये (LLMs), ही हिडन स्टेट्सची (hidden states) सिमेंटिक रचना आहे, आणि सामान्यतः, त्याची सामग्री अस्पष्ट आणि मानवांसाठी आकलन करणे कठीण आहे. शिवाय, ज्ञान निवड 'अटेंशन मेकॅनिझम'मध्ये (attention mechanism) समाकलित केली जाते, जी प्रक्रिया केलेल्या प्रत्येक टोकनसाठी (token) कोणत्या विद्यमान टोकन्सचा (tokens) संदर्भ घ्यावा हे निवडते.
मानवांसाठी, वर नमूद केल्याप्रमाणे, ही विचारांची चौकट आहे. जेव्हा विचारांच्या विशिष्ट चौकटीचा वापर करून विचार केला जातो, तेव्हा दीर्घकालीन स्मृतीमधून (long-term memory) काही विशिष्ट कौशल्ये (know-how) आठवली जातात आणि अल्पकालीन स्मृतीमध्ये (short-term memory) लोड केली जातात. त्यानंतर, सध्याची अनुभवलेली माहिती विचारांच्या चौकटीनुसार व्यवस्थित केली जाते, जेणेकरून परिस्थिती समजून घेता येते.
शिक्षण बुद्धिमत्ता प्रणालीची तत्त्वे
शिक्षण बुद्धिमत्ता प्रणाली (learning intelligence system) खालीलप्रमाणे कार्य करते:
बुद्धिमत्ता प्रोसेसर (intelligent processor) जगावर (world) कार्य करतो. जग त्या क्रियेवर आधारित परिणाम देते.
बुद्धिमत्ता प्रोसेसर या परिणामांमधून पुन्हा वापरण्यायोग्य ज्ञान (reusable knowledge) निष्कर्षित करतो आणि ते ज्ञान भांडारात (knowledge store) संग्रहित करतो.
जेव्हा बुद्धिमत्ता प्रोसेसर जगावर वारंवार कार्य करतो, तेव्हा ते ज्ञान भांडारातून ज्ञान निवडतो आणि त्याचा वापर आपल्या कार्यपद्धतीत बदल करण्यासाठी करतो.
ही मूलभूत यंत्रणा आहे.
तथापि, मूलतः, ज्ञान निष्कर्षण (extraction), साठवणूक (storage), निवड (selection) आणि वापर (utilization) या पद्धतींवरूनच प्रणाली अर्थपूर्ण शिक्षण (meaningful learning) साध्य करू शकते की नाही हे ठरते.
मानवांमध्ये प्रभावी ज्ञान निष्कर्षण, साठवणूक, निवड आणि वापर सक्षम करणाऱ्या यंत्रणा असतात, ज्यामुळे ते शिकू शकतात.
एलएलएमसह (LLMs) न्यूरल नेटवर्कमध्ये साठवणूक, निवड आणि वापरासाठी यंत्रणा असतात, जरी निष्कर्षण भाग बाह्य शिक्षकाद्वारे हाताळला जातो. यामुळे, शिक्षक इनपुट प्रदान करत असेपर्यंत ते शिकू शकतात.
याव्यतिरिक्त, शिक्षण बुद्धिमत्ता प्रणाली चौकटींचे निष्कर्षण, साठवणूक आणि निवड, तसेच स्थिती स्मृतीमध्ये (state memory) त्यांचा वापर, हे देखील ज्ञान म्हणून शिकून अधिक जटिल शिक्षण (more complex learning) साध्य करू शकते.
ज्ञानाचे प्रकार
या तत्त्वावर आधारित, अधिग्रहित शिक्षणाची रचना करताना, अधिग्रहित ज्ञान कोणत्या स्वरूपात माहिती घेईल हे स्पष्ट करणे आवश्यक आहे.
अधिग्रहित ज्ञान न्यूरल नेटवर्कचे पॅरामीटर्स म्हणून स्वतंत्रपणे शिकणे शक्य आहे.
तथापि, अधिग्रहित ज्ञान केवळ न्यूरल नेटवर्क पॅरामीटर्सपुरते मर्यादित असण्याची आवश्यकता नाही. एक वास्तववादी पर्याय म्हणजे नैसर्गिक भाषेत मजकूर केलेले ज्ञान.
जर ज्ञान नैसर्गिक भाषेत मजकूर केले असेल, तर एलएलएमच्या (LLMs) नैसर्गिक भाषा प्रक्रिया क्षमतांचा लाभ घेऊन ते काढले आणि वापरले जाऊ शकते. शिवाय, ते नियमित माहिती तंत्रज्ञान (IT) प्रणालीमध्ये डेटा म्हणून हाताळले जाऊ शकते, ज्यामुळे साठवणूक आणि निवड सोपी होते.
याव्यतिरिक्त, नैसर्गिक भाषेत मजकूर केलेले ज्ञान मानवांसाठी आणि इतर एलएलएमसाठी (LLMs) तपासणे, समजून घेणे आणि काही प्रकरणांमध्ये संपादित करणे सोपे आहे.
ते इतर शिक्षण बुद्धिमत्ता प्रणालींसोबत सामायिक केले जाऊ शकते आणि विलीन किंवा विभाजित (merged or split) केले जाऊ शकते.
या कारणांमुळे, एलआयएस (ALIS) संकल्पनेतील अधिग्रहित ज्ञान सुरुवातीला नैसर्गिक भाषेत मजकूर केलेल्या ज्ञानाला लक्ष्य करण्यासाठी डिझाइन केले जाईल.
अधिग्रहित स्थिती स्मृती आणि फ्रेमवर्क
अधिग्रहित ज्ञान म्हणून नैसर्गिक भाषेत मजकूर केलेल्या ज्ञानाची निवड करण्याचे फायदे मी स्पष्ट केले आहेत.
त्याचप्रमाणे, नैसर्गिक भाषेतील मजकूर स्थिती स्मृती (state memory) आणि अनुमानासाठीच्या फ्रेमवर्कसाठी (framework) देखील वापरला जाऊ शकतो.
फ्रेमवर्क, जी एक वैचारिक रचना आहे, ती देखील ज्ञान भांडारात (knowledge store) नैसर्गिक भाषेत मजकूर केलेल्या ज्ञानाच्या स्वरूपात संग्रहित आणि वापरली जाऊ शकते.
जेव्हा त्या फ्रेमवर्कद्वारे परिभाषित केलेल्या संरचनेवर आधारित स्थितींना आरंभ (initializing) किंवा अद्यतनित (updating) केले जाते, तेव्हा मजकूर-आधारित स्थिती स्मृती वापरली जाऊ शकते.
एलआयएसची (ALIS) रचना अशी केल्याने की ते केवळ अधिग्रहित ज्ञानासाठीच नव्हे, तर फ्रेमवर्क आणि स्थिती स्मृतीसाठी देखील मजकूर स्वरूप वापरते, एलआयएस (ALIS) एलएलएमच्या (LLMs) नैसर्गिक भाषा प्रक्रिया क्षमतांचा वापर अधिग्रहित शिक्षण आणि सामान्य अनुमान या दोन्हीसाठी करू शकते.
औपचारिक ज्ञान (Formal Knowledge)
अधिग्रहित ज्ञान, फ्रेमवर्क आणि स्थिती स्मृती (state memory) केवळ नैसर्गिक भाषेतील मजकुरातच नव्हे, तर अधिक कठोर औपचारिक भाषा (formal languages) किंवा औपचारिक मॉडेलमध्ये (formal models) देखील दर्शविले जाऊ शकतात.
मी "निवडा" असे लिहिले असले तरी, एलआयएसचे (ALIS) उद्दीष्ट अनेक अधिग्रहित ज्ञान शिक्षण यंत्रणा समाविष्ट करणे आहे जेणेकरून जन्मजात (innate) आणि अधिग्रहित शिक्षणाचा संकरित वापर (hybrid utilization) करता येईल.
औपचारिक भाषा किंवा औपचारिक मॉडेलद्वारे दर्शविलेले ज्ञान अधिक कठोर आणि संदिग्धतामुक्त (free from ambiguity) असू शकते.
याव्यतिरिक्त, जर एखादे फ्रेमवर्क औपचारिक भाषा किंवा औपचारिक मॉडेल वापरून व्यक्त केले गेले आणि स्थिती स्मृतीमध्ये प्रारंभिक स्थिती (initial state) वाढविली गेली, तर औपचारिक मॉडेलवर बुद्धिमत्ता प्रोसेसरद्वारे (intelligent processor) (एलएलएमद्वारे (LLM) नव्हे) प्रक्रिया करून कठोर सिमुलेशन (rigorous simulations) आणि तार्किक तर्क (logical reasoning) केले जाऊ शकते.
अशा औपचारिक भाषा आणि औपचारिक मॉडेल्सचे प्रमुख उदाहरण म्हणजे प्रोग्रामिंग भाषा.
प्रणाली जगाबद्दल शिकत असताना, जर ती अंतर्निहित नियम आणि संकल्पनांना फ्रेमवर्कमधील प्रोग्राम म्हणून व्यक्त करू शकली, तर त्यांचे संगणकाद्वारे सिमुलेशन केले जाऊ शकते.
स्तंभ १: ज्ञानाचे प्रकार
शिक्षण बुद्धिमत्ता प्रणालीमधील ज्ञानाची मांडणी करताना, हे स्पष्ट होते की त्याचे तीन प्रणाली आणि दोन प्रकारांमध्ये व्यापक वर्गीकरण केले जाऊ शकते.
तीन प्रणाली अशा आहेत: न्यूरल नेटवर्कद्वारे हाताळले जाणारे नेटवर्क पॅरामीटर ज्ञान, नैसर्गिक भाषेतील नैसर्गिक ज्ञान आणि औपचारिक भाषांमधील औपचारिक ज्ञान.
दोन प्रकार म्हणजे स्टेटलेस (stateless) आणि स्टेटफुल (stateful).
स्टेटलेस नेटवर्क पॅरामीटर ज्ञान हे डीप लर्निंग एआयमध्ये (deep learning AI) आढळणाऱ्या अंतर्ज्ञानी ज्ञानासारखे (intuitive knowledge) असते. मांजर आणि कुत्र्यांची वैशिष्ट्ये, ज्यांचा शाब्दिक विचार किंवा ओळख करता येत नाही, ती स्टेटलेस नेटवर्क पॅरामीटर ज्ञान म्हणून शिकता येतात.
स्टेटफुल नेटवर्क पॅरामीटर ज्ञान हे अस्पष्ट, पुनरावृत्ती प्रक्रियेतून प्राप्त केलेले ज्ञान (iterative process-derived knowledge) आहे, जसे की जनरेटिव्ह एआयमध्ये (generative AI) आढळते.
स्टेटलेस नैसर्गिक ज्ञान म्हणजे शब्दाशी संबंधित अर्थासारखे ज्ञान.
स्टेटफुल नैसर्गिक ज्ञान म्हणजे वाक्यात आढळणाऱ्या संदर्भासह (context) असलेले ज्ञान.
काही नैसर्गिक ज्ञान हे अंतर्भूतपणे स्टेटफुल नेटवर्क पॅरामीटर ज्ञानात समाविष्ट असते, परंतु नैसर्गिक भाषेतील मजकूरातून जन्मानंतर प्राप्त करता येणारे ज्ञान देखील असते.
स्टेटलेस औपचारिक ज्ञान म्हणजे गणिताच्या सूत्रांनी व्यक्त करता येणारे ज्ञान ज्यात पुनरावृत्ती समाविष्ट नसते. स्टेटफुल औपचारिक ज्ञान म्हणजे प्रोग्राम्सद्वारे व्यक्त करता येणारे ज्ञान.
आपल्या मेंदूची अल्पकालीन स्मृती (short-term memory) नैसर्गिक आणि औपचारिक ज्ञानासाठी स्थिती स्मृती (state memory) म्हणून देखील वापरली जाऊ शकते.
तथापि, ती अल्पकालीन स्मृती असल्यामुळे, स्थिती स्थिरपणे टिकवून ठेवणे कठीण होते ही समस्या आहे. तसेच, ते ज्ञानाला औपचारिक आणि संदिग्धतारहित स्थितीत ठेवण्यात चांगले नाही.
दुसरीकडे, कागद, संगणक किंवा स्मार्टफोन नैसर्गिक भाषेतील मजकूर, औपचारिक भाषा किंवा औपचारिक मॉडेल लिहून ठेवण्यासाठी आणि संपादित करण्यासाठी स्थिती स्मृती म्हणून वापरले जाऊ शकतात.
सामान्यतः, कागदावरील किंवा संगणकावरील डेटाला अनेकदा ज्ञान साठवण्यासाठी ज्ञान भांडार (knowledge store) म्हणून पाहिले जाते, परंतु ते विचार व्यवस्थित करण्यासाठी स्थिती स्मृती म्हणून देखील वापरले जाऊ शकते.
अशाप्रकारे, हे स्पष्ट आहे की मानव या तीन प्रणाली आणि दोन प्रकारच्या ज्ञानाचा कुशलतेने वापर करून बौद्धिक क्रियाकलाप करतात.
एलआयएसमध्येही (ALIS) याच तीन प्रणाली आणि दोन प्रकारच्या ज्ञानाचा लाभ घेणाऱ्या बौद्धिक क्रियाकलापांना सक्षम करून आणि वाढवून तिच्या क्षमतांमध्ये लक्षणीय सुधारणा करण्याची क्षमता आहे.
विशेषतः, एलआयएसमध्ये (ALIS) विशाल ज्ञान भांडार आणि स्थिती स्मृती वापरण्याची ताकद आहे. याव्यतिरिक्त, ते प्रत्येकाचे अनेक उदाहरणे (instances) सहजपणे तयार करू शकते आणि त्यांना स्विच करून किंवा एकत्र करून बौद्धिक कार्ये करू शकते.
स्तंभ 2: बौद्धिक ऑर्केस्ट्रेशन
ज्ञान भांडारात (knowledge store) मोठ्या प्रमाणात ज्ञान साठवण्याची क्षमता असली तरी, केवळ मोठ्या प्रमाणात ज्ञान असणे बौद्धिक कार्यासाठी (intellectual activity) फायदेशीर ठरत नाही, कारण जनरेटिव्ह एआयला (generative AI) एकावेळी वापरता येणाऱ्या टोकन्सच्या (tokens) संख्येवर मर्यादा असतात आणि अनावश्यक ज्ञान हे गोंधळ (noise) निर्माण करते.
दुसरीकडे, ज्ञान भांडाराचे योग्यरित्या विभाजन करून आणि विशिष्ट बौद्धिक कार्यांसाठी आवश्यक ज्ञान एकत्रित करणारे उच्च-घनतेचे, विशेष ज्ञान भांडार (specialized knowledge stores) तयार करून, टोकन मर्यादेच्या आणि गोंधळाच्या समस्या कमी केल्या जाऊ शकतात.
या बदल्यात, असे विशेष ज्ञान भांडार फक्त त्या विशिष्ट बौद्धिक कार्यांसाठीच वापरता येतील.
अनेक बौद्धिक क्रियाकलाप हे विविध बौद्धिक कार्यांचे जटिल संयोजन (complex combinations) असतात. म्हणून, ज्ञानाला बौद्धिक कार्यांच्या प्रकारानुसार विशेष ज्ञान भांडारात विभाजित करून आणि बौद्धिक क्रियाकलापांना बौद्धिक कार्यांमध्ये उपविभाजित करून, एलआयएस (ALIS) विशेष ज्ञान भांडारांमध्ये योग्यरित्या स्विच करत संपूर्ण बौद्धिक क्रियाकलाप पार पाडू शकते.
हे असे आहे जसे की व्यावसायिक संगीतकारांनी वेगवेगळ्या वाद्यांवर वाजवलेले एक ऑर्केस्ट्रा आणि एक वादक (conductor) जो संपूर्ण समूहाला मार्गदर्शन करतो.
या प्रणाली तंत्रज्ञानाद्वारे, "बौद्धिक ऑर्केस्ट्रेशन" (intellectual orchestration), एलआयएस (ALIS) आपले बौद्धिक क्रियाकलाप संघटित करण्यास सक्षम असेल.
एलआयएस (ALIS) मूलभूत रचना आणि विकास पद्धत
येथून, मी एलआयएससाठी (ALIS) विकास दृष्टिकोन (development approach) संघटित करेन.
तत्त्वे (principles) आणि स्तंभांमध्ये (columns) आधीच नमूद केल्याप्रमाणे, एलआयएस (ALIS) तिच्या कार्ये आणि संसाधने (functions and resources) सहजपणे वाढवण्यासाठीच डिझाइन केली आहे. याचे कारण असे की एलआयएसचे (ALIS) सार विशिष्ट कार्यक्षमतेत (specific functions) नाही, तर ज्ञान निष्कर्षण (knowledge extraction), साठवणूक (storage), निवड (selection) आणि उपयोग (utilization) या प्रक्रियांमध्ये आहे.
उदाहरणार्थ, अनेक प्रकारच्या ज्ञान निष्कर्षण यंत्रणा तयार केल्या जाऊ शकतात, आणि नंतर प्रणालीच्या डिझाइननुसार त्यातून निवड केली जाऊ शकते किंवा एकाच वेळी वापरल्या जाऊ शकतात.
शिवाय, एलआयएसला (ALIS) ही निवड स्वतःच करण्यास प्रवृत्त केले जाऊ शकते.
साठवणूक, निवड आणि उपयोग देखील त्याचप्रमाणे मुक्तपणे निवडले किंवा समांतर केले जाऊ शकतात.
म्हणून, एलआयएस (ALIS) वॉटरफॉल (waterfall) पद्धतीने संपूर्ण कार्यक्षमता डिझाइन करण्याची आवश्यकता नसताना, वाढत्या (incrementally) आणि चपळपणे (agilely) विकसित केली जाऊ शकते.
एलआयएसची (ALIS) सुरुवात
आता, एक अतिशय सोपी एलआयएस (ALIS) डिझाइन करूया.
मूलभूत यूआय (UI) परिचित चॅट एआय (chat AI) असेल. सुरुवातीला, वापरकर्त्याचे इनपुट थेट एलएलएमकडे (LLM) पाठवले जाईल. एलएलएमचा (LLM) प्रतिसाद नंतर यूआयवर प्रदर्शित केला जाईल आणि प्रणाली पुढील वापरकर्त्याच्या इनपुटची वाट पाहेल.
पुढील इनपुट आल्यावर, एलएलएमला (LLM) केवळ नवीन इनपुटच नाही, तर त्या क्षणापर्यंत वापरकर्ता आणि एलएलएम (LLM) यांच्यातील संपूर्ण चॅट इतिहास देखील मिळेल.
या चॅट एआय यूआयच्या (chat AI UI) मागे, चॅट इतिहासातून पुन्हा वापरता येण्याजोगे ज्ञान काढण्यासाठी एक यंत्रणा तयार करू.
संभाषण समाप्त झाल्यावर किंवा नियमित अंतराने कार्यान्वित होणारी प्रक्रिया म्हणून हे चॅट एआय प्रणालीमध्ये (chat AI system) जोडले जाऊ शकते. अर्थात, ज्ञान काढण्यासाठी एलएलएमचा (LLM) वापर केला जाईल.
या एलएलएमला (LLM) एलआयएस (ALIS) संकल्पना आणि तत्त्वे, तसेच ज्ञान काढण्याचे तंत्रज्ञान (know-how), प्रणाली प्रॉम्प्ट्स (system prompts) म्हणून दिले जाईल. जर ज्ञान अपेक्षेप्रमाणे काढले गेले नाही, तर प्रणाली प्रॉम्प्ट्समध्ये (system prompts) चाचणी आणि त्रुटीद्वारे (trial and error) सुधारणा केली पाहिजे.
चॅट इतिहासातून काढलेले ज्ञान थेट नॉलेज लेक (knowledge lake) मध्ये संग्रहित केले जाईल. नॉलेज लेक (knowledge lake) ही ज्ञान संरचित करण्यापूर्वी सपाट, असंरचित स्थितीत साठवण्यासाठीची एक यंत्रणा आहे.
पुढे, नॉलेज लेकमधून (knowledge lake) ज्ञान निवडणे सोपे करण्यासाठी एक संरचना यंत्रणा तयार करू.
याचा अर्थ, सिमेंटिक सर्चसाठी (semantic search) एम्बेडिंग वेक्टर स्टोअर्स (embedding vector stores), जसे की साधारणपणे आरएजीमध्ये (RAG) वापरले जातात, आणि कीवर्ड इंडेक्स (keyword indexes) यांसारख्या गोष्टी उपलब्ध करून देणे.
अधिक प्रगत पर्यायांमध्ये नॉलेज ग्राफ (knowledge graph) तयार करणे किंवा श्रेणी वर्गीकरण (category classification) करणे यांचा समावेश आहे.
नॉलेज लेकसाठी (knowledge lake) संरचित माहितीच्या या संग्रहाला नॉलेज बेस (knowledge base) म्हटले जाईल. हा संपूर्ण नॉलेज बेस (knowledge base) आणि नॉलेज लेक (knowledge lake) मिळून ज्ञान भांडार (knowledge store) तयार होईल.
पुढे, आम्ही ज्ञान भांडार (knowledge store) चॅट यूआय प्रक्रियेमध्ये (chat UI processing) समाकलित करू.
ही मूलतः सामान्य आरएजी यंत्रणेसारखीच (RAG mechanism) आहे. वापरकर्त्याच्या इनपुटसाठी, ज्ञान भांडारातून संबंधित ज्ञान निवडले जाते आणि वापरकर्त्याच्या इनपुटसह एलएलएमकडे (LLM) पाठवले जाते.
यामुळे एलएलएमला (LLM) वापरकर्त्याचे इनपुट प्रक्रिया करताना आपोआप ज्ञानाचा वापर करता येतो.
अशा प्रकारे, वापरकर्त्यासोबतच्या प्रत्येक संभाषणातून ज्ञान जमा होईल, ज्यामुळे मागील संभाषणांमधून जमा झालेल्या ज्ञानाचा वापर करणारी एक साधी एलआयएस (ALIS) प्रत्यक्षात येईल.
एक सोपे उदाहरण
उदाहरणार्थ, कल्पना करा की एक वापरकर्ता या साध्या एलआयएसचा (ALIS) वापर करून वेब ॲप्लिकेशन विकसित करत आहे.
वापरकर्ता तक्रार करतो की एलएलएमने (LLM) सुचवलेल्या कोडमुळे त्रुटी (error) आली. वापरकर्ता आणि एलएलएमने (LLM) एकत्र काम करून समस्येचे निराकरण (troubleshoot) केल्यानंतर, त्यांना आढळले की एलएलएमला (LLM) ज्ञात असलेली बाह्य एपीआय (API) वैशिष्ट्ये कालबाह्य झाली होती आणि नवीनतम एपीआय (API) वैशिष्ट्यांनुसार बदल केल्यानंतर प्रोग्राम योग्यरित्या कार्य करतो.
या चॅट थ्रेडमधून, एलआयएस (ALIS) नंतर तिच्या ज्ञान भांडारात (knowledge store) ज्ञान जमा करू शकते: विशेषतः, एलएलएमला (LLM) ज्ञात असलेली एपीआय (API) वैशिष्ट्ये जुनी आहेत आणि नवीनतम एपीआय (API) वैशिष्ट्ये कोणती आहेत.
नंतर, पुढील वेळी जेव्हा त्याच एपीआयचा (API) वापर करून प्रोग्राम तयार केला जाईल, तेव्हा एलआयएस (ALIS) या ज्ञानाचा उपयोग करून सुरुवातीपासूनच नवीनतम एपीआय (API) वैशिष्ट्यांवर आधारित प्रोग्राम तयार करण्यास सक्षम असेल.
प्रारंभिक एलआयएसमध्ये (ALIS) सुधारणा
परंतु, हे होण्यासाठी, हे ज्ञान वापरकर्त्याच्या इनपुटला प्रतिसाद म्हणून निवडले जाणे आवश्यक आहे. असे शक्य आहे की हे ज्ञान थेट वापरकर्त्याच्या इनपुटशी संबंधित नसेल, कारण समस्याग्रस्त एपीआय (API) नाव वापरकर्त्याच्या इनपुटमध्ये दिसणार नाही.
त्या प्रकरणात, एपीआय (API) नाव केवळ एलएलएमच्या (LLM) प्रतिसादादरम्यानच समोर येईल.
म्हणून, आम्ही साध्या एलआयएसला (ALIS) पूर्व-विश्लेषण (pre-analysis) आणि उत्तर-तपासणीसाठी (post-checking) यंत्रणा जोडून थोडे विस्तृत करू.
पूर्व-विश्लेषण हे अलीकडील एलएलएममधील (LLMs) "विचार मोड" (thought mode) सारखेच आहे. स्थिती स्मृती (state memory) म्हणून मजकूर धारण करण्यास सक्षम असलेली स्मृती तयार केली जाईल आणि प्रणाली प्रॉम्प्ट (system prompt) एलएलएमला (LLM) वापरकर्ता इनपुट मिळाल्यावर पूर्व-विश्लेषण करण्यास निर्देशित करेल.
एलएलएमचा (LLM) पूर्व-विश्लेषण परिणाम स्थिती स्मृतीमध्ये (state memory) संग्रहित केला जाईल. या पूर्व-विश्लेषण परिणामावर आधारित, ज्ञान भांडारातून (knowledge store) ज्ञान निवडले जाईल.
त्यानंतर, चॅट इतिहास, पूर्व-विश्लेषण परिणाम, वापरकर्त्याच्या इनपुटशी संबंधित ज्ञान आणि पूर्व-विश्लेषण परिणामाशी संबंधित ज्ञान एलएलएमला (LLM) प्रतिसाद प्राप्त करण्यासाठी दिले जाईल.
शिवाय, एलएलएमने (LLM) परत केलेला परिणाम देखील ज्ञान भांडारातून (knowledge store) ज्ञान शोधण्यासाठी वापरला जाईल. तेथे सापडलेल्या ज्ञानासह, एलएलएमला (LLM) उत्तर-तपासणी करण्यास सांगितले जाईल.
जर काही समस्या आढळल्यास, समस्याग्रस्त मुद्दे आणि निवेदनाची कारणे समाविष्ट केली जातील आणि चॅट एलएलएमकडे (chat LLM) परत पाठवली जातील.
पूर्व-विश्लेषण आणि उत्तर-तपासणी दरम्यान ज्ञान निवडण्याची संधी उपलब्ध करून दिल्याने, जमा झालेल्या ज्ञानाचा उपयोग करण्याची शक्यता वाढते.
दृष्टीकोन
प्रारंभिक एलआयएस (ALIS) तयार करण्याचा आणि नंतर तिच्या कमतरता दूर करण्यासाठी सुधारणा जोडण्याचा हा दृष्टिकोन फुर्तीला विकास (agile development) आणि एलआयएसच्या (ALIS) वाढीव सुधारणांना (incremental improvement) उत्तम प्रकारे स्पष्ट करतो.
शिवाय, उदाहरणादाखल, प्रारंभिक एलआयएस (ALIS) सॉफ्टवेअर विकासात वापरण्यासाठी सर्वात योग्य आहे. याचे कारण असे की हे एक उच्च मागणी असलेले क्षेत्र आहे आणि असे एक क्षेत्र आहे जिथे ज्ञान सहजपणे स्पष्टपणे जमा केले जाऊ शकते.
हे असे एक प्रकार आहे जिथे गोष्टी स्पष्टपणे काळ्या किंवा पांढऱ्या असतात, तरीही हे असे एक महत्त्वाचे क्षेत्र आहे जिथे चाचणी आणि त्रुटी (trial-and-error), पुनरावृत्तीने ज्ञान जमा करणे आवश्यक आणि महत्त्वाचे आहे.
याव्यतिरिक्त, एलआयएसचा (ALIS) विकास स्वतःच सॉफ्टवेअर विकास असल्यामुळे, एलआयएस (ALIS) विकसक स्वतः एलआयएसचे (ALIS) वापरकर्ते असू शकतात ही बाब देखील आकर्षक आहे.
आणि, एलआयएस (ALIS) प्रणालीसोबतच, नॉलेज लेक (knowledge lake) गिटहब (GitHub) सारख्या प्लॅटफॉर्मवर उघडपणे सामायिक (openly shared) केले जाऊ शकते.
यामुळे अनेक लोकांना एलआयएस (ALIS) प्रणाली सुधारणा आणि ज्ञान संचयनात सहकार्य करता येईल, ज्याचा फायदा सर्वांना होईल, आणि एलआयएसच्या (ALIS) विकासाला आणखी गती मिळेल.
अर्थात, ज्ञान सामायिकरण केवळ एलआयएस (ALIS) विकसकांपुरते मर्यादित नाही तर एलआयएस (ALIS) वापरणाऱ्या सर्व सॉफ्टवेअर विकसकांकडून ते गोळा केले जाऊ शकते.
ज्ञान नैसर्गिक भाषेत असल्यामुळे आणखी दोन फायदे मिळतात:
पहिला फायदा हा आहे की एलएलएम (LLM) मॉडेल बदलले किंवा अद्ययावत केले तरीही ज्ञानाचा लाभ घेता येतो.
दुसरा फायदा हा आहे की विशाल संचित नॉलेज लेक (knowledge lake) एलएलएमसाठी (LLMs) पूर्व-प्रशिक्षण डेटासेट (pre-training dataset) म्हणून वापरला जाऊ शकतो. हे दोन प्रकारे करता येते: फाइन-ट्यूनिंगसाठी (fine-tuning) वापरून, किंवा थेट एलएलएमच्या (LLM) पूर्व-प्रशिक्षणासाठी (pre-training) वापरून.
कोणत्याही परिस्थितीत, जर नॉलेज लेकमध्ये (knowledge lake) संचित ज्ञान जन्मजात शिकलेले एलएलएम (LLMs) वापरता आले, तर सॉफ्टवेअर विकास आणखी कार्यक्षम होईल.
याव्यतिरिक्त, सॉफ्टवेअर विकासात, गरजा विश्लेषण (requirements analysis), डिझाइन (design), अंमलबजावणी (implementation), चाचणी (testing), संचालन (operation) आणि देखभाल (maintenance) यासारख्या विविध प्रक्रिया आहेत, आणि प्रत्येक सॉफ्टवेअर डोमेन (domain) आणि प्लॅटफॉर्मसाठी (platform) विशेष ज्ञान अस्तित्वात आहे. जर या दृष्टिकोनातून विशाल संचित ज्ञानाचे विभाजन करण्याची यंत्रणा तयार केली गेली, तर एलआयएस ऑर्केस्ट्रा (ALIS orchestra) देखील तयार होऊ शकतो.
अशा प्रकारे, एलआयएससाठी (ALIS) मूलभूत तंत्रज्ञान (elemental technologies) उपलब्ध आहेत. आता महत्त्वाची गोष्ट म्हणजे ज्ञानाचे निष्कर्षण तंत्रज्ञान (knowledge extraction know-how), योग्य ज्ञान निवड (appropriate knowledge selection), विशेष ज्ञान विभाजन (specialized knowledge segmentation) आणि स्थिती स्मृतीचा (state memory) वापर कसा करावा यासारख्या विविध पद्धतींचा व्यावहारिक प्रयत्न करून प्रभावी दृष्टिकोन शोधणे. तसेच, जटिलता वाढल्यास, प्रक्रिया वेळ (processing time) आणि एलएलएम (LLM) वापराचा खर्च वाढेल, ज्यामुळे ऑप्टिमायझेशन (optimization) आवश्यक होईल.
या चाचणी आणि त्रुटी तसेच ऑप्टिमायझेशन प्रक्रियांचा पाठपुरावा फ्रेमवर्कच्या विकास आणि सुधारणाद्वारे अनुकूलपणे (adaptively) केला जाऊ शकतो.
सुरुवातीला, विकसक, वापरकर्ता म्हणून, चाचणी आणि त्रुटीद्वारे एलआयएसमध्ये (ALIS) फ्रेमवर्क समाविष्ट करतील. तथापि, त्यावेळीही, एलएलएमलाच (LLM) फ्रेमवर्क कल्पना तयार करण्यास प्रवृत्त केले जाऊ शकते.
आणि जगातून मिळालेल्या परिणामांवर आणि काढलेल्या ज्ञानावर आधारित फ्रेमवर्क सुधारित किंवा शोधणाऱ्या फ्रेमवर्कना एलआयएसमध्ये (ALIS) समाविष्ट करून, एलआयएस (ALIS) स्वतःच चाचणी आणि त्रुटी तसेच ऑप्टिमायझेशन अनुकूलपणे करेल.
वास्तविक जगातील एलआयएस (ALIS)
एकदा एलआयएस (ALIS) या टप्प्यापर्यंत परिष्कृत झाली की, ती केवळ सॉफ्टवेअर विकासाच्या जगातच नव्हे, तर विविध क्षेत्रांमध्ये व्यापकपणे ज्ञान शिकण्यास सक्षम असावी.
सॉफ्टवेअर विकासाप्रमाणेच, एलआयएसकडून (ALIS) मानवाद्वारे संगणकांचा वापर करून केल्या जाणाऱ्या विविध बौद्धिक क्रियाकलापांमध्ये (intellectual activities) तिचा आवाका वाढवण्याची अपेक्षा आहे.
अशा पूर्णपणे बौद्धिक क्रियाकलापांमध्येही, एलआयएस (ALIS) लक्ष्यित जगाच्या संदर्भात एक प्रकारची 'शरीरधारी एआय' (embodied AI) निसर्ग दर्शवते.
कारण ती स्वतः आणि जग यांच्यातील सीमा ओळखते, त्या सीमेद्वारे जगावर कार्य करते आणि जगातून मिळालेली माहिती समजू शकते.
ज्याला आपण सामान्यतः "शरीर" म्हणतो, ती जगाशी असलेली एक सीमा आहे जी शारीरिकरित्या दृश्यमान आणि एकाच ठिकाणी स्थित आहे.
तथापि, जरी सीमा अदृश्य आणि अवकाशात वितरित असली तरी, सीमेद्वारे समज आणि कृतीची रचना भौतिक शरीर असण्यासारखीच आहे.
या अर्थाने, एलआयएस (ALIS), जेव्हा बौद्धिक क्रियाकलाप करते, तेव्हा तिला 'आभासी शरीरधारी एआय'चा (virtually embodied AI) स्वभाव असल्याचे मानले जाऊ शकते.
आणि एकदा एलआयएस (ALIS) अशा टप्प्यावर परिष्कृत झाली की ती नवीन, अज्ञात जगातही योग्यरित्या शिकू शकते, तेव्हा एलआयएसला (ALIS) भौतिक शरीर असलेल्या वास्तविक 'शरीरधारी एआय'चा (real embodied AI) भाग म्हणून समाकलित करण्याची शक्यता आहे.
अशा प्रकारे, एलआयएस (ALIS) शेवटी वास्तविक जगावर लागू केली जाईल आणि त्यातून शिकण्यास सुरुवात करेल.