செயற்கை கற்றல் நுண்ணறிவு அமைப்பு: ALIS கருத்தாக்கம்

செயற்கை கற்றல் நுண்ணறிவு அமைப்பு (ALIS) பற்றிய அதன் கருத்தாக்கங்கள் மற்றும் கோட்பாடுகள் முதல் அதன் அடிப்படை வடிவமைப்பு மற்றும் மேம்பாட்டு முறைகள் வரை இங்கு நான் ஒழுங்கமைக்க விரும்புகிறேன்.

கருத்தாக்கம்

தற்போதைய உருவாக்க AI, குறிப்பாக பெரிய மொழி மாதிரிகள் (LLM), நரம்பியல் வலைப்பின்னல்களைப் பயன்படுத்தி மேற்பார்வையிடப்பட்ட கற்றலின் அடிப்படையில் பயிற்சி அளிக்கப்படுகின்றன.

இந்த நரம்பியல் வலைப்பின்னல் பயிற்சி செயல்முறையை நாம் உள்ளார்ந்த கற்றல் (innate learning) என்று நிலைநிறுத்துகிறோம்.

ALIS என்பது உள்ளார்ந்த கற்றலில் இருந்து வேறுபட்ட ஒரு பெறப்பட்ட கற்றல் (acquired learning) செயல்முறையை இணைப்பதன் மூலம், உள்ளார்ந்த மற்றும் பெறப்பட்ட கற்றல் செயல்முறைகள் இரண்டையும் ஒருங்கிணைத்து விரிவான ஊகத்தை (inference) செயல்படுத்தும் ஒரு அமைப்பாகும்.

இந்த பெறப்பட்ட கற்றலில், கற்றுக்கொண்ட அறிவு நரம்பியல் வலைப்பின்னலுக்கு வெளியே சேமிக்கப்பட்டு ஊகத்தின் போது பயன்படுத்தப்படுகிறது.

எனவே, ALIS இன் தொழில்நுட்ப மையமானது, மீண்டும் பயன்படுத்தக்கூடிய அறிவை பிரித்தெடுத்தல், சேமித்தல், மற்றும் ஊகத்தின் போது அறிவைத் தேர்ந்தெடுத்து பயன்படுத்துதல் ஆகியவற்றில் உள்ளது.

மேலும், ALIS என்பது ஒரு தனிப்பட்ட அடிப்படைக் தொழில்நுட்பம் மட்டுமல்லாமல், உள்ளார்ந்த மற்றும் பெறப்பட்ட கற்றலை ஒருங்கிணைக்கும் ஒரு அமைப்புத் தொழில்நுட்பமும் ஆகும்.

கற்றல் நுண்ணறிவு அமைப்பின் கூறுகள்

ALIS, தற்போதுள்ள உள்ளார்ந்த கற்றலையும் எதிர்காலத்தில் பெறப்படவுள்ள கற்றலையும், கற்றல் மற்றும் ஊகம் என்ற கட்டமைப்பிற்குள் ஒரே கொள்கைகளின் கீழ் செயல்படுவதாகக் கருதுகிறது.

ALIS இல் உள்ள கற்றலின் கொள்கைகளை விளக்க, ஒரு கற்றல் நுண்ணறிவு அமைப்பின் ஐந்து கூறுகளை வரையறுக்கிறோம்:

முதலாவது நுண்ணறிவு செயலி (Intelligent Processor). இது அறிவைப் பயன்படுத்தி ஊகத்தை நிகழ்த்தும் மற்றும் கற்றலுக்கான அறிவைப் பிரித்தெடுக்கும் ஒரு செயலாக்க அமைப்பைக் குறிக்கிறது.

நுண்ணறிவு செயலிகளுக்குப் பிரதிநிதித்துவ உதாரணங்கள் LLMகள் மற்றும் மனித மூளையின் சில பகுதிகள்.

இரண்டாவது அறிவு களஞ்சியம் (Knowledge Store). இது பிரித்தெடுக்கப்பட்ட அறிவு சேமிக்கப்படும் மற்றும் தேவைக்கேற்ப மீட்டெடுக்கப்படும் ஒரு சேமிப்பு இடத்தைக் குறிக்கிறது.

LLMகளில், அறிவு களஞ்சியம் நரம்பியல் வலைப்பின்னலின் அளவுருக்கள் ஆகும். மனிதர்களில், இது மூளையில் உள்ள நீண்ட கால நினைவகத்திற்கு ஒத்திருக்கிறது.

மூன்றாவது உலகம் (World). இது மனிதர்கள் அல்லது ALIS போன்ற கற்றல் நுண்ணறிவு அமைப்புகளால் உணரப்படும் வெளிப்புற சூழலைக் குறிக்கிறது.

மனிதர்களுக்கு, உலகம் என்பது யதார்த்தம் ஆகும். LLMகளைப் பொறுத்தவரை, LLM இலிருந்து வெளியீட்டைப் பெற்று அதற்குப் பின்னூட்டத்தை வழங்கும் பொறிமுறையானது உலகத்திற்குச் சமமானதாகக் கருதப்படுகிறது.

நான்காவது நிலை நினைவகம் (State Memory). இது ஒரு கற்றல் நுண்ணறிவு அமைப்பு ஊகத்தின் போது பயன்படுத்தும் ஒரு தற்காலிக உள் நினைவகம், ஒரு சித்திர பலகை (scratchpad) போன்றது.

LLMகளில், இது ஊகத்தின் போது பயன்படுத்தப்படும் நினைவக இடம் ஆகும், இது மறைக்கப்பட்ட நிலைகள் (hidden states) என்று அழைக்கப்படுகிறது. மனிதர்களில், இது குறுகிய கால நினைவகத்திற்கு ஒத்திருக்கிறது.

ஐந்தாவது கட்டமைப்பு (Framework). இது சிந்தனையின் கட்டமைப்பு என்று அழைக்கப்படுகிறது. ஒரு கற்றல் நுண்ணறிவு அமைப்பின் சொற்களில், இது ஊகத்தின் போது தேவையான அறிவைத் தேர்ந்தெடுப்பதற்கான அளவுகோல்களையும், நிலை நினைவகத்தை ஒழுங்கமைப்பதற்கான தர்க்கரீதியான நிலை இட அமைப்பையும் குறிக்கிறது.

LLMகளில், இது மறைக்கப்பட்ட நிலைகளின் சொற்பொருள் அமைப்பு ஆகும், பொதுவாக, அதன் உள்ளடக்கம் தெளிவற்றது மற்றும் மனிதர்களுக்குப் புரிந்துகொள்ள முடியாதது. மேலும், அறிவு தேர்வு கவன பொறிமுறையுடன் ஒருங்கிணைக்கப்பட்டுள்ளது, இது செயலாக்கப்படும் ஒவ்வொரு டோக்கனுக்கும் எந்தத் தற்போதுள்ள டோக்கன்களைக் குறிப்பிட வேண்டும் என்பதைத் தேர்ந்தெடுக்கிறது.

மனிதர்களுக்கு, மேலே குறிப்பிட்டபடி, இது சிந்தனையின் கட்டமைப்பு ஆகும். சிந்தனையின் ஒரு குறிப்பிட்ட கட்டமைப்பைப் பயன்படுத்தி சிந்திக்கும்போது, நீண்ட கால நினைவகத்திலிருந்து சில திறன்கள் (know-how) நினைவுபடுத்தப்பட்டு குறுகிய கால நினைவகத்தில் ஏற்றப்படுகின்றன. பின்னர், தற்போது உணரப்பட்ட தகவல்கள் சிந்தனையின் கட்டமைப்பிற்கு ஏற்ப ஒழுங்கமைக்கப்பட்டு சூழ்நிலையைப் புரிந்துகொள்ளப்படுகின்றன.

கற்றல் நுண்ணறிவு அமைப்பின் கொள்கைகள்

ஒரு கற்றல் நுண்ணறிவு அமைப்பு பின்வருமாறு செயல்படுகிறது:

நுண்ணறிவு செயலி உலகத்தின் மீது செயல்படுகிறது. அந்த செயலின் அடிப்படையில் உலகம் முடிவுகளைத் தருகிறது.

நுண்ணறிவு செயலி இந்த முடிவுகளில் இருந்து மீண்டும் பயன்படுத்தக்கூடிய அறிவைப் பிரித்தெடுத்து, அறிவு களஞ்சியத்தில் சேமிக்கிறது.

நுண்ணறிவு செயலி உலகத்தின் மீது மீண்டும் மீண்டும் செயல்படும் போது, அது அறிவு களஞ்சியத்தில் இருந்து அறிவைத் தேர்ந்தெடுத்து, அதன் செயல்பாட்டு முறையை மாற்றியமைக்க அதைப் பயன்படுத்துகிறது.

இதுவே அடிப்படை பொறிமுறை.

இருப்பினும், அடிப்படையாக, அறிவை பிரித்தெடுத்தல், சேமித்தல், தேர்ந்தெடுத்தல் மற்றும் பயன்படுத்துதல் ஆகிய முறைகள், அந்த அமைப்பு அர்த்தமுள்ள கற்றலை அடைய முடியுமா என்பதைத் தீர்மானிக்கின்றன.

மனிதர்கள் திறம்பட அறிவைப் பிரித்தெடுத்தல், சேமித்தல், தேர்ந்தெடுத்தல் மற்றும் பயன்படுத்துதல் ஆகியவற்றைச் செயல்படுத்தும் வழிமுறைகளைக் கொண்டுள்ளனர், இது அவர்களைக் கற்றுக்கொள்ள அனுமதிக்கிறது.

LLMகள் உட்பட நரம்பியல் வலைப்பின்னல்கள், சேமிப்பு, தேர்வு மற்றும் பயன்பாட்டிற்கான வழிமுறைகளைக் கொண்டுள்ளன, இருப்பினும் பிரித்தெடுக்கும் பகுதி ஒரு வெளிப்புற ஆசிரியரால் கையாளப்படுகிறது. ஒரு ஆசிரியர் உள்ளீட்டை வழங்கும் வரை இவை கற்றுக்கொள்ள அனுமதிக்கின்றன.

மேலும், ஒரு கற்றல் நுண்ணறிவு அமைப்பு, கட்டமைப்புகளைப் பிரித்தெடுத்தல், சேமித்தல், தேர்ந்தெடுத்தல் மற்றும் நிலை நினைவகத்தில் அவற்றைப் பயன்படுத்துதல் ஆகியவற்றையும் அறிவாகக் கற்றுக்கொள்வதன் மூலம் மேலும் சிக்கலான கற்றலை அடைய முடியும்.

அறிவின் வகைகள்

இந்தக் கொள்கையின் அடிப்படையில், பெறப்பட்ட கற்றலை வடிவமைக்கும்போது, பெறப்பட்ட அறிவு எந்த வடிவத்தில் இருக்கும் என்பதைத் தெளிவுபடுத்துவது அவசியம்.

பெறப்பட்ட அறிவை நரம்பியல் வலைப்பின்னலின் அளவுருக்களாகத் தனித்தனியாகக் கற்றுக்கொள்வது சாத்தியமாகும்.

இருப்பினும், பெறப்பட்ட அறிவு நரம்பியல் வலைப்பின்னல் அளவுருக்களுக்கு மட்டுமே வரையறுக்கப்பட வேண்டிய அவசியமில்லை. யதார்த்தமான ஒரு மாற்று, இயற்கை மொழியில் உரை வடிவில் உள்ள அறிவு ஆகும்.

அறிவு இயற்கை மொழியில் உரை வடிவில் இருந்தால், LLMகளின் இயற்கை மொழி செயலாக்கத் திறன்களைப் பயன்படுத்தி அதைப் பிரித்தெடுத்துப் பயன்படுத்தலாம். மேலும், இதை ஒரு வழக்கமான தகவல் தொழில்நுட்ப அமைப்பில் தரவாகக் கையாள முடியும், இதனால் சேமிப்பதும் தேர்ந்தெடுப்பதும் எளிதாகிறது.

மேலும், இயற்கை மொழியில் உரை வடிவில் உள்ள அறிவை மனிதர்களுக்கும் மற்ற LLMகளுக்கும் சரிபார்த்தல், புரிந்துகொள்ளுதல், சில சமயங்களில் திருத்துதல் ஆகியன எளிது.

இதர கற்றல் நுண்ணறிவு அமைப்புகளுடன் இதைப் பகிரலாம், இணைக்கலாம் அல்லது பிரிக்கலாம்.

இந்தக் காரணங்களுக்காக, ALIS கருத்தாக்கத்தின் பெறப்பட்ட அறிவு ஆரம்பத்தில் இயற்கை மொழியில் உரை வடிவில் உள்ள அறிவை நோக்கமாகக் கொண்டு வடிவமைக்கப்படும்.

பெறப்பட்ட நிலை நினைவகம் மற்றும் கட்டமைப்பு

இயற்கை மொழியில் உரைப்படுத்தப்பட்ட அறிவை, பெறப்பட்ட அறிவாகத் தேர்ந்தெடுப்பதன் நன்மைகளை நான் விளக்கினேன்.

அதேபோல், நிலை நினைவகம் மற்றும் ஊகத்திற்கான கட்டமைப்பிற்கும் இயற்கை மொழி உரையைப் பயன்படுத்தலாம்.

கட்டமைப்பு, ஒரு கருத்துரு அமைப்பு, இயற்கை மொழியில் உரைப்படுத்தப்பட்ட அறிவாக அறிவு களஞ்சியத்தில் சேமிக்கப்பட்டு பயன்படுத்தப்படலாம்.

அந்தக் கட்டமைப்பால் வரையறுக்கப்பட்ட கட்டமைப்பின் அடிப்படையில் நிலைகளைத் துவக்கும்போது அல்லது புதுப்பிக்கும்போது, உரை அடிப்படையிலான நிலை நினைவகத்தைப் பயன்படுத்தலாம்.

பெறப்பட்ட அறிவுக்கு மட்டுமல்லாமல், கட்டமைப்புகளுக்கும் நிலை நினைவகத்திற்கும் உரை வடிவத்தைப் பயன்படுத்த ALIS ஐ வடிவமைப்பதன் மூலம், ALIS ஆனது பெறப்பட்ட கற்றல் மற்றும் பொதுவான ஊகம் இரண்டிற்கும் LLMகளின் இயற்கை மொழி செயலாக்க திறன்களைப் பயன்படுத்த முடியும்.

முறையான அறிவு (Formal Knowledge)

பெறப்பட்ட அறிவு, கட்டமைப்புகள் மற்றும் நிலை நினைவகம் ஆகியவை இயற்கை மொழி உரையால் மட்டுமல்லாமல், மேலும் கறாரான முறையான மொழிகள் அல்லது முறையான மாதிரிகளாலும் குறிப்பிடப்படலாம்.

நான் "தேர்வு" என்று குறிப்பிட்டிருந்தாலும், ALIS இன் நோக்கம், உள்ளார்ந்த மற்றும் பெறப்பட்ட கற்றலின் கலப்பு பயன்பாட்டை அனுமதிக்கும் வகையில் பல பெறப்பட்ட அறிவுக் கற்றல் வழிமுறைகளை இணைப்பதாகும்.

முறையான மொழிகள் அல்லது முறையான மாதிரிகளால் குறிப்பிடப்படும் அறிவு, மேலும் கறாரானதாகவும் தெளிவற்ற தன்மை இல்லாததாகவும் இருக்கும்.

மேலும், ஒரு கட்டமைப்பு முறையான மொழி அல்லது முறையான மாதிரியைப் பயன்படுத்தி வெளிப்படுத்தப்பட்டால், மற்றும் ஒரு ஆரம்ப நிலை நிலை நினைவகத்தில் விரிவாக்கப்பட்டால், ஒரு முறையான மாதிரி ஒரு நுண்ணறிவு செயலியால் (LLM அல்ல) செயலாக்கப்பட்டு, கறாரான உருவகப்படுத்துதல்களையும் தர்க்கரீதியான காரணங்களையும் செய்ய முடியும்.

அத்தகைய முறையான மொழிகள் மற்றும் முறையான மாதிரிகளுக்கு ஒரு சிறந்த எடுத்துக்காட்டு நிரலாக்க மொழிகள்.

அமைப்பு உலகத்தைப் பற்றி அறியும்போது, அது அடிப்படை விதிகள் மற்றும் கருத்துக்களை ஒரு கட்டமைப்பிற்குள் திட்டங்களாக வெளிப்படுத்த முடிந்தால், அவை ஒரு கணினியால் உருவகப்படுத்தப்படலாம்.

பத்தி 1: அறிவின் வகைகள்

ஒரு கற்றல் நுண்ணறிவு அமைப்பிற்குள் அறிவை ஒழுங்கமைக்கும்போது, அதை மூன்று அமைப்புகளாகவும் இரண்டு வகைகளாகவும் பரவலாக வகைப்படுத்தலாம் என்பது தெளிவாகிறது.

மூன்று அமைப்புகள்: நரம்பியல் வலைப்பின்னல்களால் கையாளப்படும் பிணைய அளவுரு அறிவு (network parameter knowledge), இயற்கை மொழியில் உள்ள இயற்கை அறிவு (natural knowledge), மற்றும் முறையான மொழிகளில் உள்ள முறையான அறிவு (formal knowledge).

இரண்டு வகைகள்: நிலையற்ற (stateless) மற்றும் நிலையுள்ள (stateful).

நிலையற்ற பிணைய அளவுரு அறிவு என்பது ஆழ்ந்த கற்றல் AI இல் காணப்படும் உள்ளுணர்வு அறிவு போன்றது. பூனைகள் மற்றும் நாய்களின் குணாதிசயங்களை, வாய்மொழியாக சிந்திக்கவோ அல்லது அடையாளம் காணவோ முடியாதவற்றை, நிலையற்ற பிணைய அளவுரு அறிவாகக் கற்றுக்கொள்ள முடியும்.

நிலையுள்ள பிணைய அளவுரு அறிவு என்பது, உருவாக்கும் AI இல் காணப்படும் தெளிவற்ற, மீண்டும் மீண்டும் நிகழும் செயல்முறையிலிருந்து பெறப்பட்ட அறிவு போன்றது.

நிலையற்ற இயற்கை அறிவு என்பது ஒரு வார்த்தையுடன் தொடர்புடைய அர்த்தம் போன்ற அறிவு.

நிலையுள்ள இயற்கை அறிவு என்பது ஒரு வாக்கியத்தில் காணப்படும் சூழல் உட்பட அறிவு.

சில இயற்கை அறிவு உள்ளார்ந்த ரீதியாக நிலையுள்ள பிணைய அளவுரு அறிவில் சேர்க்கப்பட்டுள்ளது, ஆனால் பிறந்த பிறகும் இயற்கை மொழி உரையிலிருந்து பெறக்கூடிய அறிவும் உள்ளது.

நிலையற்ற முறையான அறிவு என்பது மறு செய்கை (iteration) இல்லாத கணித சூத்திரங்களால் வெளிப்படுத்தப்படக்கூடிய அறிவு. நிலையுள்ள முறையான அறிவு என்பது நிரல்களால் வெளிப்படுத்தப்படக்கூடிய அறிவு.

ஒருவரின் மூளையின் குறுகிய கால நினைவகமும் இயற்கை மற்றும் முறையான அறிவிற்கான நிலை நினைவகமாகப் பயன்படுத்தப்படலாம்.

இருப்பினும், இது ஒரு குறுகிய கால நினைவகம் என்பதால், ஒரு நிலையை நிலையாகப் பராமரிப்பது கடினம் என்ற சிக்கல் உள்ளது. மேலும், அறிவை முறைப்படுத்தப்பட்ட, தெளிவற்ற நிலையில் வைத்திருப்பதிலும் இது சிறந்ததல்ல.

மறுபுறம், காகிதம், கணினிகள் அல்லது ஸ்மார்ட்போன்கள் இயற்கை மொழி உரை, முறையான மொழிகள் அல்லது முறையான மாதிரிகளை எழுதுவதற்கும் திருத்துவதற்கும் நிலை நினைவகமாகப் பயன்படுத்தப்படலாம்.

பொதுவாக, காகிதம் அல்லது கணினிகளில் உள்ள தரவு அறிவை ஒரு அறிவு களஞ்சியமாக சேமிப்பதற்கான ஒன்றாகவே பெரும்பாலும் பார்க்கப்படுகிறது, ஆனால் இது எண்ணங்களை ஒழுங்கமைப்பதற்கான நிலை நினைவகமாகவும் பயன்படுத்தப்படலாம்.

ஆகவே, மனிதர்கள் இந்த மூன்று அமைப்புகள் மற்றும் இரண்டு வகையான அறிவை திறமையாகப் பயன்படுத்தி அறிவார்ந்த செயல்பாடுகளைச் செய்கிறார்கள் என்பது தெளிவாகிறது.

ALIS இத்தகைய அதே மூன்று அமைப்புகள் மற்றும் இரண்டு வகையான அறிவைப் பயன்படுத்தும் அறிவார்ந்த செயல்பாடுகளை இயக்குவதன் மற்றும் மேம்படுத்துவதன் மூலம் அதன் திறன்களை வியத்தகு முறையில் மேம்படுத்தும் ஆற்றலைக் கொண்டுள்ளது.

குறிப்பாக, ALIS ஆனது பரந்த அறிவு களஞ்சியங்களையும் நிலை நினைவகத்தையும் பயன்படுத்தும் பலத்தைக் கொண்டுள்ளது. மேலும், இது ஒவ்வொன்றின் பல நிகழ்வுகளையும் எளிதாகத் தயாரித்து, அவற்றை மாற்றுவதன் அல்லது இணைப்பதன் மூலம் அறிவார்ந்த பணிகளைச் செய்ய முடியும்.

பத்தி 2: அறிவார்ந்த ஒருங்கிணைப்பு (Intellectual Orchestration)

அறிவு களஞ்சியத்தில் ஏராளமான அறிவைச் சேமிக்கும் பலம் இருந்தாலும், உருவாக்கும் AI ஒரே நேரத்தில் பயன்படுத்தக்கூடிய டோக்கன்களின் எண்ணிக்கையில் உள்ள வரம்புகள் மற்றும் பொருத்தமற்ற அறிவு சத்தமாக மாறும் கட்டுப்பாடு காரணமாக, அதிக அளவு அறிவு இருப்பது அறிவார்ந்த செயல்பாட்டிற்கு அத்தியாவசியமாகப் பயன் தருவதில்லை.

மறுபுறம், அறிவு களஞ்சியத்தை பொருத்தமாகப் பிரித்து, குறிப்பிட்ட அறிவார்ந்த பணிகளுக்குத் தேவையான அறிவைச் சேகரிக்கும் உயர் அடர்த்தி கொண்ட, சிறப்பு அறிவு களஞ்சியங்களை உருவாக்குவதன் மூலம், டோக்கன் வரம்புகள் மற்றும் சத்தம் போன்ற சிக்கல்களைத் தணிக்க முடியும்.

அதற்குப் பதிலாக, அத்தகைய சிறப்பு அறிவு களஞ்சியங்கள் அந்த குறிப்பிட்ட அறிவார்ந்த பணிகளுக்கு மட்டுமே பயன்படுத்தக்கூடியதாக இருக்கும்.

பல அறிவார்ந்த செயல்பாடுகள் பல்வேறு அறிவார்ந்த பணிகளின் சிக்கலான கலவையாகும். எனவே, அறிவை அறிவார்ந்த பணியின் வகைக்கு ஏற்ப சிறப்பு அறிவு களஞ்சியங்களாகப் பிரிப்பதன் மூலமும், அறிவார்ந்த செயல்பாட்டை அறிவார்ந்த பணிகளாகப் பிரிப்பதன் மூலமும், ALIS ஆனது சிறப்பு அறிவு களஞ்சியங்களுக்கு இடையில் பொருத்தமாக மாறுவதன் மூலம் முழு அறிவார்ந்த செயல்பாட்டையும் செயல்படுத்த முடியும்.

இது வெவ்வேறு கருவிகளை வாசிக்கும் தொழில்முறை இசைக்கலைஞர்கள் கொண்ட ஒரு இசைக்குழு மற்றும் முழுவதையும் வழிநடத்தும் ஒரு நடத்துனர் போன்றது.

இந்த அமைப்புத் தொழில்நுட்பம், "அறிவார்ந்த ஒருங்கிணைப்பு" மூலம், ALIS தனது அறிவார்ந்த செயல்பாடுகளை ஒழுங்கமைக்க முடியும்.

ALIS அடிப்படை வடிவமைப்பு மற்றும் மேம்பாட்டு முறை

இங்கிருந்து, ALIS க்கான மேம்பாட்டு அணுகுமுறையை நான் ஒழுங்கமைப்பேன்.

கொள்கைகள் மற்றும் பத்திகளில் ஏற்கனவே கூறப்பட்டுள்ளபடி, ALIS அதன் செயல்பாடுகளையும் வளங்களையும் எளிதாக நீட்டிக்க வடிவமைக்கப்பட்டுள்ளது. ஏனெனில் ALIS இன் சாரம் குறிப்பிட்ட செயல்பாடுகளில் இல்லை, மாறாக அறிவைப் பிரித்தெடுத்தல், சேமித்தல், தேர்ந்தெடுத்தல் மற்றும் பயன்படுத்துதல் ஆகிய செயல்முறைகளில் உள்ளது.

எடுத்துக்காட்டாக, பல வகையான அறிவைப் பிரித்தெடுக்கும் வழிமுறைகளைத் தயார் செய்து, கணினி வடிவமைப்பைப் பொறுத்து அவற்றிலிருந்து தேர்ந்தெடுக்கலாம் அல்லது ஒரே நேரத்தில் பயன்படுத்தலாம்.

மேலும், ALIS இந்தத் தேர்வை தானாகவே செய்யும்படி செய்யலாம்.

சேமிப்பு, தேர்வு மற்றும் பயன்பாடு ஆகியவற்றையும் இதேபோல் சுதந்திரமாகத் தேர்ந்தெடுக்கலாம் அல்லது இணையாக்கலாம்.

எனவே, ALIS ஐ படிப்படியாகவும் விரைவாகவும் உருவாக்க முடியும், முழு செயல்பாட்டையும் ஒரு நீர்வீழ்ச்சி பாணியில் வடிவமைக்க வேண்டிய அவசியம் இல்லை.

ALIS இன் ஆரம்பம்

இப்போது, மிக எளிய ALIS ஐ வடிவமைப்போம்.

அடிப்படை பயனர் இடைமுகம் (UI) அனைவரும் அறிந்த அரட்டை AI ஆக இருக்கும். ஆரம்பத்தில், பயனர் உள்ளீடு நேரடியாக LLM க்கு அனுப்பப்படும். LLM இன் பதில் UI இல் காட்டப்படும், மேலும் அடுத்த பயனர் உள்ளீட்டிற்காக அமைப்பு காத்திருக்கும்.

அடுத்த உள்ளீடு வரும்போது, LLM புதிய உள்ளீட்டை மட்டுமல்லாமல், அதுவரை பயனர் மற்றும் LLM க்கு இடையேயான முழு அரட்டை வரலாற்றையும் பெறும்.

இந்த அரட்டை AI UI க்குப் பின்னால், அரட்டை வரலாற்றிலிருந்து மீண்டும் பயன்படுத்தக்கூடிய அறிவைப் பிரித்தெடுக்க ஒரு பொறிமுறையைத் தயார் செய்வோம்.

இது ஒரு உரையாடல் முடிந்தவுடன் அல்லது வழக்கமான இடைவெளியில் செயல்படுத்தப்படும் ஒரு செயல்முறையாக அரட்டை AI அமைப்பில் சேர்க்கப்படலாம். நிச்சயமாக, அறிவு பிரித்தெடுப்பதற்காக ஒரு LLM பயன்படுத்தப்படும்.

இந்த LLM க்கு ALIS கருத்து மற்றும் கோட்பாடுகள், அத்துடன் அறிவு பிரித்தெடுக்கும் நுட்பங்கள், அமைப்பு தூண்டுதல்களாக (system prompts) வழங்கப்படும். எதிர்பார்த்தபடி அறிவு பிரித்தெடுக்கப்படாவிட்டால், அமைப்பு தூண்டுதல்கள் சோதனைகள் மூலம் செம்மைப்படுத்தப்பட வேண்டும்.

அரட்டை வரலாற்றிலிருந்து பிரித்தெடுக்கப்பட்ட அறிவு நேரடியாக ஒரு அறிவு ஏரியில் (knowledge lake) சேமிக்கப்படும். அறிவு ஏரி என்பது அறிவை ஒழுங்கமைக்கப்படுவதற்கு முன், ஒரு தட்டையான, ஒழுங்கற்ற நிலையில் சேமிப்பதற்கான ஒரு பொறிமுறையாகும்.

அடுத்து, அறிவு ஏரியிலிருந்து அறிவைத் தேர்ந்தெடுப்பதை எளிதாக்குவதற்கு ஒரு கட்டமைப்பு பொறிமுறையைத் தயார் செய்வோம்.

இதன் பொருள், RAG இல் பொதுவாகப் பயன்படுத்தப்படும் பொருண்மைத் தேடலுக்கான (semantic search) உட்பொதிக்கப்பட்ட திசையன் களஞ்சியங்கள் (embedding vector stores) மற்றும் முக்கியச் சொல் அட்டவணைகள் (keyword indexes) போன்றவற்றை வழங்குவதாகும்.

மேலும் மேம்பட்ட விருப்பங்களில் அறிவு வரைபடத்தை உருவாக்குவது அல்லது வகைப்படுத்துதல் (category classification) ஆகியவை அடங்கும்.

அறிவு ஏரிக்கான இந்த கட்டமைக்கப்பட்ட தகவல்களின் தொகுப்பு ஒரு அறிவுத் தளம் (knowledge base) என்று அழைக்கப்படும். இந்த முழு அறிவுத் தளமும் அறிவு ஏரியும் அறிவு களஞ்சியத்தை (knowledge store) உருவாக்கும்.

அடுத்து, அறிவு களஞ்சியத்தை அரட்டை UI செயலாக்கத்தில் ஒருங்கிணைப்போம்.

இது அடிப்படையில் ஒரு பொதுவான RAG பொறிமுறையைப் போன்றது. பயனர் உள்ளீட்டிற்கு, தொடர்புடைய அறிவு அறிவு களஞ்சியத்திலிருந்து தேர்ந்தெடுக்கப்பட்டு, பயனர் உள்ளீட்டுடன் LLM க்கு அனுப்பப்படும்.

இது பயனர் உள்ளீட்டைச் செயலாக்கும்போது அறிவை தானாகவே பயன்படுத்த LLM ஐ அனுமதிக்கிறது.

இந்த வழியில், பயனருடன் ஒவ்வொரு உரையாடலிலும் அறிவு குவியும், கடந்தகால உரையாடல்களில் இருந்து திரட்டப்பட்ட அறிவைப் பயன்படுத்தும் ஒரு எளிய ALIS ஐ இது உணரும்.

எளிய சூழ்நிலை

உதாரணமாக, ஒரு பயனர் இந்த எளிய ALIS ஐப் பயன்படுத்தி ஒரு வலைப் பயன்பாட்டை (web application) உருவாக்குகிறார் என்று கற்பனை செய்து பாருங்கள்.

LLM முன்மொழிந்த குறியீடு ஒரு பிழையை விளைவிப்பதாகப் பயனர் தெரிவிக்கிறார். பயனர் மற்றும் LLM இணைந்து சிக்கலைத் தீர்த்த பிறகு, LLM அறிந்திருந்த வெளி API விவரக்குறிப்பு காலாவதியானது என்பதைக் கண்டறிகின்றனர், மேலும் சமீபத்திய API விவரக்குறிப்புக்கு ஏற்ப மாற்றப்பட்ட பிறகு நிரல் சரியாக வேலை செய்கிறது.

இந்த அரட்டை இழையிலிருந்து (chat thread), ALIS தனது அறிவு களஞ்சியத்தில் அறிவைச் சேகரிக்க முடியும்: குறிப்பாக, LLM அறிந்த API விவரக்குறிப்பு பழையது, மற்றும் சமீபத்திய API விவரக்குறிப்பு என்ன என்பது பற்றியது.

பின்னர், அதே API ஐப் பயன்படுத்தும் ஒரு நிரல் அடுத்த முறை உருவாக்கப்பட்டால், ALIS இந்த அறிவைப் பயன்படுத்தி ஆரம்பத்திலிருந்தே சமீபத்திய API விவரக்குறிப்பின் அடிப்படையில் ஒரு நிரலை உருவாக்க முடியும்.

ஆரம்பகால ALIS இல் மேம்பாடுகள்

இருப்பினும், இது நடப்பதற்கு, இந்த அறிவு பயனர் உள்ளீட்டிற்கு பதிலளிக்கும் வகையில் தேர்ந்தெடுக்கப்பட வேண்டும். சிக்கல் நிறைந்த API பெயர் பயனர் உள்ளீட்டில் தோன்றாததால், இந்த அறிவு பயனர் உள்ளீட்டுடன் நேரடியாக இணைக்கப்படாமல் இருக்கலாம்.

அப்படியானால், API பெயர் LLM இன் பதிலின் போது மட்டுமே வெளிப்படும்.

எனவே, எளிய ALIS ஐ, முன்-பகுப்பாய்வு (pre-analysis) மற்றும் பின்-சரிபார்ப்பு (post-checking) வழிமுறைகளைச் சேர்ப்பதன் மூலம் சற்று விரிவுபடுத்துவோம்.

முன்-பகுப்பாய்வு, சமீபத்திய LLM களில் உள்ள "சிந்தனை முறைக்கு" (thought mode) ஒத்ததாகும். உரையை நிலை நினைவகமாக வைத்திருக்கக்கூடிய ஒரு நினைவகம் தயாரிக்கப்படும், மேலும் பயனர் உள்ளீட்டைப் பெற்றவுடன் முன்-பகுப்பாய்வை செய்யுமாறு அமைப்புத் தூண்டுதல் (system prompt) LLM க்கு அறிவுறுத்தும்.

LLM இன் முன்-பகுப்பாய்வு முடிவு நிலை நினைவகத்தில் சேமிக்கப்படும். இந்த முன்-பகுப்பாய்வு முடிவின் அடிப்படையில், அறிவு களஞ்சியத்திலிருந்து அறிவு தேர்ந்தெடுக்கப்படும்.

பின்னர், அரட்டை வரலாறு, முன்-பகுப்பாய்வு முடிவு, பயனர் உள்ளீட்டிற்கு ஒத்த அறிவு மற்றும் முன்-பகுப்பாய்வு முடிவுக்கு ஒத்த அறிவு ஆகியவை LLM க்கு அனுப்பப்பட்டு ஒரு பதிலைப் பெறும்.

மேலும், LLM ஆல் திரும்பப் பெறப்பட்ட முடிவு, அறிவு களஞ்சியத்திலிருந்து அறிவைத் தேடவும் பயன்படுத்தப்படும். அங்கு கண்டறியப்பட்ட அறிவுடன் சேர்த்து, LLM பின்-சரிபார்ப்பைச் செய்யுமாறு கேட்கப்படும்.

ஏதேனும் சிக்கல்கள் கண்டறியப்பட்டால், சிக்கலான புள்ளிகள் மற்றும் கண்டறியப்பட்டதற்கான காரணங்கள் சேர்க்கப்பட்டு அரட்டை LLM க்கு மீண்டும் அனுப்பப்படும்.

முன்-பகுப்பாய்வு மற்றும் பின்-சரிபார்ப்பின் போது அறிவைத் தேர்ந்தெடுப்பதற்கான வாய்ப்புகளை வழங்குவதன் மூலம், திரட்டப்பட்ட அறிவைப் பயன்படுத்துவதற்கான வாய்ப்புகளை நாம் அதிகரிக்க முடியும்.

தொலைநோக்கு

ஆரம்ப ALIS ஐ உருவாக்கி, அதன் பலவீனங்களைச் சரிசெய்ய மேம்பாடுகளைச் சேர்ப்பதற்கான இந்த அணுகுமுறை, ALIS இன் சுறுசுறுப்பான மேம்பாடு மற்றும் படிப்படியான முன்னேற்றத்தை முழுமையாக விளக்குகிறது.

மேலும், எடுத்துக்காட்டாக, ஆரம்ப ALIS மென்பொருள் உருவாக்கத்தில் பயன்படுத்த மிகவும் பொருத்தமானது. ஏனெனில் இது அதிக தேவை உள்ள ஒரு துறை மற்றும் அறிவை எளிதாகக் குவிக்கக்கூடிய ஒரு துறை ஆகும்.

இது விஷயங்கள் தெளிவாகச் சரி அல்லது தவறு என்று தீர்மானிக்கப்படும் ஒரு வகை, ஆனால் இது சோதனைகள் மற்றும் பிழைகள், தொடர்ச்சியான அறிவு சேகரிப்பு ஆகியவை அவசியமான மற்றும் முக்கியமான ஒரு முக்கியமான துறையாகும்.

கூடுதலாக, ALIS மேம்பாடு மென்பொருள் உருவாக்கம் என்பதால், ALIS உருவாக்குநர்கள் ALIS பயனர்களாக இருக்க முடியும் என்பதும் கவர்ச்சிகரமானது.

மேலும், ALIS அமைப்புடன், அறிவு ஏரியும் GitHub போன்ற தளங்களில் பகிரங்கமாகப் பகிரப்படலாம்.

இது பலரை ALIS அமைப்பு மேம்பாடுகள் மற்றும் அறிவு சேகரிப்பில் ஒத்துழைக்க அனுமதிக்கும், அனைவரும் முடிவுகளிலிருந்து பயனடைவார்கள், மேலும் ALIS மேம்பாட்டை மேலும் துரிதப்படுத்தும்.

நிச்சயமாக, அறிவுப் பகிர்வு ALIS உருவாக்குநர்களுக்கு மட்டும் அல்ல, ALIS ஐப் பயன்படுத்தும் அனைத்து மென்பொருள் உருவாக்குநர்களிடமிருந்தும் சேகரிக்கப்படலாம்.

அறிவு இயற்கை மொழியில் உள்ளது என்பது மேலும் இரண்டு நன்மைகளை வழங்குகிறது:

முதல் நன்மை என்னவென்றால், LLM மாதிரி மாறினாலும் அல்லது புதுப்பிக்கப்பட்டாலும் கூட அறிவைப் பயன்படுத்த முடியும்.

இரண்டாவது நன்மை என்னவென்றால், பரந்த அளவில் திரட்டப்பட்ட அறிவு ஏரியை LLM களுக்கான முன்-பயிற்சி தரவுத்தொகுப்பாகப் பயன்படுத்தலாம். இதை இரண்டு வழிகளில் செய்யலாம்: நுணுக்கமான பயிற்சிக்கு (fine-tuning) பயன்படுத்துவது அல்லது LLM முன்-பயிற்சிக்கே பயன்படுத்துவது.

எந்த வகையிலும், அறிவு ஏரியில் உள்ளார்ந்த முறையில் கற்றுக்கொண்ட அறிவைக் கொண்ட LLM களைப் பயன்படுத்த முடிந்தால், மென்பொருள் உருவாக்கம் இன்னும் திறமையானதாக மாறும்.

மேலும், மென்பொருள் உருவாக்கத்திற்குள், தேவைகள் பகுப்பாய்வு, வடிவமைப்பு, செயல்படுத்தல், சோதனை, செயல்பாடு மற்றும் பராமரிப்பு போன்ற பல்வேறு செயல்முறைகள் உள்ளன, மேலும் ஒவ்வொரு மென்பொருள் டொமைன் மற்றும் தளத்திற்கும் சிறப்பு அறிவு உள்ளது. இந்த கண்ணோட்டங்களில் இருந்து பரந்த அளவில் திரட்டப்பட்ட அறிவைப் பிரிக்க ஒரு வழிமுறை உருவாக்கப்பட்டால், ஒரு ALIS இசைக்குழுவையும் உருவாக்க முடியும்.

இவ்வாறு, ALIS க்கான அடிப்படைக் கூறுகள் தயாராக உள்ளன. இப்போது முக்கியமானது, அறிவு பிரித்தெடுக்கும் நுட்பம், பொருத்தமான அறிவு தேர்வு, சிறப்பு அறிவுப் பிரிப்பு மற்றும் நிலை நினைவகத்தைப் பயன்படுத்துவது எப்படி போன்ற பல்வேறு முறைகளை நடைமுறையில் முயற்சிப்பதன் மூலம் பயனுள்ள அணுகுமுறைகளைக் கண்டறிவது. மேலும், சிக்கலான தன்மை அதிகரிக்கும்போது, செயலாக்க நேரம் மற்றும் LLM பயன்பாட்டு செலவுகள் அதிகரிக்கும், இது மேம்படுத்தலை அவசியமாக்கும்.

இந்த சோதனை-பிழை மற்றும் மேம்படுத்தல் செயல்முறைகளை கட்டமைப்புகளின் மேம்பாடு மற்றும் முன்னேற்றம் மூலம் தகவமைப்புடன் தொடரலாம்.

ஆரம்பத்தில், உருவாக்குநர்கள், பயனர்களாக, சோதனைகள் மற்றும் பிழைகள் மூலம் ALIS இல் கட்டமைப்புகளைச் சேர்ப்பார்கள். இருப்பினும், அப்போதும் கூட, LLM தானே கட்டமைப்பு யோசனைகளை உருவாக்க முடியும்.

உலகத்திலிருந்து பெறப்பட்ட முடிவுகள் மற்றும் பிரித்தெடுக்கப்பட்ட அறிவின் அடிப்படையில் கட்டமைப்புகளை மேம்படுத்தும் அல்லது கண்டறியும் கட்டமைப்புகளை ALIS இல் சேர்ப்பதன் மூலம், ALIS தானே தகவமைப்புடன் சோதனை-பிழை மற்றும் மேம்படுத்தலைச் செய்யும்.

நிஜ உலகில் ALIS

ALIS இந்த நிலைக்குச் செம்மைப்படுத்தப்பட்டவுடன், மென்பொருள் மேம்பாட்டு உலகில் மட்டுமல்லாமல், பல்வேறு களங்களிலும் அறிவைக் கற்கக்கூடியதாக இருக்க வேண்டும்.

மென்பொருள் மேம்பாட்டைப் போலவே, மனிதர்கள் கணினிகளைப் பயன்படுத்தி மேற்கொள்ளும் பல்வேறு அறிவார்ந்த செயல்பாடுகளுக்கும் ALIS அதன் வரம்பை விரிவுபடுத்தும் என்று எதிர்பார்க்கப்படுகிறது.

அத்தகைய அறிவார்ந்த செயல்பாடுகளிலும் கூட, ALIS இலக்கு உலகத்தைப் பொறுத்தவரை ஒரு வகையான உடலமைப்பைக் கொண்ட AI (embodied AI) தன்மையைக் கொண்டுள்ளது.

ஏனெனில் அது தனக்கும் உலகிற்கும் இடையிலான எல்லையை அடையாளம் காண்கிறது, அந்த எல்லை வழியாக உலகில் செயல்படுகிறது, மற்றும் உலகிலிருந்து பெறப்பட்ட தகவல்களை உணர முடியும்.

பொதுவாக நாம் "உடல்" என்று குறிப்பிடுவது, உலகத்துடன் ஒரு எல்லையாகும், அது உடல் ரீதியாகக் காணக்கூடியது மற்றும் ஒரு இடத்தில் உள்ளூர்மயமாக்கப்பட்டது.

இருப்பினும், எல்லை கண்ணுக்குத் தெரியாததாகவும், இடவியல் ரீதியாகப் பரவியிருந்தாலும், ஒரு எல்லை வழியாக உணர்தல் மற்றும் செயலின் அமைப்பு ஒரு உடல் உடலைக் கொண்டிருப்பதற்கு ஒத்ததாகும்.

அந்த வகையில், ALIS, அறிவார்ந்த செயல்பாடுகளைச் செய்யும்போது, ஒரு மெய்நிகர் உடலமைப்பைக் கொண்ட AI இன் தன்மையைக் கொண்டிருப்பதாகக் கருதலாம்.

மேலும் ALIS புதிய, அறியப்படாத உலகங்களிலும் கூட பொருத்தமாக கற்கக்கூடிய ஒரு நிலைக்குச் செம்மைப்படுத்தப்பட்டவுடன், ஒரு உடல் உடலைக் கொண்ட உண்மையான உடலமைப்பைக் கொண்ட AI இன் ஒரு பகுதியாக ALIS ஐ ஒருங்கிணைக்க ஒரு சாத்தியம் உள்ளது.

இந்த வழியில், ALIS இறுதியில் நிஜ உலகில் பயன்படுத்தப்படும் மற்றும் அதிலிருந்து கற்கத் தொடங்கும்.