Kujifunza kwa mashine kwa jadi hufanya kazi ndani ya dhana ambapo kompyuta, zilizo stadi katika ukokotoaji wa nambari, hujifunza kutoka kwa data ya nambari na kupata vigezo vya nambari.
Kwa upande mwingine, tuna uwezo wa kujifunza sio tu kupitia mifumo ya nambari bali pia kupitia lugha. Tunapanga na kurekodi uzoefu kama maneno, kisha tunayakumbuka au kuyasoma maneno hayo ili kuyatumia.
Mifumo mikubwa ya lugha inaweza vivyo hivyo kuelezea maarifa kwa kutumia maneno na kutumia maneno kwa kuyasoma.
Kwa kutumia mifumo mikubwa ya lugha, ambazo ni vichakataji lugha asilia, kujifunza kwa mashine kwa kutumia lugha asilia kunawezekana, badala ya kujifunza kwa mashine kwa kutumia nambari tu.
Matokeo yake, ujio wa mifumo mikubwa ya lugha umefungua uga mpya: kujifunza kwa mashine kwa lugha asilia.
Mafunzo ya awali ya mifumo mikubwa ya lugha ni kujifunza kwa mashine kwa nambari kwa jadi. Kujifunza kwa mashine kwa lugha asilia kulikoelezwa hapa kunarejelea aina mpya ya kujifunza kwa mashine inayotumia mifumo mikubwa ya lugha iliyofunzwa awali.
Mfumo Msingi wa Kujifunza kwa Mashine kwa Lugha Asilia
Kujifunza kwa mashine kwa lugha asilia kuna vipengele vinavyofanana na, na vile vile tofauti kabisa na, kujifunza kwa mashine kwa nambari kwa jadi.
Kwanza, ili kupata picha ya kujifunza kwa mashine kwa lugha asilia, tutaelezea sehemu zinazofanana na kujifunza kwa mashine kwa nambari kwa jadi kama mfumo msingi.
Kuanzia sasa, tutarejelea mfumo mkuu wa lugha uliopata mafunzo ya awali kama LLM. Tafadhali kumbuka kuwa vigezo vya LLM havibadiliki kabisa wakati wa mchakato huu wa kujifunza.
Mfumo msingi ni ujifunzaji uliosimamiwa, unaolenga tatizo la uainishaji.
Jozi nyingi za sentensi za pembejeo na uainishaji wake huandaliwa kama majibu sahihi kwa data ya mafunzo.
Kwa mfano, tuseme kampuni ina Idara ya Masuala ya Jumla na Idara ya Masuala ya Utawala.
Idara hizi mbili zina mgawanyo wa majukumu. Kwa sentensi za pembejeo kama vile "Balbu ya taa ofisini imeungua," "Nimesahau kadi yangu ya kuingilia," au "Nataka kuhifadhi ukumbi mkuu kwenye makao makuu," uainishaji unaonyesha kama Idara ya Masuala ya Jumla au Idara ya Masuala ya Utawala inawajibika.
Kutokana na data hii ya mafunzo, sentensi za pembejeo tu ndizo hutolewa na kuingizwa kwenye LLM.
Hapa, kama kidokezo cha mfumo, tunazuia kwa makusudi jibu kwa kusema, "Tafadhali jibu ni idara gani, Masuala ya Jumla au Masuala ya Utawala, inawajibika kwa uchunguzi huu. Usijumuishe herufi zozote isipokuwa 'Masuala ya Jumla' au 'Masuala ya Utawala' katika jibu lako."
Hapo awali, LLM itatoa majibu bila maarifa yoyote ya kampuni hii. Kwa kawaida, baadhi ya majibu yatakuwa si sahihi, wakati mengine yanaweza kuwa sahihi kwa bahati.
Kwa kila jibu, mfumo wa mwalimu huamua kama ni sahihi au si sahihi. Kisha, mchanganyiko wa sentensi ya pembejeo, jibu la LLM, na matokeo ya uamuzi huhifadhiwa kwenye hifadhidata ya maarifa.
Mchakato huu hurudiwa kwa karibu nusu ya data ya mafunzo.
Kwa nusu iliyobaki ya data ya mafunzo, mchakato huo huo hufanywa, lakini wakati huu habari zote zilizorekodiwa kwenye hifadhidata ya maarifa huongezwa kwenye kidokezo cha mfumo kwa LLM.
Katika hatua hii, hifadhidata ya maarifa ina habari kuhusu mgawanyo wa majukumu kati ya idara za Masuala ya Jumla na Masuala ya Utawala za kampuni hii, hivyo uwezekano wa kupata majibu sahihi unapaswa kuwa juu kuliko na nusu ya kwanza ya data.
Kwa njia hii, mfumo unaochanganya LLM na hifadhidata ya maarifa unaweza kujifunza mgawanyo wa majukumu kati ya idara za Masuala ya Jumla na Masuala ya Utawala za kampuni hii.
Mfumo wa kujifunza wenyewe unafanana na kujifunza kwa mashine kwa nambari kwa jadi. Tofauti ni kwamba matokeo ya kujifunza yanaonyeshwa kwenye hifadhidata ya maarifa, siyo kwenye vigezo vya mtandao wa neva ndani ya LLM. Na, lugha asilia, siyo nambari, imerekodiwa kwenye hifadhidata ya maarifa.
Huu ndio mfumo msingi wa kujifunza kwa mashine kwa lugha asilia.
Uhalisia wa Mfumo Msingi
Kama yeyote anayetumia LLM atatambua haraka, mfumo huu wa msingi hauna uhalisia.
Hii ni kwa sababu, badala ya kujisumbua kuwa na mfumo wa mwalimu kuamua majibu sahihi na yasiyo sahihi, mtu anaweza kuingiza tu data yenyewe ya mafunzo kwenye kidokezo cha mfumo tangu mwanzo.
Hata hivyo, kwa kutumia mfumo msingi na kubadili kidogo hali, unapata uhalisia.
Kwa mfano, tuseme idara za Masuala ya Jumla na Masuala ya Utawala zinashirikiana kuanzisha dawati la maswali, na binadamu mmoja mmoja hupanga maswali yanayoingia kwenye idara inayofaa.
Mfumo rahisi unaweza kuundwa ili kuongeza maswali haya na matokeo yake ya uelekezaji kwenye hifadhidata ya maarifa.
Kisha, kwa kutumia hifadhidata hii ya maarifa, LLM inaweza kuchukua nafasi ya binadamu katika kuelekeza maswali mapya kwenye idara.
Katika kesi hii, ikiwa LLM itaelekeza vibaya swali lililokusudiwa kwa Masuala ya Utawala kwenda Masuala ya Jumla, mtu anayehusika katika Masuala ya Jumla ataelekeza upya swali hilo kurudi Masuala ya Utawala. Taarifa hii ya uelekezaji upya pia hurekodiwa kwenye hifadhidata ya maarifa.
Utaratibu huu rahisi wa kurekodi kumbukumbu za uelekezaji, ukichanganywa na LLM na mfumo wa hifadhidata ya maarifa, ungekuwa mfumo halisi wa kusimamiwa kwa kujifunza kwa mashine kwa lugha asilia.
Hoja kuu hapa, tena, ni kwamba vigezo vya mtandao wa neva ndani ya LLM havibadiliki kabisa. Na matokeo ya kujifunza kwa maoni siyo thamani za nambari, bali ni mkusanyiko wa sentensi za lugha asilia.
Zaidi ya hayo, mfumo huu bila shaka ni mfumo wa kujifunza kwa mashine, siyo mfumo wa kujifunza kwa binadamu.
Kwa hivyo, hii ni aina mpya ya kujifunza kwa mashine: kujifunza kwa mashine kupitia lugha asilia.
Nguvu za Kujifunza kwa Mashine kwa Lugha Asilia
Tofauti na kujifunza kwa mashine kwa nambari, kujifunza kwa lugha asilia kunatoa faida nyingi.
Kwa neno moja, sifa yake kuu ni ufanisi wake mkubwa wa kujifunza.
Kujifunza kwa mashine kwa nambari kwa ujumla kunahitaji kiasi kikubwa cha data ya mafunzo na kujifunza kwa kurudia. Kuchakata awali data ya mafunzo pia ni muhimu.
Kiasi kikubwa cha data ya mafunzo kinahitajika kwa sababu sifa anazotaka kujifunza hazimo ndani ya kipande kimoja cha data, bali zimesambazwa katika kiasi kikubwa cha data.
Kwa sababu hii, data ya mafunzo kwa utaratibu wa mraba wa kipimo cha sifa zinazotakiwa kweli inahitajika.
Kujifunza kwa kurudia ni muhimu kwa sababu mabadiliko ya vigezo wakati wa mzunguko mmoja wa maoni lazima yawe madogo ili kuhakikisha kuwa vigezo vya mtandao wa neva vimejifunza ipasavyo bila kuangukia kwenye optima za ndani.
Kuchakata awali data ya mafunzo, kama vile urekebishaji na uchimbaji wa kingo, ni muhimu ili kuangazia sifa zinazotakiwa kweli. Kuchakata awali huku pia kunahitaji juhudi kubwa.
Kwa mfano, ikiwa mgawanyo wa majukumu kati ya idara za utawala na masuala ya jumla ungejifunzwa kwa kutumia mtandao wa neva wa jadi, na sifa zake zingekuwa zenye vipimo 50, angalau pointi 1000 au zaidi za data ya mafunzo zingehitajika. Kwa kuongeza, pointi hizi 1000+ za data zinaweza kuhitaji kurudiwa takribani mara 100 ili kufikia usahihi wa kutosha wa kujifunza.
Zaidi ya hayo, ikiwa pointi hizi 1000 za data zina maneno yasiyo ya lazima, tofauti katika uandishi wa maneno, au aina mbalimbali za mpangilio wa maneno na sintaksia, ufanisi wa kujifunza utapungua, au sifa zisizohusika zitajifunzwa.
Kwa hivyo, kuchakata awali ili kuondoa maneno yasiyo ya lazima, kusawazisha msamiati ili kuondoa tofauti, na kuunganisha mpangilio wa maneno na sintaksia ni muhimu.
Kwa upande mwingine, kujifunza kwa mashine kwa lugha asilia kunahitaji data kidogo ya mafunzo, hakuhitaji kurudia na data ile ile ya mafunzo, na mara nyingi, hakuhitaji kuchakata awali.
Ikiwa sifa za mgawanyo wa majukumu kati ya idara za utawala na masuala ya jumla zina vipimo 50, vipande 50 vya habari vinavyolingana na kila kipimo mara nyingi vinatosha.
Zaidi ya hayo, hii haimaanishi kwamba sentensi 50 tofauti zinahitajika.
Sentensi moja kama "Majukumu yanayohusiana na A, B, C, na D yanasimamiwa na idara ya utawala" inaweza kujumuisha habari kwa vipimo vinne.
Zaidi ya hayo, kwa kufanya lugha kuwa ya jumla, habari kutoka vipimo vingi inaweza kukusanywa. Sentensi moja kama "Idara ya utawala inawajibika kwa matumizi ya jengo na matengenezo ya vifaa" inakusanya habari kutoka vipimo mbalimbali, ikiwa ni pamoja na uingizwaji wa balbu ya taa na hitilafu za milango ya moja kwa moja.
Ujumlishaji huu unatumia maarifa ya awali na uwezo wa hoja wa LLM, hivyo kupunguza kiasi cha data ya mafunzo inayohitajika.
Na, kimsingi, kujifunza kwa lugha asilia hakuhitaji kujifunza kwa kurudia. Mara tu sentensi iliyotajwa hapo awali imeongezwa kwenye hifadhidata ya maarifa, kujifunza kumekamilika.
Zaidi ya hayo, kuchakata awali kwa maarifa si lazima. Hata kama maelezo ya idara za utawala au masuala ya jumla yamechanganyikana na sentensi mbalimbali nyingine, bado yanaweza kutumika kama maarifa.
Vinginevyo, data ghafi, kama vile kumbukumbu za maswali na kazi kama ilivyo katika mfano uliopita, zinaweza kutumika mara moja kama data ya mafunzo bila kuchakata awali.
Kwa njia hii, kujifunza kwa mashine kwa lugha asilia kunaweza kujifunza kwa ufanisi zaidi kuliko kujifunza kwa mashine kwa nambari.
Hitimisho
Ikilinganishwa na uwezo wa kompyuta wa kukokotoa nambari kwa kasi kubwa, uwezo wa uchakataji wa lugha asilia wa mifumo mikubwa ya lugha ni polepole kabisa.
Hata hivyo, kujifunza kwa mashine kwa lugha asilia huruhusu kujifunza kwa ufanisi zaidi ikilinganishwa na kujifunza kwa mashine kwa nambari.
Ufanisi huu unazidi mbali pengo kati ya uwezo wa kukokotoa nambari kwa kasi kubwa na uwezo wa uchakataji wa lugha asilia polepole.
Zaidi ya hayo, mifumo mikubwa ya lugha, ambayo imepitia mageuzi ya kushangaza kupitia kujifunza kwa nambari, inaonekana kukaribia kikomo katika uboreshaji wa uwezo kupitia kuongeza ukubwa tu, kulingana na sheria za kuongeza ukubwa.
Katika hali hiyo, inawezekana kabisa kwamba mwelekeo utahamia kwenye kuboresha uwezo kupitia kujifunza kwa mashine kwa lugha asilia.