Kujifunza kwa mashine kwa jadi hufanya kazi ndani ya dhana ambapo kompyuta, zilizo na uwezo wa kukokotoa nambari, hujifunza kwa kutumia data ya nambari na kupata vigezo vilivyokadiriwa.
Hata hivyo, wanadamu wana uwezo wa kujifunza sio tu kupitia mifumo ya nambari bali pia kupitia lugha. Tunapanga na kurekodi uzoefu kwa maneno, na kisha kuyakumbuka, kuyasoma, na kuyatumia maneno hayo.
Mifumo Mikuu ya Lugha (LLMs) inaweza kuelezea maarifa kwa maneno na kutumia maarifa kwa kusoma maneno.
Kwa kutumia LLMs kama wasindikaji wa lugha asilia, kujifunza kwa mashine kwa kutumia lugha asilia kunawezekana, badala ya kujifunza kwa mashine kwa kutumia nambari tu.
Kwa sababu hii, ujio wa LLMs umefungua uwanja mpya: kujifunza kwa mashine kwa lugha asilia.
Mafunzo ya awali ya LLMs ni aina ya kujifunza kwa mashine kwa nambari ya jadi. Kujifunza kwa mashine kwa lugha asilia kunakojadiliwa hapa kunarejelea aina mpya ya kujifunza kwa mashine inayotumia LLMs zilizofunzwa awali.
Mfumo wa Msingi wa Kujifunza kwa Mashine kwa Lugha Asilia
Kujifunza kwa mashine kwa lugha asilia kuna vipengele vinavyofanana na kujifunza kwa mashine kwa nambari ya kawaida, pamoja na vipengele vilivyo tofauti kabisa.
Ili kuelewa kwanza dhana ya kujifunza kwa mashine kwa lugha asilia, hebu tuelezee mfumo wa msingi unaozingatia sehemu zinazofanana na kujifunza kwa mashine kwa nambari ya jadi.
Kuanzia hapa, Mfumo Mkubwa wa Lugha uliokwishafunzwa awali utarejelewa kama LLM. Kumbuka kwamba vigezo vya LLM havibadiliki kabisa wakati wa mchakato huu wa kujifunza.
Mfumo wa msingi ni mfumo wa kujifunza kwa usimamizi, unaolenga matatizo ya uainishaji.
Kwa data ya kujifunza, jozi nyingi za sentensi za kuingiza na uainishaji wake huandaliwa kama majibu sahihi.
Kwa mfano, tuseme kampuni ina Idara ya Masuala Mkuu na Idara ya Masuala ya Utawala.
Idara hizi mbili zina majukumu tofauti. Kwa sentensi za kuingiza kama vile "Bulbu ya ofisi imezima," "Nilisahau kadi yangu ya kufikia," au "Nataka kuhifadhi ukumbi mkuu katika makao makuu," uainishaji unaonyesha ni idara gani, Masuala Mkuu au Masuala ya Utawala, inawajibika.
Kutoka data hii ya mafunzo, sentensi za kuingiza tu hutolewa na kuingizwa kwenye LLM.
Hapa, tunazuia kimakusudi jibu kupitia kidokezo cha mfumo kama, "Tafadhali sema kama idara inayohusika na uchunguzi huu ni Masuala Mkuu au Masuala ya Utawala. Usijumuishe herufi zozote isipokuwa 'Masuala Mkuu' au 'Masuala ya Utawala' katika jibu lako."
Mwanzoni, LLM inazalisha jibu bila maarifa ya kampuni hii. Kwa kawaida, linaweza kuwa lisilo sahihi, au mara kwa mara sahihi kwa bahati mbaya.
Kwa kila jibu, mfumo wa kufundisha huamua kama ni sahihi au si sahihi. Kisha, mchanganyiko wa sentensi ya kuingiza, jibu la LLM, na matokeo ya hukumu huhifadhiwa kwenye hifadhidata ya maarifa.
Mchakato huu unarudiwa kwa takriban nusu ya data ya mafunzo.
Kwa nusu iliyobaki ya data ya mafunzo, taarifa zote zilizorekodiwa katika hifadhidata ya maarifa huongezwa kwenye kidokezo cha mfumo kwa LLM, na mchakato huo huo unafanywa.
Katika hatua hii, hifadhidata ya maarifa ina taarifa kuhusu mgawanyo wa majukumu kati ya idara za Masuala Mkuu na Masuala ya Utawala za kampuni hii, kwa hivyo uwezekano wa jibu sahihi unapaswa kuwa juu kuliko na nusu ya kwanza ya data.
Kwa njia hii, mfumo unaochanganya LLM na hifadhidata ya maarifa unaweza kujifunza mgawanyo wa majukumu kwa idara za Masuala Mkuu na Masuala ya Utawala za kampuni.
Utaratibu wa kujifunza wenyewe unafanana na kujifunza kwa mashine kwa nambari ya jadi. Tofauti ni kwamba matokeo ya kujifunza yanaakisiwa kwenye hifadhidata ya maarifa, si katika vigezo vya mtandao wa neva ndani ya LLM. Zaidi ya hayo, hifadhidata ya maarifa hurekodi lugha asilia, si thamani za nambari.
Huu ni mfumo wa msingi wa kujifunza kwa mashine kwa lugha asilia.
Ukweli wa Mfumo wa Msingi
Kama wale wanaotumia LLMs watagundua haraka, mfumo huu wa msingi hauna uhalisia.
Hii ni kwa sababu hakuna haja ya kupitia taabu ya kuwa na mfumo wa kufundisha kuamua hukumu sahihi/zisizo sahihi; mtu anaweza tu kuweka data ya mafunzo yenyewe kwenye kidokezo cha mfumo tangu mwanzo.
Hata hivyo, kwa kutumia mfumo wa msingi na kubadilisha kidogo hali, unapata uhalisia.
Kwa mfano, fikiria kwamba Idara ya Masuala Mkuu na Idara ya Masuala ya Utawala zimeunda pamoja dawati la maswali, na binadamu hutoa mwenyewe kila swali linaloingia kwa idara inayofaa.
Mfumo rahisi umejengwa ili kuongeza maswali haya na matokeokeo yao ya ugawaji kwenye hifadhidata ya maarifa.
Kisha, kwa kutumia hifadhidata hii ya maarifa, LLM inaweza kuchukua nafasi ya binadamu na kugawa maswali mapya kwa idara.
Katika kesi hii, ikiwa LLM itagawa kimakosa swali lililokusudiwa kwa Idara ya Masuala ya Utawala kwa Idara ya Masuala Mkuu, wafanyakazi wa Idara ya Masuala Mkuu watagawa upya swali hilo kwa Idara ya Masuala ya Utawala. Taarifa hii ya ugawaji upya pia inarekodiwa kwenye hifadhidata ya maarifa.
Mbinu hii rahisi ya kurekodi kumbukumbu za ugawaji, pamoja na LLM na hifadhidata ya maarifa, ingejumuisha mfumo halisi wa kujifunza kwa mashine kwa lugha asilia unaosimamiwa.
Jambo muhimu hapa, kurejea tena, ni kwamba vigezo vya mtandao wa neva ndani ya LLM havibadiliki kabisa. Zaidi ya hayo, matokeo ya kujifunza kwa maoni ni mkusanyiko wa sentensi za lugha asilia, sio thamani za nambari.
Na, bila shaka, mfumo huu unahusisha kujifunza kwa mashine, sio kujifunza kwa binadamu.
Kwa hiyo, hii ni aina mpya ya kujifunza kwa mashine: kujifunza kwa mashine kwa lugha asilia.
Nguvu za Kujifunza kwa Mashine kwa Lugha Asilia
Tofauti na kujifunza kwa mashine kwa nambari, kujifunza kwa lugha asilia kuna faida nyingi.
Kwa neno moja, sifa yake kuu ni ufanisi mkubwa wa kujifunza.
Kujifunza kwa mashine kwa nambari kwa kawaida huhitaji kiasi kikubwa cha data ya mafunzo na kujifunza kwa kurudia. Zaidi ya hayo, uhamishaji wa awali wa data ya mafunzo pia ni muhimu.
Kiasi kikubwa cha data ya mafunzo kinahitajika kwa sababu sifa za kujifunza hazimo ndani ya kipande kimoja cha data bali zimesambazwa kati ya idadi kubwa ya data.
Kwa sababu hii, data ya mafunzo inayolingana na mraba wa vipimo vya sifa zinazohitajika kweli inahitajika.
Kujifunza kwa kurudia ni muhimu ili kuhakikisha kuwa vigezo vya mtandao wa neva vinajifunza ipasavyo bila kuangukia katika viwango vya chini vya ndani, jambo linalohitaji kuweka mabadiliko ya kigezo kidogo kwa kila maoni.
Uhamishaji wa awali wa data ya mafunzo, kama vile urekebishaji na utoaji wa kingo, unahitajika ili kuangazia sifa zinazohitajika kweli. Uhamishaji huu wa awali pia unahitaji juhudi kubwa.
Kwa mfano, ikiwa mgawanyo wa majukumu kati ya Idara ya Masuala ya Utawala na Idara ya Masuala Mkuu ungepaswa kujifunza kwa kutumia mtandao wa neva wa jadi, na sifa zake zingekuwa na vipimo 50, basi takriban data 1,000 au zaidi za mafunzo zingehitajika. Aidha, data hizi 1,000+ zinaweza kuhitaji kujifunza kwa kurudia mara 100 ili kufikia usahihi wa kujifunza unaofaa.
Zaidi ya hayo, ikiwa seti hii ya data 1,000 za mafunzo ina maneno yasiyo ya lazima, tofauti za tahajia, au aina mbalimbali za mpangilio wa maneno na miundo ya sentensi, ufanisi wa kujifunza hupungua, na sifa zisizohusiana zinaweza kujifunza.
Kwa hiyo, uhamishaji wa awali wa kuondoa maneno yasiyo ya lazima, kusawazisha istilahi ili kuondoa tofauti, na kuunganisha mpangilio wa maneno na sintaksia ni muhimu.
Kinyume chake, kujifunza kwa mashine kwa lugha asilia kunahitaji data ndogo ya mafunzo, hakuna kurudia na data ileile ya mafunzo, na mara nyingi hakuna uhamishaji wa awali.
Ikiwa sifa za mgawanyo wa majukumu kati ya Idara ya Masuala ya Utawala na Idara ya Masuala Mkuu zina vipimo 50, vipande 50 vya habari vinavyolingana na kila kipimo vinatosha.
Zaidi ya hayo, hii haimaanishi kwamba sentensi 50 tofauti zinahitajika.
Sentensi moja kama "Majukumu yanayohusiana na A, B, C, na D yanashughulikiwa na Idara ya Masuala ya Utawala" inaweza kujumuisha vipimo vinne vya habari.
Zaidi ya hayo, kwa kufupisha lugha, habari kutoka vipimo vingi inaweza kukusanywa. Sentensi kama "Matengenezo ya vifaa vya ujenzi na vituo ni jukumu la Idara ya Masuala ya Utawala" inakusanya habari mbalimbali za vipimo, ikiwa ni pamoja na uingizwaji wa balbu za taa na kuharibika kwa milango ya otomatiki.
Ufupishaji huu unaweza kusemwa kuwa unapunguza data ya mafunzo kwa kutumia maarifa yaliyokwishafunzwa na uwezo wa hoja wa LLM.
Na, kimsingi, kujifunza kwa lugha asilia hakuhitaji kujifunza kwa kurudia. Mara tu sentensi iliyotajwa hapo juu imeongezwa kwenye hifadhidata ya maarifa, kujifunza kumekamilika.
Zaidi ya hayo, uhamishaji wa awali wa maarifa hauhitajiki. Hata kama maelezo ya Idara ya Masuala ya Utawala au Idara ya Masuala Mkuu yamechanganywa ndani ya maandishi mbalimbali, bado yanaweza kutumika kama maarifa.
Au, kama ilivyo katika mfano uliopita, data ghafi kama vile rekodi za uchunguzi na ugawaji zinaweza kutumika mara moja kama data ya mafunzo bila uhamishaji wa awali.
Hivyo, kujifunza kwa mashine kwa lugha asilia kunaweza kujifunza kwa ufanisi zaidi kuliko kujifunza kwa mashine kwa nambari.
Hitimisho
Ikilinganishwa na uwezo wa kukokotoa nambari kwa kasi kubwa wa kompyuta, uwezo wa uchakataji wa lugha asilia wa mifumo mikuu ya lugha ni polepole kabisa.
Hata hivyo, kujifunza kwa mashine kwa lugha asilia kunaruhusu ujifunzaji ufanisi, na kuzidi mbali pengo kati ya ukokotoaji wa nambari wa kasi kubwa na uchakataji wa lugha asilia polepole.
Zaidi ya hayo, mifumo mikuu ya lugha, ambayo imepiga hatua kubwa kupitia ujifunzaji wa nambari, inaonekana kukaribia mipaka ya uboreshaji wa utendaji kupitia kuongeza ukubwa tu, kulingana na sheria za kuongeza ukubwa.
Katika hali kama hiyo, inawezekana sana kwamba lengo litahamia kwenye kuboresha uwezo kupitia ujifunzaji wa mashine kwa lugha asilia.