Ing kene, aku arep ngatur Sistem Intelijen Sinau Buatan (ALIS) kanthi njlèntrèhaké konsèp, prinsip, desain dhasar, lan metodologi pangembangane.
Konsèp
AI generatif saiki, mliginipun modèl basa gedhé, dilatih adhedhasar sinau sing diawasi adhedhasar jaringan saraf.
Minangka prosès sinau, kita netepaké sinau jaringan saraf iki minangka sinau bawaan.
ALIS nggabungaké prosès sinau sing dituku, pisah saka sinau bawaan, kanggo ngaktifaké inferensi sing nggabungaké kaloro prosès sinau kasebut.
Ing sinau sing dituku iki, kawruh sing wis disinaoni diklumpukaké ing jabané jaringan saraf lan digunakaké nalika inferensi.
Mula, inti tèknis ALIS dumunung ing èkstraksi, panyimpenan, lan pamilihan sarta panggunaan kawruh sing bisa digunakaké manèh nalika inferensi.
Salajengipun, ALIS dudu mung sawijining tèknologi èlèmèntèr, nanging minangka tèknologi sistem sing nggabungaké sinau bawaan lan sinau sing dituku.
Unsur-unsur Sistem Intelijen Sinau
ALIS lumaku kanthi prinsip menawa sinau bawaan sing wis ana lan sinau sing dituku ing mangsa ngarep padha-padha ngetutake kerangka sinau lan inferensi sing padha.
Kanggo njlèntrèhaké prinsip sinau ing ALIS, kita netepaké limang unsur sistem intelijen sinau.
Sing kapisan yaiku prosesor cerdas. Iki nuduhake sistem pangolahan sing nindakake inferensi nggunakake kawruh lan ngekstrak kawruh kanggo sinau.
Model Basa Gedhe (LLM) lan bagean saka otak manungsa minangka conto utama prosesor cerdas.
Sing kapindho yaiku papan pangertosan. Iki nuduhake lokasi panyimpenan ing ngendi kawruh sing wis diekstrak bisa disimpen lan dijupuk maneh yen dibutuhake.
Ing LLM, papan pangertosan kalebu paramèter jaringan saraf. Ing manungsa, iki cocog karo memori jangka panjang ing otak.
Sing katelu yaiku jagad. Iki nuduhake lingkungan eksternal kaya sing dirasakake dening sistem intelijen sinau, kayata manungsa utawa ALIS.
Kanggo manungsa, jagad iku kasunyatan dhewe. Ing kasus LLM, mekanisme sing nampa output saka LLM lan menehi umpan balik marang LLM bisa dianggep padha karo jagad.
Sing kaping papat yaiku memori kahanan. Iki nuduhake komponen kaya memori sementara internal sing digunakake dening sistem intelijen sinau nalika inferensi.
Ing LLM, iki minangka ruang memori sing digunakake nalika inferensi, dikenal minangka kahanan sing didhelikake. Ing manungsa, iki cocog karo memori jangka pendek.
Sing kaping lima yaiku kerangka kerja. Iki, bisa diarani, struktur mikir. Ing terminologi sistem intelijen sinau, iki nuduhake kritéria kanggo milih kawruh sing dibutuhake nalika inferensi lan struktur ruang negara logis kanggo ngatur memori kahanan.
Ing LLM, iki minangka struktur semantik saka kahanan sing didhelikake, lan isine umume ambigu lan ora bisa dimangerteni dening manungsa. Salajengipun, pamilihan kawruh dilebokake ing mekanisme perhatian, sing milih token sing wis ana sing kudu dirujuk kanggo saben token sing diproses.
Ing manungsa, kaya sing wis kasebut ing ndhuwur, iki minangka struktur mikir. Nalika mikir nggunakake kerangka kerja tartamtu, sakumpulan kawruh tartamtu dieling-eling saka memori jangka panjang lan dimuat menyang memori jangka pendek. Banjur, informasi sing saiki dirasakake diatur miturut kerangka mikir kanggo mangerteni kahanan kasebut.
Prinsip Sistem Intelijen Sinau
Sistem intelijen sinau lumaku kaya ing ngisor iki:
Prosesor cerdas tumindak ing jagad. Jagad, minangka tanggepan marang tumindak iki, mènèhi asil.
Prosesor cerdas ngekstrak kawruh sing bisa digunakaké manèh saka asil kasebut lan nyimpen ing papan pangertosan.
Nalika tumindak ing jagad kanthi iteratif, prosesor cerdas milih kawruh saka papan pangertosan lan nggunakaké kanggo ngowahi tumindake.
Iki minangka mekanisme dhasar.
Nanging, kanthi dhasar, metode èkstraksi, panyimpenan, pamilihan, lan panggunaan kawruh nemtokaké apa sistem bisa nindakaké sinau sing migunani.
Manungsa duwé mekanisme sing èfèktif nangani èkstraksi, panyimpenan, pamilihan, lan panggunaan kawruh iki, saéngga bisa sinau.
Jaringan saraf, kalebu LLM, èkstraksiné ditangani déning guru èksternal, nanging duwé mekanisme kanggo panyimpenan, pamilihan, lan panggunaan. Iki ngidini sinau angger-angger diwènèhi guru.
Salajengipun, sistem intelijen sinau uga bisa sinau èkstraksi, panyimpenan, lan pamilihan kerangka kerja, lan metode panggunaané ing memori kahanan, minangka kawruh, saéngga ngaktifaké sinau sing luwih rumit.
Jinis-jinis Kawruh
Adhedhasar prinsip kasebut, nalika ngrancang sinau sing dituku, perlu kanggo njlentrehake wujud apa kawruh sing dituku.
Bisa uga ana cara ing ngendi kawruh sing dituku uga disinaoni kanthi kapisah minangka paramèter jaringan saraf.
Nanging, kawruh sing dituku ora kudu diwatesi mung ing paramèter jaringan saraf. Calon praktis yaiku kawruh sing dadi tèks ing basa alam.
Kawruh sing dadi tèks ing basa alam bisa diekstrak lan digunakake kanthi nggunakake kapabilitas pangolahan basa alam LLM. Salajengipun, amarga bisa ditangani minangka data ing sistem IT standar, panyimpenan lan pamilihan uga gampang.
Kajaba iku, kawruh sing dadi tèks ing basa alam gampang kanggo manungsa lan LLM liyane kanggo mriksa, ngerti, lan, ing sawetara kasus, malah nyunting isine.
Bisa uga dienggo bareng, digabungake, utawa dipisah karo sistem intelijen sinau liyane.
Amarga alasan kasebut, kawruh sing dituku ing konsep ALIS wiwitane bakal dirancang kanggo nargetake kawruh sing dadi tèks ing basa alam.
Memori Kahanan sing Dituku lan Kerangka Kerja
Kita wis njlentrehake kaluwihan milih tèks basa alam minangka format kawruh sing dituku.
Kaya mangkono, tèks basa alam uga bisa digunakaké kanggo memori kahanan lan kerangka kerja kanggo inferensi.
Kerangka kerja, minangka struktur konseptual, bisa disimpen lan digunakaké ing papan pangertosan minangka kawruh sing dadi tèks ing basa alam.
Sanajan nalika nginisialisasi utawa nganyari kahanan adhedhasar struktur sing ditetepaké déning kerangka kerja, memori kahanan format tèks bisa digunakaké.
Kanthi ngrancang ora mung kawruh sing dituku nanging uga kerangka kerja lan memori kahanan supaya ana ing format tèks, ALIS bisa nggunakaké kapabilitas pangolahan basa alam LLM kanggo sinau sing dituku lan inferensi sacara umum.
Kawruh Formal
Kawruh sing dituku, kerangka kerja, lan memori kahanan bisa diungkapake ora mung ing tèks basa alam nanging uga ing basa formal utawa model formal sing luwih ketat.
Sanajan aku nulis "pilih," tujuwan ALIS yaiku kanggo nggabungake macem-macem mekanisme sinau kawruh sing dituku kanggo ngaktifake panggunaan hibrida saka sinau bawaan lan sing dituku.
Kawruh sing diwakili dening basa formal utawa model formal bisa digawe luwih tepat lan ora ambigu.
Salajengipun, yen kerangka kerja diungkapake nggunakake basa formal utawa model lan kahanan wiwitan dibukak ing memori kahanan, mula simulasi utawa pangembangan logis bisa ditindakake kanthi model sing ketat dening prosesor cerdas sing bisa ngolah model formal, tinimbang LLM.
Conto utama basa formal utawa model formal kasebut yaiku basa pemrograman.
Nalika sistem sinau babagan jagad, yen bisa ngungkapake hukum lan konsep sing ditemokake ing kana minangka program ing kerangka kerja, mula bisa nyimulasikake ing komputer.
Kolom 1: Jinis-jinis Kawruh
Nalika ngatur kawruh ing sistem intelijen sinau, dadi cetha yen kawruh bisa dikategorikake sacara umum dadi telung jinis sistem kawruh lan rong jinis kahanan.
Telung sistem kawruh kasebut yaiku: kawruh parameter jaringan, sing ditangani dening jaringan saraf; kawruh alami, sing diungkapake ing basa alami; lan kawruh formal, sing diungkapake ing basa formal.
Rong jinis kahanan yaiku stateless lan stateful.
Kawruh parameter jaringan stateless minangka kawruh intuitif, kaya sing ditemokake ing AI deep learning. Fitur kucing lan asu, sing ora bisa dipikirake kanthi eksplisit utawa diidentifikasi kanthi lisan, bisa disinaoni minangka kawruh parameter jaringan stateless.
Kawruh parameter jaringan stateful minangka kawruh sing muncul liwat proses iteratif sing kabur, kayata ing AI generatif.
Kawruh alami stateless minangka kawruh kaya makna sing kaiket karo tembung individu.
Kawruh alami stateful minangka kawruh sing kalebu konteks ing sajroning ukara.
Sawetara kawruh alami sacara bawaan kalebu ing kawruh parameter jaringan stateful, nanging uga ana kawruh sing bisa dipikolehi saka teks basa alami.
Kawruh formal stateless minangka kawruh sing bisa diungkapake ing rumus matematika tanpa iterasi. Kawruh formal stateful minangka kawruh sing bisa diungkapake minangka program.
Saben uwong uga bisa nggunakake memori jangka pendek dhewe minangka memori kahanan kanggo kawruh alami lan kawruh formal.
Nanging, amarga iku memori jangka pendek, ana masalah yen angel kanggo njaga kahanan kanthi stabil. Salajengipun, ora pinter ing nyekel kahanan sing wis diformalisasi lan ora ambigu.
Ing sisih liya, kertas, komputer, lan smartphone bisa digunakake minangka memori kahanan kanggo nulis utawa nyunting teks basa alami, basa formal, utawa model formal.
Umume, data ing kertas utawa komputer asring dianggep minangka papan pangertosan kanggo ngapalake kawruh, nanging uga bisa digunakake minangka memori kahanan kanggo ngatur pikiran.
Mangkono, jelas yen manungsa nindakake aktivitas intelektual kanthi nggunakake kanthi lengkap telung sistem kawruh lan rong jinis kahanan iki.
ALIS, uga, nduweni potensi kanggo nambah kemampuane kanthi dramatis kanthi ngaktifake lan nguatake aktivitas intelektual sing nggunakake telung sistem kawruh lan rong jinis kahanan sing padha.
Khususé, ALIS nduweni kekuwatan kanggo bisa nggunakake papan pangertosan sing akeh banget lan memori kahanan. Salajengipun, bisa kanthi gampang nindakake tugas intelektual kanthi nyiapake akeh saka saben jinis lan ngalih utawa nggabungake.
Kolom 2: Orkestrasi Cerdas
Sanajan ana kaluwihan ing kemampuan kanggo ngumpulake kawruh sing akeh banget ing papan pangertosan, jumlah kawruh ora mung dadi kaluwihan ing aktivitas intelektual amarga watesan ing jumlah token sing bisa diproses AI generatif sekaligus lan swara sing diasilake dening kawruh sing ora relevan.
Sawaliké, kanthi dibagi papan pangertosan kanthi bener lan ngowahi dadi papan pangertosan khusus kapadhetan dhuwur, saben ngemot kawruh sing dibutuhake kanggo tugas intelektual tartamtu, masalah watesan token lan swara bisa dikurangi.
Minangka ijol-ijolan, saben papan pangertosan khusus dadi mung bisa digunakake kanggo tugas intelektual sing ditetepake.
Akeh aktivitas intelektual minangka komposisi kompleks saka macem-macem tugas intelektual. Mula, kanthi dibagi kawruh dadi papan pangertosan khusus miturut jinis tugas intelektual lan nyubdivisi aktivitas intelektual dadi tugas individu, ALIS bisa nglakokake kabeh aktivitas intelektual kanthi ngalih kanthi tepat ing antarane papan pangertosan khusus kasebut.
Iki padha karo orkestra, sing kasusun saka musisi profesional sing muter instrumen beda lan konduktor sing mimpin ansambel.
Liwat teknologi sistem iki, orkestrasi cerdas, ALIS bakal bisa ngatur aktivitas intelektual.
Desain Dhasar ALIS lan Metode Pangembangan
Saka kene, kita bakal ngatur pangembangan ALIS.
Kaya sing wis dirembug ing prinsip lan kolom, ALIS sacara intrinsik dirancang kanggo gampang ngembangake fungsi lan sumber daya. Iki amarga intine ALIS ora ana ing fungsi tartamtu, nanging ing proses ekstraksi, panyimpenan, pamilihan, lan panggunaan kawruh.
Contone, pirang-pirang jinis mekanisme ekstraksi kawruh bisa disediakake, lan desain sistem ngidini pilihan bebas kanggo milih saka iku utawa nggunakake bebarengan.
Salajengipun, ALIS dhewe bisa digawe kanggo nindakake pilihan iki.
Kaya mangkono, panyimpenan, pamilihan, lan panggunaan uga bisa dipilih kanthi bebas utawa diparalelake.
Mula, ALIS bisa dikembangake kanthi inkremental lan tangkas, tanpa kudu ngrancang kabeh fungsionalitas kanthi cara waterfall.
Wiwitan ALIS
Saiki, ayo ngrancang ALIS sing prasaja banget.
UI dhasar bakal dadi AI obrolan sing umum. Wiwitane, input pangguna langsung dilebokake menyang LLM. Tanggapan LLM ditampilake ing UI, lan sistem ngenteni input pangguna sabanjure.
Nalika nampa input sabanjure, LLM diwenehake ora mung input anyar nanging uga kabeh riwayat obrolan antarane pangguna lan LLM.
Ing mburi UI AI obrolan iki, mekanisme disiapake kanggo ngekstrak kawruh sing bisa digunakake maneh saka riwayat obrolan.
Mekanisme iki bisa ditambahake menyang sistem AI obrolan minangka proses sing mlaku nalika obrolan rampung utawa ing interval reguler. Mesthi wae, LLM digunakake kanggo ekstraksi kawruh.
LLM iki diwenehake konsep lan prinsip ALIS, bebarengan karo kawruh ekstraksi kawruh, minangka pituduh sistem. Yen kawruh ora diekstrak kaya sing dikarepake, pituduh sistem kudu dibenerake liwat coba-coba.
Kawruh sing diekstrak saka riwayat obrolan disimpen langsung ing telaga kawruh. Telaga kawruh mung minangka mekanisme kanggo nyimpen kawruh ing kahanan rata sadurunge distruktur.
Sabanjure, mekanisme struktural disiapake kanggo nggampangake milih kawruh saka telaga kawruh.
Iki kalebu nyediakake toko vektor embedding kanggo telusuran semantik, kaya sing digunakake ing RAG khas, lan indeks tembung kunci.
Kemungkinan liyane kalebu ngasilake graf kawruh sing luwih maju utawa nindakake klasifikasi kategori.
Kumpulan informasi terstruktur iki kanggo telaga kawruh bakal diarani basis kawruh. Kabeh basis kawruh lan telaga kawruh iki bakal dadi papan pangertosan.
Sabanjure, papan pangertosan diintegrasi menyang pangolahan UI obrolan.
Iki padha karo mekanisme RAG umum. Kanggo input pangguna, kawruh sing relevan dipilih saka papan pangertosan lan dilebokake menyang LLM bebarengan karo input pangguna.
Iki ngidini LLM kanthi otomatis nggunakake kawruh nalika ngolah input pangguna.
Kanthi cara iki, kawruh nambah kanthi saben obrolan karo pangguna, ngaktifake ALIS sing prasaja sing nggunakake kawruh sing dikumpulake saka obrolan sadurunge.
Skenario Prasaja
Contone, bayangake skenario nalika pangguna ngembangake aplikasi web nggunakake ALIS sing prasaja iki.
Pangguna bakal nglaporake yen kode sing diusulake dening LLM nyebabake kesalahan. Banjur, pangguna lan LLM bakal kerja sama kanggo ngatasi masalah kasebut. Upamane dheweke nemokake manawa spesifikasi API eksternal sing dingerteni LLM wis lawas, lan adaptasi karo spesifikasi API paling anyar ngrampungake masalah kasebut.
Ing kasus iki, kawruh babagan spesifikasi API LLM sing lawas lan apa spesifikasi API paling anyar bisa dikumpulake ing papan pangertosan saka utas obrolan iki.
Banjur, nalika nggawe program sing nggunakake API sing padha ing wektu sabanjure, ALIS bisa nggunakake kawruh iki kanggo ngasilake program adhedhasar spesifikasi API paling anyar wiwit wiwitan.
Ningkatake ALIS Wiwitan
Nanging, supaya iki kedadeyan, kawruh iki kudu dipilih minangka tanggapan marang input pangguna. Bisa uga kawruh iki ora langsung disambungake karo input pangguna, amarga jeneng API sing bermasalah ora mungkin katon ing input pangguna wiwitan.
Ing kasus kaya ngono, jeneng API mung bakal muncul pisanan ing tanggapan LLM.
Mula, kita bakal ngembangake ALIS sing prasaja kanthi nambah mekanisme kanggo komentar pra-pemeriksaan lan komentar pasca-pemeriksaan.
Komentar pra-pemeriksaan padha karo "mode mikir" LLM sing anyar. Kita nyiyapake memori sing bisa nyimpen tèks minangka memori kahanan, lan nginstruksikan LLM liwat pituduh sistem kanggo nindakake komentar pra-pemeriksaan sawise nampa input pangguna.
Asil komentar pra-pemeriksaan LLM banjur dilebokake ing memori kahanan, lan adhedhasar asil iki, kawruh dipilih saka papan pangertosan.
Banjur, riwayat obrolan, asil komentar pra-pemeriksaan, kawruh sing cocog karo input pangguna, lan kawruh sing cocog karo asil komentar pra-pemeriksaan dilebokake menyang LLM kanggo nampa output.
Salajengipun, kanggo asil sing diwenehake LLM, kawruh digoleki ing papan pangertosan. Kalebu kawruh apa wae sing ditemokake ing kana, LLM banjur dijaluk nindakake pasca-pemeriksaan.
Yen ana masalah sing ditemokake, masalah kasebut bakal diterusake menyang LLM obrolan bebarengan karo titik masalah lan alasan kanggo 指摘 (komentar/umpan balik).
Kanthi nyediakake kesempatan kanggo milih kawruh sajrone komentar pra-pemeriksaan lan komentar pasca-pemeriksaan, kita bisa nambah kesempatan kanggo nggunakake kawruh sing dikumpulake.
Prosèk
Prosès nggawe ALIS wiwitan lan nambah perbaikan kanggo ngatasi kelemahane yaiku pangembangan tangkas, nuduhake yen ALIS bisa ditingkatake kanthi bertahap.
Salajengipun, kaya sing dicontokake, ALIS wiwitan paling cocok kanggo digunakake ing pangembangan piranti lunak. Iki amarga minangka lapangan kanthi panjaluk dhuwur lan ing ngendi kawruh bisa dikumpulake kanthi jelas.
Iki minangka domain ing ngendi asil ora ambigu, nanging mbutuhake lan entuk manfaat sing signifikan saka coba-coba, akumulasi kawruh iteratif.
Kajaba iku, amarga pangembangan ALIS dhewe minangka pangembangan piranti lunak, kasunyatan yen pangembang ALIS uga bisa dadi pangguna ALIS minangka aspek sing menarik.
Salajengipun, bebarengan karo sistem ALIS, telaga kawruh bisa dibagi kanthi mbukak ing platform kaya GitHub.
Iki bakal ngidini akeh individu nyumbang kanggo perbaikan sistem ALIS lan akumulasi kawruh, kanthi kabeh wong entuk manfaat lan luwih nyepetake pangembangan ALIS kanthi efisien.
Mesthine, enggo bareng kawruh ora diwatesi mung kanggo pangembang ALIS; bisa dikumpulake saka kabeh pangembang piranti lunak sing nggunakake ALIS.
Sifat basa alami saka kawruh nawakake rong kaluwihan tambahan.
Kaluwihan pisanan yaiku kawruh isih bisa digunakake sanajan model LLM diganti utawa dianyari.
Kaluwihan kapindho yaiku telaga kawruh sing akeh banget bisa digunakake minangka dataset pra-pelatihan kanggo LLM. Ana rong cara kanggo nggunakake iki: minangka fine-tuning, utawa kanggo pra-pelatihan LLM dhewe.
Ing kasus apa wae, yen LLM sing wis sinau kanthi bawaan saka kawruh sing dikumpulake ing telaga kawruh bisa digunakake, pangembangan piranti lunak bakal dadi luwih efisien.
Salajengipun, pangembangan piranti lunak nglibatake macem-macem proses kayata analisis syarat, desain, implementasi, testing, operasi, lan pangopènan. Kawruh khusus uga ana kanggo saben domain piranti lunak lan platform. Kanthi nggawe mekanisme kanggo mbagi kawruh sing akeh banget saka perspektif iki, orkestra ALIS bisa dibentuk.
Mangkono, teknologi dhasar kanggo ALIS wis ana. Langkah penting sing isih ana yaiku nyoba kanthi praktis macem-macem metode—kayata kawruh ekstraksi kawruh, pilihan kawruh sing cocog, segmentasi kawruh khusus, lan panggunaan memori kahanan—kanggo nemokake pendekatan sing efektif. Nalika kerumitan nambah, wektu pangolahan lan biaya panggunaan LLM uga bakal nambah, mbutuhake optimasi.
Prosès coba-coba lan optimasi iki bisa maju kanthi cara sinau liwat pangembangan lan panyempurnaan kerangka kerja.
Wiwitane, pangembang, minangka pangguna, bakal nggabungake kerangka kerja menyang ALIS liwat coba-coba. Nanging, sanajan ngono, LLM dhewe bisa ditugasi ngasilake ide kerangka kerja.
Banjur, kanthi nggabungake kerangka kerja kanggo ningkatake lan nemokake kerangka kerja menyang ALIS, adhedhasar asil sing ditampa saka jagad lan kawruh sing diekstrak, ALIS dhewe bakal nindakake coba-coba lan optimasi kanthi cara sinau.
ALIS ing Donya Nyata
Sawisé ALIS wis disaring nganti tataran iki, ALIS kudu bisa nglakoni sinau kawruh ing manéka warna domain, ora mung winates ing jagad pangembangan piranti lunak.
Padha karo pangembangan piranti lunak, ALIS dijangka bakal ngembangaké cakupan aplikasié menyang manéka warna aktivitas intelektual sing ditindakaké manungsa nggunakaké komputer.
Sanajan ing aktivitas intelektual murni kasebut, ALIS bakal duwé kuwalitas sing padha karo AI sing duwé awak (embodied AI) ing hubungane karo jagad targeté.
Iki amarga ALIS ngertèni wates antarane awaké dhéwé lan jagad, tumindak ing jagad liwat wates kasebut, lan bisa ngrasakaké informasi sing ditampa saka jagad.
Yèn wates karo jagad iki katon fisik lan dumunung ing sawijining panggonan, kita umumé ngarani iku awak.
Nanging, sanajan watesé ora katon lan kasebar ing ruang, struktur persepsi lan tumindak liwat wates kasebut tetep padha karo nalika duwé awak fisik.
Ing pangertèn iki, ALIS sing nindakaké aktivitas intelektual bisa dianggep sacara virtual duwé ciri-ciri embodied AI.
Lan, yèn ALIS disaring nganti tataran bisa sinau kanthi bener sanajan ing jagad sing anyar lan ora dingertèni, ana kamungkinan ALIS bisa digabungaké minangka bagéan saka real embodied AI sing duwé awak fisik nyata.
Kanthi cara iki, ALIS pungkasane bakal diterapaké ing jagad nyata lan wiwit sinau saka iku.