AI generatif saiki minangka téknologi AI sing mekar kanthi panemuan Transformer minangka terobosan utama.
Mekanisme Atensi bisa digambaraké minangka fitur utama Transformer. Iki diungkapaké kanthi ringkes ing judhul makalah sing ngumumaké Transformer: "Attention Is All You Need."
Latare yaiku para peneliti AI nalika iku nindakaké manéka upaya lan coba-coba supaya AI bisa ngolah basa alami kanthi trampil kaya manungsa, menehi jeneng marang métode sing kasil lan nerbitaké makalah babagan métode kasebut.
Akeh peneliti percaya yèn kanthi nggabungaké manéka mekanisme sing efektif iki kanthi manéka cara, alon-alon bakal bisa nggawé AI sing bisa ngolah basa alami kaya manungsa. Dheweke fokus ing panemuan mekanisme anyar sing bisa berfungsi bebarengan karo mekanisme liyane, lan nggoleki kombinasi optimal saka mekanisme kasebut.
Nanging, Transformer ngowahi kawicaksanan konvensional iki. Pesen yèn ora perlu nggabungaké manéka mekanisme, lan mung Mekanisme Atensi sing dibutuhaké, katon jelas ing judhul makalah.
Sanajan Transformer dhéwé mesthi nggabungaké manéka mekanisme, ora ana sangsi yèn Mekanisme Atensi iku pancèn inovatif lan béda banget ing antarane.
Ringkesan Mekanisme Atensi
Mekanisme Atensi minangka sistem sing ngidini AI sinau tembung-tembung endi waé, saka akèh tembung sing ana ing ukara sadurungé, sing kudu digatèkaké nalika ngolah tembung tartamtu ing basa alami.
Iki ndadèkaké AI bisa kanthi akurat mangertèni apa sing dirujuk déning sawijining tembung, contoné, nalika ngadhepi tembung pituduh kaya "iki," "iku," utawa "sing kasebut sadurungé" (nuduhaké tembung ing ukara sadurungé), utawa rujukan posisi kaya "ukara pambuka," "conto kapindho sing kacathet," utawa "paragraf sadurungé."
Saliyané iku, mekanisme iki bisa kanthi bener napsiraké modifikator sanajan letaké adoh ing ukara, lan sanajan ing tèks sing dawa, bisa napsiraké tembung tanpa kelangan konteks sing dirujuk déning tembung saiki, supaya ora ilang ing antarane ukara-ukara liyane.
Iki minangka kagunaan "atensi."
Sabaliké, iki tegesé nalika napsiraké tembung sing lagi diolah, tembung-tembung sing ora perlu disamar lan dibusak saka interpretasi.
Kanthi mung nahan tembung-tembung sing penting kanggo napsiraké tembung tartamtu lan ngilangi tembung-tembung sing ora relevan, set tembung sing kudu diinterpretasi tetep winates mung sawetara, sanajan tèksé dawa, saéngga nyegah kapadhetan interpretasi dadi encer.
Intelijen Virtual
Saiki, ngalih menyang bab liya, aku wis mikir babagan konsep intelijen virtual.
Saiki, nalika nggunakake AI generatif kanggo bisnis, yen kabeh informasi ing perusahaan digabung lan diwenehake minangka basis kawruh siji menyang AI, volume kawruh sing akeh banget bisa dadi beban, nyebabake fenomena ing ngendi AI ora bisa ngolah kanthi bener.
Amarga alasan iki, luwih efektif kanggo misahake kawruh miturut tugas, nyiyapake obrolan AI kanggo saben tugas utawa nggawe alat AI khusus kanggo operasi tartamtu.
Akibaté, nalika nindakake tugas sing kompleks, perlu nggabungake obrolan AI utawa alat AI kasebut, saben duwe kawruh sing kapisah.
Sanajan iki nuduhake watesan saiki saka AI generatif, kanthi dhasar, sanajan kanthi AI generatif ing mangsa ngarep, fokus mung ing kawruh sing dibutuhake kanggo tugas tartamtu kudu nyebabake akurasi sing luwih dhuwur.
Nanging, aku percaya yen AI generatif ing mangsa ngarep bakal bisa beda-beda lan nggunakake kawruh sing dibutuhake sacara internal miturut kahanan, sanajan tanpa manungsa kudu misahake kawruh kasebut.
Kemampuan iki yaiku intelijen virtual. Kaya mesin virtual sing bisa nglakokake sawetara sistem operasi sing beda ing komputer siji. Tegese ing siji intelijen, sawetara intelijen virtual kanthi spesialisasi sing beda-beda bisa berfungsi.
Sanajan AI generatif saiki wis bisa nyimulasi diskusi ing antarane sawetara wong utawa ngasilake crita sing nampilake sawetara karakter. Mula, intelijen virtual dudu kemampuan khusus nanging minangka ekstensi saka AI generatif saiki.
Intelijen Virtual Mikro
Mekanisme intelijen virtual, sing nyepetaké kawruh sing dibutuhaké miturut tugas, nindakaké bab sing padha karo Mekanisme Atensi.
Kanthi tembung liya, iki padha karo Mekanisme Atensi amarga fokus lan ngolah mung kawruh sing relevan adhedhasar tugas sing lagi dilakokaké.
Sabaliké, Mekanisme Atensi bisa diarani minangka mekanisme sing nggayuh bab sing padha karo intelijen virtual. Nanging, sanajan intelijen virtual sing dakbayangaké milih kawruh sing relevan saka sakumpulan kawruh, Mekanisme Atensi ngoperasi ing unit sakumpulan tembung.
Amarga alasan iki, Mekanisme Atensi bisa diarani Intelijen Virtual Mikro.
Mekanisme Atensi Éksplisit
Yen kita ndeleng Mekanisme Atensi minangka intelijen virtual mikro, mula, sabaliké, intelijen virtual sing wis kasebut sadurungé bisa digayuh kanthi mbangun mekanisme atensi makro.
Lan mekanisme atensi makro iki ora perlu ditambahaké ing struktur internal model basa gedhe utawa nglibatake sinau jaringan saraf.
Iku mung bisa dadi pernyataan éksplisit sing ditulis ing basa alami, kayata: "Nalika nglakokake Tugas A, rujuk menyang Kawruh B lan Kawruh C."
Iki njlentrehaké kawruh sing dibutuhaké kanggo Tugas A. Pernyataan iki dhewe minangka jinis kawruh.
Iki bisa diarani Mekanisme Atensi Éksplisit. Pernyataan iki bisa dianggep minangka Kawruh Atensi, sing kanthi éksplisit ngartikulasikaké kawruh sing kudu digatekake nalika nindakake Tugas A.
Salajengipun, Kawruh Atensi iki bisa diasilaké utawa dianyari dening AI generatif.
Yen sawijining tugas gagal amarga kurang kawruh, Kawruh Atensi bisa dianyari kanggo nyakup kawruh tambahan minangka referensi kanggo tugas kasebut, adhedhasar réflèksi iki.
Dudutan
Mekanisme Atensi wis ngedongkrak kapabilitas AI generatif kanthi dramatis.
Iku dudu mung mekanisme sing kabeneran bisa mlaku kanthi apik; nanging, kaya sing wis kita deleng ing kene, mekanisme nyaring informasi sing arep dirujuk kanthi dinamis kanggo saben kahanan kaya-kayane minangka inti saka intelijen sing canggih.
Lan, kaya intelijen virtual lan kawruh atensi eksplisit, Mekanisme Atensi uga minangka kunci kanggo ningkatake intelijen kanthi rekursif ing macem-macem lapisan.