AI generatif saiki minangka teknologi AI sing mekar amarga panemuan Transformer, sing dadi terobosan gedhe.
Mekanisme Atensi minangka ciri khas Transformer kanthi ukara siji. Iki ringkes diwedharake ing judhul makalah sing ngumumake Transformer: "Attention is All You Need."
Iki duwe oyot saka kasunyatan manawa peneliti AI nalika iku nindakake macem-macem upaya lan percobaan kanggo ngaktifake AI nangani basa alami kanthi trampil kaya manungsa, menehi jeneng lan nerbitake makalah babagan macem-macem metode sing sukses.
Akeh peneliti percaya yen kanthi nggabungake macem-macem mekanisme sing berfungsi apik iki kanthi cara sing beda-beda, AI sing bisa nangani basa alami kaya manungsa bakal muncul kanthi bertahap. Mangkono, dheweke nggarap panemuan mekanisme anyar sing bisa berfungsi bebarengan karo mekanisme liyane, lan nemokake kombinasi optimal saka mekanisme kasebut.
Nanging, Transformer ngubur kawicaksanan konvensional iki. Pesen yen ora perlu nggabungake macem-macem mekanisme, lan sing dibutuhake mung mekanisme atensi, diwedharake ing judhul makalah kasebut.
Mesthine, Transformer dhewe nggabungake macem-macem mekanisme, nanging ora ana keraguan manawa ing antarane, mekanisme atensi utamane dadi inovasi sing gedhe lan khas.
Ringkesan Mekanisme Atensi
Mekanisme atensi minangka sistem sing, nalika ngolah basa alami tembung demi tembung, bisa sinau tembung endi ing antarane akeh tembung sadurunge ing ukara sing kudu "digatekake" nalika ngolah tembung tartamtu.
Iki ngidini kanthi akurat ngerteni apa sing dirujuk dening tembung kaya "iki," "iku," utawa "sing kasebut ing ndhuwur" (sing nuduhake tembung sing ana ing ukara sadurunge), utawa frasa kaya "ukara pambuka," "conto kapindho sing kacathet," utawa "paragraf sadurunge" (sing nuduhake posisi ing teks).
Salajengipun, mekanisme iki bisa kanthi bener nerjemahake tembung sanajan modifier adoh ing sak ukara, lan sanajan teks dadi dawa, bisa nerjemahake tanpa kelangan konteks tembung saiki ing antarane ukara liyane.
Iki kagunaane "atensi."
Kosok baline, iki uga ateges nalika nerjemahake tembung sing lagi diproses, tembung sing ora perlu bakal ditutup lan dibusak saka interpretasi.
Kanthi mung nyimpen tembung-tembung sing perlu kanggo interpretasi tembung tartamtu lan mbusak tembung sing ora relevan, kumpulan tembung sing bakal diinterpretasikake tetep diwatesi dadi sawetara, ora preduli sepira dawane teks, saéngga nyegah kapadhetan interpretasi dadi encer.
Kecerdasan Virtual
Saiki, ganti topik sithik, aku wis mikir babagan konsep kecerdasan virtual.
Saiki, nalika nggunakake AI generatif kanggo bisnis, yen sampeyan nggabungake kabeh informasi ing perusahaan lan nyedhiyakake minangka kawruh menyang AI generatif, volume kawruh sing akeh banget bisa nggawe AI angel ngatasi kanthi bener.
Amarga alasan iki, luwih apik kanggo dibagi kawruh miturut tugas, nyiyapake obrolan AI kanggo saben tugas utawa nggawe alat AI khusus kanggo operasi tartamtu.
Iki nuduhake yen kanggo tugas sing rumit, dadi perlu kanggo nggabungake obrolan lan alat AI adhedhasar kawruh sing tersegmentasi iki.
Iki minangka watesan saiki nalika nggunakake AI generatif, nanging sanajan karo AI generatif ing mangsa ngarep, kanggo tugas tartamtu, mung fokus ing kawruh sing dibutuhake kanggo tugas kasebut kudu ngasilake akurasi sing luwih dhuwur.
Nanging, aku percaya yen AI generatif ing mangsa ngarep bakal bisa ngalih kanthi internal antarane set kawruh sing dibutuhake gumantung kahanan, sanajan tanpa manungsa kudu misahake kawruh kasebut.
Kemampuan iki diarani kecerdasan virtual. Iku kaya mesin virtual sing bisa mbukak pirang-pirang sistem operasi sing beda ing siji komputer. Tegese ing siji kecerdasan, pirang-pirang kecerdasan virtual kanthi spesialisasi sing beda bisa fungsi.
Sanajan AI generatif saiki wis bisa nyimulasi diskusi antarane pirang-pirang wong utawa ngasilake crita sing nampilake pirang-pirang karakter. Mula, kecerdasan virtual dudu kemampuan khusus, nanging minangka lanjutan saka AI generatif saiki.
Kecerdasan Virtual Mikro
Mekanisme kecerdasan virtual, sing nyilikake kawruh sing dibutuhake miturut tugas, nindakake samubarang sing padha karo mekanisme atensi.
Yakuwi, padha karo mekanisme atensi amarga mung fokus ing kawruh sing relevan gumantung saka tugas sing lagi diproses.
Kosok baline, mekanisme atensi bisa diarani minangka mekanisme sing mujudake kaya kecerdasan virtual. Nanging, kecerdasan virtual sing lagi daktimbang yaiku mekanisme sing milih kawruh sing relevan saka sakumpulan kawruh, dene mekanisme atensi beroperasi ing sakumpulan tembung.
Amarga alasan iki, mekanisme atensi bisa diarani minangka kecerdasan virtual mikro.
Mekanisme Atensi Eksplisit
Yen kita nyawang mekanisme atensi minangka kecerdasan virtual mikro, mula kosok baline, kecerdasan virtual sing daksebutake sadurunge bisa diwujudake kanthi mbangun mekanisme atensi makro.
Lan mekanisme atensi makro iki ora perlu ditambahake menyang struktur internal model basa gedhe utawa nglibatake pelatihan jaringan saraf.
Iki mung bisa dadi ukara eksplisit sing ditulis ing basa alami, kayata "Nalika nindakake Tugas A, deleng Kawruh B lan Kawruh C."
Iki njlentrehake kawruh sing dibutuhake kanggo Tugas A. Ukara iki dhewe minangka jinis kawruh.
Iki bisa diarani mekanisme atensi eksplisit. Ukara iki bisa diterangake minangka kawruh atensi, sing kanthi eksplisit nyatakake kawruh sing kudu digatekake nalika nindakake Tugas A.
Salajengipun, kawruh atensi iki bisa digawe utawa dianyari dening AI generatif.
Yen tugas gagal amarga kurang kawruh, mula minangka piwulang sing dipetik, kawruh atensi bisa dianyari kanggo nyakup kawruh tambahan sing kudu direferensikake kanggo tugas kasebut.
Dudutan
Mekanisme atensi wis ningkatake kemampuan AI generatif kanthi dramatis.
Iki dudu mung mekanisme sing kabeneran bisa digunakake kanthi apik; kaya sing wis kita deleng ing kene, mekanisme dinamis nyilikake informasi sing arep dirujuk ing saben kahanan kayane minangka inti saka kecerdasan tingkat dhuwur.
Lan kaya kecerdasan virtual lan kawruh atensi eksplisit, mekanisme atensi uga dadi kunci kanggo ngembangake kecerdasan kanthi rekursif ing macem-macem lapisan.