AI generatif saat ini adalah teknologi AI yang berkembang pesat dengan penemuan Transformer sebagai terobosan besar.
Mekanisme Perhatian dapat digambarkan sebagai fitur utama Transformer. Hal ini diungkapkan secara ringkas dalam judul makalah yang mengumumkan Transformer: “Attention Is All You Need.”
Latar belakang hal ini adalah bahwa para peneliti AI pada saat itu melakukan berbagai upaya dan mencoba-coba untuk memungkinkan AI menangani bahasa alami seahli manusia, menamai metode-metode yang berhasil dan menerbitkan makalah tentangnya.
Banyak peneliti percaya bahwa dengan menggabungkan berbagai mekanisme efektif ini dengan cara yang beragam, mereka secara bertahap dapat menciptakan AI yang mampu menangani bahasa alami seperti manusia. Mereka berfokus pada penemuan mekanisme baru yang dapat berfungsi dalam kombinasi dengan yang lain, dan menemukan kombinasi optimal dari mekanisme-mekanisme ini.
Namun, Transformer membalikkan kebijaksanaan konvensional ini. Pesan bahwa tidak perlu menggabungkan berbagai mekanisme, dan bahwa hanya Mekanisme Perhatian yang dibutuhkan, terlihat jelas dalam judul makalah tersebut.
Meskipun Transformer itu sendiri tentu menggabungkan berbagai mekanisme, tidak diragukan lagi bahwa Mekanisme Perhatian adalah yang paling inovatif dan khas di antara mereka.
Ikhtisar Mekanisme Perhatian
Mekanisme Perhatian adalah sebuah sistem yang memungkinkan AI untuk mempelajari kata-kata mana, di antara banyak kata yang terkandung dalam kalimat-kalimat sebelumnya, yang harus diperhatikan saat memproses kata tertentu dalam bahasa alami.
Ini memungkinkan AI untuk secara akurat memahami apa yang dimaksud oleh sebuah kata, misalnya, ketika berhadapan dengan kata penunjuk seperti "ini," "itu," atau "yang disebutkan sebelumnya" (menunjuk ke sebuah kata dalam kalimat sebelumnya), atau referensi posisi seperti "kalimat pembuka," "contoh kedua yang terdaftar," atau "paragraf sebelumnya."
Selain itu, ia dapat menginterpretasikan pengubah dengan benar meskipun letaknya jauh dalam sebuah kalimat, dan bahkan dalam teks panjang, ia dapat menginterpretasikan kata-kata tanpa kehilangan konteks yang dirujuk oleh kata saat ini, mencegahnya tersesat di antara kalimat-kalimat lain.
Inilah kegunaan dari "perhatian."
Sebaliknya, ini berarti bahwa ketika menginterpretasikan kata yang sedang diproses, kata-kata yang tidak perlu disembunyikan dan dihapus dari interpretasi.
Dengan hanya mempertahankan kata-kata yang penting untuk menginterpretasikan kata tertentu dan menghapus kata-kata yang tidak relevan, kumpulan kata yang akan diinterpretasikan tetap terbatas pada beberapa saja, tidak peduli seberapa panjang teksnya, sehingga mencegah kepadatan interpretasi menjadi encer.
Kecerdasan Virtual
Sekarang, sedikit beralih topik, saya telah merenungkan konsep kecerdasan virtual.
Saat ini, ketika menggunakan AI generatif untuk bisnis, jika semua informasi dalam sebuah perusahaan dikonsolidasikan dan diberikan sebagai satu basis pengetahuan kepada AI, volume pengetahuan yang sangat besar dapat menjadi berlebihan, yang mengarah pada fenomena di mana AI tidak dapat memprosesnya dengan benar.
Karena alasan ini, lebih efektif untuk memisahkan pengetahuan berdasarkan tugas, menyiapkan obrolan AI untuk setiap tugas atau membuat alat AI yang khusus untuk operasi tertentu.
Akibatnya, ketika melakukan tugas-tugas kompleks, menjadi perlu untuk menggabungkan obrolan AI atau alat AI ini, masing-masing dengan pengetahuan yang terpisah.
Meskipun ini merupakan batasan AI generatif saat ini, pada dasarnya, bahkan dengan AI generatif di masa depan, berfokus hanya pada pengetahuan yang diperlukan untuk tugas tertentu seharusnya menghasilkan akurasi yang lebih tinggi.
Sebaliknya, saya percaya bahwa AI generatif di masa depan akan dapat secara internal membedakan dan memanfaatkan pengetahuan yang diperlukan sesuai dengan situasi, bahkan tanpa manusia harus mengelompokkan pengetahuan tersebut.
Kemampuan ini adalah kecerdasan virtual. Ini seperti mesin virtual yang dapat menjalankan beberapa sistem operasi berbeda pada satu komputer. Artinya, dalam satu kecerdasan, beberapa kecerdasan virtual dengan spesialisasi berbeda dapat berfungsi.
Bahkan AI generatif saat ini sudah dapat mensimulasikan diskusi di antara banyak orang atau menghasilkan cerita yang menampilkan banyak karakter. Oleh karena itu, kecerdasan virtual bukanlah kemampuan khusus, melainkan perluasan dari AI generatif saat ini.
Kecerdasan Virtual Mikro
Mekanisme kecerdasan virtual, yang menyempitkan pengetahuan yang diperlukan sesuai dengan tugas, melakukan sesuatu yang mirip dengan Mekanisme Perhatian.
Dengan kata lain, ini analog dengan Mekanisme Perhatian karena ia berfokus pada dan memproses hanya pengetahuan yang relevan berdasarkan tugas yang sedang dijalankan.
Sebaliknya, Mekanisme Perhatian dapat dikatakan sebagai mekanisme yang mewujudkan sesuatu yang mirip dengan kecerdasan virtual. Namun, sementara kecerdasan virtual yang saya bayangkan memilih pengetahuan yang relevan dari kumpulan pengetahuan, Mekanisme Perhatian beroperasi pada unit kumpulan kata.
Karena alasan ini, Mekanisme Perhatian dapat disebut Kecerdasan Virtual Mikro.
Mekanisme Perhatian Eksplisit
Jika kita memandang Mekanisme Perhatian sebagai kecerdasan virtual mikro, maka, sebaliknya, kecerdasan virtual yang saya sebutkan sebelumnya dapat dicapai dengan membangun mekanisme perhatian makro.
Dan mekanisme perhatian makro ini tidak perlu ditambahkan ke struktur internal model bahasa besar atau melibatkan pembelajaran jaringan saraf.
Ini bisa berupa pernyataan eksplisit yang ditulis dalam bahasa alami, seperti: "Ketika menjalankan Tugas A, rujuklah Pengetahuan B dan Pengetahuan C."
Ini memperjelas pengetahuan yang diperlukan untuk Tugas A. Pernyataan ini sendiri adalah sejenis pengetahuan.
Ini dapat disebut Mekanisme Perhatian Eksplisit. Pernyataan ini dapat dianggap sebagai Pengetahuan Perhatian, yang secara eksplisit mengartikulasikan pengetahuan yang harus difokuskan saat melakukan Tugas A.
Selain itu, Pengetahuan Perhatian ini dapat dihasilkan atau diperbarui oleh AI generatif.
Jika suatu tugas gagal karena kurangnya pengetahuan, Pengetahuan Perhatian dapat diperbarui untuk menyertakan pengetahuan tambahan sebagai referensi untuk tugas tersebut, berdasarkan refleksi ini.
Kesimpulan
Mekanisme Perhatian telah secara dramatis memajukan kemampuan AI generatif.
Ini bukan sekadar mekanisme yang kebetulan berfungsi dengan baik; melainkan, seperti yang telah kita lihat di sini, mekanisme itu sendiri yang secara dinamis mempersempit informasi yang akan dirujuk untuk setiap situasi tampaknya menjadi esensi dari kecerdasan tingkat lanjut.
Dan, seperti kecerdasan virtual dan pengetahuan perhatian eksplisit, Mekanisme Perhatian juga merupakan kunci untuk meningkatkan kecerdasan secara rekursif di berbagai lapisan.