AI generatif saat ini adalah teknologi AI yang berkembang pesat berkat penemuan Transformer, yang merupakan terobosan besar.
Mekanisme Perhatian adalah apa yang menjadi ciri khas Transformer dalam satu frasa. Hal ini secara ringkas diungkapkan dalam judul makalah yang mengumumkan Transformer: "Attention is All You Need."
Ini berakar pada fakta bahwa para peneliti AI pada saat itu melakukan berbagai upaya dan percobaan untuk memungkinkan AI menangani bahasa alami sebaik manusia, menamai dan menerbitkan makalah tentang berbagai metode yang berhasil.
Banyak peneliti percaya bahwa dengan menggabungkan berbagai mekanisme yang berfungsi baik ini dengan cara yang beragam, AI yang dapat menangani bahasa alami seperti manusia akan muncul secara bertahap. Mereka dengan demikian bekerja untuk menemukan mekanisme baru yang dapat berfungsi dalam kombinasi dengan mekanisme lain, dan menemukan kombinasi optimal dari mekanisme-mekanisme ini.
Namun, Transformer membalikkan kebijaksanaan konvensional ini. Pesan bahwa tidak perlu menggabungkan berbagai mekanisme, dan yang dibutuhkan hanyalah mekanisme perhatian, diungkapkan dalam judul makalah.
Tentu saja, Transformer sendiri menggabungkan berbagai mekanisme, tetapi tidak diragukan lagi bahwa di antara mereka, mekanisme perhatian sangatlah inovatif dan khas.
Gambaran Umum Mekanisme Perhatian
Mekanisme perhatian adalah sistem yang, selama proses pengolahan bahasa alami kata demi kata, dapat mempelajari kata-kata sebelumnya dalam kalimat mana yang harus "diperhatikan" saat memproses kata tertentu.
Ini memungkinkannya untuk secara akurat memahami apa yang dimaksud oleh kata-kata seperti "ini," "itu," atau "yang disebutkan sebelumnya" (yang merujuk pada kata-kata yang terdapat dalam kalimat sebelumnya), atau frasa seperti "kalimat pembuka," "contoh kedua yang tercantum," atau "paragraf sebelumnya" (yang menunjukkan posisi dalam teks).
Selain itu, ia dapat menginterpretasikan kata-kata dengan benar bahkan ketika modifikator jauh dalam sebuah kalimat, dan bahkan ketika teks menjadi panjang, ia dapat menginterpretasikan tanpa kehilangan konteks kata saat ini di antara kalimat-kalimat lain.
Inilah kegunaan "perhatian."
Sebaliknya, ini juga berarti bahwa ketika menginterpretasikan kata yang sedang diproses, kata-kata yang tidak perlu ditutupi dan dihapus dari interpretasi.
Dengan hanya mempertahankan kata-kata yang diperlukan untuk interpretasi kata tertentu dan menghapus kata-kata yang tidak relevan, kumpulan kata yang akan diinterpretasikan tetap terbatas pada jumlah kecil, tidak peduli seberapa panjang teksnya, sehingga mencegah kepadatan interpretasi menjadi encer.
Kecerdasan Virtual
Sekarang, sedikit mengubah topik, saya telah memikirkan konsep kecerdasan virtual.
Saat ini, ketika menggunakan AI generatif untuk bisnis, jika Anda mengonsolidasikan semua informasi dalam suatu perusahaan dan memberikannya sebagai pengetahuan kepada AI generatif, volume pengetahuan yang sangat besar justru dapat mempersulit AI untuk menanganinya dengan tepat.
Untuk alasan ini, lebih baik membagi pengetahuan berdasarkan tugas, menyiapkan obrolan AI untuk setiap tugas atau membuat alat AI yang khusus untuk operasi tertentu.
Ini menyiratkan bahwa untuk tugas-tugas yang kompleks, menjadi perlu untuk menggabungkan obrolan dan alat AI berbasis pengetahuan yang tersegmentasi ini.
Ini adalah batasan saat ini saat menggunakan AI generatif, tetapi bahkan dengan AI generatif di masa depan, untuk tugas-tugas tertentu, memfokuskan hanya pada pengetahuan yang diperlukan untuk tugas tersebut akan menghasilkan akurasi yang lebih tinggi.
Sebaliknya, saya percaya bahwa AI generatif di masa depan akan dapat secara internal beralih di antara set pengetahuan yang diperlukan tergantung pada situasi, bahkan tanpa manusia harus membagi pengetahuan.
Kemampuan ini adalah kecerdasan virtual. Ini seperti mesin virtual yang dapat menjalankan beberapa sistem operasi yang berbeda pada satu komputer. Ini berarti bahwa dalam satu kecerdasan, beberapa kecerdasan virtual dengan spesialisasi yang berbeda dapat berfungsi.
Bahkan AI generatif saat ini sudah dapat mensimulasikan diskusi di antara banyak orang atau menghasilkan cerita yang menampilkan banyak karakter. Oleh karena itu, kecerdasan virtual bukanlah kemampuan khusus, melainkan perpanjangan dari AI generatif saat ini.
Kecerdasan Virtual Mikro
Mekanisme kecerdasan virtual, yang mempersempit pengetahuan yang diperlukan sesuai dengan tugas, melakukan sesuatu yang mirip dengan mekanisme perhatian.
Artinya, ia mirip dengan mekanisme perhatian karena hanya berfokus pada pengetahuan yang relevan tergantung pada tugas yang sedang diproses.
Sebaliknya, mekanisme perhatian dapat dikatakan sebagai mekanisme yang mewujudkan sesuatu seperti kecerdasan virtual. Namun, kecerdasan virtual yang saya pertimbangkan adalah mekanisme yang memilih pengetahuan yang relevan dari sekumpulan pengetahuan, sedangkan mekanisme perhatian beroperasi pada sekumpulan kata.
Untuk alasan ini, mekanisme perhatian dapat disebut sebagai kecerdasan virtual mikro.
Mekanisme Perhatian Eksplisit
Jika kita melihat mekanisme perhatian sebagai kecerdasan virtual mikro, maka sebaliknya, kecerdasan virtual yang saya sebutkan sebelumnya dapat diwujudkan dengan membangun mekanisme perhatian makro.
Dan mekanisme perhatian makro ini tidak perlu ditambahkan ke struktur internal model bahasa besar atau melibatkan pelatihan jaringan saraf.
Itu bisa berupa kalimat eksplisit yang ditulis dalam bahasa alami, seperti "Saat melakukan Tugas A, rujuk Pengetahuan B dan Pengetahuan C."
Ini memperjelas pengetahuan yang dibutuhkan untuk Tugas A. Kalimat ini sendiri adalah sejenis pengetahuan.
Ini bisa disebut mekanisme perhatian eksplisit. Kalimat ini dapat digambarkan sebagai pengetahuan perhatian, yang secara eksplisit menyatakan pengetahuan yang harus difokuskan saat melakukan Tugas A.
Selain itu, pengetahuan perhatian ini dapat dihasilkan atau diperbarui oleh AI generatif.
Jika suatu tugas gagal karena kurangnya pengetahuan, maka sebagai pembelajaran, pengetahuan perhatian dapat diperbarui untuk menyertakan pengetahuan tambahan yang harus dirujuk untuk tugas tersebut.
Kesimpulan
Mekanisme perhatian telah meningkatkan kemampuan AI generatif secara dramatis.
Itu bukan hanya mekanisme yang kebetulan berfungsi dengan baik; seperti yang telah kita lihat di sini, mekanisme untuk secara dinamis mempersempit informasi yang akan dirujuk dalam setiap situasi tampaknya menjadi esensi dari kecerdasan tingkat lanjut.
Dan seperti kecerdasan virtual dan pengetahuan perhatian eksplisit, mekanisme perhatian juga merupakan kunci untuk memajukan kecerdasan secara rekursif pada berbagai lapisan.