Mevcut üretken yapay zeka, büyük bir çığır açan Transformer'ların icadı sayesinde gelişen bir yapay zeka teknolojisidir.
Tek bir ifadeyle Transformer'ı karakterize eden şey Dikkat Mekanizması'dır. Bu durum, Transformer'ı duyuran makalenin başlığında kısa ve öz bir şekilde ifade edilmiştir: "Attention is All You Need."
Bu, o zamanki yapay zeka araştırmacılarının, yapay zekanın doğal dili insanlar kadar ustaca kullanabilmesini sağlamak için çeşitli çabalar ve denemeler yapması, başarılı yöntemleri adlandırıp makaleler yayımlaması gerçeğine dayanmaktadır.
Birçok araştırmacı, iyi işleyen bu çoklu mekanizmaları çeşitli şekillerde birleştirerek, doğal dili insanlar gibi kullanabilen yapay zekanın yavaş yavaş ortaya çıkacağına inanıyordu. Bu nedenle, diğer mekanizmalarla birlikte işlev görebilecek yeni mekanizmalar bulmaya ve bu mekanizmaların en uygun kombinasyonlarını keşfetmeye çalışıyorlardı.
Ancak Transformer, bu geleneksel bilgeliği altüst etti. Çeşitli mekanizmaları birleştirmenin gereksiz olduğu ve tek ihtiyacın dikkat mekanizması olduğu mesajı, makalenin başlığında ifade edilmektedir.
Elbette, Transformer'ın kendisi çeşitli mekanizmaları bünyesinde barındırsa da, bunların arasında dikkat mekanizmasının özellikle çığır açıcı ve belirgin olduğu şüphe götürmez.
Dikkat Mekanizmasına Genel Bakış
Dikkat mekanizması, doğal dili kelime kelime işleme sürecinde, belirli bir kelimeyi işlerken bir cümlede geçen önceki birçok kelimeden hangisine "dikkat etmesi" gerektiğini öğrenebilen bir sistemdir.
Bu sayede, "bu," "şu" veya "bahsedilen" gibi (önceki cümlelerdeki kelimelere atıfta bulunan) kelimelerin ya da "giriş cümlesi," "listelenen ikinci örnek" veya "önceki paragraf" gibi (metindeki konumları belirten) ifadelerin neye atıfta bulunduğunu doğru bir şekilde anlamasını sağlar.
Dahası, bir cümle içinde niteleyiciler uzak olduğunda bile kelimeleri doğru bir şekilde yorumlayabilir ve metin uzadığında bile, diğer cümleler arasında mevcut kelimenin bağlamını kaybetmeden yorum yapabilir.
"Dikkat"in faydası budur.
Tersine, bu aynı zamanda, şu anda işlenmekte olan kelimeyi yorumlarken, gereksiz kelimelerin maskelenerek yorumdan çıkarıldığı anlamına gelir.
Belirli bir kelimenin yorumlanması için yalnızca gerekli kelimeleri tutarak ve alakasız olanları çıkararak, yorumlanacak kelime kümesi metin ne kadar uzun olursa olsun az sayıda kelimeyle sınırlı kalır ve böylece yorum yoğunluğunun seyreltilmesi önlenir.
Sanal Zeka
Şimdi, konuyu biraz değiştirerek, sanal zeka kavramı üzerine düşündüğümü belirtmek isterim.
Şu anda, üretken yapay zekayı iş için kullanırken, bir şirketteki tüm bilgileri bir araya getirip üretken yapay zekaya bilgi olarak sağlarsanız, bilginin salt hacmi aslında yapay zekanın bunu uygun şekilde işlemesini zorlaştırabilir.
Bu nedenle, bilgiyi görevlere göre bölmek, her görev için yapay zeka sohbetleri hazırlamak veya belirli operasyonlar için özelleştirilmiş yapay zeka araçları oluşturmak daha iyi sonuç verir.
Bu da, karmaşık görevler için, bu bölümlere ayrılmış bilgi tabanlı yapay zeka sohbetlerini ve araçlarını birleştirmenin gerekli hale geldiği anlamına gelir.
Bu, üretken yapay zeka kullanılırken mevcut bir sınırlamadır, ancak gelecekteki üretken yapay zekada bile, belirli görevler için yalnızca o görev için gerekli bilgilere odaklanmak daha yüksek doğruluk sağlamalıdır.
Bunun yerine, gelecekteki üretken yapay zekanın, insanların bilgiyi bölümlere ayırmasına gerek kalmadan, duruma göre gerekli bilgi kümeleri arasında dahili olarak geçiş yapabileceğine inanıyorum.
Bu yetenek sanal zekadır. Tek bir bilgisayarda birden fazla farklı işletim sistemini çalıştırabilen sanal bir makine gibidir. Bu, tek bir zeka içinde, farklı uzmanlıklara sahip birden fazla sanal zekanın işlev görebileceği anlamına gelir.
Mevcut üretken yapay zeka bile, birden fazla kişi arasındaki tartışmaları simüle edebilir veya birden fazla karakter içeren hikayeler üretebilir. Bu nedenle, sanal zeka özel bir yetenek değil, mevcut üretken yapay zekanın bir uzantısıdır.
Mikro Sanal Zeka
Görevin gerektirdiği bilgiyi daraltan sanal zeka mekanizması, dikkat mekanizmasına benzer bir şey yapar.
Yani, şu anda işlenmekte olan göreve bağlı olarak yalnızca ilgili bilgiye odaklanması açısından dikkat mekanizmasına benzer.
Tersine, dikkat mekanizmasının sanal zeka benzeri bir şeyi gerçekleştiren bir mekanizma olduğu söylenebilir. Ancak, benim düşündüğüm sanal zeka, bir bilgi kümesinden ilgili bilgiyi seçen bir mekanizma iken, dikkat mekanizması bir kelime kümesi üzerinde çalışır.
Bu nedenle, dikkat mekanizması bir mikro sanal zeka olarak adlandırılabilir.
Açık Dikkat Mekanizması
Dikkat mekanizmasını mikro sanal zeka olarak görürsek, bunun tersine, daha önce bahsettiğim sanal zeka, makro bir dikkat mekanizması inşa edilerek gerçekleştirilebilir.
Ve bu makro dikkat mekanizmasının, büyük dil modellerinin iç yapısına eklenmesi veya sinir ağı eğitimi içermesi gerekmez.
Bu, doğal dilde yazılmış basit bir açık cümle olabilir, örneğin "A Görevini gerçekleştirirken, B Bilgisine ve C Bilgisine bakın."
Bu, A Görevi için gerekli bilgiyi açıklığa kavuşturur. Bu cümle de kendi başına bir bilgi türüdür.
Buna açık dikkat mekanizması denilebilir. Bu cümle, A Görevini gerçekleştirirken odaklanılması gereken bilgiyi açıkça belirten bir dikkat bilgisi olarak tanımlanabilir.
Ayrıca, bu dikkat bilgisi üretken yapay zeka tarafından oluşturulabilir veya güncellenebilir.
Eğer bir görev bilgi eksikliği nedeniyle başarısız olursa, öğrenilen bir ders olarak, o görev için başvurulması gereken ek bilgiyi içerecek şekilde dikkat bilgisi güncellenebilir.
Sonuç
Dikkat mekanizması, üretken yapay zekanın yeteneklerini dramatik bir şekilde geliştirmiştir.
Bu, yalnızca iyi çalışan bir mekanizma değildi; burada gördüğümüz gibi, her durumda başvurulacak bilgiyi dinamik olarak daraltma mekanizmasının kendisi, ileri düzey zekanın özü gibi görünmektedir.
Ve sanal zeka ve açık dikkat bilgisi gibi, dikkat mekanizması da zekayı çeşitli katmanlarda özyinelemeli olarak ilerletmenin anahtarıdır.