Mevcut üretken yapay zeka, Transformer'ın büyük bir atılım olarak icadıyla gelişen bir yapay zeka teknolojisidir.
Dikkat Mekanizması, Transformer'ın belirleyici özelliği olarak tanımlanabilir. Bu, Transformer'ı duyuran makalenin başlığında açıkça ifade edilmiştir: "İhtiyacınız Olan Tek Şey Dikkattir."
Bunun arka planı, o dönemdeki yapay zeka araştırmacılarının, yapay zekanın doğal dili insanlar gibi ustaca kullanabilmesi için çeşitli çabalar göstermeleri ve deneme-yanılma yapmaları, başarılı yöntemleri adlandırarak makaleler yayımlamalarıydı.
Birçok araştırmacı, bu çoklu etkili mekanizmaları çeşitli yollarla birleştirerek, doğal dili insanlar gibi işleyebilen yapay zeka sistemlerinin kademeli olarak oluşturulabileceğine inanıyordu. Odak noktaları, diğerleriyle birlikte çalışabilecek yeni mekanizmalar keşfetmek ve bu mekanizmaların en uygun kombinasyonlarını bulmaktı.
Ancak Transformer, bu geleneksel bilgiyi altüst etti. Makalenin başlığında, çeşitli mekanizmaları birleştirmeye gerek olmadığı ve sadece Dikkat Mekanizması'nın yeterli olduğu mesajı açıkça görülüyordu.
Transformer'ın kendisi elbette çeşitli mekanizmaları barındırsa da, Dikkat Mekanizması'nın bunlar arasında özellikle çığır açıcı ve belirleyici olduğu şüphe götürmez.
Dikkat Mekanizmasına Genel Bakış
Dikkat Mekanizması, yapay zekanın doğal dilde belirli bir kelimeyi işlerken, önceki cümlelerdeki birçok kelime arasından hangilerine dikkat etmesi gerektiğini öğrenmesini sağlayan bir sistemdir.
Bu, yapay zekanın, örneğin "bu", "şu" veya "bahsedilen" gibi işaret zamirleriyle (önceki bir cümledeki bir kelimeye işaret eden) veya "açılış cümlesi", "listelenen ikinci örnek" veya "bir önceki paragraf" gibi konumsal referanslarla karşılaştığında, bir kelimenin neye atıfta bulunduğunu doğru bir şekilde anlamasına olanak tanır.
Ayrıca, bir cümlede niteleyici kelimeler birbirinden uzakta olsa bile bunları doğru bir şekilde yorumlayabilir ve uzun metinlerde bile, o anki kelimenin atıfta bulunduğu bağlamı kaybetmeden kelimeleri yorumlayarak diğer cümleler arasında kaybolmasını önleyebilir.
"Dikkat"in faydası budur.
Tersine, bu, işlenen kelimeyi yorumlarken gereksiz kelimelerin maskelenip yorumlamadan çıkarılması anlamına gelir.
Verilen bir kelimeyi yorumlamak için yalnızca temel kelimeleri tutarak ve alakasız olanları yorumlamadan çıkararak, metin ne kadar uzun olursa olsun yorumlanacak kelime kümesi birkaç kelimeyle sınırlı kalır ve böylece yorum yoğunluğunun seyreltilmesi önlenir.
Sanal Zeka
Şimdi biraz konuyu değiştirecek olursak, sanal zeka kavramı üzerine düşünmekteyim.
Şu anda, üretken yapay zekayı iş amaçlı kullanırken, bir şirketin tüm bilgilerinin tek bir bilgi tabanı olarak yapay zekaya sunulması durumunda, bilginin hacmi o kadar büyük olabilir ki, yapay zeka onu düzgün bir şekilde işleyememe fenomenine yol açar.
Bu nedenle, bilgiyi göreve göre ayırmak, her görev için yapay zeka sohbetleri hazırlamak veya belirli operasyonlar için uzmanlaşmış yapay zeka araçları oluşturmak daha etkili olacaktır.
Sonuç olarak, karmaşık görevleri gerçekleştirirken, her biri kendi ayrılmış bilgisine sahip bu yapay zeka sohbetlerini veya yapay zeka araçlarını birleştirmek gerekecektir.
Bu, üretken yapay zekanın mevcut bir sınırlamasını temsil etse de, temel olarak, gelecekteki üretken yapay zekalarda bile, belirli bir görev için yalnızca gerekli bilgiye odaklanmak daha yüksek doğruluk sağlamalıdır.
Bunun yerine, gelecekteki üretken yapay zekaların, insanlar bu bilgiyi bölmek zorunda kalmadan bile, duruma göre gerekli bilgiyi dahili olarak ayırt edip kullanabileceğine inanıyorum.
Bu yetenek sanal zekadır. Tek bir bilgisayarda birden fazla farklı işletim sistemini çalıştırabilen bir sanal makine gibidir. Bu, tek bir zeka içinde, farklı uzmanlıklara sahip birden fazla sanal zekanın işlev görebileceği anlamına gelir.
Mevcut üretken yapay zekalar bile zaten birden fazla kişi arasındaki tartışmaları simüle edebilmekte veya birden fazla karakter içeren hikayeler üretebilmektedir. Bu nedenle, sanal zeka özel bir yetenek değil, mevcut üretken yapay zekanın bir uzantısıdır.
Mikro Sanal Zeka
Görevin gerektirdiği bilgiyi daraltan sanal zeka mekanizması, Dikkat Mekanizması'na benzer bir işlev görür.
Başka bir deyişle, Dikkat Mekanizması ile benzerdir; çünkü o an yürütülen göreve dayalı olarak yalnızca ilgili bilgiye odaklanır ve onu işler.
Tersine, Dikkat Mekanizması'nın sanal zekaya benzer bir şeyi gerçekleştiren bir mekanizma olduğu söylenebilir. Ancak, benim öngördüğüm sanal zeka, bir bilgi koleksiyonundan ilgili bilgiyi seçerken, Dikkat Mekanizması bir kelime koleksiyonu biriminde çalışır.
Bu nedenle, Dikkat Mekanizması'na Mikro Sanal Zeka denebilir.
Açık Dikkat Mekanizması
Dikkat Mekanizması'nı mikro sanal zeka olarak görürsek, tersine, daha önce bahsettiğim sanal zeka, makro bir dikkat mekanizması inşa ederek elde edilebilir.
Ve bu makro dikkat mekanizmasının, büyük dil modellerinin iç yapısına eklenmesi veya sinir ağı öğrenimi içermesi gerekmez.
Bu, doğal dilde yazılmış açık bir ifade olabilir: "Görev A'yı yürütürken, Bilgi B ve Bilgi C'ye başvurun."
Bu, Görev A için gerekli bilgiyi netleştirir. Bu ifade de kendi başına bir tür bilgidir.
Buna Açık Dikkat Mekanizması denebilir. Bu ifade, Görev A'yı gerçekleştirirken odaklanılması gereken bilgiyi açıkça ifade eden Dikkat Bilgisi olarak değerlendirilebilir.
Ayrıca, bu Dikkat Bilgisi üretken yapay zeka tarafından oluşturulabilir veya güncellenebilir.
Eğer bir görev bilgi eksikliği nedeniyle başarısız olursa, bu yansımaya dayanarak, o görev için referans alınması gereken ek bilgiyi içerecek şekilde Dikkat Bilgisi güncellenebilir.
Sonuç
Dikkat Mekanizması, üretken yapay zekanın yeteneklerini dramatik bir şekilde ileriye taşıdı.
Bu sadece iyi çalışmayı tesadüfen başaran bir mekanizma değildi; aksine, burada gördüğümüz gibi, her durum için başvurulacak bilginin dinamik olarak daraltılması mekanizmasının kendisi, ileri düzey zekanın özü gibi görünmektedir.
Ve sanal zeka ile açık dikkat bilgisi gibi, Dikkat Mekanizması da zekayı çeşitli katmanlarda yinelemeli olarak geliştirmenin anahtarıdır.