Obecna generatywna sztuczna inteligencja (AI) jest technologią, która rozkwitła dzięki wynalezieniu Transformera, stanowiącego ogromny przełom.
Mechanizm uwagi (Attention Mechanism) można określić jako kluczową cechę Transformera. Zwięźle wyraża to tytuł artykułu ogłaszającego Transformera: „Attention Is All You Need” (Uwaga to wszystko, czego potrzebujesz).
W tle tego wydarzenia leżały liczne wysiłki badaczy AI, którzy poprzez różnorodne próby i błędy dążyli do tego, aby AI potrafiła posługiwać się językiem naturalnym równie sprawnie jak ludzie, nadając nazwy udanym metodom i publikując na ich temat artykuły.
Wielu badaczy wierzyło, że poprzez łączenie tych wielu skutecznych mechanizmów na różne sposoby, stopniowo stworzą AI zdolną do operowania językiem naturalnym niczym człowiek. Skupiali się na odkrywaniu nowych mechanizmów, które mogłyby współdziałać z innymi, oraz na znajdowaniu optymalnych kombinacji tych mechanizmów.
Jednakże Transformer obalił tę konwencjonalną mądrość. Przesłanie, że nie ma potrzeby łączenia różnych mechanizmów i że wystarczy jedynie Mechanizm uwagi, było ewidentne w tytule artykułu.
Chociaż sam Transformer z pewnością zawiera różne mechanizmy, nie ma wątpliwości, że Mechanizm uwagi był wśród nich szczególnie przełomowy i wyróżniający się.
Przegląd Mechanizmu Uwagi
Mechanizm uwagi to system, który pozwala AI nauczyć się, na które słowa, spośród wielu zawartych w poprzedzających zdaniach, powinna zwrócić uwagę podczas przetwarzania konkretnego słowa w języku naturalnym.
Umożliwia to AI dokładne zrozumienie, do czego odnosi się dane słowo, na przykład w przypadku zaimków wskazujących, takich jak „ten”, „tamten” lub „wspomniany wcześniej” (wskazujących na słowo w poprzednim zdaniu), lub odniesień pozycyjnych, takich jak „zdanie otwierające”, „drugi wymieniony przykład” czy „poprzedni akapit”.
Ponadto, mechanizm ten potrafi poprawnie interpretować modyfikatory, nawet jeśli są one daleko od siebie w zdaniu, a nawet w długich tekstach, jest w stanie interpretować słowa bez gubienia kontekstu, do którego odnosi się bieżące słowo, co zapobiega jego zagubieniu wśród innych zdań.
Taka jest użyteczność „uwagi”.
I na odwrót, oznacza to, że podczas interpretacji obecnie przetwarzanego słowa, niepotrzebne słowa są maskowane i usuwane z interpretacji.
Zachowując tylko słowa niezbędne do interpretacji danego słowa i usuwając te nieistotne, zbiór słów do interpretacji pozostaje ograniczony do kilku, niezależnie od długości tekstu, co zapobiega rozmyciu gęstości interpretacyjnej.
Wirtualna Inteligencja
Przechodząc teraz nieco do innego tematu, zastanawiałem się nad koncepcją wirtualnej inteligencji.
Obecnie, gdy używamy generatywnej AI w biznesie, skonsolidowanie wszystkich informacji w firmie i udostępnienie ich AI jako jednej bazy wiedzy może sprawić, że ogromna ilość wiedzy stanie się przytłaczająca, prowadząc do zjawiska, w którym AI nie będzie w stanie jej prawidłowo przetworzyć.
Z tego powodu skuteczniejsze jest rozdzielenie wiedzy według zadań, przygotowywanie czatów AI dla każdego zadania lub tworzenie narzędzi AI wyspecjalizowanych w konkretnych operacjach.
W konsekwencji, podczas wykonywania złożonych zadań, konieczne staje się łączenie tych czatów AI lub narzędzi AI, z których każdy posiada swoją odseparowaną wiedzę.
Chociaż stanowi to obecne ograniczenie generatywnej AI, zasadniczo, nawet w przypadku przyszłych generatywnych AI, skupienie się wyłącznie na wiedzy wymaganej do konkretnego zadania powinno prowadzić do wyższej dokładności.
Zamiast tego, wierzę, że przyszła generatywna AI będzie w stanie wewnętrznie różnicować i wykorzystywać niezbędną wiedzę w zależności od sytuacji, nawet bez konieczności dzielenia tej wiedzy przez ludzi.
Ta zdolność to wirtualna inteligencja. Jest ona podobna do maszyny wirtualnej, która może uruchamiać wiele różnych systemów operacyjnych na jednym komputerze. Oznacza to, że w ramach jednej inteligencji może funkcjonować wiele wirtualnych inteligencji o różnych specjalizacjach.
Nawet obecna generatywna AI potrafi już symulować dyskusje między wieloma osobami lub generować historie z udziałem wielu postaci. Dlatego wirtualna inteligencja nie jest specjalną zdolnością, lecz raczej rozszerzeniem obecnej generatywnej AI.
Mikro Wirtualna Inteligencja
Mechanizm wirtualnej inteligencji, który zawęża niezbędną wiedzę w zależności od zadania, działa w sposób podobny do mechanizmu uwagi.
Innymi słowy, jest on analogiczny do mechanizmu uwagi, ponieważ skupia się i przetwarza tylko istotną wiedzę w oparciu o aktualnie wykonywane zadanie.
Z drugiej strony, mechanizm uwagi można uznać za mechanizm realizujący coś w rodzaju wirtualnej inteligencji. Jednakże, podczas gdy wirtualna inteligencja, którą sobie wyobrażam, wybiera istotną wiedzę z kolekcji wiedzy, mechanizm uwagi działa na jednostce kolekcji słów.
Z tego powodu mechanizm uwagi można nazwać Mikro Wirtualną Inteligencją.
Jawny Mechanizm Uwagi
Jeśli spojrzymy na mechanizm uwagi jako mikro wirtualną inteligencję, to, na odwrót, wspomnianą wcześniej wirtualną inteligencję można osiągnąć poprzez zbudowanie makro mechanizmu uwagi.
Ten makro mechanizm uwagi nie musi być dodawany do wewnętrznej struktury dużych modeli językowych ani obejmować uczenia sieci neuronowych.
Może to być po prostu jawne stwierdzenie zapisane w języku naturalnym, takie jak: „Wykonując zadanie A, odwołaj się do wiedzy B i wiedzy C”.
To precyzuje wiedzę wymaganą dla zadania A. Samo to stwierdzenie jest rodzajem wiedzy.
Można by to nazwać Jawnym Mechanizmem Uwagi. To stwierdzenie może być traktowane jako Wiedza Koncentracyjna, która w sposób wyraźny artykułuje wiedzę, na której należy się skupić podczas wykonywania zadania A.
Ponadto, ta Wiedza Koncentracyjna może być generowana lub aktualizowana przez generatywną AI.
Jeśli zadanie nie powiedzie się z powodu braku wiedzy, Wiedza Koncentracyjna może zostać zaktualizowana, aby zawierała dodatkową wiedzę jako odniesienie dla tego zadania, na podstawie tej refleksji.
Podsumowanie
Mechanizm uwagi w znaczący sposób posunął naprzód możliwości generatywnej sztucznej inteligencji.
Nie był to jedynie mechanizm, który przypadkowo dobrze działał; raczej, jak to tutaj widzieliśmy, sam mechanizm dynamicznego zawężania informacji, do której należy się odwoływać w każdej sytuacji, wydaje się być esencją zaawansowanej inteligencji.
A, podobnie jak wirtualna inteligencja i jawna wiedza koncentracyjna, mechanizm uwagi jest również kluczem do rekurencyjnego wzmacniania inteligencji na różnych poziomach.