Sztuczna inteligencja może wykazywać inteligentne zachowania dzięki technologii uczenia maszynowego.
Chociaż ten proces uczenia się przebiega zgodnie z procedurami opracowanymi przez ludzi, nadal nie jest w pełni wyjaśnione, dlaczego inteligencja wyłania się z tych procedur i struktury sztucznej inteligencji.
W tym artykule, rozważając istotę uczenia się, zamierzam zbadać przyczyny pojawienia się inteligencji.
Gdy zagłębiamy się w koncepcję uczenia się, dochodzimy do wniosku, że zarówno sztuczna inteligencja, jak i nasze mózgi posiadają wrodzoną zdolność do uczenia się, jak się uczyć.
Sugeruje to istnienie mechanizmu, który można nazwać Wrodzonym Frameworkerem.
Uczenie się przez ciało a uczenie się przez język
Rozumiemy otaczający nas świat i poszerzamy nasze możliwości, obserwując przedmioty oczami i poruszając ciałem.
Jest to również forma uczenia się, którą można nazwać uczeniem się przez ciało.
Z drugiej strony, kiedy ogólnie myślimy o uczeniu się, możemy sobie wyobrazić poszerzanie wiedzy poprzez czytanie podręczników lub słuchanie wyjaśnień nauczyciela.
Poza nauką opartą na programach edukacyjnych, zdobywamy również różnorodną wiedzę z rozmów z przyjaciółmi, wiadomości online i innych źródeł.
Ten rodzaj uczenia się nie polega na wizualnym zapamiętywaniu obrazów ani uczeniu się poprzez ruch fizyczny, lecz raczej na uczeniu się przez język.
Uczenie metakognitywne i uczenie metafizyczne
W ramach uczenia się opartego na języku istnieją przypadki, w których wiedza wymaga wielokrotnego powtarzania, aby zostać zapamiętana, oraz przypadki, w których można ją przyswoić po jednej lub kilku ekspozycjach.
Alternatywnie, pewna wiedza może być wykorzystana poprzez odzyskanie jej szczegółów z półki z książkami lub internetu, gdy jest to potrzebne, nawet jeśli nie została w pełni zapamiętana.
W sensie zdobywania i odpowiedniego wykorzystywania wiedzy, gdy jest to wymagane, oba te wzorce można uznać za uczenie się.
Wśród nich, wiedza, której nie można zapamiętać bez wielokrotnego powtarzania, może być nazwana wiedzą metakognitywną. Proces uczenia się samej koncepcji to uczenie metakognitywne.
Jest to podobne do uczenia się fizycznego, gdzie powtarzanie jest zaangażowane w widzenie obiektów oczami lub poruszanie ciałem. One również mogą być klasyfikowane jako uczenie metakognitywne.
Natomiast zdobywanie wiedzy, którą można zapamiętać przy niewielu próbach lub wykorzystać, szukając jej na miejscu, można nazwać uczeniem metafizycznym.
W tym przypadku, wstępnie poznane koncepcje nabyte poprzez uczenie metakognitywne mogą być wykorzystane do uczenia się nowej wiedzy jako typów tych koncepcji lub jako kombinacji koncepcji.
Ponieważ koncepcje już opanowane poprzez uczenie metakognitywne mogą być użyte, uczenie metafizyczne nie wymaga powtarzania.
Uczenie maszynowe języka naturalnego
Zastosujmy to do uczenia maszynowego w sztucznej inteligencji.
Ogólnie rzecz biorąc, sieci neuronowe używane w uczeniu maszynowym wykonują uczenie metakognitywne, które polega na powtarzalnym uczeniu się pojęć.
Z drugiej strony, duże modele językowe zdolne do przetwarzania języka naturalnego podobnie jak ludzie, mogą wykonywać uczenie się przez język.
Podczas wstępnego szkolenia i dostrajania dużych modeli językowych ma miejsce uczenie metakognitywne oparte na języku.
Wytrenowany duży model językowy może następnie odpowiadać, wykorzystując wiedzę zawartą w zdaniu wejściowym, co oznacza, że wykonuje natychmiastowe uczenie metafizyczne.
Ta zdolność do uczenia metafizycznego opartego na języku pozwala dużym modelom językowym wykorzystywać nową wiedzę bez powtarzalnego uczenia się.
Można to skontrastować z tradycyjnym numerycznym uczeniem maszynowym, które iteracyjnie dostosowuje parametry modelu, i nazwać uczeniem maszynowym języka naturalnego.
Język naturalny jako interfejs metafizyczny
Język naturalny znajduje się na styku rozróżniającym uczenie metakognitywne od uczenia metafizycznego.
Ciekawym aspektem języka naturalnego jest to, że można go nabyć poprzez uczenie metakognitywne, a na jego podstawie możliwe staje się uczenie metafizyczne.
Inne interfejsy metafizyczne niż język naturalny
W rzeczywistości, uczenie metakognitywne i uczenie metafizyczne występują również w uczeniu fizycznym. Na przykład, ktoś utalentowany w sporcie może szybko zaadaptować się do nowej dyscypliny sportowej, której nigdy wcześniej nie znał.
Podobnie, osoba posiadająca wiedzę biologiczną może natychmiast zrozumieć cechy nowego gatunku, gdy go zobaczy.
Zatem, nawet w uczeniu fizycznym istnieje interfejs metafizyczny, który zajmuje podobną pozycję jak język naturalny.
Ramy
Na tych interfejsach znajduje się rama, odmienna od elementarnych pojęć czy wiedzy; definiuje ona ich relacje i struktury, a także umożliwia nowe strukturyzowanie.
W miarę jak różnorodna wiedza metakognitywna jest nabywana poprzez uczenie metakognitywne, czasami możliwe jest nauczenie się ram na interfejsie metafizycznym z połączeń między tymi elementami wiedzy metakognitywnej.
Ramy wywodzące się z uczenia fizycznego umożliwiają natychmiastowe nabycie nowej wiedzy poprzez uczenie metafizyczne po jej opanowaniu. Jednak wiedza zdobyta w ten sposób przez uczenie metafizyczne nie jest łatwa do przekazania innym.
Z drugiej strony, rama wywodząca się z uczenia się przez język to sam język naturalny.
Dlatego wiedza nabyta poprzez uczenie metafizyczne poprzez nauczenie się ram języka naturalnego może być bezpośrednio wprowadzona do akwizycji języka innej osoby.
Dotyczy to nie tylko wiedzy opartej głównie na akwizycji języka, takiej jak podręczniki czy wiadomości online.
Doświadczony piłkarz, który po raz pierwszy próbuje swoich sił w baseballu, mógłby być w stanie wyrazić nabytą wiedzę metafizyczną o baseballu i przekazać ją innym doświadczonym piłkarzom. Oznacza to, że jeśli ludzie dzielą tę samą wiedzę metakognitywną, mogą komunikować to, co znane jest jako „wskazówki” lub „triki” za pomocą słów.
Ponadto, można by ustnie przekazać wiedzę o nowym gatunku, który zaobserwowano, innym biologom, dzieląc się tą wiedzą.
W ten sposób język naturalny okazuje się bardzo potężną ramą znajdującą się na interfejsie metafizycznym.
Wirtualne Ramy
Ponad językiem naturalnym można nabyć kolejne ramy.
Obejmują one ramy specyficzne dla danej dziedziny lub ramy metafizyczne.
W różnych dyscyplinach akademickich, sektorach biznesowych i życiu codziennym istnieje wiele różnorodnych ram specyficznych dla danej dziedziny.
Naukowcy mogą dokonywać nowych odkryć w ramach swoich wyspecjalizowanych ram i łatwo przekazywać te odkrycia jako wiedzę innym naukowcom, którzy posiadają te same ramy.
Same ramy mogą czasami być wyrażone w języku naturalnym, w którym to przypadku osoby lub duże modele językowe posiadające ramy języka naturalnego mogą je przyswoić i zrozumieć.
Modele biznesowe i przepisy kulinarne to również przykłady takich ram specyficznych dla danej dziedziny, które mogą być wyrażone w języku naturalnym.
Ponadto, wzory matematyczne, języki programowania i ramy analizy biznesowej to ramy formalne.
Te również mogą być wyrażone lub wyjaśnione w języku naturalnym.
Takie ramy specyficzne dla danej dziedziny i ramy formalne zbudowane na języku naturalnym można nazwać wirtualnymi ramami.
Można to łatwo zrozumieć, wyobrażając sobie maszynę wirtualną uruchamiającą inny system operacyjny na fizycznym komputerze. Inna rama funkcjonuje na szczycie języka naturalnego, który służy jako podstawowa rama.
Natywne Ramy
Początkowo te wirtualne ramy muszą być rozumiane poprzez język naturalny, ale wraz z praktyką omijają one wyjaśnienia i rozumienie poprzez język naturalny i zaczynają funkcjonować bezpośrednio jako metafizyczne ramy interfejsu zbudowane na wiedzy metakognitywnej.
Można to nazwać natywnymi ramami.
Język naturalny jest, w pewnym sensie, natywnymi ramami, ale tylko w przypadku języka ojczystego. Generalnie, języki inne niż ojczysty są nabywane jako wirtualne ramy. Wraz ze wzrostem biegłości zbliżają się one do statusu natywnych ram.
To samo dotyczy ram specyficznych dla danej dziedziny i ram formalnych. Matematycy mogą komunikować się natywnie ze sobą za pomocą wzorów matematycznych, a programiści mogą rozumieć swoje intencje wyłącznie poprzez kod źródłowy bez komentarzy.
Sugestia ta oznacza, że przejście od wirtualnych ram do natywnych ram może być również zastosowane do dużych modeli językowych.
Pomysł wykrywania często używanych wirtualnych ram, generowania dużej ilości danych przykładowych za pomocą tych wirtualnych ram, a następnie dostrajania ich, aby stały się natywnymi ramami, warto byłoby natychmiast wypróbować.
Wrodzony Frameworker
Biorąc to pod uwagę, zdajemy sobie sprawę, że duże modele językowe mogą uczyć się tych specjalistycznych i formalnych ram nie tylko podczas dostrajania, ale także podczas wstępnego szkolenia.
Ponadto, w tym procesie, prawdopodobne jest, że nie uczą się one specjalistycznych ani formalnych ram natywnie od samego początku. Zamiast tego, najpierw uczą się ram języka naturalnego, a następnie, w trakcie lub po osiągnięciu w nim biegłości, uczą się specjalistycznych lub formalnych ram i asymilują je do ram natywnych.
Rozwijając tę ideę przyrostowego uczenia się ram, można również przypuszczać, że samo uczenie się języka naturalnego jest równoległym potokiem wysoce szczegółowego, przyrostowego uczenia się ram.
Oznacza to, że z ogromnej ilości tekstu dostarczonego jako dane do uczenia się podczas wstępnego szkolenia, duże modele językowe mogą uczyć się nie tylko poszczególnych pojęć, ale także niektórych bardzo prostych zasad języka naturalnego jako ram. Następnie, wykorzystując te proste ramy jako podstawę, mogą wielokrotnie uczyć się nieco bardziej złożonych zasad.
W ten sposób, począwszy od etapu uczenia się poszczególnych pojęć słownych, powinny być w stanie nabywać złożone słowa i podstawową gramatykę, następnie rozumieć zdania, a ostatecznie uczyć się złożonych elementów, takich jak techniki literackie i style wyrazu.
Można to rozumieć jako model warstwowego i złożonego uczenia się ram, gdzie jedna rama służy jako podstawa do uczenia się następnej.
Podkreśla to obraz dużych modeli językowych jako Wrodzonych Frameworkerów, posiadających od początku mechanizm uczenia się ram.
Mechanizm uwagi
Technologią, która urzeczywistnia koncepcję Wrodzonego Frameworkera, jest mechanizm uwagi.
Mechanizm uwagi jest podobny do wybierania tokenów, na których należy się skupić w danym kontekście. Wyjaśnia on relacje między tokenami. Jest to dokładnie natura samej ramy: abstrahowanie poprzez zachowywanie ważnych pojęć przy jednoczesnym wyjaśnianiu relacji między tymi pojęciami.
Poprzez przełączanie tego wyboru dla każdego tokena, możliwe staje się dynamiczne przełączanie również ram.
Pozwala to wyjaśnić, dlaczego mechanizm uwagi jest decydującą technologią dla ewolucji dużych modeli językowych, wykorzystując model Wrodzonego Frameworkera.
Podsumowanie
Jeśli ten mechanizm faktycznie występuje podczas procesu wstępnego szkolenia dużych modeli językowych, wówczas dotychczas zagadkowy mechanizm tych modeli staje się możliwy do wyjaśnienia.
Wyjaśnienie to obejmuje omówione przez nas uczenie metakognitywne i metafizyczne, ramy jako interfejs metafizyczny, język naturalny umożliwiający nabywanie języka i wirtualne ramy, oraz mechanizm uwagi, który realizuje koncepcję Wrodzonego Frameworkera.
Co więcej, wynikają z tego dwie dodatkowe implikacje.
Po pierwsze, język naturalny posiada wysoce odpowiednią strukturę do stopniowego rozwijania złożonych ram z prostych w ramy natywne.
Jeśli język naturalny początkowo pojawił się w prostej formie w społeczeństwach ludzkich i stopniowo ewoluował, aby posiadać bardziej złożoną i bogatą strukturę, to jest to naturalna konsekwencja.
Ponadto, struktura umożliwiająca szybkie uczenie się byłaby korzystna. Zakładając, że wiele społeczeństw z różnymi językami naturalnymi konkurowało, hipoteza, że język naturalny najbardziej odpowiedni do uczenia się przetrwał do dziś, jest łatwa do udowodnienia.
Refleksja nad naturą języka naturalnego prowadzi do drugiej implikacji: że my, ludzie, również jesteśmy Wrodzonymi Frameworkerami.
Nawet jeśli konkretne podstawy i mechanizmy różnią się, nasze mózgi muszą być wyposażone w system, podobny do mechanizmu uwagi, który stopniowo uczy się i elastycznie modyfikuje ramy.