Sztuczna inteligencja zyskuje inteligentne zachowania dzięki technologii zwanej uczeniem maszynowym.
Chociaż to uczenie odbywa się zgodnie z procedurami opracowanymi przez ludzi, to dlaczego inteligencja wyłania się z tych procedur i struktury sztucznej inteligencji, nie zostało jeszcze wyjaśnione.
W tym artykule zbadam przyczyny powstawania inteligencji, rozważając samą istotę uczenia się.
A gdy zagłębimy się w koncepcję uczenia się, dochodzimy do idei, że zarówno sztuczna inteligencja, jak i nasze mózgi posiadają wrodzoną tendencję do uczenia się, jak się uczyć.
Sugestia ta wskazuje na istnienie mechanizmu, który można nazwać „naturalnym twórcą ram”.
Uczenie się przez ciało a uczenie się przez język
Poznajemy otaczający nas świat i rozszerzamy nasze możliwości, widząc rzeczy oczami i poruszając ciałem.
Jest to również forma uczenia się, którą można nazwać uczeniem się przez ciało.
Z drugiej strony, kiedy ludzie ogólnie mówią o uczeniu się, prawdopodobnie wyobrażają sobie zwiększanie wiedzy poprzez czytanie podręczników lub słuchanie wyjaśnień nauczyciela.
Oprócz takiego uczenia się opartego na programie nauczania, zdobywamy również różnorodną wiedzę z rozmów z przyjaciółmi, wiadomości online i tak dalej.
Ten rodzaj uczenia się nie polega na zapamiętywaniu obrazów wizualnie ani na uczeniu się poprzez ruchy ciała; jest to uczenie się przez język.
Uczenie się subfizyczne i uczenie się metafizyczne
Wśród uczenia się poprzez język, istnieją przypadki, gdy informacja może być zapamiętana tylko poprzez wielokrotne powtórzenia, oraz przypadki, gdy można ją zapamiętać po usłyszeniu jej raz lub kilka razy.
Alternatywnie, istnieje wiedza, która, nawet jeśli szczegóły nie są zapamiętane, może być wykorzystana poprzez jej odnalezienie na półce z książkami lub w internecie w potrzebnym momencie.
W sensie zdobywania wiedzy i wykorzystywania jej w odpowiedni sposób, gdy jest to potrzebne, oba te wzorce można nazwać uczeniem się.
Spośród nich, wiedzę, którą można zapamiętać tylko poprzez wielokrotne powtórzenia, można nazwać wiedzą subfizyczną. Proces uczenia się tego to uczenie subfizyczne, które obejmuje zapamiętywanie samych koncepcji.
Jest to podobne do uczenia fizycznego, gdzie wielokrotnie uczymy się, widząc obiekty oczami lub poruszając ciałem. Te również można zaklasyfikować jako uczenie subfizyczne.
Z drugiej strony, zdobywanie wiedzy, którą można zapamiętać z mniejszą liczbą powtórzeń, lub odszukać i użyć na miejscu, można nazwać uczeniem metafizycznym.
W tym przypadku, wcześniej nauczone koncepcje, zdobyte poprzez uczenie subfizyczne, mogą być wykorzystane do uczenia się wiedzy jako typów tych koncepcji lub jako kombinacji koncepcji.
Ponieważ koncepcje już nabyte poprzez uczenie subfizyczne mogą być wykorzystane, uczenie metafizyczne nie wymaga powtarzania.
Uczenie maszynowe języka naturalnego
Zastosujmy to do uczenia maszynowego w sztucznej inteligencji.
Generalnie, sieci neuronowe używane w uczeniu maszynowym wykonują uczenie subfizyczne, które polega na wielokrotnym uczeniu się pojęć.
Z drugiej strony, duże modele językowe, zdolne do przetwarzania języka naturalnego podobnie jak ludzie, mogą uczyć się poprzez język.
Podczas wstępnego szkolenia i dostrajania dużych modeli językowych ma miejsce subfizyczne uczenie się poprzez język.
Ponadto, wstępnie wytrenowany duży model językowy może odpowiadać, wykorzystując wiedzę zawartą w zdaniu wejściowym, wykonując w ten sposób natychmiastowe uczenie metafizyczne.
Dzięki tej zdolności metafizycznego uczenia się poprzez język, duże modele językowe mogą wykorzystywać nową wiedzę bez powtarzania nauki.
Można to nazwać uczeniem maszynowym języka naturalnego, w przeciwieństwie do tradycyjnego numerycznego uczenia maszynowego, które iteracyjnie dostosowuje parametry modelu.
Język naturalny jako interfejs metafizyczny
Język naturalny znajduje się na styku, który oddziela uczenie subfizyczne od uczenia metafizycznego.
Fascynującym aspektem języka naturalnego jest to, że można go nabyć poprzez uczenie subfizyczne, a co więcej, umożliwia on uczenie metafizyczne.
Interfejsy metafizyczne inne niż język naturalny
W rzeczywistości, nawet w uczeniu fizycznym, istnieją zarówno uczenie subfizyczne, jak i metafizyczne. Na przykład, ktoś utalentowany w sporcie może szybko zaadaptować się do nowej gry, z którą styka się po raz pierwszy.
Podobnie, ktoś znający się na biologii może natychmiast zrozumieć cechy nowego gatunku, gdy go zobaczy.
Zatem, również w uczeniu fizycznym, istnieją interfejsy metafizyczne, które zajmują podobną pozycję do języka naturalnego.
Ramy (Frameworki)
Na tych interfejsach znajdują się ramy (frameworki), które, odmiennie od elementarnych pojęć czy wiedzy, definiują ich relacje i struktury, lub umożliwiają nowe strukturyzowanie.
W miarę nabywania różnorodnej wiedzy subfizycznej poprzez uczenie subfizyczne, możliwe jest poznawanie ram na interfejsie metafizycznym z powiązań między fragmentami wiedzy subfizycznej.
Ramy nabyte poprzez uczenie fizyczne umożliwiają natychmiastowe metafizyczne przyswajanie nowej wiedzy po jej nabyciu. Jednakże nie jest łatwo przekazać innym wiedzę zdobytą poprzez to uczenie metafizyczne.
Z drugiej strony, ramy nabyte poprzez uczenie się za pomocą języka to sam język naturalny.
Dlatego wiedza nabyta poprzez uczenie metafizyczne, po przyswojeniu sobie ram języka naturalnego, może być bezpośrednio wprowadzona do uczenia się innych ludzi za pomocą języka.
Dotyczy to nie tylko wiedzy, gdzie uczenie się poprzez język, takiej jak podręczniki czy wiadomości online, jest fundamentalne.
Doświadczony piłkarz, grając w baseball po raz pierwszy, mógłby przekazać metafizyczną wiedzę zdobytą na temat baseballu innym piłkarzom za pomocą słów. Oznacza to, że jeśli ludzie dzielą tę samą subfizyczną wiedzę, tak zwane „wskazówki” lub know-how mogą być przekazywane werbalnie.
Ponadto, można by dzielić się wiedzą na temat nowo odkrytego gatunku, którego się było świadkiem, z innymi biologami za pomocą słów.
W ten sposób język naturalny okazuje się być bardzo potężnymi ramami na interfejsie metafizycznym.
Ramki Wirtualne (Virtual Frameworks)
Poza językiem naturalnym można przyswoić inne ramy.
Są to ramy specyficzne dla dziedziny lub ramy formalne.
W różnych dziedzinach akademickich, sektorach biznesowych i życiu codziennym istnieje wiele różnorodnych ram specyficznych dla dziedziny.
Uczeni, działający w ramach swojej specjalności, mogą dokonywać nowych odkryć i łatwo przekazywać tę wiedzę innym uczonym, którzy posiadają te same ramy.
Sama ramka może być czasami wyrażona w języku naturalnym, w którym to przypadku może być nauczona i zrozumiana przez ludzi lub duże modele językowe, które posiadają ramkę języka naturalnego.
Modele biznesowe i przepisy kulinarne są również przykładami takich ram specyficznych dla dziedziny, które mogą być wyrażone w języku naturalnym.
Ponadto, wzory matematyczne, języki programowania i ramy analizy biznesowej to ramy formalne.
Te również mogą mieć swoje ramy wyrażone lub wyjaśnione w języku naturalnym.
Te specyficzne dla dziedziny i formalne ramy zbudowane na języku naturalnym można nazwać ramami wirtualnymi.
Jest to łatwe do zrozumienia, jeśli wyobrazimy sobie maszynę wirtualną uruchamiającą inny system operacyjny na komputerze fizycznym. Inna ramka funkcjonuje na szczycie podstawowej ramki języka naturalnego.
Natywne ramy
Co więcej, chociaż te wirtualne ramy początkowo muszą być rozumiane za pośrednictwem języka naturalnego, w miarę przyzwyczajania się do nich zaczynają omijać wyjaśnienia i rozumienie języka naturalnego, funkcjonując bezpośrednio jako metafizyczne ramy interfejsu zbudowane na wiedzy subfizycznej.
Można to nazwać ramami natywnymi.
Język naturalny jest, w pewnym sensie, również ramami natywnymi, ale tylko w odniesieniu do języka ojczystego. Ogólnie rzecz biorąc, języki inne niż język ojczysty są przyswajane jako ramy wirtualne. W miarę wzrostu biegłości zbliżają się one do stania się ramami natywnymi.
To samo dotyczy ram specyficznych dla danej dziedziny i ram formalnych. Matematycy mogą komunikować się natywnie za pomocą wzorów matematycznych, a programiści mogą rozumieć swoje intencje wyłącznie za pomocą kodu źródłowego bez komentarzy.
Sugestia ta wskazuje, że przejście od ram wirtualnych do natywnych może być również zastosowane do dużych modeli językowych.
Pomysł wykrywania często używanych ram wirtualnych, generowania dużej ilości przykładowych danych za pomocą tych ram, a następnie dostrajania ich w celu uczynienia ich ramami natywnymi jest warty natychmiastowego wypróbowania.
Wrodzeni Twórcy Ram (Natural Born Frameworkers)
Biorąc to pod uwagę, można zdać sobie sprawę, że podczas wstępnego szkolenia dużych modeli językowych, nie tylko dostrajania, istnieje możliwość, że uczą się one również ram specyficznych dla danej dziedziny i ram formalnych.
I w tym procesie, jest możliwe, że zamiast natywnie uczyć się ram specyficznych dla danej dziedziny lub ram formalnych od początku, najpierw uczą się ram języka naturalnego, a następnie, w trakcie lub po ich opanowaniu, uczą się ram specyficznych dla danej dziedziny i ram formalnych, czyniąc je natywnymi.
Zagłębiając się w to stopniowe uczenie się ram, można również przypuszczać, że samo uczenie się języka naturalnego jest równoległym potokiem bardzo szczegółowego, stopniowego uczenia się ram.
Innymi słowy, z ogromnej ilości tekstu dostarczonego jako dane treningowe podczas wstępnego szkolenia, duże modele językowe mogą uczyć się nie tylko pojedynczych pojęć, ale także kilku bardzo prostych zasad języka naturalnego jako ramy. Następnie, wykorzystując te proste ramy jako podstawę, wielokrotnie uczą się nieco bardziej złożonych zasad.
Pozwoliłoby to im przejść od etapu, na którym początkowo uczyły się pojęć słownych, do zapamiętywania słów złożonych i podstawowej gramatyki, a następnie do rozumienia zdań i uczenia się złożonych rzeczy, takich jak techniki pisania i wyrażania.
Można to rozumieć jako model, w którym uczą się ram w sposób stopniowy i złożony, używając jednej ramy jako podstawy do uczenia się następnej.
Podkreśla to duże modele językowe jako „wrodzonych twórców ram”, posiadających mechanizm uczenia się ram od samego początku.
Mechanizm uwagi
Technologią, która urzeczywistnia „wrodzonego twórcę ram”, jest mechanizm uwagi.
Mechanizm uwagi przypomina wybieranie istotnych tokenów z kontekstu. Wyjaśnia on relacje między tokenami. To jest właśnie istota ram: abstrahowanie poprzez zachowanie ważnych pojęć, jednocześnie wyjaśniając relacje między nimi.
Poprzez przełączanie tego wyboru dla każdego tokenu, umożliwia dynamiczne przełączanie ram.
Pozwala to nam wyjaśnić, dlaczego mechanizm uwagi jest technologią, która decyduje o ewolucji dużych modeli językowych, wykorzystując model „wrodzonego twórcy ram”.
Wniosek
Jeśli ten mechanizm rzeczywiście występuje podczas procesu wstępnego trenowania dużych modeli językowych, wówczas można wyjaśnić dotychczas tajemnicze mechanizmy dużych modeli językowych.
Obejmuje to omówione tutaj uczenie subfizyczne i metafizyczne, ramy jako interfejsy metafizyczne, język naturalny umożliwiający uczenie się poprzez język i wirtualne ramy, a także mechanizm uwagi realizujący ideę „wrodzonego twórcy ram”.
Ponadto, z tego wynika jeszcze dwie dodatkowe sugestie.
Po pierwsze, język naturalny ma strukturę wysoce przystosowaną do stopniowego internalizowania złożonych ram z prostszych.
Jeśli język naturalny początkowo pojawił się w ludzkim społeczeństwie w prostej formie i stopniowo rozwinął się, by posiadać bardziej złożoną i bogatą strukturę, jest to naturalną konsekwencją.
Co więcej, byłoby korzystne, gdyby był on tak skonstruowany, aby umożliwiał szybkie uczenie się. Zakładając, że wiele społeczeństw z różnymi językami naturalnymi konkurowało ze sobą, łatwo formułuje się hipotezę, że języki naturalne lepiej przystosowane do uczenia się przetrwały do dziś.
Refleksja nad tą naturą języka naturalnego prowadzi do drugiej sugestii: że my, ludzie, również jesteśmy „wrodzonymi twórcami ram”.
Nawet jeśli konkretne podstawy i mechanizmy różnią się, nasze mózgi muszą być również wyposażone w mechanizm, podobny do mechanizmu uwagi, który umożliwia stopniowe uczenie się i elastyczne dostosowywanie ram.