Штучний інтелект набуває інтелектуальної поведінки завдяки технології, що називається машинним навчанням.
Хоча це навчання відбувається відповідно до процедур, розроблених людьми, чому інтелект виникає з цих процедур та структури штучного інтелекту, ще не пояснено.
У цій статті я досліджуватиму причини виникнення інтелекту, розглядаючи сутність самого навчання.
І коли ми глибше занурюємося в концепцію навчання, ми приходимо до думки, що як штучний інтелект, так і наш мозок володіють вродженою схильністю навчатися тому, як навчатися.
Це свідчить про існування механізму, який можна назвати "природженим розробником фреймворків".
Навчання через тіло проти навчання через мову
Ми пізнаємо навколишній світ і розширюємо свої можливості, дивлячись на речі очима та рухаючи своїм тілом.
Це також є формою навчання, яку можна назвати навчанням через тіло.
З іншого боку, коли люди зазвичай говорять про навчання, вони, ймовірно, уявляють збільшення знань шляхом читання підручників або слухання пояснень вчителя.
Крім такого навчання, що базується на навчальній програмі, ми також отримуємо різноманітні знання з розмов з друзями, онлайн-новин тощо.
Цей тип навчання не пов'язаний із візуальним запам'ятовуванням зображень або навчанням через рухи тіла; це навчання через мову.
Дофізичне та метафізичне навчання
Серед навчання за допомогою мови є випадки, коли інформація може бути запам'ятана лише шляхом багаторазового повторення, і випадки, коли її можна запам'ятати, почувши один або кілька разів.
Крім того, існують знання, які, навіть якщо деталі не запам'ятовуються, можуть бути використані шляхом їх отримання з книжкової полиці або Інтернету в потрібний момент.
У сенсі здобуття знань та їх належного використання за потреби, обидва ці шаблони можна назвати навчанням.
З них знання, які можна запам'ятати лише шляхом багаторазового повторення, можна назвати дофізичними знаннями. Процес навчання для цього є дофізичним навчанням, що включає запам'ятовування самих концепцій.
Це схоже на фізичне навчання, де людина багаторазово навчається, дивлячись на об'єкти очима або рухаючи своїм тілом. Їх також можна класифікувати як дофізичне навчання.
З іншого боку, здобуття знань, які можна запам'ятати з меншою кількістю повторень, або знайти та використовувати на місці, можна назвати метафізичним навчанням.
У цьому випадку, попередньо вивчені концепції, набуті через дофізичне навчання, можуть бути використані для засвоєння знань як типів цих концепцій або як комбінацій концепцій.
Оскільки концепції, вже набуті через дофізичне навчання, можуть бути використані, метафізичне навчання не потребує повторення.
Машинне навчання природної мови
Застосуємо це до машинного навчання в штучному інтелекті.
Зазвичай, нейронні мережі, що використовуються в машинному навчанні, здійснюють дофізичне навчання, яке передбачає багаторазове засвоєння концепцій.
З іншого боку, великі мовні моделі, здатні обробляти природну мову подібно до людини, можуть навчатися за допомогою мови.
Під час попереднього навчання та тонкого налаштування великих мовних моделей відбувається дофізичне навчання за допомогою мови.
Крім того, попередньо навчена велика мовна модель може відповідати, використовуючи знання, що містяться у вхідному реченні, таким чином здійснюючи негайне метафізичне навчання.
Завдяки цій здатності до метафізичного навчання за допомогою мови, великі мовні моделі можуть використовувати нові знання без повторного навчання.
Це можна назвати машинним навчанням природної мови, на відміну від традиційного чисельного машинного навчання, яке ітеративно налаштовує параметри моделі.
Природна мова як метафізичний інтерфейс
Природна мова розташована на інтерфейсі, що розділяє дофізичне та метафізичне навчання.
Захопливим аспектом природної мови є те, що її можна набути через дофізичне навчання, і, крім того, вона уможливлює метафізичне навчання.
Метафізичні інтерфейси, крім природної мови
Насправді, навіть у фізичному навчанні існують як дофізичне, так і метафізичне навчання. Наприклад, людина, яка вміє займатися спортом, може швидко адаптуватися до нової гри, з якою вона стикається вперше.
Подібним чином, людина, обізнана в біології, може відразу зрозуміти характеристики нового виду, коли його побачить.
Таким чином, у фізичному навчанні також існують метафізичні інтерфейси, які займають схожу позицію з природною мовою.
Фреймворки
На цих інтерфейсах розташовані фреймворки, які, відмінні від елементарних концепцій або знань, визначають їхні взаємозв'язки та структури, або уможливлюють нове структурування.
Оскільки різноманітні дофізичні знання набуваються через дофізичне навчання, можливо вивчити фреймворк на метафізичному інтерфейсі зі зв'язків між частинами дофізичних знань.
Фреймворки, набуті через фізичне навчання, дозволяють негайно вивчати нові знання метафізично після їхнього отримання. Однак, нелегко передати знання, отримані через це метафізичне навчання, іншим.
З іншого боку, фреймворк, набутий через мовне навчання, є самою природною мовою.
Тому знання, набуті через метафізичне навчання, після вивчення фреймворку природної мови, можуть бути безпосередньо введені в мовне навчання інших людей.
Це стосується не лише знань, де навчання через мову, такі як підручники або онлайн-новини, є фундаментальним.
Досвідчений футболіст, граючи в бейсбол вперше, можливо, зможе передати метафізичні знання, отримані про бейсбол, іншим футболістам за допомогою слів. Це означає, що якщо люди поділяють одні й ті ж дофізичні знання, так звані "поради" або ноу-хау можуть бути передані вербально.
Крім того, можна було б поділитися знаннями про щойно відкритий вид, який вони бачили, з іншими біологами за допомогою слів.
Таким чином, природна мова виявляється дуже потужним фреймворком на метафізичному інтерфейсі.
Віртуальні фреймворки
Понад природною мовою можна опановувати інші фреймворки.
Це галузеві або формальні фреймворки.
У різних академічних галузях, секторах бізнесу та повсякденному житті існують різноманітні галузеві фреймворки.
Вчені, працюючи в рамках своєї спеціальності, можуть робити нові відкриття та легко передавати ці знання іншим вченим, які володіють тим же фреймворком.
Сам фреймворк іноді може бути виражений природною мовою, і в такому випадку його можуть вивчити та зрозуміти люди або великі мовні моделі, що володіють фреймворком природної мови.
Бізнес-моделі та кулінарні рецепти також є прикладами таких галузевих фреймворків, які можуть бути виражені природною мовою.
Крім того, математичні формули, мови програмування та фреймворки бізнес-аналізу є формальними фреймворками.
Їхні фреймворки також можуть бути виражені або пояснені природною мовою.
Ці галузеві та формальні фреймворки, побудовані на природній мові, можна назвати віртуальними фреймворками.
Це легко зрозуміти, якщо уявити віртуальну машину, що працює під іншою ОС на фізичному комп'ютері. Ще один фреймворк функціонує поверх фундаментального фреймворку природної мови.
Нативні фреймворки
Крім того, хоча ці віртуальні фреймворки спочатку потребують розуміння за допомогою природної мови, з часом, коли користувач звикає до них, вони починають обходити пояснення та розуміння природною мовою, безпосередньо функціонуючи як метафізичний інтерфейсний фреймворк, побудований на дофізичних знаннях.
Це можна назвати нативним фреймворком.
Природна мова, в певному сенсі, також є нативним фреймворком, але лише стосовно рідної мови. Загалом, мови, відмінні від рідної, здобуваються як віртуальні фреймворки. З підвищенням рівня володіння вони наближаються до того, щоб стати нативними фреймворками.
Те саме стосується предметних та формальних фреймворків. Математики можуть спілкуватися нативно, використовуючи математичні формули, а програмісти можуть розуміти наміри один одного виключно через вихідний код без коментарів.
Це свідчить про те, що перехід від віртуальних до нативних фреймворків також може бути застосований до великих мовних моделей.
Ідея виявлення часто використовуваних віртуальних фреймворків, генерації великої кількості прикладів даних за допомогою цих фреймворків, а потім тонкого налаштування їх для перетворення на нативні фреймворки варто спробувати негайно.
Природжені будівельники фреймворків
Зважаючи на це, стає зрозуміло, що під час попереднього навчання великих мовних моделей, а не лише тонкого налаштування, існує ймовірність того, що вони також вивчають предметні та формальні фреймворки.
І в цьому процесі можна припустити, що замість того, щоб спочатку нативно вивчати предметні або формальні фреймворки, вони спочатку вивчають фреймворк природної мови, а потім, під час або після її освоєння, вивчають предметні та формальні фреймворки, роблячи їх нативними.
Заглиблюючись у це поетапне навчання фреймворків, також можна припустити, що саме навчання природної мови є паралельним конвеєром дуже детального, поетапного навчання фреймворків.
Іншими словами, з величезного обсягу тексту, наданого як навчальні дані під час попереднього навчання, великі мовні моделі можуть не тільки вивчати окремі поняття, а й кілька дуже простих правил природної мови як фреймворк. Потім, використовуючи ці прості фреймворки як основу, вони багаторазово вивчають трохи складніші правила.
Це дозволило б їм прогресувати від стадії, коли вони спочатку вивчали поняття слів, до запам'ятовування складних слів і базової граматики, а потім до розуміння речень і вивчення складних речей, таких як техніки письма та вираження.
Це можна зрозуміти як модель, де вони вивчають фреймворки поетапно та комплексно, використовуючи один фреймворк як основу для вивчення наступного.
Це підкреслює великі мовні моделі як "природжених будівельників фреймворків", що володіють механізмом для вивчення фреймворків із самого початку.
Механізм уваги
Технологією, що втілює природженого фреймворкера, є механізм уваги.
Механізм уваги подібний до вибору релевантних токенів з контексту. Він прояснює зв'язки між токенами. Це саме та природа фреймворку: абстрагування шляхом збереження важливих концепцій та одночасного прояснення взаємозв'язків між ними.
Перемикаючи цей вибір для кожного токена, він дозволяє динамічно змінювати фреймворки.
Це дозволяє нам пояснити, чому механізм уваги є технологією, яка визначає еволюцію великих мовних моделей, використовуючи модель природженого фреймворкера.
Висновок
Якщо цей механізм дійсно відбувається під час процесу попереднього навчання великих мовних моделей, то раніше загадкові механізми великих мовних моделей можна пояснити.
До них належать обговорені тут дофізичне та метафізичне навчання, фреймворки як метафізичні інтерфейси, природна мова, що уможливлює навчання за допомогою мови та віртуальних фреймворків, а також механізм уваги, що реалізує природженого розробника фреймворків.
Крім того, з цього випливають ще два моменти.
По-перше, природна мова має структуру, яка дуже добре підходить для поступової інтеріоризації складних фреймворків із простіших.
Якщо природна мова спочатку з'явилася в людському суспільстві в простій формі і поступово розвинулася, щоб мати складнішу та багатшу структуру, це є природним наслідком.
Крім того, було б вигідно, щоб вона була структурована таким чином, щоб дозволяти швидке навчання. Припускаючи, що конкурували кілька суспільств з різними природними мовами, легко формується гіпотеза, що природні мови, краще пристосовані для навчання, наразі виживають.
Роздуми про цю природу природної мови приводять до другого припущення: що ми, люди, також є природженими розробниками фреймворків.
Навіть якщо конкретні базові основи та механізми відрізняються, наш мозок також повинен бути оснащений механізмом, подібним до механізму уваги, який дозволяє поетапне навчання та гнучку адаптацію фреймворків.