Штучний інтелект може демонструвати інтелектуальну поведінку завдяки технології машинного навчання.
Хоча цей процес навчання слідує процедурам, розробленим людьми, ще не до кінця пояснено, чому інтелект виникає з цих процедур і структури штучного інтелекту.
У цій статті, розмірковуючи над сутністю навчання, я прагну дослідити причини виникнення інтелекту.
Заглиблюючись у концепцію навчання, ми доходимо до ідеї, що як штучний інтелект, так і наш мозок мають вроджену здатність навчатися навчатися.
Це свідчить про існування механізму, який можна назвати природженим фреймворкером (Natural Born Frameworker).
Навчання через тіло та навчання через мову
Ми пізнаємо навколишній світ і розширюємо свої можливості, спостерігаючи за об'єктами очима та рухаючи своїм тілом.
Це також є формою навчання, яку можна назвати навчанням через тіло.
З іншого боку, коли ми зазвичай думаємо про навчання, ми можемо уявляти собі збільшення наших знань шляхом читання підручників або прослуховування пояснень вчителя.
Крім навчання на основі таких освітніх програм, ми також отримуємо різноманітні знання з розмов з друзями, онлайн-новин та інших джерел.
Цей тип навчання полягає не у візуальному запам'ятовуванні зображень чи навчанні через фізичні рухи, а радше у навчанні через мову.
Метакогнітивне та метафізичне навчання
У рамках мовного навчання існують випадки, коли знання потребують багаторазового повторення для запам'ятовування, та випадки, коли їх можна засвоїти після однієї чи кількох спроб.
Інакше кажучи, деякі знання можна використовувати, отримавши їхні деталі з книжкової полиці чи Інтернету за потреби, навіть якщо вони не повністю запам'ятовані.
З точки зору набуття та належного використання знань, коли це потрібно, обидва ці патерни можна вважати навчанням.
Серед них знання, які не можна запам'ятати без багаторазового повторення, можна назвати метакогнітивним знанням. Сам процес вивчення поняття є метакогнітивним навчанням.
Це схоже на фізичне навчання, де повторення включає спостереження об'єктів очима або рух тілом. Їх також можна класифікувати як метакогнітивне навчання.
Навпаки, набуття знань, які можна запам'ятати за кілька спроб або використовувати, шукаючи їх на місці, можна назвати метафізичним навчанням.
У цьому випадку попередньо засвоєні концепції, отримані за допомогою метакогнітивного навчання, можуть бути використані для вивчення нових знань як типи цих концепцій або як комбінації концепцій.
Оскільки концепції, вже опановані за допомогою метакогнітивного навчання, можуть бути використані, метафізичне навчання не потребує повторення.
Машинне навчання природною мовою
Застосуймо це до машинного навчання в штучному інтелекті.
Зазвичай нейронні мережі, що використовуються в машинному навчанні, здійснюють метакогнітивне навчання, яке передбачає повторюване засвоєння концепцій.
З іншого боку, великі мовні моделі, здатні до обробки природної мови подібно до людей, можуть здійснювати мовне навчання.
Під час попереднього навчання та тонкого налаштування великих мовних моделей відбувається метакогнітивне навчання на основі мови.
Навчена велика мовна модель потім може відповідати, використовуючи знання, що містяться у вхідному реченні, що означає, що вона здійснює негайне метафізичне навчання.
Ця здатність до метафізичного навчання на основі мови дозволяє великим мовним моделям використовувати нові знання без повторного навчання.
Це можна протиставити традиційному числовому машинному навчанню, яке ітеративно налаштовує параметри моделі, і назвати машинним навчанням природною мовою.
Природна мова як метафізичний інтерфейс
Природна мова розташована на межі, що розмежовує метакогнітивне навчання від метафізичного навчання.
Цікавий аспект природної мови полягає в тому, що її можна засвоїти через метакогнітивне навчання, а на її основі стає можливим метафізичне навчання.
Інші метафізичні інтерфейси, крім природної мови
Насправді, метакогнітивне навчання та метафізичне навчання існують також у фізичному навчанні. Наприклад, людина, яка добре розбирається в спорті, може швидко адаптуватися до нового виду спорту, з яким вона ніколи раніше не стикалася.
Аналогічно, людина, обізнана в біології, може негайно зрозуміти характеристики нового виду, коли його побачить.
Таким чином, навіть у фізичному навчанні існує метафізичний інтерфейс, який займає подібне положення до природної мови.
Фреймворк
На цих інтерфейсах знаходиться фреймворк, відмінний від елементарних концепцій чи знань; він визначає їхні взаємозв'язки та структури, а також уможливлює нове структурування.
Коли різноманітні метакогнітивні знання набуваються через метакогнітивне навчання, іноді можна засвоїти фреймворк на метафізичному інтерфейсі зі зв'язків між цими частинами метакогнітивних знань.
Фреймворк, отриманий через фізичне навчання, дозволяє негайно набувати нових знань за допомогою метафізичного навчання після його освоєння. Однак знання, отримані за допомогою такого метафізичного навчання, нелегко передати іншим.
З іншого боку, фреймворк, отриманий від мовного навчання, є самою природною мовою.
Отже, знання, набуті за допомогою метафізичного навчання шляхом засвоєння фреймворку природної мови, можуть бути безпосередньо введені в оволодіння мовою іншої людини.
Це стосується не лише знань, що ґрунтуються переважно на оволодінні мовою, таких як підручники чи онлайн-новини.
Досвідчений футболіст, який вперше пробує бейсбол, можливо, зможе сформулювати метафізичні знання з бейсболу, які він набув, і передати їх іншим досвідченим футболістам. Це означає, що якщо люди поділяють одні й ті ж метакогнітивні знання, вони можуть спілкуватися за допомогою слів про те, що відомо як "поради" або "хитрощі".
Крім того, можна було б усно передати знання про новий вид, який вони спостерігали, іншим біологам, тим самим поділившись цими знаннями.
Таким чином, природна мова виявляється дуже потужним фреймворком, розташованим на метафізичному інтерфейсі.
Віртуальний фреймворк
Над природною мовою можна набути ще один фреймворк.
До них належать доменно-специфічні фреймворки або метафізичні фреймворки.
У різних академічних дисциплінах, бізнес-секторах та повсякденному житті існують різноманітні доменно-специфічні фреймворки.
Вчені можуть робити нові відкриття в межах своїх спеціалізованих фреймворків і легко передавати ці відкриття як знання іншим вченим, які володіють тим самим фреймворком.
Сам фреймворк іноді може бути виражений природною мовою, і в такому випадку особи або великі мовні моделі, що володіють фреймворком природної мови, можуть його набувати та розуміти.
Бізнес-моделі та кулінарні рецепти також є прикладами таких доменно-специфічних фреймворків, які можуть бути виражені природною мовою.
Крім того, математичні формули, мови програмування та фреймворки бізнес-аналізу є формальними фреймворками.
Їх також можна виразити або пояснити природною мовою.
Такі доменно-специфічні фреймворки та формальні фреймворки, побудовані на природній мові, можна назвати віртуальними фреймворками.
Це легко зрозуміти, уявивши віртуальну машину, що працює з іншою операційною системою на фізичному комп'ютері. Інший фреймворк функціонує поверх природної мови, яка слугує основоположним фреймворком.
Нативний фреймворк
Спочатку цей віртуальний фреймворк має бути зрозумілий через природну мову, але з практикою він обходить пояснення та розуміння через природну мову і починає функціонувати безпосередньо як метафізичний інтерфейс-фреймворк, побудований на метакогнітивних знаннях.
Це можна назвати нативним фреймворком.
Природна мова є, в певному сенсі, нативним фреймворком, але лише у випадку рідної мови. Загалом, мови, відмінні від рідної, засвоюються як віртуальні фреймворки. З підвищенням рівня володіння вони наближаються до статусу нативного фреймворку.
Те саме стосується доменно-орієнтованих фреймворків та формальних фреймворків. Математики можуть спілкуватися один з одним рідною мовою, використовуючи математичні формули, а програмісти можуть розуміти наміри один одного виключно через вихідний код без коментарів.
Це свідчить про те, що перехід від віртуального фреймворку до нативного фреймворку також можна застосувати до великих мовних моделей.
Ідея виявлення часто використовуваних віртуальних фреймворків, генерування великого обсягу прикладних даних за допомогою цих віртуальних фреймворків, а потім їх тонкого налаштування для перетворення на нативні фреймворки варто було б спробувати негайно.
Природжений фреймворкер
Розглянувши це, ми розуміємо, що великі мовні моделі можуть вивчати ці спеціалізовані та формальні фреймворки не лише під час тонкого налаштування, а й під час попереднього навчання.
Крім того, у цьому процесі правдоподібно, що вони не вивчають спеціалізовані чи формальні фреймворки нативно з самого початку. Натомість вони спочатку вивчають фреймворк природної мови, а потім, під час або після досягнення майстерності в ньому, вивчають спеціалізовані або формальні фреймворки та асимілюють їх у нативні фреймворки.
Поглиблюючи цю ідею поступового навчання фреймворку, також можливо, що саме навчання природній мові є паралельним конвеєром високогранульованого, поступового навчання фреймворку.
Тобто, з величезного обсягу тексту, наданого як навчальні дані під час попереднього навчання, великі мовні моделі можуть вивчати не лише окремі поняття, а й деякі дуже прості правила природної мови як фреймворки. Потім, використовуючи ці прості фреймворки як основу, вони можуть неодноразово вивчати трохи складніші правила.
Таким чином, починаючи з етапу вивчення окремих концепцій слів, вони повинні мати можливість засвоювати складні слова та базову граматику, потім розуміти речення, і врешті-решт вивчати складні елементи, такі як літературні прийоми та виразні стилі.
Це можна зрозуміти як модель багаторівневого та композитного навчання фреймворку, де один фреймворк слугує основою для вивчення наступного.
Це підкреслює образ великих мовних моделей як природжених фреймворкерів, що споконвічно володіють механізмом вивчення фреймворків.
Механізм уваги
Технологією, яка реалізує природженого фреймворкера, є механізм уваги.
Механізм уваги подібний до вибору токенів, на яких слід зосередитися в межах контексту. Він уточнює зв'язки між токенами. Це саме по собі є суттю фреймворку: абстрагування шляхом збереження важливих концепцій та уточнення зв'язків між цими концепціями.
Перемикаючи цей вибір для кожного токена, стає можливим динамічно перемикати також і фреймворки.
Це дозволяє нам пояснити, чому механізм уваги є вирішальною технологією для еволюції великих мовних моделей, використовуючи модель природженого фреймворкера.
Висновок
Якщо цей механізм дійсно відбувається під час процесу попереднього навчання великих мовних моделей, тоді раніше загадковий механізм цих моделей стає зрозумілим.
Це пояснення охоплює обговорені нами метакогнітивне та метафізичне навчання, фреймворк як метафізичний інтерфейс, природну мову, що уможливлює оволодіння мовою та віртуальні фреймворки, а також механізм уваги, що реалізує природженого фреймворкера.
Крім того, з цього випливають два додаткові висновки.
По-перше, природна мова володіє дуже придатною структурою для поступового розвитку складних фреймворків від простих до нативних фреймворків.
Якщо природна мова спочатку виникла в простій формі в людських суспільствах і поступово еволюціонувала, щоб мати більш складну та багату структуру, то це є природним наслідком.
Більше того, структура, що дозволяє швидке навчання, була б перевагою. Припускаючи, що конкурували численні суспільства з різними природними мовами, легко встановити гіпотезу, що природна мова, найбільш придатна для навчання, вижила до наших днів.
Роздуми про природу природної мови ведуть до другого висновку: ми, люди, також є природженими фреймворкерами.
Навіть якщо конкретні основи та механізми відрізняються, наш мозок також повинен бути оснащений системою, подібною до механізму уваги, яка поступово вивчає та гнучко змінює фреймворки.