Искусственный интеллект приобретает интеллектуальное поведение благодаря технологии, называемой машинным обучением.
Хотя это обучение осуществляется в соответствии с разработанными человеком процедурами, до сих пор не объяснено, почему интеллект возникает из этих процедур и структуры искусственного интеллекта.
В этой статье я исследую причины возникновения интеллекта, рассмотрев саму сущность обучения.
И по мере углубления в концепцию обучения мы приходим к идее, что как искусственный интеллект, так и наш мозг обладают врождённой способностью учиться тому, как учиться.
Это предполагает существование механизма, который можно назвать «прирождённым создателем фреймворков».
Обучение через тело против обучения через язык
Мы познаём окружающий мир и расширяем свои возможности, воспринимая вещи глазами и двигая своим телом.
Это тоже форма обучения, которую можно назвать обучением через тело.
С другой стороны, когда люди обычно говорят об обучении, они, вероятно, представляют себе увеличение знаний путём чтения учебников или прослушивания объяснений учителя.
В дополнение к такому обучению по учебной программе мы также приобретаем различные знания из разговоров с друзьями, онлайн-новостей и так далее.
Этот тип обучения не связан с визуальным запоминанием изображений или обучением путём движения тела; это обучение через язык.
Субфизическое и метафизическое обучение
В рамках обучения через язык существуют случаи, когда информация может быть запомнена только путём многократного повторения, и случаи, когда её можно запомнить после однократного или нескольких прослушиваний.
Кроме того, существует знание, которое, даже если детали не запомнены, может быть использовано путём извлечения их из книжной полки или интернета в нужный момент.
В смысле приобретения знаний и их надлежащего использования при необходимости, оба эти шаблона могут быть названы обучением.
Из них знание, которое может быть запомнено только путём многократного повторения, можно назвать субфизическим знанием. Процесс его изучения — это субфизическое обучение, которое включает запоминание самих концепций.
Это похоже на физическое обучение, где человек многократно учится, видя объекты своими глазами или двигая своим телом. Их также можно отнести к субфизическому обучению.
С другой стороны, приобретение знаний, которые могут быть запомнены с меньшим количеством повторений, или найдены и использованы на месте, можно назвать метафизическим обучением.
В этом случае предварительно усвоенные концепции, приобретённые через субфизическое обучение, могут быть использованы для изучения знаний как типов этих концепций или как комбинаций концепций.
Поскольку концепции, уже приобретённые через субфизическое обучение, могут быть использованы, метафизическое обучение не требует повторения.
Машинное обучение на естественном языке
Применим это к машинному обучению в искусственном интеллекте.
Обычно нейронные сети, используемые в машинном обучении, осуществляют субфизическое обучение, которое включает многократное изучение концепций.
С другой стороны, большие языковые модели, способные обрабатывать естественный язык подобно человеку, могут осуществлять обучение через язык.
Во время предварительного обучения и донастройки больших языковых моделей происходит субфизическое обучение через язык.
Более того, предварительно обученная большая языковая модель может отвечать, используя знания, содержащиеся во входном предложении, тем самым осуществляя немедленное метафизическое обучение.
Благодаря этой способности метафизического обучения через язык, большие языковые модели могут использовать новые знания без многократного обучения.
Это можно назвать машинным обучением на естественном языке, в отличие от традиционного численного машинного обучения, которое итеративно корректирует параметры модели.
Естественный язык как метафизический интерфейс
Естественный язык находится на границе, разделяющей субфизическое и метафизическое обучение.
Увлекательный аспект естественного языка заключается в том, что он может быть усвоен посредством субфизического обучения, и, более того, он обеспечивает метафизическое обучение.
Метафизические интерфейсы, отличные от естественного языка
В действительности, даже в физическом обучении существуют как субфизическое, так и метафизическое обучение. Например, человек, хорошо разбирающийся в спорте, может быстро адаптироваться к новой игре, с которой он сталкивается впервые.
Аналогично, человек, разбирающийся в биологии, может немедленно понять характеристики нового вида, увидев его.
Таким образом, и в физическом обучении существуют метафизические интерфейсы, занимающие схожее положение с естественным языком.
Фреймворки
На этих интерфейсах находятся фреймворки, которые, в отличие от элементарных концепций или знаний, определяют их отношения и структуры или позволяют создавать новые структуры.
Поскольку разнообразные субфизические знания приобретаются посредством субфизического обучения, возможно, удастся изучить фреймворк на метафизическом интерфейсе из связей между частями субфизических знаний.
Фреймворки, приобретенные посредством физического обучения, позволяют немедленно усваивать новые знания метафизически после их приобретения. Однако передать знания, полученные в результате такого метафизического обучения, другим людям непросто.
С другой стороны, фреймворк, приобретенный посредством языкового обучения, — это сам естественный язык.
Следовательно, знания, полученные посредством метафизического обучения после изучения фреймворка естественного языка, могут быть непосредственно введены в языковое обучение других людей.
Это относится не только к знаниям, где обучение через язык, например, учебники или онлайн-новости, является основополагающим.
Опытный футболист, впервые играющий в бейсбол, возможно, сможет передать метафизические знания, полученные о бейсболе, другим футболистам с помощью слов. Это означает, что если люди разделяют одни и те же субфизические знания, так называемые «советы» или ноу-хау могут быть переданы вербально.
Кроме того, можно поделиться знаниями о недавно открытом виде, который они видели, с другими биологами с помощью слов.
Таким образом, естественный язык оказывается очень мощным фреймворком на метафизическом интерфейсе.
Виртуальные фреймворки
Помимо естественного языка, можно осваивать и другие фреймворки.
Это предметно-ориентированные или формальные фреймворки.
В различных академических областях, секторах бизнеса и повседневной жизни существует множество разнообразных предметно-ориентированных фреймворков.
Учёные, работая в рамках своей специализации, могут совершать новые открытия и легко передавать эти знания другим учёным, обладающим тем же фреймворком.
Сам фреймворк иногда может быть выражен на естественном языке, и в этом случае его могут изучать и понимать люди или большие языковые модели, обладающие фреймворком естественного языка.
Бизнес-модели и кулинарные рецепты также являются примерами таких предметно-ориентированных фреймворков, которые могут быть выражены на естественном языке.
Кроме того, математические формулы, языки программирования и фреймворки бизнес-анализа являются формальными фреймворками.
Их фреймворки также могут быть выражены или объяснены на естественном языке.
Эти предметно-ориентированные и формальные фреймворки, построенные на естественном языке, можно назвать виртуальными фреймворками.
Это легко понять, если представить себе виртуальную машину, запускающую другую ОС на физическом компьютере. Другой фреймворк функционирует поверх основополагающего фреймворка естественного языка.
Нативные фреймворки
Более того, хотя эти виртуальные фреймворки изначально требуют понимания через естественный язык, по мере привыкания к ним они начинают обходить объяснения и понимание на естественном языке, непосредственно функционируя как метафизический интерфейсный фреймворк, построенный на субфизических знаниях.
Это можно назвать нативным фреймворком.
Естественный язык, в некотором смысле, также является нативным фреймворком, но только в отношении родного языка. В общем, языки, отличные от родного, приобретаются как виртуальные фреймворки. По мере повышения уровня владения ими, они приближаются к нативным фреймворкам.
То же самое относится к предметно-ориентированным и формальным фреймворкам. Математики могут общаться нативно, используя математические формулы, а программисты могут понимать намерения друг друга исключительно через исходный код без комментариев.
Это предполагает, что переход от виртуальных к нативным фреймворкам также может быть применён к большим языковым моделям.
Идея обнаружения часто используемых виртуальных фреймворков, генерации большого объёма примеров данных с использованием этих фреймворков, а затем их донастройки для превращения в нативные фреймворки стоит немедленной проверки.
Прирождённые создатели фреймворков
Учитывая это, можно понять, что во время предварительного обучения больших языковых моделей, а не только донастройки, существует вероятность того, что они также изучают предметно-ориентированные и формальные фреймворки.
И в этом процессе вполне возможно, что вместо нативного изучения предметно-ориентированных или формальных фреймворков с самого начала они сначала изучают фреймворк естественного языка, а затем, во время или после его освоения, изучают предметно-ориентированные и формальные фреймворки, делая их нативными.
Углубляясь в это поэтапное обучение фреймворкам, можно также предположить, что само обучение естественному языку представляет собой параллельный конвейер очень детализированного, поэтапного обучения фреймворкам.
Другими словами, из огромного объёма текста, предоставленного в качестве обучающих данных во время предварительного обучения, большие языковые модели могут изучать не только отдельные концепции, но и несколько очень простых правил естественного языка как фреймворка. Затем, используя эти простые фреймворки в качестве основы, они многократно изучают немного более сложные правила.
Это позволило бы им перейти от стадии, на которой они изначально изучали концепции слов, к запоминанию составных слов и базовой грамматики, а затем к пониманию предложений и изучению сложных вещей, таких как техники письма и выражения.
Это можно понимать как модель, в которой они изучают фреймворки пошагово и комплексно, используя один фреймворк в качестве основы для изучения следующего.
Это подчёркивает большие языковые модели как «прирождённых создателей фреймворков», обладающих механизмом для изучения фреймворков с самого начала.
Механизм внимания
Технология, которая реализует «прирождённого фреймворкера», — это механизм внимания.
Механизм внимания сродни выбору релевантных токенов из контекста. Он проясняет отношения между токенами. Это и есть суть фреймворка: абстрагирование путём сохранения важных концепций при прояснении отношений между ними.
Переключение этого выбора для каждого токена позволяет динамически переключать фреймворки.
Это позволяет объяснить, почему механизм внимания является технологией, определяющей эволюцию больших языковых моделей, используя модель «прирождённого фреймворкера».
Заключение
Если этот механизм действительно задействован в процессе предварительного обучения больших языковых моделей, то ранее загадочные механизмы больших языковых моделей могут быть объяснены.
К ним относятся обсуждаемые здесь субфизическое и метафизическое обучение, фреймворки как метафизические интерфейсы, естественный язык, обеспечивающий обучение через язык и виртуальные фреймворки, а также механизм внимания, реализующий «прирождённого фреймворкера».
Кроме того, из этого следуют два дополнительных вывода.
Во-первых, естественный язык имеет структуру, очень подходящую для постепенного усвоения сложных фреймворков из более простых.
Если естественный язык изначально появился в человеческом обществе в простой форме и постепенно развился, приобретя более сложную и богатую структуру, это является естественным следствием.
Более того, было бы выгодно, чтобы он был структурирован таким образом, чтобы обеспечить быстрое обучение. Предполагая, что несколько обществ с разными естественными языками конкурировали, легко формируется гипотеза о том, что естественные языки, лучше подходящие для обучения, в настоящее время выживают.
Размышление об этой природе естественного языка приводит ко второму предположению: что мы, люди, также являемся «прирождёнными фреймворкерами».
Даже если конкретные базовые основы и механизмы различаются, наш мозг также должен быть оснащён механизмом, подобным механизму внимания, который позволяет поэтапно изучать и гибко адаптировать фреймворки.