Искусственный интеллект способен демонстрировать интеллектуальное поведение благодаря технологии машинного обучения.
Хотя этот процесс обучения следует процедурам, разработанным людьми, до сих пор нет полного объяснения, почему интеллект возникает из этих процедур и структуры искусственного интеллекта.
В этой статье, размышляя о сути обучения, я постараюсь исследовать причины возникновения интеллекта.
По мере углубления в концепцию обучения мы приходим к мысли, что как искусственный интеллект, так и наш мозг обладают врожденной способностью обучаться тому, как учиться.
Это предполагает существование механизма, который можно назвать Прирожденным разработчиком фреймворков (Natural Born Frameworker).
Обучение через тело и обучение через язык
Мы познаем окружающий мир и расширяем свои возможности, наблюдая за объектами глазами и двигая телом.
Это тоже форма обучения, которую можно назвать обучением через тело.
С другой стороны, когда мы обычно думаем об обучении, мы можем представить себе накопление знаний путем чтения учебников или прослушивания объяснений учителя.
Помимо обучения, основанного на таких образовательных программах, мы также получаем разнообразные знания из бесед с друзьями, онлайн-новостей и других источников.
Этот тип обучения не связан с визуальным запоминанием изображений или обучением через физические движения, а скорее является обучением через язык.
Метакогнитивное обучение и метафизическое обучение
В рамках языкового обучения есть случаи, когда для запоминания знаний требуется многократное повторение, и случаи, когда они усваиваются после одного или нескольких ознакомлений.
Кроме того, некоторые знания можно использовать, извлекая их детали с книжной полки или из Интернета при необходимости, даже если они не запомнены полностью.
В смысле приобретения и надлежащего использования знаний по мере необходимости оба этих паттерна можно считать обучением.
Среди них знания, которые невозможно запомнить без многократного повторения, можно назвать метакогнитивными знаниями. Сам процесс усвоения концепции — это метакогнитивное обучение.
Это похоже на физическое обучение, где повторение задействовано при наблюдении за объектами глазами или движении тела. Их также можно отнести к метакогнитивному обучению.
Напротив, приобретение знаний, которые можно запомнить с небольшим количеством попыток или использовать, найдя их на месте, можно назвать метафизическим обучением.
В этом случае предварительно усвоенные концепции, приобретенные посредством метакогнитивного обучения, могут быть использованы для изучения новых знаний как типов этих концепций или как комбинаций концепций.
Поскольку концепции, уже освоенные посредством метакогнитивного обучения, могут быть использованы, метафизическое обучение не требует повторения.
Машинное обучение естественного языка
Применим это к машинному обучению в области искусственного интеллекта.
Как правило, нейронные сети, используемые в машинном обучении, реализуют метакогнитивное обучение, которое включает многократное изучение концепций.
С другой стороны, большие языковые модели, способные к обработке естественного языка, подобно людям, могут осуществлять обучение через язык.
Во время предварительного обучения и тонкой настройки больших языковых моделей происходит метакогнитивное обучение на основе языка.
Затем обученная большая языковая модель может отвечать, используя знания, содержащиеся во входном предложении, что означает, что она выполняет немедленное метафизическое обучение.
Эта способность к метафизическому обучению на основе языка позволяет большим языковым моделям использовать новые знания без многократного обучения.
Это можно противопоставить традиционному числовому машинному обучению, которое итеративно настраивает параметры модели, и назвать машинным обучением естественного языка.
Естественный язык как метафизический интерфейс
Естественный язык находится на границе, разделяющей метакогнитивное обучение и метафизическое обучение.
Интересный аспект естественного языка заключается в том, что он может быть усвоен через метакогнитивное обучение, и на его основе становится возможным метафизическое обучение.
Другие метафизические интерфейсы, помимо естественного языка
Фактически, метакогнитивное обучение и метафизическое обучение существуют и в физическом обучении. Например, человек, хорошо разбирающийся в спорте, может быстро адаптироваться к новому виду спорта, с которым он никогда раньше не сталкивался.
Аналогично, человек, разбирающийся в биологии, может сразу понять характеристики нового вида, когда увидит его.
Таким образом, даже в физическом обучении существует метафизический интерфейс, который занимает аналогичное положение, что и естественный язык.
Фреймворк
То, что лежит на этих интерфейсах, — это фреймворк, отличный от элементарных концепций или знаний; он определяет их взаимосвязи и структуры, а также позволяет создавать новые структуры.
По мере того, как разнообразные метакогнитивные знания приобретаются посредством метакогнитивного обучения, иногда становится возможным изучить фреймворк на метафизическом интерфейсе из связей между этими частями метакогнитивных знаний.
Фреймворк, полученный в результате физического обучения, позволяет немедленно приобретать новые знания посредством метафизического обучения после его освоения. Однако знания, полученные посредством такого метафизического обучения, нелегко передать другим.
С другой стороны, фреймворк, полученный в результате обучения через язык, является самим естественным языком.
Следовательно, знания, приобретенные посредством метафизического обучения путем изучения фреймворка естественного языка, могут быть непосредственно введены в процесс освоения языка другим человеком.
Это относится не только к знаниям, основанным преимущественно на освоении языка, таким как учебники или онлайн-новости.
Опытный футболист, впервые пробующий себя в бейсболе, возможно, сможет сформулировать приобретенные им метафизические знания о бейсболе и передать их другим опытным футболистам. Это означает, что если люди разделяют одни и те же метакогнитивные знания, они могут общаться, используя так называемые «советы» или «хитрости» словами.
Более того, можно было бы устно передать знания о новом виде, который они наблюдали, другим биологам, тем самым поделившись этими знаниями.
Таким образом, естественный язык оказывается очень мощным фреймворком, расположенным на метафизическом интерфейсе.
Виртуальная среда
Поверх естественного языка может быть усвоена другая среда.
К ним относятся предметно-ориентированные среды или метафизические среды.
В различных академических дисциплинах, деловых секторах и повседневной жизни существует множество предметно-ориентированных сред.
Ученые могут делать новые открытия в своих специализированных средах и легко передавать эти открытия в качестве знаний другим ученым, обладающим тем же фреймворком.
Сама среда иногда может быть выражена на естественном языке, и в этом случае люди или большие языковые модели, обладающие фреймворком естественного языка, могут усвоить и понять ее.
Бизнес-модели и кулинарные рецепты также являются примерами таких предметно-ориентированных фреймворков, которые могут быть выражены на естественном языке.
Кроме того, математические формулы, языки программирования и фреймворки для бизнес-анализа являются формальными фреймворками.
Их также можно выразить или объяснить на естественном языке.
Такие предметно-ориентированные фреймворки и формальные фреймворки, построенные на естественном языке, можно назвать виртуальными средами.
Это легко понять, представив себе виртуальную машину, работающую с другой ОС на физическом компьютере. Другой фреймворк функционирует поверх естественного языка, который служит основополагающим фреймворком.
Нативный фреймворк
Изначально этот виртуальный фреймворк необходимо понимать через естественный язык, но с практикой он обходит объяснение и понимание через естественный язык и начинает функционировать непосредственно как метафизический интерфейс-фреймворк, построенный на метакогнитивных знаниях.
Это можно назвать нативным фреймворком.
Естественный язык в некотором смысле является нативным фреймворком, но только в случае родного языка. В целом, языки, отличные от родного, приобретаются как виртуальные фреймворки. По мере роста уровня владения они приближаются к статусу нативного фреймворка.
То же самое относится к предметно-ориентированным и формальным фреймворкам. Математики могут общаться друг с другом нативно, используя математические формулы, а программисты могут понимать намерения друг друга исключительно через исходный код без комментариев.
Это предполагает, что переход от виртуального фреймворка к нативному фреймворку также может быть применен к большим языковым моделям.
Идея обнаружения часто используемых виртуальных фреймворков, генерации большого объема примеров данных с использованием этих виртуальных фреймворков, а затем их тонкой настройки для превращения в нативные фреймворки заслуживает немедленной проверки.
Прирожденный разработчик фреймворков
Принимая это во внимание, мы понимаем, что большие языковые модели могут изучать эти специализированные и формальные фреймворки не только во время тонкой настройки, но и во время предварительного обучения.
Более того, в этом процессе вполне вероятно, что они не изучают специализированные или формальные фреймворки нативно с самого начала. Вместо этого они сначала изучают фреймворк естественного языка, а затем, во время или после достижения в нем достаточного уровня владения, изучают специализированные или формальные фреймворки и ассимилируют их в нативные фреймворки.
Углубляя эту идею инкрементального обучения фреймворков, можно также предположить, что само обучение естественному языку представляет собой параллельный конвейер высокодетализированного, инкрементального обучения фреймворков.
То есть, из огромного объема текста, предоставляемого в качестве обучающих данных во время предварительного обучения, большие языковые модели могут изучать не только отдельные концепции, но и некоторые очень простые правила естественного языка как фреймворки. Затем, используя эти простые фреймворки в качестве основы, они могут многократно изучать несколько более сложные правила.
Таким образом, начиная со стадии изучения отдельных словесных концепций, они должны быть способны усваивать сложные слова и базовую грамматику, затем понимать предложения и в конечном итоге изучать сложные элементы, такие как литературные приемы и выразительные стили.
Это можно понимать как модель многоуровневого и составного обучения фреймворкам, где один фреймворк служит основой для изучения следующего.
Это подчеркивает образ больших языковых моделей как Прирожденных разработчиков фреймворков, изначально обладающих механизмом изучения фреймворков.
Механизм внимания
Технология, которая реализует Прирожденного разработчика фреймворков, — это механизм внимания.
Механизм внимания сродни выбору токенов, на которых следует сосредоточиться в контексте. Он уточняет отношения между токенами. Это в точности природа самого фреймворка: абстрагирование путем сохранения важных концепций при уточнении отношений между этими концепциями.
Переключая этот выбор для каждого токена, становится возможным также динамически переключать фреймворки.
Это позволяет нам объяснить, почему механизм внимания является решающей технологией для эволюции больших языковых моделей, используя модель Прирожденного разработчика фреймворков.
Заключение
Если этот механизм действительно проявляется в процессе предварительного обучения больших языковых моделей, то ранее загадочный механизм этих моделей становится объяснимым.
Это объяснение включает в себя метакогнитивное и метафизическое обучение, которые мы обсуждали, фреймворк как метафизический интерфейс, естественный язык, обеспечивающий освоение языка и виртуальные фреймворки, а также механизм внимания, который реализует Прирожденного разработчика фреймворков.
Кроме того, из этого вытекают два дополнительных следствия.
Во-первых, естественный язык обладает очень подходящей структурой для инкрементального развития сложных фреймворков от простых до нативных.
Если естественный язык изначально появился в простой форме в человеческих обществах и постепенно эволюционировал, чтобы обладать более сложной и богатой структурой, то это естественное следствие.
Более того, структура, позволяющая быстро обучаться, была бы преимуществом. Предполагая, что конкурировали несколько обществ с различными естественными языками, легко утверждается гипотеза о том, что естественный язык, наиболее подходящий для обучения, сохранился до наших дней.
Размышления о природе естественного языка приводят ко второму следствию: что мы, люди, также являемся Прирожденными разработчиками фреймворков.
Даже если конкретные основы и механизмы отличаются, наш мозг также должен быть оснащен системой, подобной механизму внимания, которая инкрементально изучает и гибко модифицирует фреймворки.