인공지능은 머신러닝이라는 기술을 통해 지능적인 행동을 얻습니다.
이러한 학습은 인간이 개발한 절차에 따라 수행되지만, 왜 이러한 절차와 인공지능의 구조에서 지능이 나타나는지는 아직 설명되지 않았습니다.
이 글에서는 학습 자체의 본질을 고찰함으로써 지능이 발생하는 이유를 탐구할 것입니다.
그리고 학습의 개념을 깊이 파고들다 보면, 인공지능과 우리 뇌 모두 학습하는 방법을 학습하려는 타고난 경향을 가지고 있다는 생각에 도달하게 됩니다.
이는 "자연 발생적 프레임워커(natural born frameworker)"라고 부를 수 있는 메커니즘의 존재를 시사합니다.
신체를 통한 학습 vs. 언어를 통한 학습
우리는 눈으로 사물을 보고 몸을 움직이며 주변 세계를 배우고 능력을 확장합니다.
이것 역시 학습의 한 형태로, 신체를 통한 학습이라고 할 수 있습니다.
반면에 사람들이 일반적으로 학습이라고 말할 때는 교과서를 읽거나 선생님의 설명을 들으며 지식을 늘리는 것을 상상할 것입니다.
이러한 교과 과정 기반 학습 외에도 우리는 친구들과의 대화, 온라인 뉴스 등을 통해서도 다양한 지식을 습득합니다.
이러한 종류의 학습은 시각적으로 이미지를 외우거나 몸을 움직여 배우는 것이 아니라, 언어를 통한 학습입니다.
형이하학적 학습과 형이상학적 학습
언어를 통한 학습 중에는 반복적인 되풀이를 통해서만 정보를 암기할 수 있는 경우와 한두 번 듣고도 암기할 수 있는 경우가 있습니다.
또는 세부 사항을 기억하지 못하더라도 필요한 순간에 책장이나 인터넷에서 찾아 활용할 수 있는 지식도 있습니다.
지식을 습득하고 필요할 때 적절하게 활용한다는 의미에서 이 두 가지 패턴 모두 학습이라고 부를 수 있습니다.
이 중 반복적인 되풀이를 통해서만 암기할 수 있는 지식은 형이하학적 지식이라고 할 수 있습니다. 이에 대한 학습 과정은 개념 자체를 암기하는 형이하학적 학습입니다.
이는 눈으로 사물을 보거나 몸을 움직이며 반복적으로 배우는 물리적 학습과 유사합니다. 이들도 형이하학적 학습으로 분류할 수 있습니다.
반면에 적은 반복 횟수로 암기하거나 즉석에서 찾아 활용할 수 있는 지식의 습득은 형이상학적 학습이라고 할 수 있습니다.
이 경우, 형이하학적 학습을 통해 미리 학습된 개념을 활용하여 그 개념의 유형이나 개념의 조합으로 지식을 학습할 수 있습니다.
이미 형이하학적 학습을 통해 습득된 개념을 활용할 수 있기 때문에 형이상학적 학습은 반복이 필요하지 않습니다.
자연어 기계 학습
이를 인공지능의 기계 학습에 적용하여 살펴보겠습니다.
일반적으로 기계 학습에 사용되는 신경망은 개념을 반복적으로 학습하는 형이하학적 학습을 수행합니다.
반면에 인간과 유사한 자연어 처리가 가능한 대규모 언어 모델은 언어를 통한 학습을 수행할 수 있습니다.
대규모 언어 모델의 사전 학습 및 미세 조정 과정에서는 언어를 통한 형이하학적 학습이 이루어집니다.
나아가, 사전 학습된 대규모 언어 모델은 입력 문장에 포함된 지식을 활용하여 답변할 수 있으므로, 즉각적인 형이상학적 학습을 수행하게 됩니다.
언어를 통한 형이상학적 학습 능력 덕분에 대규모 언어 모델은 반복적인 학습 없이 새로운 지식을 활용할 수 있습니다.
이는 모델 매개변수를 반복적으로 조정하는 전통적인 수치형 기계 학습과 대비되는 자연어 기계 학습이라고 부를 수 있습니다.
형이상학적 인터페이스로서의 자연어
자연어는 형이하학적 학습과 형이상학적 학습을 구분하는 인터페이스에 위치합니다.
자연어의 흥미로운 점은 형이하학적 학습을 통해 습득될 수 있으며, 그 위에 형이상학적 학습을 가능하게 한다는 것입니다.
자연어 외의 형이상학적 인터페이스
실제로 신체적 학습에서도 형이하학적 학습과 형이상학적 학습은 모두 존재합니다. 예를 들어, 스포츠에 능숙한 사람은 처음 접하는 새로운 게임에도 빠르게 적응할 수 있습니다.
마찬가지로 생물학에 해박한 사람은 새로운 종을 보았을 때 즉시 그 특징을 이해할 수 있습니다.
따라서 신체적 학습에서도 자연어와 유사한 위치를 차지하는 형이상학적 인터페이스가 존재합니다.
프레임워크
이러한 인터페이스에는 기본적인 개념이나 지식과는 별개로, 그것들의 관계와 구조를 정의하거나 새로운 구조화를 가능하게 하는 프레임워크가 있습니다.
다양한 형이하학적 지식을 형이하학적 학습을 통해 습득하면서, 형이하학적 지식들 간의 연결을 통해 형이상학적 인터페이스에 있는 프레임워크를 학습하는 것이 가능할 수 있습니다.
신체적 학습을 통해 습득된 프레임워크는 새로운 지식을 습득 후 즉시 형이상학적으로 학습할 수 있도록 합니다. 하지만 이 형이상학적 학습을 통해 얻은 지식을 다른 사람에게 전달하는 것은 쉽지 않습니다.
반면에 언어를 통한 학습을 통해 습득된 프레임워크는 자연어 그 자체입니다.
따라서 자연어 프레임워크를 학습한 후 형이상학적 학습을 통해 습득한 지식은 다른 사람의 언어를 통한 학습에 직접 입력될 수 있습니다.
이는 교과서나 온라인 뉴스처럼 언어를 통한 학습이 근본이 되는 지식에만 해당되는 것이 아닙니다.
경험 많은 축구 선수가 처음 야구를 하면서 습득한 야구에 대한 형이상학적 지식을 다른 축구 선수들에게 말로 전달할 수 있을 것입니다. 이는 사람들이 동일한 형이하학적 지식을 공유한다면, 이른바 "팁"이나 노하우가 말로 전달될 수 있음을 의미합니다.
더 나아가, 새로 발견한 종에 대해 목격한 지식을 다른 생물학자들과 말로 공유할 수도 있습니다.
이처럼 자연어는 형이상학적 인터페이스에서 매우 강력한 프레임워크임이 드러납니다.
가상 프레임워크
자연어 위에 다른 프레임워크를 습득할 수 있습니다.
이는 도메인별 프레임워크 또는 형식 프레임워크입니다.
다양한 학문 분야, 비즈니스 영역, 그리고 일상생활 속에는 여러 가지 도메인별 프레임워크가 존재합니다.
학자들은 자신의 전문 분야 프레임워크 내에서 새로운 발견을 하고, 같은 프레임워크를 가진 다른 학자들에게 그 지식을 쉽게 전달할 수 있습니다.
프레임워크 자체는 때때로 자연어로 표현될 수 있으며, 이 경우 자연어 프레임워크를 가진 사람이나 대규모 언어 모델이 이를 학습하고 이해할 수 있습니다.
비즈니스 모델과 요리 레시피 또한 자연어로 표현될 수 있는 도메인별 프레임워크의 예시입니다.
또한 수학 공식, 프로그래밍 언어, 비즈니스 분석 프레임워크 등은 형식 프레임워크입니다.
이러한 프레임워크 또한 자연어로 표현되거나 설명될 수 있습니다.
자연어 위에 구축된 이러한 도메인별 및 형식 프레임워크를 가상 프레임워크라고 부를 수 있습니다.
이는 물리적 컴퓨터에서 다른 OS를 실행하는 가상 머신을 상상하면 쉽게 이해할 수 있습니다. 자연어라는 기본 프레임워크 위에 또 다른 프레임워크가 기능하는 것입니다.
네이티브 프레임워크
더 나아가, 이러한 가상 프레임워크는 처음에는 자연어를 통해 이해되어야 하지만, 익숙해지면 자연어 설명과 이해를 우회하여 형이하학적 지식 위에 구축된 형이상학적 인터페이스 프레임워크로서 직접적으로 기능하기 시작합니다.
이를 네이티브 프레임워크라고 부를 수 있습니다.
자연어 또한 어떤 의미에서는 네이티브 프레임워크이지만, 이는 모국어에 한정됩니다. 일반적으로 모국어 이외의 언어는 가상 프레임워크로 습득됩니다. 숙련도가 증가함에 따라 네이티브 프레임워크에 가까워집니다.
이는 도메인별 및 형식 프레임워크에도 동일하게 적용됩니다. 수학자들은 수학 공식을 사용하여 네이티브하게 소통할 수 있으며, 프로그래머는 주석 없이 소스 코드만으로 서로의 의도를 이해할 수 있습니다.
이는 가상 프레임워크에서 네이티브 프레임워크로의 진행이 대규모 언어 모델에도 적용될 수 있음을 시사합니다.
자주 사용되는 가상 프레임워크를 감지하고, 해당 프레임워크를 사용하여 대량의 예시 데이터를 생성한 다음, 이를 네이티브 프레임워크로 미세 조정하는 아이디어는 즉시 시도해 볼 가치가 있습니다.
타고난 프레임워커
이 점을 고려하면, 대규모 언어 모델의 사전 훈련 과정에서 미세 조정뿐만 아니라 도메인별 및 형식 프레임워크도 학습할 가능성이 있다는 것을 깨닫게 됩니다.
그리고 그 과정에서 처음부터 도메인별 또는 형식 프레임워크를 네이티브하게 학습하는 대신, 먼저 자연어 프레임워크를 학습하고, 그 학습 도중이나 숙달 후에 도메인별 및 형식 프레임워크를 학습하여 네이티브하게 만드는 것이 가능할 수 있습니다.
이러한 단계별 프레임워크 학습을 더 깊이 파고들면, 자연어 학습 자체도 매우 미세한, 단계별 프레임워크 학습의 병렬 파이프라인일 수 있다는 가설도 세울 수 있습니다.
다시 말해, 사전 훈련 시 훈련 데이터로 제공되는 방대한 양의 텍스트에서 대규모 언어 모델은 개별 개념뿐만 아니라 자연어의 매우 단순한 몇 가지 규칙을 프레임워크로 학습할 수 있습니다. 그리고 이 단순한 프레임워크를 기반으로 삼아, 조금 더 복잡한 규칙들을 반복적으로 학습하는 것입니다.
이러한 과정을 통해 초기에는 단어 개념을 학습하던 단계에서 복합어와 기본 문법을 암기하고, 그 다음에는 문장을 이해하며, 글쓰기와 표현 기법 같은 복잡한 것들을 학습할 수 있게 될 것입니다.
이는 하나의 프레임워크를 다음 프레임워크를 학습하기 위한 기반으로 사용하여 단계적이고 복합적인 방식으로 프레임워크를 학습하는 모델로 이해될 수 있습니다.
이는 대규모 언어 모델이 처음부터 프레임워크를 학습하는 메커니즘을 가지고 있는 "타고난 프레임워커"임을 강조합니다.
어텐션 메커니즘
타고난 프레임워커를 현실화하는 기술은 어텐션 메커니즘입니다.
어텐션 메커니즘은 문맥에서 관련 토큰을 선택하는 것과 유사합니다. 이는 토큰 간의 관계를 명확히 합니다. 이는 바로 프레임워크의 본질과 정확히 일치합니다: 중요한 개념을 유지하면서 추상화하고, 그들 간의 관계를 명확히 하는 것입니다.
각 토큰에 대해 이러한 선택을 전환함으로써, 프레임워크의 동적 전환을 가능하게 합니다.
이를 통해 우리는 타고난 프레임워커 모델을 사용하여 어텐션 메커니즘이 대규모 언어 모델의 진화를 결정하는 기술인 이유를 설명할 수 있습니다.
결론
만약 이러한 메커니즘이 실제로 대규모 언어 모델의 사전 훈련 과정에서 발생하고 있다면, 이전에 미스터리로 남아있던 대규모 언어 모델의 메커니즘이 설명될 수 있습니다.
여기에는 여기서 논의된 형이하학적 및 형이상학적 학습, 형이상학적 인터페이스로서의 프레임워크, 언어를 통한 학습과 가상 프레임워크를 가능하게 하는 자연어, 그리고 타고난 프레임워커를 실현하는 어텐션 메커니즘이 포함됩니다.
나아가, 이로부터 두 가지 추가적인 시사점이 도출됩니다.
첫째, 자연어는 단순한 프레임워크로부터 복잡한 프레임워크를 점진적으로 내재화하는 데 매우 적합한 구조를 가지고 있습니다.
만약 자연어가 인간 사회에서 처음에는 단순한 형태로 나타났다가 점차 복잡하고 풍부한 구조를 갖도록 성장했다면, 이는 자연스러운 결과입니다.
더욱이, 빠른 학습이 가능하도록 구조화되는 것이 유리할 것입니다. 서로 다른 자연어를 가진 여러 사회가 경쟁했다고 가정하면, 학습에 더 적합한 자연어가 현재 살아남아 있다는 가설이 쉽게 형성됩니다.
이러한 자연어의 본질을 되짚어보면 두 번째 시사점으로 이어집니다: 우리 인간 또한 타고난 프레임워커라는 점입니다.
구체적인 기반과 메커니즘은 다를지라도, 우리의 뇌 역시 어텐션 메커니즘과 유사하게 프레임워크를 단계적으로 학습하고 유연하게 적응시키는 메커니즘을 갖추고 있을 것입니다.