人工知能は機械学習という技術により、知的な振る舞いができるようになります。
その学習は人間が開発した手順に則って行われますが、なぜその手順と人工知能の構造から知性が生じるのかは、まだ説明できているわけではありません。
この記事では、学習というものの本質について考えることで、知性が生じる理由を探っていきたいと思います。
そして、学習についての考えを突き詰めていくと、人工知能も、私たちの脳も、生まれながらにして学習方法を学習していく性質を持っているという考えに行き着きます。
そこには、ナチュラルボーンフレームワーカーと呼ぶことができるメカニズムが存在していることが示唆されます。
身体による学習と言葉による学習
私たちは、物を目で見たり、体を動かしたりして、自分の身の回りの世界を知り、自分のできることを増やしていきます。
これも一種の学習です。身体による学習と呼ぶことができます。
一方で、一般に学習と言えば、教科書を読んだり教師の説明を聞いて、知識を増やしていくことをイメージするでしょう。
そうした教育カリキュラムに基づく学習の他にも、友人との会話やネットニュースなどからも様々な知識を得ます。
このような学習は、視覚的に画像を覚えたり、体を動かして覚えるような学習ではなく、言葉による学習です。
形而下の学習と形而上の学習
言葉による学習の中には、繰り返し反復しなければ覚えられない場合と、一度、あるいは数回聞けば覚えられるケースがあります。
あるいは、詳細は覚えてはいなくても、必要なタイミングで本棚やインターネットから詳細を取り出せば使えるという知識もあります。
知識を取得して必要な時に適切に利用するという意味で、これらいずれのパターンも学習と言えます。
これらのうち、繰り返し反復しなければ覚えられない知識は、形而下の知識と呼ぶことができます。その学習は、概念自体を覚える形而下の学習です。
これは目で物を見たり、体を動かしたりすることで反復学習する身体的な学習と同様です。これらも形而下の学習に分類できます。
一方で、少ない回数で覚えたり、その場で調べて使うことができる知識の習得は、形而上の学習と呼ぶことができます。
この場合、形而下の学習によって学習済みの概念を利用して、その概念の類型や、概念同士の組み合わせとして知識を学習することができます。
既に形而下の学習で習得済みの概念を利用することができるため、形而上の学習は反復が不要になるのです。
自然言語機械学習
これを人工知能における機械学習に当てはめて考えてみます。
一般に、機械学習に使われるニューラルネットワークは、反復を伴って概念を学習する形而下の学習を行っています。
一方で、人間と同様の自然言語処理が可能な大規模言語モデルは、言葉による学習が可能です。
大規模言語モデルの事前学習やファインチューニングにおいては、言葉による形而下の学習が行われます。
そして、学習済みの大規模言語モデルは、入力された文に含まれている知識を利用して回答することができるため、即時的な形而上の学習を行なっていることになります。
この言葉による形而上の学習の能力により、大規模言語モデルは反復的な学習をせずとも、新しい知識を活用することができます。
これは、従来のモデルのパラメータの調整を反復的に行う数値型の機械学習と対置する、自然言語機械学習と呼ぶことができます。
形而界面としての自然言語
形而下と形而上の学習を分けている界面には、自然言語が位置しています。
自然言語の興味深い点は、形而下の学習により習得ができる点と、その上に形而上の学習を可能にするという点です。
自然言語以外の形而界面
実際には、身体的な学習においても、形而下学習と形而上学習は存在します。例えば、スポーツが得意な人は、初めて知った競技にもすぐに適用できます。
また、生物に詳しい人は、新品種の生物を見た時に、すぐにその生物の特徴を理解することができます。
このように、身体的な学習においても、自然言語と同じような位置づけにある形而界面が存在することになります。
フレームワーク
これらの界面にあるのは、要素的な概念や知識とは別の、それらの関係や構造を規定したり、新たに構造化することを可能にするフレームワークです。
形而下の学習により多様な形而下の知識を学習していくと、形而下の知識同士のつながりから、形而界面にあるフレームワークを学習することができる場合があります。
身体的な学習によるフレームワークは、習得後に新しい知識を形而上の学習で即時的に行うことを可能にします。ただし、その形而上の学習により獲得した知識を、他の人に伝えることは容易ではありません。
一方で、言葉による学習によるフレームワークは、自然言語そのものです。
このため、自然言語というフレームワークを学習し、そこで形而上の学習により獲得した知識は、他の人の言葉による学習に直接インプットすることができます。
これは教科書やネットニュースのような言葉による学習が基本となるような知識だけではありません。
サッカーの経験者が初めて野球をして、その時に習得した野球における形而上の知識を、言葉にして他のサッカー経験者に伝えることができる可能性があります。同じ形而下の知識を持っている人であれば、いわゆる「コツ」と呼ばれるノウハウを言葉で伝えることができるということです。
また、他の生物学者に、自分が目撃した新種の生物について、言葉で伝えて知識を共有することもできるでしょう。
このように、自然言語は、形而界面にある非常に強力なフレームワークであることがわかります。
仮想フレームワーク
自然言語の上にも、別のフレームワークを習得することができます。
それは専門領域のフレームワークや、形而的なフレームワークです。
様々な学問領域やビジネス分野や、日常生活の中には、多種多様な専門領域のフレームワークがあります。
学者は専門分野のフレームワークの上で新しい発見をして、そのフレームワークを持つ別の学者に知識として容易にその発見を伝えることができるでしょう。
そのフレームワーク自体が自然言語の上で表現できることがあり、その場合には自然言語のフレームワークを持つ人や大規模言語モデルであれば習得して理解することができます。
ビジネスモデルや料理のレシピなども、こうした自然言語の上で表現可能な専門領域のフレームワークです。
また、数式やプログラミング言語、ビジネス分析のフレームワークなどは、形式的なフレームワークです。
これらも、そのフレームワーク自体を自然言語で表現したり説明することができます。
こうした自然言語の上の専門領域のフレームワークや形式的フレームワークは、仮想フレームワークと呼ぶことができます。
これは、物理的なコンピューターの上で別のOSを動作させる仮想マシンをイメージすると分かりやすいでしょう。自然言語という土台となるフレームワークの上で、別のフレームワークが機能しているわけです。
ネイティブフレームワーク
そして、この仮想フレームワークは、初めのうちは自然言語を介して理解しなければなりませんが、慣れてくると自然言語による説明や理解をバイパスして、直接的に形而下の知識の上にある形而界面のフレームワークとして機能するようになります。
それはネイティブフレームワークと呼ぶことができます。
自然言語も、ある意味ではネイティブフレームワークですが、それは母国語に限ります。一般に、母国語以外の言語は仮想フレームワークとして習得することになります。その習熟が進めば、ネイティブフレームワークに近づけていくことになります。
専門領域のフレームワークや形式的なフレームワークも同様です。数学者同士は数式でネイティブにコミュニケーションができ、プログラマーはコメント文のないソースコードだけで意図を理解し合うことができます。
これは、大規模言語モデルにも、仮想フレームワークからネイティブフレームワークへの流れを応用できることを示唆します。
繰り返し使用する仮想フレームワークを検出したら、その仮想フレームワークを用いた事例データを大量生成し、ファインチューニングしてネイティブフレームワーク化する、というアイデアは、今すぐにでも試してみる価値があるでしょう。
ナチュラルボーンフレームワーカー
このように考えてみると、大規模言語モデルのファインチューニングの際だけでなく、事前学習においても、こうした専門分野のフレームワークや形式的なフレームワークを学習している可能性があるということに気づきます。
そして、その過程では、初めから専門分野のフレームワークや形式的フレームワークをネイティブに学習しているのではなく、先に自然言語のフレームワークを学習しつつ、その途中や習熟後に、専門分野のフレームワークや形式的なフレームワークを学習してネイティブフレームワーク化している可能性が考えられます。
この段階的フレームワーク学習を深掘りして考えると、自然言語の学習そのものも、非常に細かい段階的なフレームワーク学習の並行パイプライン学習になっている可能性も考えられます。
つまり、事前学習で与えられる学習データとしての大量のテキストから、個々の概念だけでなく、自然言語のごくシンプルないくつかの規則をフレームワークとして学習していき、そのシンプルなフレームワークを土台として、もう少し複雑な規則を学習するということを繰り返しているのではないかということです。
こうして、初めは単語の概念を学習していた段階から、複合語や簡単な文法を覚え、そして文を理解したり、文章や表現のテクニックなど複雑な物を学習していく、ということができるはずです。
フレームワークを土台に次のフレームワークを覚えていくという段階的で複合的なフレームワークの学習をしているというモデルとして理解できます。
これは、フレームワークを学習する仕組みを初めから有している、ナチュラルボーンフレームワーカーとしての大規模言語モデルの姿を浮き彫りにします。
アテンションメカニズム
ナチュラルボーンフレームワーカーを実現している技術が、アテンションメカニズムです。
アテンションメカニズムは、文脈の中から注目すべきトークンを選択しているようなものです。そして、トークン間の関係を明確にしています。これはまさに重要な概念を残して抽象化しつつ、概念同士の関係を明確にするというフレームワークの性質そのものです。
その選択をトークンごとに切り替えることで、動的にフレームワークも切り替えていくことを可能にしています。
これによって、なぜアテンションメカニズムが大規模言語モデルの進化を決定づける技術であるのかを、ナチュラルボーンフレームワーカーというモデルで説明できます。
さいごに
このメカニズムが実際に大規模言語モデルの事前学習の過程で起きているとすれば、謎に包まれていた大規模言語モデルのメカニズムが説明可能になります。
それは、ここで議論してきた形而下と形而上の学習、形而界面としてのフレームワーク、言葉による学習と仮想フレームワークを可能にする自然言語、そしてナチュラルボーンフレームワーカーを実現するアテンションメカニズムです。
そして、そこからさらに2つのことが示唆されます。
1つは、自然言語が、シンプルなフレームワークから段階的に複雑なフレームワークをネイティブ化するのに非常に適した構造を持っている、ということです。
自然言語が人間の社会の中で初めはシンプルな形で出現し、そこから少しずつ複雑で豊かな構造を持つように成長してきたのだとすれば、これは当然の帰結です。
さらに、それがいち早く学習できるような構造になっている方が有利です。様々な自然言語を持つ複数の社会同士が競争していたと想定すれば、より学習に適した自然言語が現在生き残っているという仮説は容易に成り立ちます。
この自然言語の性質を振り返ると、2つ目の示唆につながります。それは、私たち人間も、ナチュラルボーンフレームワーカーである、ということです。
具体的な基盤やメカニズムは異なるとしても、私たちの脳にも、アテンションメカニズムのような、フレームワークを段階的に学習し、柔軟に変化させる仕組みが備わっているはずです。