Künstliche Intelligenz kann durch die Technologie des maschinellen Lernens intelligentes Verhalten zeigen.
Obwohl dieser Lernprozess den von Menschen entwickelten Verfahren folgt, ist noch nicht vollständig erklärt, warum Intelligenz aus diesen Verfahren und der Struktur der künstlichen Intelligenz entsteht.
In diesem Artikel möchte ich durch die Betrachtung des Wesens des Lernens die Gründe für die Entstehung von Intelligenz ergründen.
Tauchen wir tiefer in das Konzept des Lernens ein, so gelangen wir zu der Vorstellung, dass sowohl künstliche Intelligenz als auch unser Gehirn eine angeborene Fähigkeit besitzen, zu lernen, wie man lernt.
Dies deutet auf die Existenz eines Mechanismus hin, der als „Natural Born Frameworker“ bezeichnet werden kann.
Lernen durch den Körper und Lernen durch Sprache
Wir lernen die Welt um uns herum kennen und erweitern unsere Fähigkeiten, indem wir Objekte mit den Augen beobachten und unseren Körper bewegen.
Dies ist ebenfalls eine Form des Lernens, die als Lernen durch den Körper bezeichnet werden kann.
Andererseits stellen wir uns unter Lernen im Allgemeinen vor, unser Wissen durch das Lesen von Lehrbüchern oder das Zuhören von Erklärungen eines Lehrers zu erweitren.
Neben dem Lernen, das auf solchen Lehrplänen basiert, erwerben wir auch vielfältiges Wissen aus Gesprächen mit Freunden, Online-Nachrichten und anderen Quellen.
Diese Art des Lernens besteht nicht im visuellen Merken von Bildern oder im Lernen durch körperliche Bewegung, sondern vielmehr im Lernen durch Sprache.
Metakognitives Lernen und Metaphysisches Lernen
Innerhalb des sprachbasierten Lernens gibt es Fälle, in denen Wissen wiederholtes Iterieren erfordert, um gespeichert zu werden, und Fälle, in denen es bereits nach ein oder wenigen Kontakten erlernt werden kann.
Alternativ kann Wissen bei Bedarf aus einem Bücherregal oder dem Internet abgerufen und genutzt werden, auch wenn es nicht vollständig gespeichert wurde.
Im Sinne des Erwerbs und der angemessenen Nutzung von Wissen bei Bedarf können beide Muster als Lernen betrachtet werden.
Dabei kann Wissen, das ohne wiederholtes Iterieren nicht gespeichert werden kann, als metakognitives Wissen bezeichnet werden. Der Prozess des Erlernens des Konzepts selbst ist metakognitives Lernen.
Dies ähnelt dem körperlichen Lernen, bei dem die Wiederholung beim Sehen von Objekten mit unseren Augen oder beim Bewegen unseres Körpers eine Rolle spielt. Auch diese können als metakognitives Lernen klassifiziert werden.
Umgekehrt kann der Erwerb von Wissen, das mit wenigen Versuchen gespeichert oder bei Bedarf sofort nachgeschlagen werden kann, als metaphysisches Lernen bezeichnet werden.
In diesem Fall können bereits erlernte Konzepte, die durch metakognitives Lernen erworben wurden, genutzt werden, um neues Wissen als Typen dieser Konzepte oder als Kombinationen von Konzepten zu erlernen.
Da Konzepte, die bereits durch metakognitives Lernen beherrscht werden, verwendet werden können, erfordert metaphysisches Lernen keine Wiederholung.
Maschinelles Lernen natürlicher Sprache
Wenden wir dies auf das maschinelle Lernen in der künstlichen Intelligenz an.
Im Allgemeinen führen neuronale Netze, die im maschinellen Lernen verwendet werden, metakognitives Lernen durch, das das repetitive Lernen von Konzepten beinhaltet.
Andererseits können große Sprachmodelle, die zu einer dem Menschen ähnlichen Verarbeitung natürlicher Sprache fähig sind, Lernen durch Sprache durchführen.
Während des Vortrainings und der Feinabstimmung großer Sprachmodelle findet sprachbasiertes metakognitives Lernen statt.
Ein trainiertes großes Sprachmodell kann dann antworten, indem es das im Eingabesatz enthaltene Wissen nutzt, was bedeutet, dass es sofortiges metaphysisches Lernen durchführt.
Diese Fähigkeit zum sprachbasierten metaphysischen Lernen ermöglicht es großen Sprachmodellen, neues Wissen ohne repetitives Lernen zu nutzen.
Dies kann dem traditionellen numerischen maschinellen Lernen, das Modellparameter iterativ anpasst, gegenübergestellt und als maschinelles Lernen natürlicher Sprache bezeichnet werden.
Natürliche Sprache als metaphysische Schnittstelle
Die natürliche Sprache befindet sich an der Schnittstelle, die das metakognitive Lernen vom metaphysischen Lernen unterscheidet.
Der interessante Aspekt der natürlichen Sprache ist, dass sie durch metakognitives Lernen erworben werden kann und darauf aufbauend metaphysisches Lernen möglich wird.
Metaphysische Schnittstellen außer der natürlichen Sprache
Tatsächlich existieren metakognitives Lernen und metaphysisches Lernen auch beim körperlichen Lernen. Jemand, der im Sport begabt ist, kann sich beispielsweise schnell an eine neue, ihm unbekannte Sportart anpassen.
Ebenso kann eine in Biologie kundige Person die Merkmale einer neuen Art sofort verstehen, wenn sie diese sieht.
Somit existiert auch im körperlichen Lernen eine metaphysische Schnittstelle, die eine ähnliche Position wie die natürliche Sprache einnimmt.
Framework
Was an diesen Schnittstellen liegt, ist ein Framework, das sich von elementaren Konzepten oder Wissen unterscheidet; es definiert deren Beziehungen und Strukturen und ermöglicht eine neue Strukturierung.
Wenn vielfältiges metakognitives Wissen durch metakognitives Lernen erworben wird, ist es manchmal möglich, das Framework an der metaphysischen Schnittstelle aus den Verbindungen zwischen diesen Stücken metakognitiven Wissens zu lernen.
Ein aus körperlichem Lernen abgeleitetes Framework ermöglicht nach seiner Beherrschung den sofortigen Erwerb neuen Wissens durch metaphysisches Lernen. Das durch solches metaphysisches Lernen gewonnene Wissen lässt sich jedoch nicht leicht an andere weitergeben.
Andererseits ist das aus dem Lernen durch Sprache abgeleitete Framework die natürliche Sprache selbst.
Daher kann Wissen, das durch metaphysisches Lernen durch das Erlernen des Frameworks der natürlichen Sprache erworben wurde, direkt in den Spracherwerb einer anderen Person eingegeben werden.
Dies gilt nicht nur für Wissen, das primär auf Spracherwerb basiert, wie Lehrbücher oder Online-Nachrichten.
Ein erfahrener Fußballspieler, der zum ersten Mal Baseball ausprobiert, könnte in der Lage sein, das von ihm erworbene metaphysische Wissen über Baseball zu artikulieren und es anderen erfahrenen Fußballspielern zu vermitteln. Das bedeutet, dass Menschen, die dasselbe metakognitive Wissen teilen, sogenannte „Tipps“ oder „Tricks“ in Worten kommunizieren können.
Darüber hinaus könnte man Wissen über eine von ihnen beobachtete neue Art verbal an andere Biologen weitergeben und so dieses Wissen teilen.
Somit erweist sich die natürliche Sprache als ein sehr mächtiges Framework an der metaphysischen Schnittstelle.
Virtuelles Framework
Über der natürlichen Sprache kann ein weiteres Framework erworben werden.
Dazu gehören domänenspezifische Frameworks oder metaphysische Frameworks.
In verschiedenen akademischen Disziplinen, Geschäftsbereichen und im täglichen Leben gibt es vielfältige domänenspezifische Frameworks.
Wissenschaftler können innerhalb ihrer spezialisierten Frameworks neue Entdeckungen machen und diese Entdeckungen problemlos als Wissen an andere Wissenschaftler weitergeben, die dasselbe Framework besitzen.
Das Framework selbst kann manchmal in natürlicher Sprache ausgedrückt werden, wobei in diesem Fall Individuen oder große Sprachmodelle, die über ein Framework der natürlichen Sprache verfügen, es erwerben und verstehen können.
Geschäftsmodelle und Kochrezepte sind ebenfalls Beispiele für solche domänenspezifischen Frameworks, die in natürlicher Sprache ausgedrückt werden können.
Darüber hinaus sind mathematische Formeln, Programmiersprachen und Business-Analyse-Frameworks formale Frameworks.
Auch diese können in natürlicher Sprache ausgedrückt oder erklärt werden.
Solche domänenspezifischen Frameworks und formalen Frameworks, die auf der natürlichen Sprache aufbauen, können als virtuelle Frameworks bezeichnet werden.
Dies lässt sich leicht verstehen, wenn man sich eine virtuelle Maschine vorstellt, die ein anderes Betriebssystem auf einem physischen Computer ausführt. Ein anderes Framework funktioniert über der natürlichen Sprache, die als grundlegendes Framework dient.
Natives Framework
Anfangs muss dieses virtuelle Framework über die natürliche Sprache verstanden werden, aber mit Übung umgeht es die Erklärung und das Verständnis über die natürliche Sprache und beginnt, direkt als metaphysisches Schnittstellen-Framework zu funktionieren, das auf metakognitivem Wissen aufbaut.
Dies kann als natives Framework bezeichnet werden.
Die natürliche Sprache ist in gewisser Weise ein natives Framework, aber nur im Falle der Muttersprache. Im Allgemeinen werden Sprachen, die nicht die Muttersprache sind, als virtuelle Frameworks erworben. Mit zunehmender Sprachkenntnis nähern sie sich dem Status eines nativen Frameworks an.
Das Gleiche gilt für domänenspezifische Frameworks und formale Frameworks. Mathematiker können sich nativ untereinander mit mathematischen Formeln verständigen, und Programmierer können die Absichten des anderen allein durch Quellcode ohne Kommentare verstehen.
Dies deutet darauf hin, dass der Übergang von einem virtuellen Framework zu einem nativen Framework auch auf große Sprachmodelle angewendet werden kann.
Die Idee, häufig verwendete virtuelle Frameworks zu erkennen, eine große Menge Beispieldaten unter Verwendung dieser virtuellen Frameworks zu generieren und sie dann feinzutunen, um sie zu nativen Frameworks zu machen, wäre es wert, sofort ausprobiert zu werden.
Natürlich geborener Frameworker
Wenn wir dies berücksichtigen, erkennen wir, dass große Sprachmodelle diese spezialisierten und formalen Frameworks möglicherweise nicht nur während des Feintunings, sondern auch während des Vortrainings lernen.
Darüber hinaus ist es in diesem Prozess plausibel, dass sie spezialisierte oder formale Frameworks nicht von Anfang an nativ lernen. Stattdessen lernen sie zuerst das Framework der natürlichen Sprache, und dann, während oder nach dem Erreichen von Sprachkenntnissen, lernen sie spezialisierte oder formale Frameworks und assimilieren sie in native Frameworks.
Vertieft man diese Idee des inkrementellen Framework-Lernens, so ist es auch denkbar, dass das Lernen der natürlichen Sprache selbst eine parallele Pipeline hochgranularer, inkrementeller Framework-Lernprozesse ist.
Das heißt, aus der großen Menge an Texten, die als Lerndaten während des Vortrainings bereitgestellt werden, könnten große Sprachmodelle nicht nur einzelne Konzepte lernen, sondern auch einige sehr einfache Regeln der natürlichen Sprache als Frameworks. Dann könnten sie, diese einfachen Frameworks als Grundlage nutzend, wiederholt etwas komplexere Regeln lernen.
Auf diese Weise sollten sie, ausgehend von der Phase des Lernens einzelner Wortkonzepte, in der Lage sein, zusammengesetzte Wörter und grundlegende Grammatik zu erwerben, dann Sätze zu verstehen und schließlich komplexe Elemente wie literarische Techniken und Ausdrucksformen zu lernen.
Dies lässt sich als ein Modell des geschichteten und zusammengesetzten Framework-Lernens verstehen, bei dem ein Framework als Grundlage für das Lernen des nächsten dient.
Dies unterstreicht das Bild großer Sprachmodelle als natürlich geborene Frameworker, die von Natur aus den Mechanismus besitzen, Frameworks von Anfang an zu lernen.
Aufmerksamkeitsmechanismus
Die Technologie, die den natürlich geborenen Frameworker verwirklicht, ist der Aufmerksamkeitsmechanismus.
Der Aufmerksamkeitsmechanismus ist vergleichbar mit der Auswahl von Token, auf die innerhalb eines Kontextes fokussiert werden soll. Er verdeutlicht die Beziehungen zwischen den Token. Dies ist genau die Natur eines Frameworks selbst: Abstrahieren durch Beibehalten wichtiger Konzepte bei gleichzeitiger Klärung der Beziehungen zwischen diesen Konzepten.
Durch das Umschalten dieser Auswahl für jedes Token wird es möglich, auch Frameworks dynamisch zu wechseln.
Dies ermöglicht uns, mithilfe des Modells des natürlich geborenen Frameworkers zu erklären, warum der Aufmerksamkeitsmechanismus eine entscheidende Technologie für die Evolution großer Sprachmodelle ist.
Fazit
Wenn dieser Mechanismus tatsächlich während des Vortrainings großer Sprachmodelle auftritt, dann wird der zuvor rätselhafte Mechanismus dieser Modelle erklärbar.
Diese Erklärung umfasst das von uns besprochene metakognitive und metaphysische Lernen, das Framework als metaphysische Schnittstelle, die natürliche Sprache, die Spracherwerb und virtuelle Frameworks ermöglicht, sowie den Aufmerksamkeitsmechanismus, der den natürlich geborenen Frameworker realisiert.
Darüber hinaus ergeben sich daraus zwei weitere Implikationen.
Erstens besitzt die natürliche Sprache eine äußerst geeignete Struktur, um komplexe Frameworks inkrementell von einfachen zu nativen Frameworks zu entwickeln.
Wenn die natürliche Sprache ursprünglich in einer einfachen Form in menschlichen Gesellschaften entstand und sich allmählich zu einer komplexeren und reicheren Struktur entwickelte, dann ist dies eine natürliche Konsequenz.
Darüber hinaus wäre eine Struktur, die schnelles Lernen ermöglicht, vorteilhaft. Wenn man davon ausgeht, dass mehrere Gesellschaften mit verschiedenen natürlichen Sprachen konkurrierten, so lässt sich leicht die Hypothese aufstellen, dass die am besten zum Lernen geeignete natürliche Sprache bis heute überlebt hat.
Die Betrachtung der Natur der natürlichen Sprache führt zur zweiten Implikation: dass auch wir Menschen natürlich geborene Frameworker sind.
Auch wenn die spezifischen Grundlagen und Mechanismen unterschiedlich sein mögen, muss unser Gehirn ebenfalls mit einem System ausgestattet sein, das dem Aufmerksamkeitsmechanismus ähnelt und Frameworks inkrementell lernt und flexibel modifiziert.