Künstliche Intelligenz erlangt intelligentes Verhalten durch eine Technologie namens maschinelles Lernen.
Obwohl dieses Lernen nach von Menschen entwickelten Verfahren abläuft, ist bisher nicht erklärt, warum Intelligenz aus diesen Verfahren und der Struktur der künstlichen Intelligenz entsteht.
In diesem Artikel werde ich die Gründe für das Entstehen von Intelligenz untersuchen, indem ich das Wesen des Lernens selbst betrachte.
Und je tiefer wir in das Konzept des Lernens eintauchen, desto mehr gelangen wir zu der Vorstellung, dass sowohl künstliche Intelligenz als auch unser Gehirn eine angeborene Tendenz besitzen, zu lernen, wie man lernt.
Dies deutet auf die Existenz eines Mechanismus hin, der als „geborener Frameworker“ bezeichnet werden kann.
Lernen durch den Körper vs. Lernen durch Sprache
Wir lernen die Welt um uns herum kennen und erweitern unsere Fähigkeiten, indem wir Dinge mit den Augen sehen und unseren Körper bewegen.
Auch dies ist eine Form des Lernens, die man als körperliches Lernen bezeichnen kann.
Wenn Menschen andererseits im Allgemeinen vom Lernen sprechen, stellen sie sich wahrscheinlich vor, Wissen durch das Lesen von Lehrbüchern oder das Zuhören von Erklärungen eines Lehrers zu erweitern.
Zusätzlich zu solchem lehrplanbasierten Lernen erwerben wir auch vielfältiges Wissen aus Gesprächen mit Freunden, Online-Nachrichten und so weiter.
Diese Art des Lernens besteht nicht darin, Bilder visuell zu memorieren oder durch Körperbewegungen zu lernen; es ist Lernen durch Sprache.
Subphysisches Lernen und Metaphysisches Lernen
Beim Lernen durch Sprache gibt es Fälle, in denen Informationen nur durch wiederholte Wiederholung memorisiert werden können, und Fälle, in denen sie nach einmaligem oder mehrmaligem Hören behalten werden können.
Alternativ gibt es Wissen, das, auch wenn die Details nicht erinnert werden, im notwendigen Moment aus einem Bücherregal oder dem Internet abgerufen und genutzt werden kann.
Im Sinne des Erwerbs von Wissen und dessen angemessener Nutzung bei Bedarf können beide Muster als Lernen bezeichnet werden.
Davon kann Wissen, das nur durch wiederholte Wiederholung memorisiert werden kann, als subphysisches Wissen bezeichnet werden. Der Lernprozess hierfür ist subphysisches Lernen, welches das Memorieren der Konzepte selbst beinhaltet.
Dies ähnelt dem physischen Lernen, bei dem man wiederholt lernt, indem man Objekte mit den Augen sieht oder seinen Körper bewegt. Auch diese können als subphysisches Lernen klassifiziert werden.
Andererseits kann der Erwerb von Wissen, das mit weniger Wiederholungen memorisiert oder sofort nachgeschlagen und verwendet werden kann, als metaphysisches Lernen bezeichnet werden.
In diesem Fall können bereits durch subphysisches Lernen erworbene Konzepte genutzt werden, um Wissen als Typen dieser Konzepte oder als Kombinationen von Konzepten zu lernen.
Da bereits durch subphysisches Lernen erworbene Konzepte genutzt werden können, erfordert metaphysisches Lernen keine Wiederholung.
Maschinelles Lernen natürlicher Sprache
Wenden wir dies auf maschinelles Lernen in der künstlichen Intelligenz an.
Im Allgemeinen führen neuronale Netze, die im maschinellen Lernen verwendet werden, subphysisches Lernen durch, welches das wiederholte Lernen von Konzepten beinhaltet.
Andererseits können große Sprachmodelle, die eine menschenähnliche Verarbeitung natürlicher Sprache beherrschen, durch Sprache lernen.
Während des Vortrainings und des Feinabgleichs von großen Sprachmodellen findet subphysisches Lernen durch Sprache statt.
Darüber hinaus kann ein vortrainiertes großes Sprachmodell durch die Nutzung des im Eingabesatz enthaltenen Wissens antworten und somit ein sofortiges metaphysisches Lernen durchführen.
Dank dieser Fähigkeit des metaphysischen Lernens durch Sprache können große Sprachmodelle neues Wissen ohne repetitives Lernen nutzen.
Dies kann als maschinelles Lernen natürlicher Sprache bezeichnet werden, im Gegensatz zum traditionellen numerischen maschinellen Lernen, das Modellparameter iterativ anpasst.
Natürliche Sprache als metaphysische Schnittstelle
Die natürliche Sprache befindet sich an der Schnittstelle, die subphysisches und metaphysisches Lernen trennt.
Der faszinierende Aspekt der natürlichen Sprache ist, dass sie durch subphysisches Lernen erworben werden kann und darüber hinaus metaphysisches Lernen ermöglicht.
Metaphysische Schnittstellen außer der natürlichen Sprache
Tatsächlich existieren auch beim physischen Lernen sowohl subphysisches als auch metaphysisches Lernen. Zum Beispiel kann jemand, der sportlich begabt ist, sich schnell an ein neues Spiel anpassen, dem er zum ersten Mal begegnet.
Ähnlich kann jemand, der sich mit Biologie auskennt, die Merkmale einer neuen Art sofort verstehen, wenn er sie sieht.
Somit existieren auch beim physischen Lernen metaphysische Schnittstellen, die eine ähnliche Position wie die natürliche Sprache einnehmen.
Frameworks
An diesen Schnittstellen befinden sich Frameworks, die, losgelöst von elementaren Konzepten oder Wissen, deren Beziehungen und Strukturen definieren oder eine neue Strukturierung ermöglichen.
Da eine Vielzahl von subphysischem Wissen durch subphysisches Lernen erworben wird, könnte es möglich sein, das Framework an der metaphysischen Schnittstelle aus den Verbindungen zwischen den einzelnen subphysischen Wissenselementen zu lernen.
Frameworks, die durch physisches Lernen erworben werden, ermöglichen es, neues Wissen nach dem Erwerb sofort metaphysisch zu lernen. Es ist jedoch nicht einfach, das durch dieses metaphysische Lernen gewonnene Wissen anderen zu vermitteln.
Andererseits ist das durch sprachliches Lernen erworbene Framework die natürliche Sprache selbst.
Daher kann Wissen, das durch metaphysisches Lernen erworben wurde, nachdem das Framework der natürlichen Sprache gelernt wurde, direkt in das sprachliche Lernen anderer Menschen eingespeist werden.
Dies gilt nicht nur für Wissen, bei dem das sprachliche Lernen, wie z. B. bei Lehrbüchern oder Online-Nachrichten, grundlegend ist.
Ein erfahrener Fußballspieler, der zum ersten Mal Baseball spielt, könnte das über Baseball erworbene metaphysische Wissen anderen Fußballspielern durch Worte vermitteln. Das bedeutet, wenn Menschen dasselbe subphysische Wissen teilen, können sogenannte „Tipps“ oder Know-how verbal kommuniziert werden.
Des Weiteren könnte man Wissen über eine neu entdeckte Art, die man beobachtet hat, mit anderen Biologen durch Worte teilen.
Somit erweist sich die natürliche Sprache als ein sehr mächtiges Framework an der metaphysischen Schnittstelle.
Virtuelle Frameworks
Über der natürlichen Sprache können weitere Frameworks erworben werden.
Dies sind domänenspezifische oder formale Frameworks.
In verschiedenen akademischen Bereichen, Wirtschaftszweigen und im täglichen Leben gibt es vielfältige domänenspezifische Frameworks.
Wissenschaftler, die innerhalb des Frameworks ihres Fachgebiets agieren, können neue Entdeckungen machen und dieses Wissen leicht an andere Wissenschaftler weitergeben, die dasselbe Framework besitzen.
Das Framework selbst kann manchmal in natürlicher Sprache ausgedrückt werden; in diesem Fall kann es von Menschen oder großen Sprachmodellen, die das Framework der natürlichen Sprache beherrschen, gelernt und verstanden werden.
Geschäftsmodelle und Kochrezepte sind ebenfalls Beispiele für solche domänenspezifischen Frameworks, die in natürlicher Sprache ausgedrückt werden können.
Darüber hinaus sind mathematische Formeln, Programmiersprachen und Frameworks zur Geschäftsanalyse formale Frameworks.
Auch diese können ihre Frameworks in natürlicher Sprache ausdrücken oder erklären.
Diese domänenspezifischen und formalen Frameworks, die auf der natürlichen Sprache aufbauen, können als virtuelle Frameworks bezeichnet werden.
Dies ist leicht zu verstehen, wenn man sich eine virtuelle Maschine vorstellt, die ein anderes Betriebssystem auf einem physischen Computer ausführt. Ein weiteres Framework funktioniert auf der Grundlage des grundlegenden Frameworks der natürlichen Sprache.
Native Frameworks
Darüber hinaus müssen diese virtuellen Frameworks anfangs zwar über die natürliche Sprache verstanden werden, doch mit zunehmender Gewöhnung umgehen sie die Erklärung und das Verständnis der natürlichen Sprache und fungieren direkt als metaphysisches Schnittstellen-Framework, das auf subphysischem Wissen aufbaut.
Dies kann als natives Framework bezeichnet werden.
Die natürliche Sprache ist in gewisser Hinsicht auch ein natives Framework, jedoch nur in Bezug auf die Muttersprache. Im Allgemeinen werden andere Sprachen als die Muttersprache als virtuelle Frameworks erworben. Mit zunehmender Sprachbeherrschung nähern sie sich der Entwicklung zu nativen Frameworks an.
Dasselbe gilt für domänenspezifische und formale Frameworks. Mathematiker können nativ mittels mathematischer Formeln kommunizieren, und Programmierer können die Absichten des anderen allein durch Quellcode ohne Kommentare verstehen.
Dies deutet darauf hin, dass die Entwicklung von virtuellen zu nativen Frameworks auch auf große Sprachmodelle angewendet werden kann.
Die Idee, häufig verwendete virtuelle Frameworks zu erkennen, eine große Menge von Beispieldaten mithilfe dieser Frameworks zu generieren und sie dann feinabzustimmen, um native Frameworks zu werden, ist es wert, sofort ausprobiert zu werden.
Geborene Frameworker
Angesichts dessen wird einem klar, dass während des Vortrainings großer Sprachmodelle, und nicht nur beim Feinabstimmen, die Möglichkeit besteht, dass sie auch domänenspezifische und formale Frameworks lernen.
Und in diesem Prozess ist es denkbar, dass sie, anstatt domänenspezifische oder formale Frameworks von Anfang an nativ zu lernen, zuerst das Framework der natürlichen Sprache lernen und dann, entweder während oder nach dessen Beherrschung, domänenspezifische und formale Frameworks lernen, wodurch diese nativ werden.
Wenn man dieses schrittweise Framework-Lernen tiefer betrachtet, ist es auch denkbar, dass das Lernen der natürlichen Sprache selbst eine parallele Pipeline sehr feinkörnigen, schrittweisen Framework-Lernens ist.
Mit anderen Worten, aus der riesigen Menge an Text, die als Trainingsdaten während des Vortrainings bereitgestellt wird, lernen große Sprachmodelle möglicherweise nicht nur einzelne Konzepte, sondern auch einige sehr einfache Regeln der natürlichen Sprache als Framework. Dann, basierend auf diesen einfachen Frameworks, lernen sie wiederholt etwas komplexere Regeln.
Dies würde es ihnen ermöglichen, von einem Stadium, in dem sie ursprünglich Wortkonzepte gelernt haben, zum Memorieren von Komposita und grundlegender Grammatik überzugehen und dann Sätze zu verstehen und komplexe Dinge wie Schreib- und Ausdruckstechniken zu lernen.
Dies kann als Modell verstanden werden, bei dem sie Frameworks schrittweise und komplex lernen, wobei ein Framework als Grundlage für das Lernen des nächsten dient.
Dies hebt große Sprachmodelle als „geborene Frameworker“ hervor, die von Anfang an einen Mechanismus zum Lernen von Frameworks besitzen.
Aufmerksamkeitsmechanismus
Die Technologie, die den geborenen Frameworker verwirklicht, ist der Aufmerksamkeitsmechanismus.
Der Aufmerksamkeitsmechanismus ähnelt der Auswahl relevanter Token aus einem Kontext. Er verdeutlicht die Beziehungen zwischen den Token. Dies ist genau die Natur eines Frameworks: Abstrahieren durch Beibehalten wichtiger Konzepte und gleichzeitiges Klären der Beziehungen zwischen ihnen.
Indem diese Auswahl für jedes Token gewechselt wird, ermöglicht er ein dynamisches Umschalten von Frameworks.
Dies erlaubt es uns, mithilfe des Modells des geborenen Frameworkers zu erklären, warum der Aufmerksamkeitsmechanismus eine Technologie ist, die die Evolution großer Sprachmodelle bestimmt.
Fazit
Wenn dieser Mechanismus tatsächlich während des Vortrainings großer Sprachmodelle auftritt, dann können die bisher rätselhaften Mechanismen großer Sprachmodelle erklärt werden.
Dazu gehören das hier diskutierte subphysische und metaphysische Lernen, Frameworks als metaphysische Schnittstellen, die natürliche Sprache, die Lernen durch Sprache und virtuelle Frameworks ermöglicht, sowie der Aufmerksamkeitsmechanismus, der den geborenen Frameworker realisiert.
Darüber hinaus ergeben sich daraus zwei weitere Punkte.
Erstens besitzt die natürliche Sprache eine Struktur, die sich hervorragend dazu eignet, komplexe Frameworks schrittweise aus einfacheren zu verinnerlichen.
Wenn die natürliche Sprache in der menschlichen Gesellschaft zunächst in einer einfachen Form erschien und allmählich eine komplexere und reichhaltigere Struktur annahm, ist dies eine natürliche Konsequenz.
Zudem wäre es von Vorteil, wenn sie so strukturiert wäre, dass sie ein schnelles Lernen ermöglicht. Unter der Annahme, dass mehrere Gesellschaften mit verschiedenen natürlichen Sprachen im Wettbewerb standen, lässt sich leicht die Hypothese aufstellen, dass die zum Lernen besser geeigneten natürlichen Sprachen derzeit überleben.
Das Nachdenken über diese Natur der natürlichen Sprache führt zum zweiten Vorschlag: dass auch wir Menschen geborene Frameworker sind.
Auch wenn die spezifischen zugrundeliegenden Grundlagen und Mechanismen unterschiedlich sein mögen, muss unser Gehirn ebenfalls mit einem Mechanismus ausgestattet sein, ähnlich dem Aufmerksamkeitsmechanismus, der ein schrittweises Lernen und eine flexible Anpassung von Frameworks ermöglicht.