Kunstmatige intelligentie kan intelligent gedrag vertonen door middel van machinaal leren.
Hoewel dit leerproces menselijk ontwikkelde procedures volgt, is nog niet volledig verklaard waarom intelligentie voortkomt uit deze procedures en de structuur van kunstmatige intelligentie.
In dit artikel wil ik, door na te denken over de essentie van leren, de redenen voor het ontstaan van intelligentie onderzoeken.
Naarmate we dieper ingaan op het concept van leren, komen we tot het idee dat zowel kunstmatige intelligentie als onze hersenen een inherente aard bezitten om te leren hoe te leren.
Dit suggereert het bestaan van een mechanisme dat we een 'Natuurlijk Geboren Frameworker' kunnen noemen.
Leren door het lichaam en leren door taal
We leren de wereld om ons heen begrijpen en breiden onze vaardigheden uit door objecten met onze ogen waar te nemen en ons lichaam te bewegen.
Dit is ook een vorm van leren, die leren door het lichaam genoemd kan worden.
Aan de andere kant, wanneer we doorgaans aan leren denken, stellen we ons voor dat we onze kennis vergroten door handboeken te lezen of naar de uitleg van een leraar te luisteren.
Naast leren gebaseerd op dergelijke educatieve curricula, verwerven we ook diverse kennis uit gesprekken met vrienden, online nieuws en andere bronnen.
Dit type leren gaat niet over het visueel memoriseren van beelden of leren door fysieke beweging, maar eerder over leren door taal.
Metacognitief Leren en Metafysisch Leren
Binnen taalgericht leren zijn er gevallen waarin kennis herhaalde iteratie vereist om te worden gememoriseerd, en gevallen waarin het al na één of enkele keren kan worden geleerd.
Als alternatief kan sommige kennis worden gebruikt door de details ervan uit een boekenkast of van internet op te halen wanneer dat nodig is, zelfs als deze niet volledig is gememoriseerd.
In de zin van het verwerven en op de juiste manier benutten van kennis wanneer dat nodig is, kunnen beide patronen als leren worden beschouwd.
Hiervan kan kennis die niet zonder herhaalde iteratie kan worden gememoriseerd, metacognitieve kennis worden genoemd. Het proces van het leren van het concept zelf is metacognitief leren.
Dit is vergelijkbaar met fysiek leren, waarbij herhaling betrokken is bij het zien van objecten met onze ogen of het bewegen van ons lichaam. Deze kunnen ook worden geclassificeerd als metacognitief leren.
Omgekeerd kan het verwerven van kennis die met weinig pogingen kan worden gememoriseerd of ter plekke kan worden opgezocht, metafysisch leren worden genoemd.
In dit geval kunnen eerder geleerde concepten die zijn verworven door metacognitief leren, worden gebruikt om nieuwe kennis te leren als typen van die concepten of als combinaties van concepten.
Aangezien concepten die al door metacognitief leren zijn beheerst, kunnen worden gebruikt, vereist metafysisch leren geen herhaling.
Natuurlijke Taal Machinaal Leren
Laten we dit toepassen op machinaal leren in kunstmatige intelligentie.
Over het algemeen voeren neurale netwerken die gebruikt worden in machinaal leren metacognitief leren uit, wat gepaard gaat met het herhaaldelijk leren van concepten.
Grote taalmodellen daarentegen, die in staat zijn tot natuurlijke taalverwerking vergelijkbaar met mensen, kunnen leren door taal uitvoeren.
Tijdens de pre-training en finetuning van grote taalmodellen vindt taalgebaseerd metacognitief leren plaats.
Een getraind groot taalmodel kan dan antwoorden door gebruik te maken van kennis die in de invoerzin aanwezig is, wat betekent dat het direct metafysisch leren uitvoert.
Dit vermogen tot taalgebaseerd metafysisch leren stelt grote taalmodellen in staat om nieuwe kennis te benutten zonder herhaaldelijk te leren.
Dit kan worden afgezet tegen traditioneel numeriek machinaal leren, dat iteratief modelparameters aanpast, en kan worden aangeduid als natuurlijke taal machinaal leren.
Natuurlijke Taal als de Metafysische Interface
Natuurlijke taal bevindt zich op de interface die metacognitief leren onderscheidt van metafysisch leren.
Het interessante aspect van natuurlijke taal is dat het verworven kan worden door middel van metacognitief leren, en dat daarop metafysisch leren mogelijk wordt.
Metafysische Interfaces Anders Dan Natuurlijke Taal
Feitelijk bestaan metacognitief leren en metafysisch leren ook bij fysiek leren. Iemand die bedreven is in sport kan bijvoorbeeld snel wennen aan een nieuwe sport die hij nog nooit eerder heeft beoefend.
Op vergelijkbare wijze kan een persoon met kennis van biologie onmiddellijk de kenmerken van een nieuwe soort begrijpen wanneer hij deze ziet.
Zelfs bij fysiek leren bestaat er dus een metafysische interface die een vergelijkbare positie inneemt als natuurlijke taal.
Framework
Wat zich op deze interfaces bevindt, is een framework dat verschilt van elementaire concepten of kennis; het definieert hun relaties en structuren, en maakt nieuwe structurering mogelijk.
Naarmate diverse metacognitieve kennis wordt verworven door metacognitief leren, is het soms mogelijk om het framework op de metafysische interface te leren uit de verbanden tussen deze stukken metacognitieve kennis.
Een framework dat voortkomt uit fysiek leren maakt de onmiddellijke verwerving van nieuwe kennis door metafysisch leren na de beheersing ervan mogelijk. De kennis die door dergelijk metafysisch leren wordt opgedaan, is echter niet gemakkelijk overdraagbaar aan anderen.
Aan de andere kant is het framework dat voortkomt uit leren door taal de natuurlijke taal zelf.
Daarom kan kennis die door metafysisch leren is verworven door het leren van het natuurlijke taal-framework, direct worden ingevoerd in de taalverwerving van een ander.
Dit geldt niet alleen voor kennis die primair gebaseerd is op taalverwerving, zoals handboeken of online nieuws.
Een ervaren voetballer die voor het eerst honkbal probeert, zou de metafysische kennis van honkbal die hij heeft opgedaan, kunnen articuleren en overbrengen op andere ervaren voetballers. Dit betekent dat als mensen dezelfde metacognitieve kennis delen, ze zogenaamde "tips" of "trucs" met woorden kunnen communiceren.
Bovendien zou men mondeling kennis over een nieuwe soort die men heeft waargenomen aan andere biologen kunnen overbrengen, waardoor die kennis wordt gedeeld.
Zo blijkt natuurlijke taal een zeer krachtig framework te zijn dat zich op de metafysische interface bevindt.
Virtueel Framework
Bovenop de natuurlijke taal kan een ander framework worden verworven.
Dit omvat domeinspecifieke frameworks of metafysische frameworks.
In verschillende academische disciplines, bedrijfssectoren en het dagelijks leven zijn er diverse domeinspecifieke frameworks.
Geleerden kunnen nieuwe ontdekkingen doen binnen hun gespecialiseerde frameworks en deze ontdekkingen gemakkelijk als kennis overbrengen op andere geleerden die hetzelfde framework bezitten.
Het framework zelf kan soms in natuurlijke taal worden uitgedrukt, in welk geval individuen of grote taalmodellen die een natuurlijk taal-framework bezitten, het kunnen verwerven en begrijpen.
Bedrijfsmodellen en kookrecepten zijn ook voorbeelden van dergelijke domeinspecifieke frameworks die in natuurlijke taal kunnen worden uitgedrukt.
Bovendien zijn wiskundige formules, programmeertalen en frameworks voor bedrijfsanalyse formele frameworks.
Deze kunnen ook in natuurlijke taal worden uitgedrukt of verklaard.
Dergelijke domeinspecifieke frameworks en formele frameworks, gebouwd op natuurlijke taal, kunnen virtuele frameworks worden genoemd.
Dit is eenvoudig te begrijpen door een virtuele machine voor te stellen die een ander besturingssysteem draait op een fysieke computer. Een ander framework functioneert bovenop de natuurlijke taal, die dient als het fundamentele framework.
Native Framework
Aanvankelijk moet dit virtuele framework worden begrepen via natuurlijke taal, maar met oefening omzeilt het uitleg en begrip via natuurlijke taal en begint het direct te functioneren als een metafysisch interface framework dat is gebouwd op metacognitieve kennis.
Dit kan een native framework worden genoemd.
Natuurlijke taal is, in zekere zin, een native framework, maar alleen in het geval van iemands moedertaal. Over het algemeen worden andere talen dan de moedertaal verworven als virtuele frameworks. Naarmate de vaardigheid toeneemt, benaderen ze de status van een native framework.
Hetzelfde geldt voor domeinspecifieke frameworks en formele frameworks. Wiskundigen kunnen native met elkaar communiceren met behulp van wiskundige formules, en programmeurs kunnen elkaars intenties begrijpen uitsluitend via broncode zonder commentaar.
Dit suggereert dat de overgang van een virtueel framework naar een native framework ook kan worden toegepast op grote taalmodellen.
Het idee om veelgebruikte virtuele frameworks te detecteren, een grote hoeveelheid voorbeeldgegevens te genereren met behulp van die virtuele frameworks, en ze vervolgens te finetunen om native frameworks te worden, zou onmiddellijk de moeite waard zijn om te proberen.
Natuurlijk Geboren Frameworker
Als we dit in overweging nemen, realiseren we ons dat grote taalmodellen deze gespecialiseerde en formele frameworks mogelijk niet alleen leren tijdens finetuning, maar ook tijdens pre-training.
Bovendien is het in dat proces aannemelijk dat ze gespecialiseerde of formele frameworks niet van meet af aan native leren. In plaats daarvan leren ze eerst het natuurlijk taal-framework, en dan, tijdens of na het bereiken van bekwaamheid daarin, leren ze gespecialiseerde of formele frameworks en assimileren ze die tot native frameworks.
Als we dit idee van incrementeel framework-leren verdiepen, is het ook denkbaar dat het leren van natuurlijke taal zelf een parallelle pijplijn is van zeer gedetailleerd, incrementeel framework-leren.
Dat wil zeggen, uit de enorme hoeveelheid tekst die als leergegevens wordt aangeboden tijdens pre-training, leren grote taalmodellen mogelijk niet alleen individuele concepten, maar ook enkele zeer eenvoudige regels van natuurlijke taal als frameworks. Vervolgens, met deze eenvoudige frameworks als basis, leren ze mogelijk herhaaldelijk iets complexere regels.
Op deze manier zouden ze, beginnend bij de fase van het leren van individuele woordconcepten, samengestelde woorden en basisgrammatica moeten kunnen verwerven, vervolgens zinnen begrijpen, en uiteindelijk complexe elementen zoals literaire technieken en expressieve stijlen leren.
Dit kan worden opgevat als een model van gelaagd en samengesteld framework-leren, waarbij het ene framework dient als de basis voor het leren van het volgende.
Dit benadrukt het beeld van grote taalmodellen als Natuurlijk Geboren Frameworkers, die van nature het mechanisme bezitten om frameworks vanaf het begin te leren.
Aandachtsmechanisme
De technologie die de Natuurlijk Geboren Frameworker realiseert, is het aandachtsmechanisme.
Het aandachtsmechanisme is vergelijkbaar met het selecteren van tokens waarop binnen een context moet worden gefocust. Het verheldert de relaties tussen tokens. Dit is precies de aard van een framework zelf: abstraheren door belangrijke concepten te behouden en tegelijkertijd de relaties tussen die concepten te verhelderen.
Door deze selectie voor elk token te wisselen, wordt het mogelijk om ook dynamisch van framework te wisselen.
Dit stelt ons in staat te verklaren waarom het aandachtsmechanisme een beslissende technologie is voor de evolutie van grote taalmodellen, met behulp van het model van de Natuurlijk Geboren Frameworker.
Conclusie
Als dit mechanisme inderdaad plaatsvindt tijdens het pre-training proces van grote taalmodellen, dan wordt het voorheen raadselachtige mechanisme van deze modellen verklaarbaar.
Deze verklaring omvat het metacognitieve en metafysische leren dat we hebben besproken, het framework als een metafysische interface, natuurlijke taal die taalverwerving en virtuele frameworks mogelijk maakt, en het aandachtsmechanisme dat de Natuurlijk Geboren Frameworker realiseert.
Bovendien vloeien hieruit twee aanvullende implicaties voort.
Ten eerste bezit natuurlijke taal een uitermate geschikte structuur voor het incrementeel ontwikkelen van complexe frameworks vanuit eenvoudige tot native frameworks.
Als natuurlijke taal oorspronkelijk in een eenvoudige vorm ontstond binnen menselijke samenlevingen en geleidelijk evolueerde tot een complexere en rijkere structuur, dan is dit een natuurlijk gevolg.
Bovendien zou een structuur die snel leren mogelijk maakt voordelig zijn. Ervan uitgaande dat meerdere samenlevingen met verschillende natuurlijke talen concurreerden, is de hypothese dat de natuurlijke taal die het meest geschikt is voor leren tot op heden heeft overleefd, gemakkelijk te staven.
Nadenkend over de aard van natuurlijke taal leidt tot de tweede implicatie: dat wij mensen ook Natuurlijk Geboren Frameworkers zijn.
Zelfs als de specifieke fundamenten en mechanismen verschillen, moeten onze hersenen ook zijn uitgerust met een systeem, vergelijkbaar met het aandachtsmechanisme, dat frameworks incrementeel leert en flexibel aanpast.