Kunstmatige intelligentie verkrijgt intelligent gedrag door middel van een technologie die machinaal leren wordt genoemd.
Hoewel dit leren wordt uitgevoerd volgens procedures die door mensen zijn ontwikkeld, is het nog niet verklaard waarom intelligentie voortkomt uit deze procedures en de structuur van kunstmatige intelligentie.
In dit artikel zal ik de redenen onderzoeken waarom intelligentie ontstaat door de essentie van het leren zelf te beschouwen.
En naarmate we dieper ingaan op het concept van leren, komen we tot het idee dat zowel kunstmatige intelligentie als onze hersenen een aangeboren neiging bezitten om te leren hoe te leren.
Dit suggereert het bestaan van een mechanisme dat een "natuurlijk geboren frameworker" genoemd kan worden.
Leren via het Lichaam versus Leren via Taal
We leren over de wereld om ons heen en breiden onze mogelijkheden uit door dingen met onze ogen te zien en ons lichaam te bewegen.
Dit is ook een vorm van leren, die men leren via het lichaam kan noemen.
Aan de andere kant, wanneer mensen over het algemeen over leren spreken, stellen ze zich waarschijnlijk voor dat ze hun kennis vergroten door leerboeken te lezen of naar de uitleg van een leraar te luisteren.
Naast dergelijk curriculumgebaseerd leren, verwerven we ook diverse kennis uit gesprekken met vrienden, online nieuws, enzovoort.
Dit type leren gaat niet over het visueel memoriseren van beelden of het leren door het bewegen van het lichaam; het is leren via taal.
Subfysisch Leren en Metafysisch Leren
Binnen het leren via taal zijn er gevallen waarbij informatie alleen door herhaalde herhaling kan worden onthouden, en gevallen waarbij het al na één of enkele keren horen kan worden onthouden.
Daarnaast is er kennis die, zelfs als de details niet worden onthouden, kan worden gebruikt door deze op het benodigde moment uit een boekenkast of van het internet op te halen.
In de zin van het verwerven van kennis en deze op het juiste moment gebruiken, kunnen beide patronen leren worden genoemd.
Hiervan kan kennis die alleen door herhaalde herhaling kan worden onthouden, subfysische kennis worden genoemd. Het leerproces hiervoor is subfysisch leren, waarbij de concepten zelf worden onthouden.
Dit is vergelijkbaar met fysiek leren, waarbij men herhaaldelijk leert door objecten met de ogen te zien of het lichaam te bewegen. Deze kunnen ook worden geclassificeerd als subfysisch leren.
Aan de andere kant kan de verwerving van kennis die met minder herhalingen kan worden onthouden, of ter plaatse kan worden opgezocht en gebruikt, metafysisch leren worden genoemd.
In dit geval kunnen eerder geleerde concepten, verworven via subfysisch leren, worden gebruikt om kennis te leren als typen van die concepten of als combinaties van concepten.
Aangezien concepten die al via subfysisch leren zijn verworven, kunnen worden gebruikt, vereist metafysisch leren geen herhaling.
Machinaal Leren met Natuurlijke Taal
Laten we dit toepassen op machinaal leren in kunstmatige intelligentie.
Over het algemeen voeren neurale netwerken die in machinaal leren worden gebruikt subfysisch leren uit, wat het herhaaldelijk leren van concepten omvat.
Aan de andere kant kunnen grote taalmodellen, die in staat zijn tot natuurlijke taalverwerking vergelijkbaar met mensen, leren via taal uitvoeren.
Tijdens de pre-training en fine-tuning van grote taalmodellen vindt subfysisch leren via taal plaats.
Bovendien kan een voorgegetraind groot taalmodel antwoorden door gebruik te maken van de kennis die in de invoerzin aanwezig is, waardoor onmiddellijk metafysisch leren plaatsvindt.
Dankzij deze mogelijkheid van metafysisch leren via taal kunnen grote taalmodellen nieuwe kennis benutten zonder herhaaldelijk te leren.
Dit kan machinaal leren met natuurlijke taal worden genoemd, in tegenstelling tot traditioneel numeriek machinaal leren dat iteratief modelparameters aanpast.
Natuurlijke Taal als de Metafysische Interface
Natuurlijke taal bevindt zich op het grensvlak dat subfysisch en metafysisch leren scheidt.
Het fascinerende aspect van natuurlijke taal is dat het kan worden verworven door middel van subfysisch leren, en bovendien metafysisch leren mogelijk maakt.
Metafysische Interfaces Anders Dan Natuurlijke Taal
In werkelijkheid bestaan, zelfs bij fysiek leren, zowel subfysisch als metafysisch leren. Iemand die bedreven is in sport, kan bijvoorbeeld snel wennen aan een nieuw spel dat hij voor het eerst tegenkomt.
Op vergelijkbare wijze kan iemand met kennis van biologie onmiddellijk de kenmerken van een nieuwe soort begrijpen wanneer hij deze ziet.
Zo bestaan er ook bij fysiek leren metafysische interfaces die een vergelijkbare positie innemen als natuurlijke taal.
Frameworks
Op deze interfaces bevinden zich frameworks die, onderscheiden van elementaire concepten of kennis, hun relaties en structuren definiëren, of nieuwe structurering mogelijk maken.
Naarmate een verscheidenheid aan subfysische kennis wordt verworven door middel van subfysisch leren, is het mogelijk om het framework op de metafysische interface te leren uit de verbanden tussen de stukjes subfysische kennis.
Frameworks die door fysiek leren zijn verworven, stellen nieuwe kennis in staat om onmiddellijk metafysisch te worden geleerd na verwerving. Het is echter niet eenvoudig om de kennis die door dit metafysische leren is verkregen, aan anderen over te brengen.
Aan de andere kant is het framework dat door taalleren is verworven, de natuurlijke taal zelf.
Daarom kan kennis die door metafysisch leren is verworven, na het leren van het natuurlijke taal-framework, direct worden ingevoerd in het taalleren van andere mensen.
Dit geldt niet alleen voor kennis waarbij leren via taal, zoals leerboeken of online nieuws, fundamenteel is.
Een ervaren voetballer die voor het eerst honkbal speelt, zou de verworven metafysische kennis over honkbal via woorden kunnen overbrengen op andere voetballers. Dit betekent dat als mensen dezelfde subfysische kennis delen, zogenaamde "tips" of knowhow mondeling kunnen worden gecommuniceerd.
Bovendien zou men kennis over een nieuw ontdekte soort die men heeft waargenomen, met andere biologen kunnen delen via woorden.
Aldus blijkt natuurlijke taal een zeer krachtig framework te zijn op de metafysische interface.
Virtuele Frameworks
Bovenop de natuurlijke taal kan men andere frameworks verwerven.
Dit zijn domeinspecifieke frameworks of formele frameworks.
Binnen verschillende academische gebieden, bedrijfssectoren en het dagelijks leven bestaan er diverse domeinspecifieke frameworks.
Geleerden, opererend binnen het framework van hun specialiteit, kunnen nieuwe ontdekkingen doen en die kennis gemakkelijk overbrengen aan andere geleerden die hetzelfde framework bezitten.
Het framework zelf kan soms in natuurlijke taal worden uitgedrukt, in welk geval het kan worden geleerd en begrepen door mensen of grote taalmodellen die het natuurlijke taal-framework bezitten.
Bedrijfsmodellen en kookrecepten zijn ook voorbeelden van dergelijke domeinspecifieke frameworks die in natuurlijke taal kunnen worden uitgedrukt.
Bovendien zijn wiskundige formules, programmeertalen en bedrijfsanalyse-frameworks formele frameworks.
Ook deze kunnen hun frameworks in natuurlijke taal laten uitdrukken of verklaren.
Deze domeinspecifieke en formele frameworks, gebouwd op natuurlijke taal, kunnen virtuele frameworks worden genoemd.
Dit is gemakkelijk te begrijpen als je je een virtuele machine voorstelt die een ander besturingssysteem draait op een fysieke computer. Een ander framework functioneert bovenop het fundamentele framework van natuurlijke taal.
Native Frameworks
Bovendien, hoewel deze virtuele frameworks aanvankelijk via natuurlijke taal begrepen moeten worden, beginnen ze, naarmate men eraan gewend raakt, de natuurlijke taalverklaring en -begrip te omzeilen, en functioneren ze direct als een metafysisch interfaceframework gebouwd op subfysische kennis.
Dit kan een native framework worden genoemd.
Natuurlijke taal is, in zekere zin, ook een native framework, maar alleen wat betreft de moedertaal. Over het algemeen worden andere talen dan de moedertaal verworven als virtuele frameworks. Naarmate de vaardigheid toeneemt, benaderen ze het worden van native frameworks.
Hetzelfde geldt voor domeinspecifieke en formele frameworks. Wiskundigen kunnen natief communiceren met behulp van wiskundige formules, en programmeurs kunnen elkaars intenties uitsluitend begrijpen via broncode zonder commentaar.
Dit suggereert dat de progressie van virtuele naar native frameworks ook kan worden toegepast op grote taalmodellen.
Het idee om veelgebruikte virtuele frameworks te detecteren, een grote hoeveelheid voorbeelddata te genereren met behulp van die frameworks, en deze vervolgens te fine-tunen om native frameworks te worden, is de moeite waard om onmiddellijk uit te proberen.
Natuurlijke Frameworkers
Als we dit in overweging nemen, realiseert men zich dat tijdens de pre-training van grote taalmodellen, niet alleen bij fine-tuning, er een mogelijkheid bestaat dat ze ook domeinspecifieke en formele frameworks leren.
En in dat proces is het denkbaar dat ze, in plaats van van meet af aan domeinspecifieke of formele frameworks natief te leren, eerst het natuurlijke taal-framework leren, en dan, tijdens of na het beheersen ervan, domeinspecifieke en formele frameworks leren, waardoor deze natief worden.
Dieper ingaand op dit stapsgewijze frameworkleren, is het ook denkbaar dat het leren van natuurlijke taal zelf een parallelle pijplijn is van zeer fijnmazig, stapsgewijs frameworkleren.
Met andere woorden, uit de enorme hoeveelheid tekst die als trainingsdata wordt aangeboden tijdens de pre-training, leren grote taalmodellen mogelijk niet alleen individuele concepten, maar ook enkele zeer eenvoudige regels van natuurlijke taal als een framework. Vervolgens, door deze eenvoudige frameworks als basis te gebruiken, leren ze herhaaldelijk iets complexere regels.
Dit zou hen in staat stellen om van een stadium waarin ze aanvankelijk woordconcepten leerden, door te gaan naar het memoriseren van samengestelde woorden en basisgrammatica, en vervolgens naar het begrijpen van zinnen, en het leren van complexe zaken zoals schrijf- en expressietechnieken.
Dit kan worden opgevat als een model waarbij ze frameworks op een stapsgewijze en complexe manier leren, waarbij ze het ene framework als basis gebruiken voor het leren van het volgende.
Dit benadrukt grote taalmodellen als "natuurlijke frameworkers", die vanaf het allereerste begin een mechanisme bezitten voor het leren van frameworks.
Aandachtsmechanisme
De technologie die de 'natural-born frameworker' verwezenlijkt, is het aandachtsmechanisme.
Het aandachtsmechanisme is te vergelijken met het selecteren van relevante tokens uit een context. Het verheldert de relaties tussen tokens. Dit is precies de aard van een framework: abstraheren door belangrijke concepten te behouden en tegelijkertijd de relaties daartussen te verhelderen.
Door deze selectie voor elk token te wisselen, maakt het dynamisch wisselen van frameworks mogelijk.
Dit stelt ons in staat te verklaren waarom het aandachtsmechanisme een technologie is die de evolutie van grote taalmodellen bepaalt, door gebruik te maken van het 'natural-born frameworker'-model.
Conclusie
Als dit mechanisme inderdaad plaatsvindt tijdens het pre-trainingproces van grote taalmodellen, dan kunnen de voorheen mysterieuze mechanismen van grote taalmodellen worden verklaard.
Deze omvatten het hier besproken subfysische en metafysische leren, frameworks als metafysische interfaces, natuurlijke taal die leren via taal en virtuele frameworks mogelijk maakt, en het aandachtsmechanisme dat de 'natural-born frameworker' realiseert.
Bovendien worden hieruit twee aanvullende punten gesuggereerd.
Ten eerste heeft natuurlijke taal een structuur die zeer geschikt is om complexere frameworks geleidelijk te internaliseren vanuit eenvoudigere.
Als natuurlijke taal aanvankelijk in de menselijke samenleving in een eenvoudige vorm verscheen en geleidelijk groeide tot een complexere en rijkere structuur, is dit een natuurlijk gevolg.
Bovendien zou het voordelig zijn als het zodanig gestructureerd is dat snel leren mogelijk is. Ervan uitgaande dat meerdere samenlevingen met verschillende natuurlijke talen met elkaar concurreerden, is de hypothese dat natuurlijke talen die beter geschikt zijn om te leren momenteel overleven, gemakkelijk te vormen.
Nadenken over deze aard van natuurlijke taal leidt tot de tweede suggestie: dat wij mensen ook 'natural-born frameworkers' zijn.
Zelfs als de specifieke onderliggende fundamenten en mechanismen verschillen, moeten onze hersenen ook zijn uitgerust met een mechanisme, vergelijkbaar met het aandachtsmechanisme, dat de stapsgewijze leer- en flexibele aanpassing van frameworks mogelijk maakt.