L'intelligenza artificiale può esibire un comportamento intelligente grazie alla tecnologia dell'apprendimento automatico.
Sebbene questo processo di apprendimento segua procedure sviluppate dagli esseri umani, non è ancora del tutto chiaro perché l'intelligenza emerga da tali procedure e dalla struttura dell'intelligenza artificiale.
In questo articolo, riflettendo sull'essenza dell'apprendimento, mi propongo di esplorare le ragioni dell'emergere dell'intelligenza.
Man mano che approfondiamo il concetto di apprendimento, giungiamo all'idea che sia l'intelligenza artificiale sia il nostro cervello possiedono una natura intrinseca che li porta a imparare come imparare.
Questo suggerisce l'esistenza di un meccanismo che può essere chiamato un Frameworker Nato.
Apprendimento attraverso il Corpo e Apprendimento attraverso il Linguaggio
Comprendiamo il mondo che ci circonda ed espandiamo le nostre capacità osservando gli oggetti con i nostri occhi e muovendo i nostri corpi.
Questa è anche una forma di apprendimento, che può essere definita apprendimento attraverso il corpo.
D'altra parte, quando pensiamo generalmente all'apprendimento, potremmo immaginare di aumentare la nostra conoscenza leggendo libri di testo o ascoltando le spiegazioni di un insegnante.
Oltre all'apprendimento basato su tali programmi educativi, acquisiamo anche diverse conoscenze da conversazioni con amici, notizie online e altre fonti.
Questo tipo di apprendimento non riguarda la memorizzazione visiva di immagini o l'apprendimento attraverso il movimento fisico, ma piuttosto l'apprendimento attraverso il linguaggio.
Apprendimento Metacognitivo e Apprendimento Metafisico
Nell'ambito dell'apprendimento basato sul linguaggio, ci sono casi in cui la conoscenza richiede ripetute iterazioni per essere memorizzata, e casi in cui può essere appresa dopo una sola o poche esposizioni.
In alternativa, alcune conoscenze possono essere utilizzate recuperandone i dettagli da uno scaffale o da internet quando necessario, anche se non completamente memorizzate.
Nel senso di acquisire e utilizzare appropriatamente la conoscenza quando richiesta, entrambi questi schemi possono essere considerati apprendimento.
Tra questi, la conoscenza che non può essere memorizzata senza ripetute iterazioni può essere definita conoscenza metacognitiva. Il processo di apprendimento del concetto stesso è apprendimento metacognitivo.
Questo è simile all'apprendimento fisico, dove la ripetizione è coinvolta nel vedere oggetti con i nostri occhi o nel muovere i nostri corpi. Anche questi possono essere classificati come apprendimento metacognitivo.
Al contrario, acquisire conoscenze che possono essere memorizzate con pochi tentativi o utilizzate consultandole sul momento può essere definito apprendimento metafisico.
In questo caso, i concetti pre-appresi acquisiti attraverso l'apprendimento metacognitivo possono essere utilizzati per apprendere nuove conoscenze come tipi di quei concetti o come combinazioni di concetti.
Poiché i concetti già padroneggiati attraverso l'apprendimento metacognitivo possono essere usati, l'apprendimento metafisico non richiede ripetizione.
Apprendimento Automatico del Linguaggio Naturale
Applichiamo questo al machine learning nell'intelligenza artificiale.
Generalmente, le reti neurali utilizzate nel machine learning eseguono l'apprendimento metacognitivo, che implica un apprendimento ripetitivo dei concetti.
D'altra parte, i modelli linguistici di grandi dimensioni capaci di elaborazione del linguaggio naturale simile agli esseri umani possono eseguire l'apprendimento attraverso il linguaggio.
Durante il pre-addestramento e il fine-tuning dei modelli linguistici di grandi dimensioni, si verifica l'apprendimento metacognitivo basato sul linguaggio.
Un modello linguistico di grandi dimensioni addestrato può quindi rispondere utilizzando la conoscenza contenuta nella frase di input, il che significa che sta eseguendo un apprendimento metafisico immediato.
Questa capacità di apprendimento metafisico basato sul linguaggio consente ai modelli linguistici di grandi dimensioni di utilizzare nuove conoscenze senza apprendimento ripetitivo.
Questo può essere contrapposto al tradizionale machine learning numerico, che aggiusta iterativamente i parametri del modello, e può essere definito machine learning del linguaggio naturale.
Il Linguaggio Naturale come Interfaccia Metafisica
Il linguaggio naturale è situato all'interfaccia che distingue l'apprendimento metacognitivo dall'apprendimento metafisico.
L'aspetto interessante del linguaggio naturale è che può essere acquisito attraverso l'apprendimento metacognitivo e, su di esso, l'apprendimento metafisico diventa possibile.
Interfacce Metafisiche Diverse dal Linguaggio Naturale
Infatti, l'apprendimento metacognitivo e l'apprendimento metafisico esistono anche nell'apprendimento fisico. Ad esempio, una persona abile nello sport può adattarsi rapidamente a un nuovo sport che non ha mai incontrato prima.
Allo stesso modo, una persona esperta in biologia può comprendere immediatamente le caratteristiche di una nuova specie quando la vede.
Quindi, anche nell'apprendimento fisico, esiste un'interfaccia metafisica che occupa una posizione simile al linguaggio naturale.
Framework
Ciò che si trova a queste interfacce è un framework distinto da concetti o conoscenze elementari; esso definisce le loro relazioni e strutture, e consente una nuova strutturazione.
Man mano che diverse conoscenze metacognitive vengono acquisite attraverso l'apprendimento metacognitivo, a volte è possibile apprendere il framework all'interfaccia metafisica dalle connessioni tra questi frammenti di conoscenza metacognitiva.
Un framework derivato dall'apprendimento fisico consente l'acquisizione immediata di nuove conoscenze attraverso l'apprendimento metafisico dopo la sua padronanza. Tuttavia, la conoscenza acquisita tramite tale apprendimento metafisico non è facilmente comunicabile ad altri.
D'altra parte, il framework derivato dall'apprendimento attraverso il linguaggio è il linguaggio naturale stesso.
Pertanto, la conoscenza acquisita tramite l'apprendimento metafisico imparando il framework del linguaggio naturale può essere direttamente immessa nell'acquisizione del linguaggio di un'altra persona.
Questo non si applica solo alla conoscenza basata principalmente sull'acquisizione del linguaggio, come libri di testo o notizie online.
Un giocatore di calcio esperto che prova il baseball per la prima volta potrebbe essere in grado di articolare la conoscenza metafisica del baseball che ha acquisito e trasmetterla ad altri giocatori di calcio esperti. Ciò significa che se le persone condividono la stessa conoscenza metacognitiva, possono comunicare quelle che sono conosciute come "dritte" o "trucchi" usando le parole.
Inoltre, si potrebbe comunicare verbalmente la conoscenza di una nuova specie osservata ad altri biologi, condividendo così tale conoscenza.
Pertanto, il linguaggio naturale si rivela essere un framework molto potente situato all'interfaccia metafisica.
Framework Virtuale
Al di sopra del linguaggio naturale, è possibile acquisire un altro framework.
Questi includono framework specifici di dominio o framework metafisici.
Nelle diverse discipline accademiche, nei settori commerciali e nella vita quotidiana, esistono svariati framework specifici di dominio.
Gli studiosi possono fare nuove scoperte all'interno dei loro framework specializzati e trasmettere facilmente queste scoperte come conoscenza ad altri studiosi che possiedono lo stesso framework.
Il framework stesso può talvolta essere espresso in linguaggio naturale, nel qual caso, individui o grandi modelli linguistici che possiedono un framework del linguaggio naturale possono acquisirlo e comprenderlo.
I modelli di business e le ricette di cucina sono anch'essi esempi di tali framework specifici di dominio che possono essere espressi in linguaggio naturale.
Inoltre, le formule matematiche, i linguaggi di programmazione e i framework di analisi aziendale sono framework formali.
Anche questi possono essere espressi o spiegati in linguaggio naturale.
Tali framework specifici di dominio e framework formali costruiti sul linguaggio naturale possono essere definiti framework virtuali.
Questo può essere facilmente compreso immaginando una macchina virtuale che esegue un altro sistema operativo su un computer fisico. Un altro framework funziona al di sopra del linguaggio naturale, che funge da framework fondamentale.
Framework Nativo
Inizialmente, questo framework virtuale deve essere compreso attraverso il linguaggio naturale, ma con la pratica, bypassa la spiegazione e la comprensione tramite il linguaggio naturale e inizia a funzionare direttamente come framework di interfaccia metafisica costruito sulla conoscenza metacognitiva.
Questo può essere chiamato framework nativo.
Il linguaggio naturale è, in un certo senso, un framework nativo, ma solo nel caso della propria lingua madre. Generalmente, le lingue diverse dalla propria lingua madre vengono acquisite come framework virtuali. Man mano che la competenza aumenta, si avvicinano allo stato di un framework nativo.
Lo stesso vale per i framework specifici di dominio e i framework formali. I matematici possono comunicare in modo nativo tra loro usando formule matematiche, e i programmatori possono comprendere le intenzioni reciproche solo tramite il codice sorgente senza commenti.
Questo suggerisce che la transizione da un framework virtuale a un framework nativo può essere applicata anche ai grandi modelli linguistici.
L'idea di rilevare i framework virtuali frequentemente utilizzati, generare una grande quantità di dati di esempio usando tali framework virtuali e poi ottimizzarli per farli diventare framework nativi sarebbe da provare immediatamente.
Frameworker Nato
Considerando questo, ci rendiamo conto che i grandi modelli linguistici potrebbero apprendere questi framework specializzati e formali non solo durante il fine-tuning ma anche durante il pre-addestramento.
Inoltre, in tale processo, è plausibile che essi non apprendano i framework specializzati o formali in modo nativo fin dall'inizio. Invece, prima apprendono il framework del linguaggio naturale, e poi, durante o dopo aver raggiunto la competenza in esso, apprendono i framework specializzati o formali e li assimilano in framework nativi.
Approfondendo questa idea di apprendimento incrementale dei framework, è anche concepibile che l'apprendimento del linguaggio naturale stesso sia una pipeline parallela di apprendimento di framework incrementale e altamente granulare.
Cioè, dalla vasta quantità di testo fornita come dati di apprendimento durante il pre-addestramento, i grandi modelli linguistici potrebbero apprendere non solo singoli concetti, ma anche alcune regole molto semplici del linguaggio naturale come framework. Poi, usando questi semplici framework come base, potrebbero apprendere ripetutamente regole leggermente più complesse.
In questo modo, partendo dalla fase di apprendimento dei singoli concetti di parola, dovrebbero essere in grado di acquisire parole composte e la grammatica di base, quindi comprendere le frasi, e infine apprendere elementi complessi come tecniche letterarie e stili espressivi.
Questo può essere inteso come un modello di apprendimento di framework stratificato e composito, dove un framework serve da fondamento per l'apprendimento del successivo.
Questo mette in evidenza l'immagine dei grandi modelli linguistici come Frameworker Nati, che possiedono intrinsecamente il meccanismo per apprendere i framework fin dall'inizio.
Meccanismo di Attenzione
La tecnologia che concretizza il Frameworker Nato è il meccanismo di attenzione.
Il meccanismo di attenzione è simile alla selezione di token su cui concentrarsi all'interno di un contesto. Chiarisce le relazioni tra i token. Questa è precisamente la natura stessa di un framework: astrarre mantenendo i concetti importanti e chiarendo le relazioni tra tali concetti.
Passando da una selezione all'altra per ogni token, diventa possibile cambiare dinamicamente anche i framework.
Questo ci permette di spiegare perché il meccanismo di attenzione è una tecnologia decisiva per l'evoluzione dei grandi modelli linguistici, utilizzando il modello del Frameworker Nato.
Conclusione
Se questo meccanismo si verifica effettivamente durante il processo di pre-addestramento dei grandi modelli linguistici, allora il meccanismo precedentemente enigmatico di questi modelli diventa spiegabile.
Questa spiegazione comprende l'apprendimento metacognitivo e metafisico di cui abbiamo discusso, il framework come interfaccia metafisica, il linguaggio naturale che abilita l'acquisizione del linguaggio e i framework virtuali, e il meccanismo di attenzione che realizza il Frameworker Nato.
Inoltre, da ciò derivano due ulteriori implicazioni.
In primo luogo, il linguaggio naturale possiede una struttura altamente adatta per sviluppare in modo incrementale framework complessi da quelli semplici a framework nativi.
Se il linguaggio naturale è inizialmente emerso in una forma semplice all'interno delle società umane e si è gradualmente evoluto per possedere una struttura più complessa e ricca, allora questa è una conseguenza naturale.
Inoltre, una struttura che consente un apprendimento rapido sarebbe vantaggiosa. Supponendo che più società con vari linguaggi naturali abbiano gareggiato, l'ipotesi che il linguaggio naturale più adatto all'apprendimento sia sopravvissuto fino ai giorni nostri è facilmente stabilita.
Riflettere sulla natura del linguaggio naturale porta alla seconda implicazione: che anche noi esseri umani siamo Frameworker Nati.
Anche se le basi e i meccanismi specifici differiscono, anche i nostri cervelli devono essere dotati di un sistema, simile al meccanismo di attenzione, che apprende in modo incrementale e modifica flessibilmente i framework.