L'intelligenza artificiale acquisisce un comportamento intelligente attraverso una tecnologia chiamata apprendimento automatico (machine learning).
Sebbene questo apprendimento sia condotto secondo procedure sviluppate dagli esseri umani, il motivo per cui l'intelligenza emerga da queste procedure e dalla struttura dell'intelligenza artificiale non è ancora stato spiegato.
In questo articolo, esplorerò le ragioni per cui l'intelligenza si manifesta, considerando l'essenza dell'apprendimento stesso.
E, approfondendo il concetto di apprendimento, arriviamo all'idea che sia l'intelligenza artificiale che i nostri cervelli possiedono una tendenza innata a imparare come imparare.
Questo suggerisce l'esistenza di un meccanismo che può essere chiamato un "frameworker nato".
Apprendimento attraverso il corpo vs. Apprendimento attraverso il linguaggio
Impariamo a conoscere il mondo che ci circonda ed espandiamo le nostre capacità osservando le cose con i nostri occhi e muovendo i nostri corpi.
Questa è anche una forma di apprendimento, che può essere chiamata apprendimento attraverso il corpo.
D'altra parte, quando le persone parlano generalmente di apprendimento, probabilmente immaginano di aumentare le proprie conoscenze leggendo libri di testo o ascoltando le spiegazioni di un insegnante.
Oltre a tale apprendimento basato su un curriculum, acquisiamo anche varie conoscenze da conversazioni con amici, notizie online e così via.
Questo tipo di apprendimento non riguarda la memorizzazione visiva di immagini o l'apprendimento attraverso il movimento del proprio corpo; è apprendimento attraverso il linguaggio.
Apprendimento Sub-fisico e Apprendimento Metafisico
Nell'apprendimento attraverso il linguaggio, ci sono casi in cui le informazioni possono essere memorizzate solo tramite ripetizione reiterata, e casi in cui possono essere memorizzate dopo averle ascoltate una o poche volte.
In alternativa, esiste una conoscenza che, anche se i dettagli non vengono ricordati, può essere utilizzata recuperandoli da una libreria o da internet al momento necessario.
Nel senso di acquisire conoscenza e utilizzarla appropriatamente quando necessario, entrambi questi schemi possono essere chiamati apprendimento.
Di questi, la conoscenza che può essere memorizzata solo tramite ripetizione reiterata può essere chiamata conoscenza sub-fisica. Il processo di apprendimento per questa è l'apprendimento sub-fisico, che implica la memorizzazione dei concetti stessi.
Questo è simile all'apprendimento fisico, dove si impara ripetutamente vedendo oggetti con gli occhi o muovendo il proprio corpo. Anche questi possono essere classificati come apprendimento sub-fisico.
D'altra parte, l'acquisizione di conoscenza che può essere memorizzata con meno ripetizioni, o ricercata e utilizzata sul momento, può essere chiamata apprendimento metafisico.
In questo caso, i concetti pre-appresi acquisiti tramite apprendimento sub-fisico possono essere utilizzati per apprendere la conoscenza come tipi di quei concetti o come combinazioni di concetti.
Poiché i concetti già acquisiti tramite apprendimento sub-fisico possono essere utilizzati, l'apprendimento metafisico non richiede ripetizione.
Apprendimento Automatico del Linguaggio Naturale
Applichiamo questo all'apprendimento automatico nell'intelligenza artificiale.
Generalmente, le reti neurali utilizzate nell'apprendimento automatico eseguono un apprendimento sub-fisico, che implica l'apprendimento ripetuto di concetti.
D'altra parte, i modelli linguistici di grandi dimensioni (Large Language Models), capaci di elaborazione del linguaggio naturale simile a quella umana, possono eseguire l'apprendimento attraverso il linguaggio.
Durante il pre-addestramento e il fine-tuning dei modelli linguistici di grandi dimensioni, avviene un apprendimento sub-fisico attraverso il linguaggio.
Inoltre, un modello linguistico di grandi dimensioni pre-addestrato può rispondere utilizzando le conoscenze contenute nella frase di input, eseguendo così un apprendimento metafisico immediato.
Grazie a questa capacità di apprendimento metafisico attraverso il linguaggio, i modelli linguistici di grandi dimensioni possono utilizzare nuove conoscenze senza apprendimento ripetitivo.
Questo può essere chiamato apprendimento automatico del linguaggio naturale, in contrasto con il tradizionale apprendimento automatico numerico che aggiusta iterativamente i parametri del modello.
Il Linguaggio Naturale come Interfaccia Metafisica
Il linguaggio naturale si trova all'interfaccia che separa l'apprendimento sub-fisico da quello metafisico.
L'aspetto affascinante del linguaggio naturale è che può essere acquisito tramite apprendimento sub-fisico e, in aggiunta, abilita l'apprendimento metafisico.
Interfacce Metafisiche Diverse dal Linguaggio Naturale
In realtà, anche nell'apprendimento fisico, esistono sia l'apprendimento sub-fisico che quello metafisico. Ad esempio, una persona abile nello sport può adattarsi rapidamente a un nuovo gioco che incontra per la prima volta.
Allo stesso modo, una persona esperta in biologia può comprendere immediatamente le caratteristiche di una nuova specie quando la vede.
Quindi, anche nell'apprendimento fisico, esistono interfacce metafisiche che occupano una posizione simile a quella del linguaggio naturale.
Framework
A queste interfacce si trovano dei framework che, distinti dai concetti o conoscenze elementari, definiscono le loro relazioni e strutture, o permettono nuove strutturazioni.
Man mano che una varietà di conoscenze sub-fisiche viene acquisita tramite l'apprendimento sub-fisico, può essere possibile apprendere il framework all'interfaccia metafisica dalle connessioni tra i singoli pezzi di conoscenza sub-fisica.
I framework acquisiti tramite apprendimento fisico consentono di apprendere immediatamente nuove conoscenze in modo metafisico dopo l'acquisizione. Tuttavia, non è facile trasmettere agli altri la conoscenza acquisita tramite questo apprendimento metafisico.
D'altra parte, il framework acquisito tramite l'apprendimento per mezzo del linguaggio è il linguaggio naturale stesso.
Pertanto, la conoscenza acquisita tramite apprendimento metafisico, dopo aver appreso il framework del linguaggio naturale, può essere direttamente immessa nell'apprendimento per mezzo del linguaggio di altre persone.
Questo non si applica solo alle conoscenze in cui l'apprendimento tramite il linguaggio, come libri di testo o notizie online, è fondamentale.
Un calciatore esperto, giocando a baseball per la prima volta, potrebbe essere in grado di trasmettere le conoscenze metafisiche acquisite sul baseball ad altri calciatori attraverso le parole. Ciò significa che se le persone condividono la stessa conoscenza sub-fisica, i cosiddetti "consigli" o il know-how possono essere comunicati verbalmente.
Inoltre, si potrebbe condividere la conoscenza su una specie appena scoperta che si è vista con altri biologi attraverso le parole.
Così, il linguaggio naturale si rivela essere un framework molto potente all'interfaccia metafisica.
Framework Virtuali
Al di sopra del linguaggio naturale, si possono acquisire altri framework.
Questi sono framework specifici di dominio o framework formali.
All'interno di vari campi accademici, settori aziendali e nella vita quotidiana, esistono diversi framework specifici di dominio.
Gli studiosi, operando all'interno del framework della loro specialità, possono fare nuove scoperte e trasmettere facilmente tale conoscenza ad altri studiosi che possiedono lo stesso framework.
Il framework stesso può talvolta essere espresso in linguaggio naturale, nel qual caso può essere appreso e compreso da persone o modelli linguistici di grandi dimensioni che possiedono il framework del linguaggio naturale.
I modelli di business e le ricette di cucina sono anche esempi di tali framework specifici di dominio che possono essere espressi in linguaggio naturale.
Inoltre, formule matematiche, linguaggi di programmazione e framework di analisi aziendale sono framework formali.
Anche questi possono avere i loro framework espressi o spiegati in linguaggio naturale.
Questi framework specifici di dominio e formali costruiti sul linguaggio naturale possono essere chiamati framework virtuali.
Questo è facile da capire se si immagina una macchina virtuale che esegue un sistema operativo diverso su un computer fisico. Un altro framework funziona sopra il framework fondamentale del linguaggio naturale.
Framework Nativi
Inoltre, mentre questi framework virtuali inizialmente devono essere compresi tramite il linguaggio naturale, man mano che ci si abitua ad essi, iniziano a bypassare la spiegazione e la comprensione del linguaggio naturale, funzionando direttamente come un framework di interfaccia metafisica costruito sulla conoscenza sub-fisica.
Questo può essere chiamato un framework nativo.
Il linguaggio naturale è, in un certo senso, anch'esso un framework nativo, ma solo per quanto riguarda la propria lingua madre. Generalmente, le lingue diverse dalla propria lingua madre vengono acquisite come framework virtuali. Man mano che la competenza aumenta, si avvicinano a diventare framework nativi.
Lo stesso vale per i framework specifici di dominio e formali. I matematici possono comunicare nativamente usando formule matematiche, e i programmatori possono comprendere le intenzioni reciproche unicamente attraverso il codice sorgente senza commenti.
Ciò suggerisce che la progressione da framework virtuali a nativi può essere applicata anche ai modelli linguistici di grandi dimensioni.
L'idea di rilevare i framework virtuali usati frequentemente, generare una grande quantità di dati di esempio usando tali framework, e poi ottimizzarli per farli diventare framework nativi, vale la pena di essere provata immediatamente.
Frameworker Nativi
Considerando questo, ci si rende conto che durante il pre-addestramento dei modelli linguistici di grandi dimensioni, non solo nel fine-tuning, c'è la possibilità che stiano apprendendo anche framework specifici di dominio e formali.
E in quel processo, è concepibile che, invece di apprendere nativamente i framework specifici di dominio o formali fin dall'inizio, essi apprendano prima il framework del linguaggio naturale, e poi, durante o dopo averlo padroneggiato, apprendano i framework specifici di dominio e formali, rendendoli nativi.
Approfondendo questo apprendimento graduale dei framework, è anche concepibile che l'apprendimento del linguaggio naturale stesso sia una pipeline parallela di apprendimento graduale dei framework a grana molto fine.
In altre parole, dalla massa enorme di testo fornita come dati di addestramento durante il pre-addestramento, i modelli linguistici di grandi dimensioni potrebbero non solo apprendere singoli concetti, ma anche alcune regole molto semplici del linguaggio naturale come framework. Quindi, usando questi semplici framework come base, apprendono ripetutamente regole leggermente più complesse.
Questo permetterebbe loro di progredire da una fase in cui hanno inizialmente appreso i concetti delle parole alla memorizzazione di parole composte e della grammatica di base, e poi alla comprensione delle frasi, e all'apprendimento di cose complesse come le tecniche di scrittura e di espressione.
Questo può essere inteso come un modello in cui apprendono i framework in modo graduale e complesso, utilizzando un framework come base per l'apprendimento del successivo.
Questo mette in evidenza i modelli linguistici di grandi dimensioni come "frameworker nati", che possiedono un meccanismo per apprendere i framework fin dall'inizio.
Meccanismo di Attenzione
La tecnologia che concretizza il "frameworker nato" è il meccanismo di attenzione.
Il meccanismo di attenzione è simile alla selezione di token rilevanti da un contesto. Chiarisce le relazioni tra i token. Questa è precisamente la natura di un framework: astrarre mantenendo concetti importanti e chiarendo le relazioni tra di essi.
Commutando questa selezione per ogni token, consente un cambio dinamico dei framework.
Ciò ci permette di spiegare perché il meccanismo di attenzione è una tecnologia che determina l'evoluzione dei modelli linguistici di grandi dimensioni, utilizzando il modello del "frameworker nato".
Conclusione
Se questo meccanismo si verifica effettivamente durante il processo di pre-addestramento dei modelli linguistici di grandi dimensioni, allora i meccanismi precedentemente misteriosi di questi modelli possono essere spiegati.
Questi includono l'apprendimento sub-fisico e metafisico qui discussi, i framework come interfacce metafisiche, il linguaggio naturale che abilita l'apprendimento tramite il linguaggio e i framework virtuali, e il meccanismo di attenzione che realizza il "frameworker nato".
Inoltre, da ciò emergono due ulteriori punti.
Primo, il linguaggio naturale ha una struttura altamente adatta per internalizzare progressivamente framework complessi da quelli più semplici.
Se il linguaggio naturale è apparso inizialmente nella società umana in una forma semplice ed è cresciuto gradualmente fino a possedere una struttura più complessa e ricca, questa è una conseguenza naturale.
Inoltre, sarebbe vantaggioso che fosse strutturato in modo da consentire un apprendimento rapido. Supponendo che più società con diverse lingue naturali fossero in competizione, si forma facilmente l'ipotesi che le lingue naturali più adatte all'apprendimento stiano attualmente sopravvivendo.
Riflettere su questa natura del linguaggio naturale porta al secondo suggerimento: che anche noi esseri umani siamo "frameworker nati".
Anche se le specifiche basi e i meccanismi sottostanti differiscono, anche i nostri cervelli devono essere dotati di un meccanismo, simile al meccanismo di attenzione, che consenta l'apprendimento graduale e l'adattamento flessibile dei framework.