L'intelligence artificielle peut manifester un comportement intelligent grâce à la technologie de l'apprentissage automatique.
Bien que ce processus d'apprentissage suive des procédures développées par les humains, il n'est pas encore entièrement expliqué pourquoi l'intelligence émerge de ces procédures et de la structure de l'intelligence artificielle.
Dans cet article, en contemplant l'essence de l'apprentissage, je cherche à explorer les raisons de l'émergence de l'intelligence.
À mesure que nous approfondissons le concept d'apprentissage, nous en venons à l'idée que l'intelligence artificielle et nos cerveaux possèdent une nature inhérente à apprendre à apprendre.
Cela suggère l'existence d'un mécanisme que l'on peut nommer Concepteur de cadre inné.
L'apprentissage par le corps et l'apprentissage par le langage
Nous parvenons à comprendre le monde qui nous entoure et à étendre nos capacités en observant les objets avec nos yeux et en bougeant notre corps.
Il s'agit là aussi d'une forme d'apprentissage, que l'on peut qualifier d'apprentissage par le corps.
D'autre part, lorsque nous pensons généralement à l'apprentissage, nous imaginons l'acquisition de connaissances en lisant des manuels ou en écoutant les explications d'un enseignant.
Au-delà de l'apprentissage basé sur ces programmes éducatifs, nous acquérons également des connaissances diverses à travers des conversations avec des amis, les actualités en ligne et d'autres sources.
Ce type d'apprentissage ne consiste pas à mémoriser visuellement des images ou à apprendre par le mouvement physique, mais plutôt à l'apprentissage par le langage.
Apprentissage métacognitif et Apprentissage métaphysique
Dans le cadre de l'apprentissage basé sur le langage, il existe des cas où les connaissances nécessitent une itération répétée pour être mémorisées, et des cas où elles peuvent être acquises après une seule ou quelques expositions.
Alternativement, certaines connaissances peuvent être utilisées en récupérant leurs détails depuis une étagère ou Internet si nécessaire, même si elles ne sont pas entièrement mémorisées.
Au sens d'acquérir et d'utiliser les connaissances de manière appropriée quand cela est requis, ces deux schémas peuvent être considérés comme un apprentissage.
Parmi ceux-ci, les connaissances qui ne peuvent être mémorisées sans itérations répétées peuvent être qualifiées de connaissances métacognitives. Le processus d'apprentissage du concept lui-même est l'apprentissage métacognitif.
C'est similaire à l'apprentissage physique, où la répétition est impliquée dans le fait de voir des objets avec nos yeux ou de bouger notre corps. Ceux-ci peuvent également être classés comme apprentissage métacognitif.
Inversement, l'acquisition de connaissances pouvant être mémorisées en peu d'essais ou utilisées en les consultant sur-le-champ peut être appelée apprentissage métaphysique.
Dans ce cas, les concepts pré-appris acquis par l'apprentissage métacognitif peuvent être utilisés pour acquérir de nouvelles connaissances en tant que types de ces concepts ou en tant que combinaisons de concepts.
Étant donné que les concepts déjà maîtrisés par l'apprentissage métacognitif peuvent être utilisés, l'apprentissage métaphysique ne nécessite pas de répétition.
Apprentissage automatique du langage naturel
Appliquons cela à l'apprentissage automatique en intelligence artificielle.
Généralement, les réseaux neuronaux utilisés en apprentissage automatique réalisent un apprentissage métacognitif, qui implique un apprentissage répétitif de concepts.
D'autre part, les grands modèles linguistiques capables de traitement du langage naturel similaire à celui des humains peuvent effectuer un apprentissage par le langage.
Durant le pré-entraînement et le réglage fin des grands modèles linguistiques, un apprentissage métacognitif basé sur le langage a lieu.
Un grand modèle linguistique entraîné peut alors répondre en utilisant les connaissances contenues dans la phrase d'entrée, ce qui signifie qu'il effectue un apprentissage métaphysique immédiat.
Cette capacité d'apprentissage métaphysique basé sur le langage permet aux grands modèles linguistiques d'utiliser de nouvelles connaissances sans apprentissage répétitif.
Ceci peut être opposé à l'apprentissage automatique numérique traditionnel, qui ajuste itérativement les paramètres du modèle, et peut être qualifié d'apprentissage automatique du langage naturel.
Le langage naturel comme interface métaphysique
Le langage naturel est situé à l'interface qui distingue l'apprentissage métacognitif de l'apprentissage métaphysique.
L'aspect intéressant du langage naturel est qu'il peut être acquis par l'apprentissage métacognitif, et qu'à partir de lui, l'apprentissage métaphysique devient possible.
Interfaces métaphysiques autres que le langage naturel
En fait, l'apprentissage métacognitif et l'apprentissage métaphysique existent également dans l'apprentissage physique. Par exemple, une personne douée en sport peut rapidement s'adapter à un nouveau sport qu'elle n'a jamais pratiqué.
De même, une personne ayant des connaissances en biologie peut immédiatement comprendre les caractéristiques d'une nouvelle espèce lorsqu'elle la voit.
Ainsi, même dans l'apprentissage physique, il existe une interface métaphysique qui occupe une position similaire à celle du langage naturel.
Cadre
Ce qui se trouve à ces interfaces est un cadre distinct des concepts ou connaissances élémentaires ; il définit leurs relations et structures, et permet une nouvelle structuration.
À mesure que diverses connaissances métacognitives sont acquises par l'apprentissage métacognitif, il est parfois possible d'apprendre le cadre à l'interface métaphysique à partir des connexions entre ces éléments de connaissances métacognitives.
Un cadre dérivé de l'apprentissage physique permet l'acquisition immédiate de nouvelles connaissances par l'apprentissage métaphysique après sa maîtrise. Cependant, les connaissances acquises par un tel apprentissage métaphysique ne sont pas facilement communicables à autrui.
D'autre part, le cadre dérivé de l'apprentissage par le langage est le langage naturel lui-même.
Par conséquent, les connaissances acquises par l'apprentissage métaphysique en apprenant le cadre du langage naturel peuvent être directement intégrées dans l'acquisition du langage d'une autre personne.
Ceci ne s'applique pas seulement aux connaissances principalement basées sur l'acquisition du langage, comme les manuels scolaires ou les actualités en ligne.
Un joueur de football expérimenté essayant le baseball pour la première fois pourrait être capable d'articuler la connaissance métaphysique du baseball qu'il a acquise et de la transmettre à d'autres joueurs de football expérimentés. Cela signifie que si les gens partagent la même connaissance métacognitive, ils peuvent communiquer ce que l'on appelle des "trucs" ou des "astuces" à l'aide de mots.
De plus, on pourrait transmettre verbalement des connaissances sur une nouvelle espèce observée à d'autres biologistes, partageant ainsi cette connaissance.
Ainsi, le langage naturel se révèle être un cadre très puissant situé à l'interface métaphysique.
Cadre virtuel
Au-dessus du langage naturel, un autre cadre peut être acquis.
Ceux-ci incluent les cadres spécifiques à un domaine ou les cadres métaphysiques.
Dans diverses disciplines universitaires, secteurs d'activités et la vie quotidienne, il existe une multitude de cadres spécifiques à un domaine.
Les chercheurs peuvent faire de nouvelles découvertes au sein de leurs cadres spécialisés et transmettre facilement ces découvertes sous forme de connaissances à d'autres chercheurs qui possèdent le même cadre.
Le cadre lui-même peut parfois être exprimé en langage naturel, auquel cas les individus ou les grands modèles linguistiques possédant un cadre de langage naturel peuvent l'acquérir et le comprendre.
Les modèles commerciaux et les recettes de cuisine sont également des exemples de ces cadres spécifiques à un domaine qui peuvent être exprimés en langage naturel.
De plus, les formules mathématiques, les langages de programmation et les cadres d'analyse commerciale sont des cadres formels.
Ceux-ci peuvent également être exprimés ou expliqués en langage naturel.
De tels cadres spécifiques à un domaine et cadres formels construits sur le langage naturel peuvent être appelés cadres virtuels.
Ceci peut être facilement compris en imaginant une machine virtuelle exécutant un autre système d'exploitation sur un ordinateur physique. Un autre cadre fonctionne au-dessus du langage naturel, qui sert de cadre fondamental.
Cadre natif
Initialement, ce cadre virtuel doit être appréhendé par le langage naturel, mais avec la pratique, il contourne l'explication et la compréhension via le langage naturel et commence à fonctionner directement comme un cadre d'interface métaphysique bâti sur les connaissances métacognitives.
On peut appeler cela un cadre natif.
Le langage naturel est, dans un certain sens, un cadre natif, mais uniquement dans le cas de la langue maternelle. Généralement, les langues autres que la langue maternelle sont acquises comme des cadres virtuels. À mesure que la maîtrise progresse, elles s'approchent du statut de cadre natif.
Il en va de même pour les cadres spécifiques à un domaine et les cadres formels. Les mathématiciens peuvent communiquer nativement entre eux en utilisant des formules mathématiques, et les programmeurs peuvent se comprendre mutuellement les intentions uniquement par le code source sans commentaires.
Ceci suggère que la transition d'un cadre virtuel à un cadre natif peut également être appliquée aux grands modèles linguistiques.
L'idée de détecter les cadres virtuels fréquemment utilisés, de générer une grande quantité de données d'exemple en utilisant ces cadres virtuels, puis de les affiner (réglage fin) pour qu'ils deviennent des cadres natifs mériterait d'être tentée immédiatement.
Concepteur de cadre inné
En considérant cela, nous réalisons que les grands modèles linguistiques pourraient apprendre ces cadres spécialisés et formels non seulement pendant le réglage fin, mais aussi pendant le pré-entraînement.
De plus, dans ce processus, il est plausible qu'ils n'apprennent pas les cadres spécialisés ou formels de manière native dès le départ. Au lieu de cela, ils apprennent d'abord le cadre du langage naturel, puis, pendant ou après avoir atteint la maîtrise de celui-ci, ils apprennent les cadres spécialisés ou formels et les assimilent en cadres natifs.
En approfondissant cette idée d'apprentissage incrémental des cadres, il est également concevable que l'apprentissage du langage naturel lui-même soit un pipeline parallèle d'apprentissage de cadres hautement granulaire et incrémental.
C'est-à-dire que, à partir de la vaste quantité de texte fournie comme données d'apprentissage pendant le pré-entraînement, les grands modèles linguistiques pourraient apprendre non seulement des concepts individuels, mais aussi des règles très simples du langage naturel en tant que cadres. Ensuite, en utilisant ces cadres simples comme fondation, ils pourraient apprendre de manière répétée des règles légèrement plus complexes.
De cette manière, en partant de l'étape d'apprentissage des concepts de mots individuels, ils devraient être capables d'acquérir des mots composés et la grammaire de base, puis de comprendre des phrases, et finalement d'apprendre des éléments complexes tels que les techniques littéraires et les styles expressifs.
Cela peut être compris comme un modèle d'apprentissage des cadres superposés et composites, où un cadre sert de fondation pour l'apprentissage du suivant.
Ceci met en lumière l'image des grands modèles linguistiques en tant que Concepteurs de cadre innés, possédant intrinsèquement le mécanisme d'apprentissage des cadres dès le début.
Mécanisme d'attention
La technologie qui concrétise le Concepteur de cadre inné est le mécanisme d'attention.
Le mécanisme d'attention est comparable à la sélection de jetons sur lesquels il faut se concentrer au sein d'un contexte. Il clarifie les relations entre les jetons. C'est précisément la nature même d'un cadre : abstraire en retenant les concepts importants tout en clarifiant les relations entre ces concepts.
En modifiant cette sélection pour chaque jeton, il devient également possible de changer dynamiquement de cadre.
Cela nous permet d'expliquer pourquoi le mécanisme d'attention est une technologie décisive pour l'évolution des grands modèles linguistiques, en utilisant le modèle du Concepteur de cadre inné.
Conclusion
Si ce mécanisme se produit effectivement pendant le processus de pré-entraînement des grands modèles linguistiques, alors le mécanisme auparavant énigmatique de ces modèles devient explicable.
Cette explication englobe l'apprentissage métacognitif et métaphysique dont nous avons discuté, le cadre en tant qu'interface métaphysique, le langage naturel permettant l'acquisition du langage et les cadres virtuels, ainsi que le mécanisme d'attention qui réalise le Concepteur de cadre inné.
De plus, deux implications supplémentaires en découlent.
Premièrement, le langage naturel possède une structure très appropriée pour développer de manière incrémentielle des cadres complexes à partir de cadres simples en cadres natifs.
Si le langage naturel a d'abord émergé sous une forme simple au sein des sociétés humaines et a progressivement évolué pour posséder une structure plus complexe et riche, alors il s'agit d'une conséquence naturelle.
De plus, une structure permettant un apprentissage rapide serait avantageuse. En supposant que plusieurs sociétés avec divers langages naturels étaient en compétition, l'hypothèse selon laquelle le langage naturel le mieux adapté à l'apprentissage a survécu jusqu'à nos jours est facilement établie.
Une réflexion sur la nature du langage naturel conduit à la deuxième implication : que nous, les humains, sommes aussi des Concepteurs de cadre innés.
Même si les fondations et les mécanismes spécifiques diffèrent, nos cerveaux doivent également être équipés d'un système, similaire au mécanisme d'attention, qui apprend et modifie de manière flexible les cadres de manière incrémentielle.