L'intelligence artificielle acquiert un comportement intelligent grâce à une technologie appelée apprentissage automatique.
Bien que cet apprentissage soit effectué selon des procédures développées par les humains, la raison pour laquelle l'intelligence émerge de ces procédures et de la structure de l'intelligence artificielle n'a pas encore été expliquée.
Dans cet article, j'explorerai les raisons pour lesquelles l'intelligence apparaît en considérant l'essence même de l'apprentissage.
Et à mesure que nous approfondissons le concept d'apprentissage, nous arrivons à l'idée que l'intelligence artificielle et nos cerveaux possèdent tous deux une tendance innée à apprendre comment apprendre.
Cela suggère l'existence d'un mécanisme que l'on pourrait appeler un "architecte de cadres né".
L'apprentissage par le corps vs. l'apprentissage par le langage
Nous apprenons le monde qui nous entoure et élargissons nos capacités en observant les choses avec nos yeux et en bougeant notre corps.
C'est aussi une forme d'apprentissage, que l'on peut appeler l'apprentissage par le corps.
D'autre part, lorsque les gens parlent généralement d'apprentissage, ils imaginent probablement acquérir des connaissances en lisant des manuels ou en écoutant les explications d'un enseignant.
En plus de cet apprentissage basé sur un programme scolaire, nous acquérons également diverses connaissances à partir de conversations avec des amis, de nouvelles en ligne, et ainsi de suite.
Ce type d'apprentissage ne consiste pas à mémoriser des images visuellement ou à apprendre en bougeant son corps ; il s'agit d'un apprentissage par le langage.
Apprentissage Sub-physique et Apprentissage Métaphysique
Parmi l'apprentissage par le langage, il y a des cas où l'information ne peut être mémorisée que par une répétition répétée, et des cas où elle peut être mémorisée après l'avoir entendue une ou quelques fois.
Alternativement, il existe des connaissances qui, même si les détails ne sont pas retenus, peuvent être utilisées en les récupérant d'une étagère ou d'Internet au moment nécessaire.
Dans le sens d'acquérir des connaissances et de les utiliser de manière appropriée quand on en a besoin, ces deux modèles peuvent être appelés apprentissage.
Parmi ceux-ci, la connaissance qui ne peut être mémorisée que par une répétition répétée peut être appelée connaissance sub-physique. Le processus d'apprentissage pour cela est l'apprentissage sub-physique, qui implique la mémorisation des concepts eux-mêmes.
Ceci est similaire à l'apprentissage physique, où l'on apprend de manière répétée en regardant des objets avec ses yeux ou en bougeant son corps. Ceux-ci peuvent également être classés comme apprentissage sub-physique.
D'autre part, l'acquisition de connaissances qui peuvent être mémorisées avec moins de répétitions, ou recherchées et utilisées sur-le-champ, peut être appelée apprentissage métaphysique.
Dans ce cas, les concepts pré-appris acquis par l'apprentissage sub-physique peuvent être utilisés pour apprendre des connaissances en tant que types de ces concepts ou en tant que combinaisons de concepts.
Étant donné que les concepts déjà acquis par l'apprentissage sub-physique peuvent être utilisés, l'apprentissage métaphysique ne nécessite pas de répétition.
Apprentissage automatique du langage naturel
Appliquons cela à l'apprentissage automatique dans le domaine de l'intelligence artificielle.
Généralement, les réseaux neuronaux utilisés en apprentissage automatique réalisent un apprentissage sub-physique, ce qui implique l'apprentissage répétitif de concepts.
D'autre part, les grands modèles linguistiques, capables de traiter le langage naturel de manière similaire aux humains, peuvent réaliser un apprentissage par le langage.
Lors de la pré-formation et de l'affinage (fine-tuning) des grands modèles linguistiques, un apprentissage sub-physique par le langage a lieu.
De plus, un grand modèle linguistique pré-entraîné peut répondre en utilisant les connaissances contenues dans la phrase d'entrée, réalisant ainsi un apprentissage métaphysique immédiat.
Grâce à cette capacité d'apprentissage métaphysique par le langage, les grands modèles linguistiques peuvent utiliser de nouvelles connaissances sans apprentissage répétitif.
Cela peut être appelé apprentissage automatique du langage naturel, par opposition à l'apprentissage automatique numérique traditionnel qui ajuste itérativement les paramètres du modèle.
Le Langage Naturel comme Interface Métaphysique
Le langage naturel se situe à l'interface qui sépare l'apprentissage sub-physique et l'apprentissage métaphysique.
L'aspect fascinant du langage naturel est qu'il peut être acquis par l'apprentissage sub-physique, et qu'en plus, il permet l'apprentissage métaphysique.
Interfaces Métaphysiques Autres Que Le Langage Naturel
En réalité, même dans l'apprentissage physique, il existe à la fois l'apprentissage sub-physique et l'apprentissage métaphysique. Par exemple, une personne douée en sport peut rapidement s'adapter à un nouveau jeu qu'elle rencontre pour la première fois.
De même, quelqu'un qui a des connaissances en biologie peut immédiatement comprendre les caractéristiques d'une nouvelle espèce lorsqu'il la voit.
Ainsi, dans l'apprentissage physique également, il existe des interfaces métaphysiques qui occupent une position similaire à celle du langage naturel.
Cadres (Frameworks)
À ces interfaces se trouvent des cadres qui, distincts des concepts ou connaissances élémentaires, définissent leurs relations et structures, ou permettent une nouvelle structuration.
À mesure qu'une variété de connaissances sub-physiques est acquise par l'apprentissage sub-physique, il peut être possible d'apprendre le cadre à l'interface métaphysique à partir des connexions entre les éléments de connaissance sub-physique.
Les cadres acquis par l'apprentissage physique permettent que de nouvelles connaissances soient immédiatement apprises métaphysiquement après leur acquisition. Cependant, il n'est pas facile de transmettre à d'autres les connaissances acquises par cet apprentissage métaphysique.
D'autre part, le cadre acquis par l'apprentissage par le langage est le langage naturel lui-même.
Par conséquent, les connaissances acquises par l'apprentissage métaphysique, après avoir appris le cadre du langage naturel, peuvent être directement intégrées dans l'apprentissage par le langage d'autres personnes.
Cela ne s'applique pas seulement aux connaissances pour lesquelles l'apprentissage par le langage, comme les manuels scolaires ou les nouvelles en ligne, est fondamental.
Un joueur de football expérimenté, jouant au baseball pour la première fois, pourrait être capable de transmettre les connaissances métaphysiques acquises sur le baseball à d'autres joueurs de football par des mots. Cela signifie que si les gens partagent les mêmes connaissances sub-physiques, les soi-disant "astuces" ou le savoir-faire peuvent être communiqués verbalement.
De plus, on pourrait partager des connaissances sur une espèce nouvellement découverte dont on a été témoin avec d'autres biologistes par des mots.
Ainsi, le langage naturel se révèle être un cadre très puissant à l'interface métaphysique.
Cadres Virtuels
Au-dessus du langage naturel, on peut acquérir d'autres cadres.
Ce sont des cadres spécifiques à un domaine ou des cadres formels.
Dans divers domaines académiques, secteurs d'activité et la vie quotidienne, il existe des cadres spécifiques à un domaine très variés.
Les universitaires, opérant au sein du cadre de leur spécialité, peuvent faire de nouvelles découvertes et transmettre facilement ces connaissances à d'autres universitaires qui possèdent le même cadre.
Le cadre lui-même peut parfois être exprimé en langage naturel, auquel cas il peut être appris et compris par les personnes ou les grands modèles linguistiques qui possèdent le cadre du langage naturel.
Les modèles commerciaux et les recettes de cuisine sont également des exemples de cadres spécifiques à un domaine qui peuvent être exprimés en langage naturel.
De plus, les formules mathématiques, les langages de programmation et les cadres d'analyse commerciale sont des cadres formels.
Ceux-ci peuvent également avoir leurs cadres exprimés ou expliqués en langage naturel.
Ces cadres spécifiques à un domaine et formels, construits sur le langage naturel, peuvent être appelés cadres virtuels.
C'est facile à comprendre si vous imaginez une machine virtuelle exécutant un système d'exploitation différent sur un ordinateur physique. Un autre cadre fonctionne par-dessus le cadre fondamental du langage naturel.
Cadres Natifs
De plus, si ces cadres virtuels doivent initialement être compris via le langage naturel, à mesure que l'on s'y habitue, ils commencent à contourner l'explication et la compréhension par le langage naturel, fonctionnant directement comme un cadre d'interface métaphysique construit sur la connaissance sub-physique.
Ceci peut être appelé un cadre natif.
Le langage naturel est, en un sens, également un cadre natif, mais seulement en ce qui concerne sa langue maternelle. Généralement, les langues autres que sa langue maternelle sont acquises comme des cadres virtuels. À mesure que la maîtrise s'améliore, elles se rapprochent de devenir des cadres natifs.
Il en va de même pour les cadres spécifiques à un domaine et les cadres formels. Les mathématiciens peuvent communiquer de manière native en utilisant des formules mathématiques, et les programmeurs peuvent comprendre les intentions des uns et des autres uniquement par le code source sans commentaires.
Ceci suggère que la progression des cadres virtuels aux cadres natifs peut également être appliquée aux grands modèles linguistiques.
L'idée de détecter les cadres virtuels fréquemment utilisés, de générer une grande quantité de données d'exemple en utilisant ces cadres, puis de les affiner pour qu'ils deviennent des cadres natifs, mérite d'être expérimentée immédiatement.
Architectes de Cadres Nés (Natural Born Frameworkers)
En considérant cela, on réalise que pendant le pré-entraînement des grands modèles linguistiques, et pas seulement lors de l'affinage, il est possible qu'ils apprennent également des cadres spécifiques à un domaine et des cadres formels.
Et dans ce processus, il est concevable qu'au lieu d'apprendre nativement des cadres spécifiques à un domaine ou des cadres formels dès le début, ils apprennent d'abord le cadre du langage naturel, puis, soit pendant ou après sa maîtrise, ils apprennent les cadres spécifiques à un domaine et les cadres formels, les rendant ainsi natifs.
En approfondissant cet apprentissage de cadres par étapes, il est également concevable que l'apprentissage du langage naturel lui-même soit un pipeline parallèle d'apprentissage de cadres par étapes très finement granulé.
En d'autres termes, à partir de la quantité massive de texte fournie comme données d'entraînement pendant le pré-entraînement, les grands modèles linguistiques pourraient non seulement apprendre des concepts individuels, mais aussi quelques règles très simples du langage naturel comme cadre. Ensuite, en utilisant ces cadres simples comme fondation, ils apprennent de manière répétée des règles légèrement plus complexes.
Cela leur permettrait de progresser d'un stade où ils apprenaient initialement les concepts de mots à la mémorisation de mots composés et de la grammaire de base, puis à la compréhension de phrases, et à l'apprentissage de choses complexes comme l'écriture et les techniques d'expression.
Cela peut être compris comme un modèle où ils apprennent des cadres de manière progressive et complexe, en utilisant un cadre comme fondation pour apprendre le suivant.
Cela met en lumière les grands modèles linguistiques en tant qu'« architectes de cadres nés », possédant un mécanisme pour apprendre les cadres dès le début.
Mécanisme d'Attention
La technologie qui concrétise l'architecte de cadres né est le mécanisme d'attention.
Le mécanisme d'attention est similaire à la sélection de jetons pertinents à partir d'un contexte. Il clarifie les relations entre les jetons. C'est précisément la nature d'un cadre : abstraire en conservant les concepts importants tout en clarifiant les relations entre eux.
En commutant cette sélection pour chaque jeton, il permet un basculement dynamique des cadres.
Cela nous permet d'expliquer pourquoi le mécanisme d'attention est une technologie qui détermine l'évolution des grands modèles linguistiques, en utilisant le modèle de l'architecte de cadres né.
Conclusion
Si ce mécanisme se produit effectivement pendant le processus de pré-entraînement des grands modèles linguistiques, alors les mécanismes auparavant mystérieux de ces modèles peuvent être expliqués.
Cela inclut l'apprentissage sub-physique et métaphysique discuté ici, les cadres en tant qu'interfaces métaphysiques, le langage naturel permettant l'apprentissage par le langage et les cadres virtuels, ainsi que le mécanisme d'attention qui réalise l'architecte de cadres né.
De plus, deux points supplémentaires en découlent.
Premièrement, le langage naturel possède une structure très adaptée pour internaliser progressivement des cadres complexes à partir de cadres plus simples.
Si le langage naturel est apparu initialement dans la société humaine sous une forme simple et a progressivement évolué pour posséder une structure plus complexe et riche, c'est une conséquence naturelle.
De plus, il serait avantageux qu'il soit structuré de manière à permettre un apprentissage rapide. En supposant que plusieurs sociétés avec des langages naturels différents étaient en compétition, l'hypothèse que les langages naturels mieux adaptés à l'apprentissage survivent actuellement se forme facilement.
Réfléchir à cette nature du langage naturel mène à la deuxième suggestion : que nous, les humains, sommes aussi des architectes de cadres nés.
Même si les fondations et les mécanismes sous-jacents spécifiques diffèrent, nos cerveaux doivent également être équipés d'un mécanisme, similaire au mécanisme d'attention, qui permet l'apprentissage par étapes et l'adaptation flexible des cadres.