A inteligência artificial adquire comportamento inteligente através de uma tecnologia chamada aprendizado de máquina.
Embora esse aprendizado seja realizado de acordo com procedimentos desenvolvidos por humanos, a razão pela qual a inteligência emerge desses procedimentos e da estrutura da inteligência artificial ainda não foi explicada.
Neste artigo, explorarei as razões pelas quais a inteligência surge, considerando a essência do próprio aprendizado.
E, à medida que nos aprofundamos no conceito de aprendizado, chegamos à ideia de que tanto a inteligência artificial quanto nossos cérebros possuem uma tendência inata para aprender a aprender.
Isso sugere a existência de um mecanismo que pode ser chamado de "estruturador nato" (natural born frameworker).
Aprendizagem Através do Corpo vs. Aprendizagem Através da Linguagem
Nós aprendemos sobre o mundo ao nosso redor e expandimos nossas capacidades ao ver as coisas com nossos olhos e mover nossos corpos.
Esta é também uma forma de aprendizagem, que pode ser chamada de aprendizagem através do corpo.
Por outro lado, quando as pessoas geralmente falam de aprendizagem, provavelmente imaginam aumentar o conhecimento lendo livros didáticos ou ouvindo as explicações de um professor.
Além desse tipo de aprendizagem baseada em currículo, também adquirimos vários conhecimentos de conversas com amigos, notícias online e assim por diante.
Esse tipo de aprendizagem não se trata de memorizar imagens visualmente ou aprender movendo o corpo; é aprendizagem através da linguagem.
Aprendizagem Subfísica e Aprendizagem Metafísica
Na aprendizagem através da linguagem, há casos em que a informação só pode ser memorizada por meio de repetição exaustiva, e casos em que pode ser memorizada após ouvi-la uma ou poucas vezes.
Alternativamente, há conhecimento que, mesmo que os detalhes não sejam lembrados, pode ser utilizado recuperando-o de uma estante de livros ou da internet no momento necessário.
No sentido de adquirir conhecimento e utilizá-lo apropriadamente quando necessário, ambos esses padrões podem ser chamados de aprendizagem.
Destes, o conhecimento que só pode ser memorizado por repetição exaustiva pode ser chamado de conhecimento subfísico. O processo de aprendizagem para isso é a aprendizagem subfísica, que envolve a memorização dos próprios conceitos.
Isso é semelhante à aprendizagem física, onde se aprende repetidamente vendo objetos com os olhos ou movendo o corpo. Estes também podem ser classificados como aprendizagem subfísica.
Por outro lado, a aquisição de conhecimento que pode ser memorizado com menos repetições, ou consultado e usado no local, pode ser chamada de aprendizagem metafísica.
Neste caso, conceitos pré-aprendidos adquiridos através da aprendizagem subfísica podem ser utilizados para aprender conhecimento como tipos desses conceitos ou como combinações de conceitos.
Como os conceitos já adquiridos através da aprendizagem subfísica podem ser utilizados, a aprendizagem metafísica não requer repetição.
Aprendizagem de Máquina por Linguagem Natural
Vamos aplicar isso ao aprendizado de máquina em inteligência artificial.
Geralmente, as redes neurais usadas no aprendizado de máquina realizam a aprendizagem subfísica, que envolve o aprendizado repetitivo de conceitos.
Por outro lado, os grandes modelos de linguagem, capazes de processar linguagem natural de forma similar aos humanos, podem realizar a aprendizagem através da linguagem.
Durante o pré-treinamento e o ajuste fino (fine-tuning) de grandes modelos de linguagem, ocorre a aprendizagem subfísica através da linguagem.
Além disso, um grande modelo de linguagem pré-treinado pode responder utilizando o conhecimento contido na frase de entrada, realizando assim uma aprendizagem metafísica imediata.
Graças a essa capacidade de aprendizagem metafísica através da linguagem, os grandes modelos de linguagem podem utilizar novos conhecimentos sem aprendizagem repetitiva.
Isso pode ser chamado de aprendizagem de máquina por linguagem natural, em contraste com o aprendizado de máquina numérico tradicional que ajusta iterativamente os parâmetros do modelo.
Linguagem Natural como Interface Metafísica
A linguagem natural situa-se na interface que separa a aprendizagem subfísica e a metafísica.
O aspeto fascinante da linguagem natural é que pode ser adquirida através da aprendizagem subfísica e, além disso, possibilita a aprendizagem metafísica.
Interfaces Metafísicas Além da Linguagem Natural
Na realidade, mesmo na aprendizagem física, existem tanto a aprendizagem subfísica quanto a metafísica. Por exemplo, alguém com habilidades desportivas pode adaptar-se rapidamente a um novo jogo que encontra pela primeira vez.
Da mesma forma, alguém com conhecimentos em biologia pode compreender imediatamente as características de uma nova espécie ao vê-la.
Assim, também na aprendizagem física, existem interfaces metafísicas que ocupam uma posição semelhante à da linguagem natural.
Estruturas (Frameworks)
Nessas interfaces, encontram-se estruturas (frameworks) que, distintas dos conceitos ou conhecimentos elementares, definem suas relações e estruturas, ou possibilitam novas estruturizações.
À medida que uma variedade de conhecimento subfísico é adquirida através da aprendizagem subfísica, pode ser possível aprender a estrutura na interface metafísica a partir das conexões entre as peças do conhecimento subfísico.
As estruturas adquiridas através da aprendizagem física permitem que novos conhecimentos sejam imediatamente aprendidos metafisicamente após a aquisição. No entanto, não é fácil transmitir o conhecimento obtido através dessa aprendizagem metafísica a outros.
Por outro lado, a estrutura adquirida através da aprendizagem por meio da linguagem é a própria linguagem natural.
Portanto, o conhecimento adquirido através da aprendizagem metafísica, após aprender a estrutura da linguagem natural, pode ser diretamente inserido na aprendizagem por meio da linguagem de outras pessoas.
Isso se aplica não apenas ao conhecimento onde a aprendizagem através da linguagem, como livros didáticos ou notícias online, é fundamental.
Um jogador de futebol experiente, jogando beisebol pela primeira vez, pode ser capaz de transmitir o conhecimento metafísico adquirido sobre beisebol a outros jogadores de futebol por meio de palavras. Isso significa que, se as pessoas compartilham o mesmo conhecimento subfísico, os chamados "macetes" ou know-how podem ser comunicados verbalmente.
Além disso, alguém poderia compartilhar conhecimento sobre uma espécie recém-descoberta que testemunhou com outros biólogos por meio de palavras.
Assim, a linguagem natural revela-se uma estrutura muito poderosa na interface metafísica.
Estruturas Virtuais (Virtual Frameworks)
Além da linguagem natural, é possível adquirir outras estruturas.
Estas são estruturas específicas de domínio ou estruturas formais.
Em várias áreas acadêmicas, setores de negócios e na vida diária, existem diversas estruturas específicas de domínio.
Estudiosos, operando dentro da estrutura de sua especialidade, podem fazer novas descobertas e facilmente transmitir esse conhecimento a outros estudiosos que possuam a mesma estrutura.
A própria estrutura pode, por vezes, ser expressa em linguagem natural, caso em que pode ser aprendida e compreendida por pessoas ou grandes modelos de linguagem que possuam a estrutura da linguagem natural.
Modelos de negócios e receitas culinárias são também exemplos de tais estruturas específicas de domínio que podem ser expressas em linguagem natural.
Além disso, fórmulas matemáticas, linguagens de programação e estruturas de análise de negócios são estruturas formais.
Estas também podem ter suas estruturas expressas ou explicadas em linguagem natural.
Essas estruturas específicas de domínio e formais construídas sobre a linguagem natural podem ser chamadas de estruturas virtuais.
Isso é fácil de entender se você imaginar uma máquina virtual executando um sistema operacional diferente em um computador físico. Uma outra estrutura funciona sobre a estrutura fundamental da linguagem natural.
Estruturas Nativas (Native Frameworks)
Além disso, embora essas estruturas virtuais necessitem inicialmente ser compreendidas por meio da linguagem natural, à medida que nos habituamos a elas, começam a contornar a explicação e compreensão pela linguagem natural, funcionando diretamente como uma estrutura de interface metafísica construída sobre o conhecimento subfísico.
Isso pode ser chamado de estrutura nativa.
A linguagem natural é, em certo sentido, também uma estrutura nativa, mas apenas no que diz respeito à nossa língua materna. Geralmente, línguas que não são a nossa língua materna são adquiridas como estruturas virtuais. À medida que a proficiência aumenta, elas se aproximam de se tornar estruturas nativas.
O mesmo se aplica a estruturas específicas de domínio e formais. Matemáticos podem comunicar-se nativamente usando fórmulas matemáticas, e programadores podem entender as intenções uns dos outros apenas através do código-fonte sem comentários.
Isso sugere que a progressão de estruturas virtuais para nativas também pode ser aplicada a grandes modelos de linguagem.
A ideia de detetar estruturas virtuais frequentemente usadas, gerar uma grande quantidade de dados de exemplo usando essas estruturas e, em seguida, ajustá-las (fine-tuning) para se tornarem estruturas nativas, vale a pena ser tentada imediatamente.
Estruturadores Natos (Natural Born Frameworkers)
Considerando isso, percebe-se que durante o pré-treinamento de grandes modelos de linguagem, e não apenas no ajuste fino (fine-tuning), existe a possibilidade de que eles também estejam aprendendo estruturas de domínio específico e estruturas formais.
E nesse processo, é concebível que, em vez de aprender nativamente estruturas de domínio específico ou formais desde o início, eles primeiro aprendam a estrutura da linguagem natural e, então, durante ou após dominá-la, aprendam as estruturas de domínio específico e formais, tornando-as nativas.
Aprofundando-nos nesse aprendizado de estruturas por etapas, também é concebível que o próprio aprendizado da linguagem natural seja um pipeline paralelo de aprendizado de estruturas por etapas, de granulação muito fina.
Em outras palavras, a partir da enorme quantidade de texto fornecida como dados de treinamento durante o pré-treinamento, os grandes modelos de linguagem podem não apenas aprender conceitos individuais, mas também algumas regras muito simples da linguagem natural como uma estrutura. Em seguida, usando essas estruturas simples como base, eles aprendem repetidamente regras ligeiramente mais complexas.
Isso lhes permitiria progredir de um estágio em que inicialmente aprenderam conceitos de palavras para memorizar palavras compostas e gramática básica, e depois para a compreensão de frases, e aprendizado de coisas complexas como técnicas de escrita e expressão.
Isso pode ser entendido como um modelo onde eles aprendem estruturas de maneira complexa e por etapas, usando uma estrutura como base para aprender a próxima.
Isso destaca os grandes modelos de linguagem como "estruturadores natos", possuindo um mecanismo para aprender estruturas desde o início.
Mecanismo de Atenção
A tecnologia que concretiza o "estruturador nato" (natural-born frameworker) é o mecanismo de atenção.
O mecanismo de atenção assemelha-se à seleção de tokens relevantes de um contexto. Ele clarifica as relações entre os tokens. Esta é precisamente a natureza de uma estrutura: abstrair, retendo conceitos importantes, enquanto clarifica as relações entre eles.
Ao alternar essa seleção para cada token, permite uma mudança dinâmica de estruturas.
Isso nos permite explicar por que o mecanismo de atenção é uma tecnologia que determina a evolução dos grandes modelos de linguagem, utilizando o modelo do "estruturador nato".
Conclusão
Se esse mecanismo estiver de fato a ocorrer durante o processo de pré-treino de grandes modelos de linguagem, então os mecanismos anteriormente misteriosos desses modelos podem ser explicados.
Isso inclui a aprendizagem subfísica e metafísica aqui discutida, as estruturas (frameworks) como interfaces metafísicas, a linguagem natural que permite a aprendizagem através da linguagem e as estruturas virtuais, e o mecanismo de atenção que concretiza o "estruturador nato" (natural-born frameworker).
Além disso, duas outras sugestões emergem disto.
Primeiro, a linguagem natural possui uma estrutura altamente adequada para internalizar progressivamente estruturas complexas a partir de outras mais simples.
Se a linguagem natural surgiu inicialmente na sociedade humana de forma simples e gradualmente evoluiu para possuir uma estrutura mais complexa e rica, esta é uma consequência natural.
Além disso, seria vantajoso que ela fosse estruturada de forma a permitir uma aprendizagem rápida. Assumindo que múltiplas sociedades com diferentes línguas naturais estavam em competição, a hipótese de que as línguas naturais mais adequadas para a aprendizagem estão atualmente a sobreviver é facilmente formulada.
Refletir sobre esta natureza da linguagem natural leva à segunda sugestão: que nós, humanos, também somos "estruturadores natos".
Mesmo que as fundações e mecanismos subjacentes específicos difiram, os nossos cérebros também devem estar equipados com um mecanismo, semelhante ao mecanismo de atenção, que permita a aprendizagem por etapas e a adaptação flexível de estruturas.