A inteligência artificial pode exibir um comportamento inteligente através da tecnologia da aprendizagem automática.
Embora este processo de aprendizagem siga procedimentos desenvolvidos por humanos, ainda não está totalmente explicado o motivo pelo qual a inteligência emerge desses procedimentos e da estrutura da inteligência artificial.
Neste artigo, ao contemplar a essência da aprendizagem, pretendo explorar as razões para o surgimento da inteligência.
À medida que aprofundamos o conceito de aprendizagem, chegamos à ideia de que tanto a inteligência artificial quanto os nossos cérebros possuem uma natureza inerente para aprender a aprender.
Isso sugere a existência de um mecanismo que pode ser chamado de Natural Born Frameworker.
Aprendizagem através do Corpo e Aprendizagem através da Linguagem
Nós compreendemos o mundo à nossa volta e expandimos as nossas capacidades observando objetos com os olhos e movendo os nossos corpos.
Esta é também uma forma de aprendizagem, que pode ser chamada de aprendizagem através do corpo.
Por outro lado, quando geralmente pensamos em aprendizagem, podemos imaginar aumentar o nosso conhecimento lendo manuais ou ouvindo as explicações de um professor.
Para além da aprendizagem baseada nesses currículos educativos, também adquirimos conhecimento diversificado de conversas com amigos, notícias online e outras fontes.
Este tipo de aprendizagem não se trata de memorizar imagens visualmente ou de aprender através do movimento físico, mas sim de aprendizagem através da linguagem.
Aprendizagem Metacognitiva e Aprendizagem Metafísica
Dentro da aprendizagem baseada na linguagem, há casos em que o conhecimento requer iteração repetida para ser memorizado, e casos em que pode ser aprendido após apenas uma ou algumas exposições.
Alternativamente, alguns conhecimentos podem ser utilizados recuperando os seus detalhes de uma estante ou da internet quando necessário, mesmo que não estejam totalmente memorizados.
No sentido de adquirir e utilizar adequadamente o conhecimento quando necessário, ambos os padrões podem ser considerados aprendizagem.
Entre estes, o conhecimento que não pode ser memorizado sem iteração repetida pode ser chamado de conhecimento metacognitivo. O processo de aprendizagem do próprio conceito é aprendizagem metacognitiva.
Isto é semelhante à aprendizagem física, onde a repetição está envolvida em ver objetos com os nossos olhos ou mover os nossos corpos. Estes também podem ser classificados como aprendizagem metacognitiva.
Inversamente, adquirir conhecimento que pode ser memorizado com poucas tentativas ou utilizado consultando-o no local pode ser chamado de aprendizagem metafísica.
Neste caso, conceitos pré-aprendidos adquiridos através da aprendizagem metacognitiva podem ser utilizados para aprender novos conhecimentos como tipos desses conceitos ou como combinações de conceitos.
Uma vez que os conceitos já dominados através da aprendizagem metacognitiva podem ser usados, a aprendizagem metafísica não requer repetição.
Aprendizagem Automática de Linguagem Natural
Vamos aplicar isto à aprendizagem automática em inteligência artificial.
Geralmente, as redes neurais usadas na aprendizagem automática realizam a aprendizagem metacognitiva, que envolve a aprendizagem repetitiva de conceitos.
Por outro lado, os grandes modelos de linguagem capazes de processamento de linguagem natural semelhante aos humanos podem realizar a aprendizagem através da linguagem.
Durante o pré-treino e o ajuste fino de grandes modelos de linguagem, ocorre a aprendizagem metacognitiva baseada na linguagem.
Um grande modelo de linguagem treinado pode então responder utilizando o conhecimento contido na frase de entrada, o que significa que está a realizar uma aprendizagem metafísica imediata.
Esta capacidade de aprendizagem metafísica baseada na linguagem permite que os grandes modelos de linguagem utilizem novos conhecimentos sem aprendizagem repetitiva.
Isto pode ser contrastado com a aprendizagem automática numérica tradicional, que ajusta iterativamente os parâmetros do modelo, e pode ser designada por aprendizagem automática de linguagem natural.
A Linguagem Natural como Interface Metafísica
A linguagem natural está situada na interface que distingue a aprendizagem metacognitiva da aprendizagem metafísica.
O aspeto interessante da linguagem natural é que pode ser adquirida através da aprendizagem metacognitiva e, sobre ela, a aprendizagem metafísica torna-se possível.
Interfaces Metafísicas para Além da Linguagem Natural
De facto, a aprendizagem metacognitiva e a aprendizagem metafísica também existem na aprendizagem física. Por exemplo, alguém com habilidade em desportos pode adaptar-se rapidamente a um novo desporto que nunca encontrou antes.
Da mesma forma, uma pessoa com conhecimentos em biologia pode compreender imediatamente as características de uma nova espécie ao vê-la.
Assim, mesmo na aprendizagem física, existe uma interface metafísica que ocupa uma posição semelhante à da linguagem natural.
Estrutura (Framework)
O que reside nestas interfaces é uma estrutura (framework) distinta de conceitos ou conhecimentos elementares; ela define as suas relações e estruturas, e permite novas estruturalizações.
À medida que o diverso conhecimento metacognitivo é adquirido através da aprendizagem metacognitiva, por vezes é possível aprender a estrutura (framework) na interface metafísica a partir das conexões entre estas peças de conhecimento metacognitivo.
Uma estrutura (framework) derivada da aprendizagem física permite a aquisição imediata de novos conhecimentos através da aprendizagem metafísica após a sua mestria. No entanto, o conhecimento adquirido através dessa aprendizagem metafísica não é facilmente comunicado a outros.
Por outro lado, a estrutura (framework) derivada da aprendizagem através da linguagem é a própria linguagem natural.
Portanto, o conhecimento adquirido através da aprendizagem metafísica ao aprender a estrutura (framework) da linguagem natural pode ser diretamente inserido na aquisição da linguagem de outra pessoa.
Isto aplica-se não só ao conhecimento baseado principalmente na aquisição da linguagem, como manuais ou notícias online.
Um jogador de futebol experiente que experimenta o basebol pela primeira vez poderá ser capaz de articular o conhecimento metafísico de basebol que adquiriu, e transmiti-lo a outros jogadores de futebol experientes. Isto significa que, se as pessoas partilharem o mesmo conhecimento metacognitivo, podem comunicar o que são conhecidos como "dicas" ou "truques" usando palavras.
Além disso, pode-se transmitir verbalmente conhecimento sobre uma nova espécie observada a outros biólogos, partilhando assim esse conhecimento.
Assim, a linguagem natural revela-se uma estrutura (framework) muito poderosa localizada na interface metafísica.
Framework Virtual
Acima da linguagem natural, outra estrutura (framework) pode ser adquirida.
Estas incluem estruturas (frameworks) específicas de domínio ou estruturas (frameworks) metafísicas.
Em várias disciplinas académicas, setores de negócios e na vida diária, existem diversas estruturas (frameworks) específicas de domínio.
Académicos podem fazer novas descobertas dentro das suas estruturas (frameworks) especializadas e facilmente transmitir estas descobertas como conhecimento a outros académicos que possuam a mesma estrutura (framework).
A própria estrutura (framework) pode, por vezes, ser expressa em linguagem natural, caso em que, indivíduos ou grandes modelos de linguagem que possuam uma estrutura (framework) de linguagem natural podem adquiri-la e compreendê-la.
Modelos de negócios e receitas culinárias são também exemplos de tais estruturas (frameworks) específicas de domínio que podem ser expressas em linguagem natural.
Além disso, fórmulas matemáticas, linguagens de programação e estruturas (frameworks) de análise de negócios são estruturas (frameworks) formais.
Estas também podem ser expressas ou explicadas em linguagem natural.
Tais estruturas (frameworks) específicas de domínio e estruturas (frameworks) formais construídas sobre a linguagem natural podem ser chamadas de estruturas (frameworks) virtuais.
Isto pode ser facilmente compreendido imaginando uma máquina virtual a executar outro sistema operativo num computador físico. Outra estrutura (framework) está a funcionar sobre a linguagem natural, que serve como a estrutura (framework) fundamental.
Framework Nativo
Inicialmente, esta estrutura (framework) virtual deve ser compreendida através da linguagem natural, mas com a prática, ela ignora a explicação e a compreensão via linguagem natural e começa a funcionar diretamente como uma estrutura (framework) de interface metafísica construída sobre o conhecimento metacognitivo.
Isto pode ser chamado de estrutura (framework) nativa.
A linguagem natural é, de certa forma, uma estrutura (framework) nativa, mas apenas no caso da língua materna. Geralmente, línguas que não a materna são adquiridas como estruturas (frameworks) virtuais. À medida que a proficiência aumenta, elas aproximam-se do estatuto de uma estrutura (framework) nativa.
O mesmo se aplica a estruturas (frameworks) específicas de domínio e estruturas (frameworks) formais. Matemáticos podem comunicar nativamente entre si usando fórmulas matemáticas, e programadores podem compreender as intenções uns dos outros unicamente através do código-fonte sem comentários.
Isto sugere que a transição de uma estrutura (framework) virtual para uma estrutura (framework) nativa também pode ser aplicada a grandes modelos de linguagem.
A ideia de detetar estruturas (frameworks) virtuais frequentemente utilizadas, gerar uma grande quantidade de dados de exemplo usando essas estruturas (frameworks) virtuais, e depois ajustá-las finamente para se tornarem estruturas (frameworks) nativas valeria a pena tentar imediatamente.
Natural Born Frameworker
Considerando isso, percebemos que os grandes modelos de linguagem podem estar a aprender estas estruturas (frameworks) especializadas e formais não apenas durante o ajuste fino, mas também durante o pré-treino.
Além disso, nesse processo, é plausível que não aprendam estruturas (frameworks) especializadas ou formais de forma nativa desde o início. Em vez disso, primeiro aprendem a estrutura (framework) da linguagem natural e, depois, durante ou após atingirem proficiência nela, aprendem estruturas (frameworks) especializadas ou formais e as assimilam em estruturas (frameworks) nativas.
Aprofundando esta ideia de aprendizagem incremental de estruturas (frameworks), é também concebível que a própria aprendizagem da linguagem natural seja um pipeline paralelo de aprendizagem de estruturas (frameworks) incrementais e altamente granulares.
Ou seja, a partir da vasta quantidade de texto fornecida como dados de aprendizagem durante o pré-treino, os grandes modelos de linguagem podem estar a aprender não apenas conceitos individuais, mas também algumas regras muito simples da linguagem natural como estruturas (frameworks). Depois, usando estas estruturas (frameworks) simples como base, podem aprender repetidamente regras ligeiramente mais complexas.
Desta forma, começando pela fase de aprendizagem de conceitos de palavras individuais, deveriam ser capazes de adquirir palavras compostas e gramática básica, depois compreender frases e, eventualmente, aprender elementos complexos como técnicas literárias e estilos expressivos.
Isto pode ser entendido como um modelo de aprendizagem de estruturas (frameworks) em camadas e compostas, onde uma estrutura (framework) serve de base para a aprendizagem da próxima.
Isto realça a imagem dos grandes modelos de linguagem como Natural Born Frameworkers, possuindo inerentemente o mecanismo para aprender estruturas (frameworks) desde o início.
Mecanismo de Atenção
A tecnologia que concretiza o Natural Born Frameworker é o mecanismo de atenção.
O mecanismo de atenção é semelhante a selecionar tokens nos quais se deve focar dentro de um contexto. Ele clarifica as relações entre os tokens. Esta é precisamente a natureza de uma estrutura (framework) em si: abstrair retendo conceitos importantes enquanto clarifica as relações entre esses conceitos.
Ao alternar esta seleção para cada token, torna-se possível alternar dinamicamente as estruturas (frameworks) também.
Isto permite-nos explicar por que razão o mecanismo de atenção é uma tecnologia decisiva para a evolução de grandes modelos de linguagem, utilizando o modelo do Natural Born Frameworker.
Conclusão
Se este mecanismo está de facto a ocorrer durante o processo de pré-treino de grandes modelos de linguagem, então o mecanismo previamente enigmático destes modelos torna-se explicável.
Esta explicação engloba a aprendizagem metacognitiva e metafísica que discutimos, a estrutura (framework) como interface metafísica, a linguagem natural que permite a aquisição da linguagem e as estruturas (frameworks) virtuais, e o mecanismo de atenção que realiza o Natural Born Frameworker.
Além disso, surgem duas implicações adicionais.
Primeiro, a linguagem natural possui uma estrutura altamente adequada para desenvolver incrementalmente estruturas (frameworks) complexas a partir de outras simples, transformando-as em estruturas (frameworks) nativas.
Se a linguagem natural emergiu inicialmente de forma simples nas sociedades humanas e evoluiu gradualmente para possuir uma estrutura mais complexa e rica, então esta é uma consequência natural.
Além disso, uma estrutura que permita uma aprendizagem rápida seria vantajosa. Assumindo que múltiplas sociedades com várias linguagens naturais competiram, a hipótese de que a linguagem natural mais adequada para a aprendizagem sobreviveu até aos dias de hoje é facilmente estabelecida.
Refletir sobre a natureza da linguagem natural leva à segunda implicação: que nós, humanos, somos também Natural Born Frameworkers.
Mesmo que os fundamentos e mecanismos específicos difiram, os nossos cérebros devem também estar equipados com um sistema, semelhante ao mecanismo de atenção, que aprende e modifica flexivelmente as estruturas (frameworks) de forma incremental.