GPT-3 para manequins. Como funciona a rede neural mais avançada do mundo.

Se você não prestou atenção nas coisas incríveis que a IA pode fazer, agora é a hora de fazê-lo.

Os usuários da rede estão loucos pela ferramenta interativa GPT-3. Suas possibilidades teóricas e formas de uso são surpreendentes e incrivelmente versáteis. (G)enerativo (P)retreinado (M)odel 3 é a terceira geração do algoritmo de processamento de linguagem natural da OpenAI. Ele se tornará seu verdadeiro amigo e ajudante, porque se comportará exatamente como você disser a ele.

Se você quiser olhar para o futuro, dê uma olhada em como os desenvolvedores já estão usando o GPT-3. Sem dúvida, é preciso dizer, nosso mundo está cheio de exemplos do uso da IA, desde ofertas especiais para comprar na Amazon até carros autônomos. AI conseguiu colocar a mão em todos os lugares. Além disso, há uma boa chance de que foi a IA que o inspirou a ler este artigo e outras tecnologias estiveram envolvidas em escrevê-lo.

GPT-3 é um algoritmo especial que pode executar várias tarefas de processamento de fala humana. Ele pode atuar como escritor, jornalista, poeta, autor, pesquisador ou bot. O GPT-3 também é considerado pelos pesquisadores como um algoritmo com o qual podemos dar o primeiro passo para a criação de Inteligência Geral Artificial (AGI). AGI é a capacidade das máquinas de aprender e executar tarefas semelhantes às realizadas por humanos.

Houve um tempo em que esse algoritmo era um verdadeiro mistério para os cientistas. No entanto, à medida que a tecnologia se desenvolveu, ela se tornou cada vez mais acessível tanto para profissionais quanto para usuários comuns. Para entender os fundamentos de como o GPT-3 funciona, devemos nos familiarizar com os princípios do aprendizado de máquina, que é a chave para o funcionamento desse algoritmo exclusivo. O aprendizado de máquina é parte integrante da inteligência artificial. Permite que a máquina se melhore com a experiência adquirida.

Existem dois tipos de algoritmos de aprendizado de máquina: supervisionados e não supervisionados.

O aprendizado supervisionado inclui algoritmos que precisam de dados rotulados. Em outras palavras, digamos que seu carro tenha 5 anos. Você quer ensiná-la a ler e depois verificar se a habilidade foi aprendida. No aprendizado supervisionado, fornecemos dados rotulados para a máquina. Depois disso, verificamos se ela conseguiu aprender algo ou não.

As pessoas, é claro, adquirem habilidades durante o aprendizado supervisionado. No entanto, na maioria das vezes eles aprendem analisando suas experiências e tentando prever o futuro com sua intuição. Este é precisamente o princípio do aprendizado não supervisionado.

Aprendizagem Supervisionada VS Não Supervisionada

O GPT-3 usa aprendizado não supervisionado. É capaz de meta-aprendizagem, ou seja, aprender sem nenhum treinamento. O corpus de treinamento GPT-3 consiste em um conjunto de dados de rastreamento comum. Inclui 45 TB de dados de texto obtidos da Internet. GPT-3 tem 175 bilhões de parâmetros de modelo, enquanto o cérebro humano tem 10-100 trilhões.

Para entender os princípios da vida na Terra, a escala do universo e outras sutilezas humanas, é necessário ter 4,398 trilhões de parâmetros de modelo. O ritmo em que o GPT está crescendo é assustador – está aumentando cerca de 100 vezes por ano, o que é surpreendente e preocupante.

Sabemos que os modelos de aprendizado de máquina sempre funcionam com alta precisão. No entanto, a análise da linguagem humana é seu ponto fraco. Para superar essa deficiência, convertemos texto em números usando a incorporação e os passamos para nossas máquinas. As máquinas usam codificadores e decodificadores para ajudá-las a reconhecer a mensagem.

Redes neurais recorrentes (RNNs) são uma classe de redes neurais que são boas para modelar dados sequenciais, como séries temporais ou linguagem natural. No entanto, devido à grande quantidade de informações textuais, não podemos ter certeza de que a mensagem será lida de maneira completa. Para melhor reconhecimento da mensagem enviada, utilizamos o mecanismo de atenção. Funciona exatamente da mesma forma que o nosso cérebro. Quando salvamos certas informações nele, ele filtra os dados importantes e remove os desnecessários. O mecanismo de atenção ajuda a contar cada anexo. A classificação de importância dos dados permite filtrar informações irrelevantes.

Como funciona o RNS

Quando enviamos nossos dados de texto para a máquina, eles passam pelo codificador e os vetores são criados. Os vetores resultantes são posteriormente analisados ​​pelo mecanismo de atenção. Esse processo misto ajuda a prever a próxima palavra que uma pessoa dirá. Simplificando, existe o " preenchimento das lacunas " com base na confiança da máquina em seu conhecimento. À medida que adquire a linguagem, a máquina consegue prever melhor as próximas palavras. Com vasta experiência, ela preverá com precisão as opções possíveis. Em seguida, enviamos a palavra recebida com a previsão disponível para o decodificador. O ciclo de geração de novas propostas continua indefinidamente, o que ajuda a melhorar o AGI.

O principal destaque do GPT-3 é seu enorme corpus de dados e infinitas oportunidades de aprendizado. O aprendizado em si não é específico do domínio, mas permite que o algoritmo aprenda como executar qualquer tarefa específica do domínio. Peça ao algoritmo para escrever uma consulta SQL e ele fará o truque. Peça a ele para ajudar a escrever um texto sobre um tema esportivo – ele também pode fazer isso.

Fonte: Documento GPT-3

O GPT-3 funciona melhor com vários quadros de treinamento: quando você fornece uma dica e alguns exemplos. Imagine que você deu alguns livros a uma caloura e pediu a ela que respondesse a perguntas. Às vezes ela conseguiu, e às vezes ela falhou. Então você continua dando a ela mais livros e fazendo mais perguntas, o que a ajuda a melhorar seu conhecimento. Ela faz isso lendo material novo e examinando exemplos de perguntas semelhantes.

O GPT-3 ainda é uma máquina, poderá aprender com muitos exemplos. Quando aprendemos a dirigir um carro, escolhemos um grande número de lugares para aprimorar nossas habilidades. Começamos com estradas onde circulam poucos carros. Em seguida, vamos para as pistas com tráfego de carros mais denso. E, finalmente, tendo adquirido total autoconfiança, dirigimos pela rua mais movimentada para adquirir a habilidade de que precisamos. Se você dirige em estradas com tráfego moderado, definitivamente não poderá dirigir na hora do rush. Da mesma forma, se quisermos obter o melhor modelo, precisamos dotá-lo de diferentes condições de treinamento.

O GPT-3 está em constante aprendizado. É o melhor algoritmo no campo da IA. No entanto, o GPT-3 não pode se comportar exatamente como nós. Afinal, as crianças não precisam ver milhões de exemplos para aprender algo novo. O GPT-3 aprende na Internet e às vezes absorve toda a negatividade que existe. Ele pode imitar a linguagem natural, mas quando se trata de pensamentos naturais, a IA ainda fica aquém. Há uma linha tênue entre a linguagem natural e o pensamento natural. O GPT-3 provou que dimensionar o modelo de linguagem pode melhorar a precisão das declarações. Para usar uma linguagem idêntica à humana, uma máquina não precisa de uma alma, mas sim de uma enorme quantidade de dados.

Quando eu era criança, nossa professora nos deu a primeira parte do roteiro e pediu que escrevêssemos uma continuação. Passei horas inventando reviravoltas na história e depois levando-as ao meu professor. Todas as vezes eu tirava notas baixas e não entendia o porquê.

Por muitos anos continuei fazendo isso e ainda não entendia o motivo. No entanto, um dia me dei conta de que estava fazendo tudo errado. Eu estava muito ocupado focando em meus pensamentos criativos, mas tudo o que era necessário para obter uma boa nota era a ausência de erros gramaticais. Aparentemente, ele nos ensinou a "escrever" e não "pensar criativamente". Mesmo assim, gostaria de admitir que a gramática não foi meu forte, ao contrário de criar uma trama interessante.

Isso é exatamente o que o GPT-3 faz. Ele extrai muito de seu conhecimento de trabalhos anteriores criados por humanos. E tudo com o que ele se importa é a criação de pensamentos e palavras humanas semelhantes. Ele se concentra no " estilo " e não na " criatividade ou na compreensão das causas ". Gramática é sua linguagem de programação.

Não se pode negar que ele é bom em prever possíveis escolhas de palavras. No entanto, o GPT-3 não foi projetado para armazenar fatos nem para recuperá-los no momento certo, como faz o cérebro humano. É mais como um algoritmo para selecionar palavras-chave de um modelo, como é o caso do SEO.

Essa máquina (mesmo depois de conhecer pessoas pela Internet) carece de recursos humanos. É apenas um algoritmo e não é razoável esperar que ele seja capaz de " expressar " seus pensamentos privados. Ele ainda carece de QI, que é o que separa os humanos das máquinas. Espero que continue assim (pelo menos por um tempo).

Originário de Towards AI.
Imagem da capa: Kasia Bojanowska