GPT-3 pour les nuls. Comment fonctionne le réseau de neurones le plus avancé au monde.

Si vous n’avez pas prêté attention aux choses incroyables que l’IA peut faire, c’est le moment de le faire.

Les internautes raffolent de l’ outil interactif GPT-3. Ses possibilités théoriques et ses façons de l’utiliser sont étonnantes et incroyablement polyvalentes. (G)enerative (P)retrained (M)odel 3 est la troisième génération de l’algorithme de traitement du langage naturel d’OpenAI. Il deviendra votre véritable ami et assistant, car il se comportera exactement comme vous le lui direz.

Si vous voulez regarder vers l’avenir, regardez comment les développeurs utilisent déjà GPT-3. Sans aucun doute, il faut le dire, notre monde regorge d’exemples d’utilisation de l’IA, des offres spéciales d’achat sur Amazon aux voitures autonomes. L’IA a réussi à mettre la main partout. De plus, il y a de fortes chances que ce soit l’IA qui vous ait inspiré à lire cet article, et d’autres technologies ont été impliquées dans sa rédaction.

GPT-3 est un algorithme spécial qui peut effectuer diverses tâches de traitement de la parole humaine. Il peut agir en tant qu’écrivain, journaliste, poète, auteur, chercheur ou bot. GPT-3 est également considéré par les chercheurs comme un algorithme avec lequel nous pouvons faire le premier pas vers la création de l’Intelligence Générale Artificielle (AGI). L’IAG est la capacité des machines à apprendre et à effectuer des tâches similaires à celles effectuées par les humains.

Il fut un temps où cet algorithme était un véritable mystère pour les scientifiques. Cependant, à mesure que la technologie s’est développée, elle est devenue de plus en plus accessible aux professionnels et aux utilisateurs ordinaires. Pour comprendre les bases du fonctionnement de GPT-3, nous devons nous familiariser avec les principes de l’apprentissage automatique, qui est la clé du fonctionnement de cet algorithme unique. L’apprentissage automatique fait partie intégrante de l’intelligence artificielle. Il permet à la machine de s’améliorer avec l’expérience acquise.

Il existe deux types d’algorithmes d’apprentissage automatique: supervisé et non supervisé.

L’apprentissage supervisé comprend des algorithmes qui nécessitent des données étiquetées. En d’autres termes, disons que votre voiture a 5 ans. Vous voulez lui apprendre à lire et ensuite vérifier si la compétence a été apprise. Dans l’apprentissage supervisé, nous fournissons des données étiquetées à la machine. Après cela, nous vérifions si elle a pu apprendre quelque chose ou non.

Les gens, bien sûr, acquièrent des compétences au cours de l’apprentissage supervisé. Cependant, la plupart du temps, ils apprennent en analysant leurs expériences et en essayant de prédire l’avenir avec leur intuition. C’est précisément le principe de l’apprentissage non supervisé.

Apprentissage supervisé VS non supervisé

GPT-3 utilise l’apprentissage non supervisé. Il est capable de méta-apprentissage, c’est-à-dire d’apprendre sans aucune formation. Le corpus d’entraînement GPT-3 consiste en un ensemble de données d’exploration commune. Il comprend 45 To de données textuelles obtenues à partir d’Internet. GPT-3 a 175 milliards de paramètres de modèle, tandis que le cerveau humain en a 10 à 100 000 milliards.

Pour comprendre les principes de la vie sur Terre, l’échelle de l’univers et d’autres subtilités humaines, il est nécessaire de disposer de 4 398 milliards de paramètres de modèle. Le rythme de croissance de GPT est terrifiant – il augmente d’environ 100 fois chaque année, ce qui est à la fois surprenant et inquiétant.

Nous savons que les modèles d’apprentissage automatique fonctionnent toujours avec une grande précision. Cependant, l’analyse du langage humain est leur point faible. Pour surmonter cette lacune, nous convertissons le texte en nombres à l’aide de l’intégration et les transmettons à nos machines. Les machines utilisent des encodeurs et des décodeurs pour les aider à reconnaître le message.

Les réseaux de neurones récurrents (RNN) sont une classe de réseaux de neurones qui conviennent à la modélisation de données séquentielles telles que les séries chronologiques ou le langage naturel. Cependant, en raison de l’énorme quantité d’informations textuelles, nous ne pouvons pas être sûrs que le message sera lu de manière approfondie. Pour une meilleure reconnaissance du message envoyé, nous utilisons le mécanisme d’attention. Il fonctionne exactement de la même manière que notre cerveau. Lorsque nous y enregistrons certaines informations, il filtre les données importantes et supprime celles qui ne sont pas nécessaires. Le mécanisme d’attention aide à garder le compte de chaque pièce jointe. L’évaluation de l’importance des données permet de filtrer les informations non pertinentes.

Comment fonctionne le RNS

Lorsque nous envoyons nos données textuelles à la machine, elles passent par l’encodeur et des vecteurs sont créés. Les vecteurs résultants sont ensuite analysés par le mécanisme d’attention. Ce processus mixte permet de prédire le prochain mot qu’une personne dira. En termes simples, il y a " combler les lacunes " en fonction de la confiance de la machine dans ses connaissances. Au fur et à mesure qu’elle acquiert le langage, la machine peut mieux prédire les mots suivants. Ayant une vaste expérience, elle prédira avec précision les options possibles. Ensuite, nous envoyons le mot reçu avec la prédiction disponible au décodeur. Le cycle de génération de nouvelles propositions se poursuit indéfiniment, ce qui contribue à améliorer AGI.

Le principal atout de GPT-3 est son énorme corpus de données et ses possibilités d’apprentissage infinies. L’apprentissage lui-même n’est pas spécifique à un domaine, mais permet à l’algorithme d’apprendre à effectuer n’importe quelle tâche spécifique à un domaine. Demandez à l’algorithme d’écrire une requête SQL et il fera l’affaire. Demandez-lui de vous aider à écrire un texte sur un sujet sportif – il peut aussi le faire.

Source: Document GPT-3

GPT-3 fonctionne mieux avec plusieurs cadres d’entraînement : lorsque vous lui fournissez un indice et quelques exemples. Imaginez que vous donniez quelques livres à une étudiante de première année et que vous lui demandiez de répondre à des questions. Parfois, elle a réussi, et parfois elle a échoué. Donc, vous continuez à lui donner plus de livres et à lui poser plus de questions, ce qui l’aide à améliorer ses connaissances. Pour ce faire, elle lit de nouveaux documents et examine des exemples de questions similaires.

GPT-3 est encore une machine, il pourra apprendre de nombreux exemples. Lorsque nous apprenons à conduire une voiture, nous choisissons un grand nombre d’endroits pour perfectionner nos compétences. Nous commençons par les routes où circulent un petit nombre de voitures. Ensuite, nous allons vers les pistes avec un trafic automobile plus dense. Et enfin, ayant acquis une totale confiance en soi, nous roulons dans la rue la plus fréquentée afin d’acquérir les compétences dont nous avons besoin. Si vous conduisez sur des routes à trafic modéré, vous ne pourrez certainement pas conduire une voiture aux heures de pointe. De la même manière, si nous voulons obtenir le meilleur modèle, nous devons lui fournir différentes conditions d’entraînement.

GPT-3 apprend constamment. C’est le meilleur algorithme dans le domaine de l’IA. Cependant, GPT-3 ne peut pas se comporter exactement comme nous. Après tout, les enfants n’ont pas besoin de voir des millions d’exemples pour apprendre quelque chose de nouveau. GPT-3 apprend sur Internet et absorbe parfois toute la négativité qui s’y trouve. Il peut imiter le langage naturel, mais lorsqu’il s’agit de pensées naturelles, l’IA est toujours insuffisante. Il y a une ligne fine entre le langage naturel et la pensée naturelle. GPT-3 a prouvé que la mise à l’échelle du modèle de langage peut améliorer la précision des déclarations. Pour utiliser un langage identique à un humain, une machine n’a pas besoin d’une âme, mais d’une énorme quantité de données.

Quand j’étais enfant, notre professeur nous a donné la première partie du scénario et nous a demandé d’écrire une suite. J’ai passé des heures à inventer des rebondissements et à les apporter ensuite à mon professeur. Chaque fois, j’avais de mauvaises notes et je ne comprenais pas pourquoi.

Pendant de nombreuses années, j’ai continué à faire cela et je n’en comprenais toujours pas la raison. Cependant, un jour, j’ai réalisé que je faisais tout de travers. J’étais trop occupé à me concentrer sur mes pensées créatives, mais tout ce qu’il fallait pour obtenir une bonne note était l’ absence d’erreurs grammaticales. Apparemment, il nous a appris à « écrire » et non à « penser de manière créative ». Pourtant, je voudrais admettre que la grammaire n’était pas mon point fort, contrairement à la création d’une intrigue intéressante.

C’est exactement ce que fait GPT-3. Il tire une grande partie de ses connaissances d’œuvres antérieures créées par l’homme. Et tout ce qui l’intéresse, c’est la création de pensées et de mots humains similaires. Il se concentre sur le " style " plutôt que sur " la créativité ou la compréhension des causes ". La grammaire est son langage de programmation.

On ne peut nier qu’il est doué pour prédire les choix de mots possibles. Cependant, GPT-3 n’est pas conçu pour stocker des faits ni pour les récupérer au bon moment, comme le fait le cerveau humain. Il s’agit plutôt d’un algorithme de sélection de mots-clés à partir d’un modèle, comme c’est le cas avec le SEO.

Une telle machine (même après avoir rencontré des gens via Internet) manque de caractéristiques humaines. Ce n’est qu’un algorithme et il est déraisonnable de s’attendre à ce qu’il puisse " exprimer " ses pensées privées. Il manque toujours de QI, qui est ce qui sépare les humains des machines. J’espère que ça va rester comme ça (au moins pour un moment).

Tiré de Vers l’IA.
Image de couverture: Kasia Bojanowska