GPT-3 für Dummies. So funktioniert das fortschrittlichste neuronale Netzwerk der Welt.

Wenn Sie bisher nicht auf die erstaunlichen Dinge geachtet haben, die KI leisten kann, ist jetzt der richtige Zeitpunkt dafür.

Benutzer im Netz sind verrückt nach dem interaktiven Tool GPT-3. Seine theoretischen Möglichkeiten und Anwendungsmöglichkeiten sind verblüffend und unglaublich vielseitig. (G)enerative (P)retrained (M)odel 3 ist die dritte Generation des natürlichen Sprachverarbeitungsalgorithmus von OpenAI. Er wird Ihr wahrer Freund und Helfer, denn er wird sich genau so verhalten, wie Sie es ihm sagen.

Wenn Sie in die Zukunft blicken möchten, schauen Sie sich an, wie Entwickler GPT-3 bereits verwenden. Ohne Zweifel ist unsere Welt voll von Beispielen für den Einsatz von KI, von Sonderangeboten für den Kauf bei Amazon bis hin zu selbstfahrenden Autos. Die KI hat es geschafft, überall ihre Hand zu legen. Darüber hinaus besteht eine gute Chance, dass es die KI war, die Sie zum Lesen dieses Artikels inspiriert hat, und dass andere Technologien an der Erstellung beteiligt waren.

GPT-3 ist ein spezieller Algorithmus, der verschiedene menschliche Sprachverarbeitungsaufgaben ausführen kann. Er kann als Schriftsteller, Journalist, Dichter, Autor, Forscher oder Bot auftreten. GPT-3 wird von Forschern auch als Algorithmus angesehen, mit dem wir den ersten Schritt zur Schaffung von Künstlicher Allgemeiner Intelligenz (AGI) machen können. AGI ist die Fähigkeit von Maschinen zu lernen und Aufgaben auszuführen, die denen von Menschen ähnlich sind.

Es gab eine Zeit, in der dieser Algorithmus Wissenschaftlern ein echtes Rätsel war. Mit der Entwicklung der Technologie wurde sie jedoch sowohl für Fachleute als auch für normale Benutzer immer zugänglicher. Um die Grundlagen der Funktionsweise von GPT-3 zu verstehen, müssen wir uns mit den Prinzipien des maschinellen Lernens vertraut machen, die der Schlüssel zur Funktionsweise dieses einzigartigen Algorithmus sind. Maschinelles Lernen ist ein wesentlicher Bestandteil der künstlichen Intelligenz. Es ermöglicht der Maschine, sich mit den gewonnenen Erfahrungen zu verbessern.

Es gibt zwei Arten von Algorithmen für maschinelles Lernen: überwachte und nicht überwachte Algorithmen .

Überwachtes Lernen umfasst Algorithmen, die gekennzeichnete Daten benötigen. Mit anderen Worten, nehmen wir an, Ihr Auto ist 5 Jahre alt. Sie möchten ihr das Lesen beibringen und dann überprüfen, ob die Fähigkeit erlernt wurde. Beim überwachten Lernen stellen wir der Maschine beschriftete Daten zur Verfügung. Danach prüfen wir, ob sie etwas lernen konnte oder nicht.

Menschen erwerben natürlich Fähigkeiten während des überwachten Lernens. Die meiste Zeit lernen sie jedoch, indem sie ihre Erfahrungen analysieren und versuchen, die Zukunft mit ihrer Intuition vorherzusagen. Genau das sind die Prinzipien des unüberwachten Lernens.

Überwachtes vs. unbeaufsichtigtes Lernen

GPT-3 verwendet unüberwachtes Lernen. Es ist zum Meta-Lernen fähig, also zum Lernen ohne jegliches Training. Das GPT-3-Trainingskorpus besteht aus einem Common-Crawl- Datensatz. Es enthält 45 TB Textdaten aus dem Internet. GPT-3 hat 175 Milliarden Modellparameter, während das menschliche Gehirn 10-100 Billionen hat.

Um die Prinzipien des Lebens auf der Erde, den Maßstab des Universums und andere menschliche Feinheiten zu verstehen, sind 4,398 Billionen Modellparameter erforderlich. Das Tempo, mit dem GPT wächst, ist erschreckend – es nimmt jedes Jahr um etwa das 100-fache zu, was sowohl überraschend als auch besorgniserregend ist.

Wir wissen, dass maschinelle Lernmodelle immer mit hoher Genauigkeit arbeiten. Allerdings ist die Analyse der menschlichen Sprache ihr Schwachpunkt. Um dieses Manko zu überwinden, wandeln wir Text per Embedding in Zahlen um und leiten sie an unsere Maschinen weiter. Maschinen verwenden Encoder und Decoder, um ihnen zu helfen, die Nachricht zu erkennen.

Recurrent Neural Networks (RNNs) sind eine Klasse von neuronalen Netzwerken, die sich gut für die Modellierung sequenzieller Daten wie Zeitreihen oder natürlicher Sprache eignen. Aufgrund der großen Menge an Textinformationen können wir jedoch nicht sicher sein, dass die Nachricht vollständig gelesen wird. Zur besseren Erkennung der gesendeten Nachricht verwenden wir den Aufmerksamkeitsmechanismus. Es funktioniert genauso wie unser Gehirn. Wenn wir bestimmte Informationen darin speichern, werden die wichtigen Daten herausgefiltert und die unnötigen entfernt. Der Aufmerksamkeitsmechanismus hilft dabei, jeden Anhang zu zählen. Die Bewertung der Datenwichtigkeit ermöglicht es, irrelevante Informationen herauszufiltern.

Wie RNS funktionieren

Wenn wir unsere Textdaten an die Maschine senden, durchlaufen sie den Encoder und es werden Vektoren erstellt. Die resultierenden Vektoren werden durch den Aufmerksamkeitsmechanismus weiter analysiert. Dieser gemischte Prozess hilft, das nächste Wort vorherzusagen, das eine Person sagen wird. Einfach ausgedrückt, es gibt ein " Ausfüllen der Lücken ", je nachdem, wie sicher die Maschine in ihrem Wissen ist. Während sie Sprache erwirbt, kann die Maschine die nächsten Wörter besser vorhersagen. Mit ihrer langjährigen Erfahrung wird sie mögliche Optionen genau vorhersagen. Als nächstes senden wir das empfangene Wort mit der verfügbaren Vorhersage an den Decoder. Der Zyklus der Generierung neuer Vorschläge wird unbegrenzt fortgesetzt, was zur Verbesserung von AGI beiträgt .

Das Haupthighlight von GPT-3 ist sein riesiger Datenkorpus und endlose Lernmöglichkeiten. Das Lernen selbst ist nicht domänenspezifisch, sondern ermöglicht es dem Algorithmus, zu lernen, wie jede domänenspezifische Aufgabe ausgeführt wird. Bitten Sie den Algorithmus, eine SQL-Abfrage zu schreiben, und er wird den Zweck erfüllen. Bitten Sie ihn, beim Verfassen eines Textes zu einem Sportthema zu helfen – das kann er auch.

Quelle: GPT-3-Papier

GPT-3 funktioniert besser mit mehreren Trainingsframes: wenn Sie es mit einem Hinweis und einigen Beispielen versehen. Stellen Sie sich vor, Sie geben einem Studienanfänger ein paar Bücher und bitten ihn, Fragen zu beantworten. Manchmal gelang es ihr, manchmal scheiterte sie. Also gibst du ihr immer mehr Bücher und stellst mehr Fragen, was ihr hilft, ihr Wissen zu verbessern. Sie tut dies, indem sie neues Material liest und sich Beispiele für ähnliche Fragen ansieht.

GPT-3 ist immer noch eine Maschine, sie wird von vielen Beispielen lernen können. Wenn wir lernen, ein Auto zu fahren, wählen wir eine Vielzahl von Orten, um unsere Fähigkeiten zu verbessern. Wir beginnen mit Straßen, auf denen wenige Autos fahren. Dann geht es auf die Gleise mit dichterem Autoverkehr. Und schließlich fahren wir mit vollem Selbstvertrauen die belebteste Straße entlang, um uns das nötige Geschick anzueignen. Wenn Sie auf Straßen mit nur mäßigem Verkehr fahren, können Sie während der Hauptverkehrszeit definitiv kein Auto fahren. Wenn wir das beste Modell erhalten wollen, müssen wir es auf die gleiche Weise mit unterschiedlichen Trainingsbedingungen ausstatten.

GPT-3 lernt ständig dazu. Es ist der beste Algorithmus im Bereich der KI. GPT-3 kann sich jedoch nicht genau so verhalten wie wir. Schließlich müssen Kinder nicht Millionen von Beispielen sehen, um etwas Neues zu lernen. GPT-3 lernt im Internet und absorbiert manchmal die ganze Negativität, die es gibt. Es kann natürliche Sprache nachahmen, aber wenn es um natürliche Gedanken geht, ist KI immer noch unzureichend. Es gibt eine feine Linie zwischen natürlicher Sprache und natürlichem Denken. GPT-3 hat bewiesen, dass die Skalierung des Sprachmodells die Genauigkeit von Aussagen verbessern kann. Um eine mit einem Menschen identische Sprache zu verwenden, braucht eine Maschine keine Seele, sondern eine riesige Menge an Daten.

Als ich ein Kind war, gab uns unser Lehrer den ersten Teil des Drehbuchs und bat uns, eine Fortsetzung zu schreiben. Ich verbrachte Stunden damit, Plot Twists zu erfinden und sie dann meinem Lehrer zu bringen. Jedes Mal bekam ich schlechte Noten und verstand nicht warum.

Viele Jahre lang tat ich dies und verstand immer noch nicht den Grund. Doch eines Tages dämmerte es mir, dass ich alles falsch machte. Ich war zu sehr damit beschäftigt, mich auf meine kreativen Gedanken zu konzentrieren, aber alles, was es brauchte, um eine gute Note zu bekommen, war das Fehlen von Grammatikfehlern. Anscheinend hat er uns beigebracht, zu „schreiben” und nicht „kreativ zu denken”. Trotzdem möchte ich zugeben, dass Grammatik nicht meine Stärke war, im Gegensatz zum Erstellen einer interessanten Handlung.

Genau das macht GPT-3. Er schöpft einen Großteil seines Wissens aus früheren Werken, die von Menschen geschaffen wurden. Und alles, was ihn interessiert, ist die Schaffung ähnlicher menschlicher Gedanken und Worte. Es konzentriert sich eher auf „ Stil ” als auf „ Kreativität oder Ursachenverständnis “. Grammatik ist seine Programmiersprache.

Es ist nicht zu leugnen, dass er gut darin ist, mögliche Wortwahlen vorherzusagen. Allerdings ist GPT-3 weder darauf ausgelegt, Fakten zu speichern, noch sie zum richtigen Zeitpunkt abzurufen, wie es das menschliche Gehirn tut. Es ist eher ein Algorithmus zur Auswahl von Schlüsselwörtern aus einer Vorlage, wie es bei SEO der Fall ist .

Einer solchen Maschine (selbst nachdem sie Leute über das Internet kennengelernt hat) fehlen menschliche Merkmale. Es ist nur ein Algorithmus und es ist unvernünftig zu erwarten, dass er seine privaten Gedanken „ äußern ” kann. Ihm fehlt immer noch der IQ, was Menschen von Maschinen unterscheidet. Ich hoffe, das bleibt (zumindest noch eine Weile) so.

Quelle: Towards AI.
Titelbild: Kasia Bojanowska