GPT-3 dla manekinów. Jak działa najbardziej zaawansowana sieć neuronowa na świecie.

Jeśli nie zwracałeś uwagi na niesamowite rzeczy, które może zrobić sztuczna inteligencja, nadszedł czas, aby to zrobić.

Użytkownicy w sieci oszaleli na punkcie interaktywnego narzędzia GPT-3. Jej teoretyczne możliwości i sposoby wykorzystania są niesamowite i niezwykle wszechstronne. (G)enerative (P)retrained (Model 3) to trzecia generacja algorytmu przetwarzania języka naturalnego OpenAI. Stanie się twoim prawdziwym przyjacielem i pomocnikiem, ponieważ będzie zachowywał się dokładnie tak, jak mu każesz.

Jeśli chcesz spojrzeć w przyszłość, spójrz, jak programiści już używają GPT-3. Bez wątpienia trzeba powiedzieć, że nasz świat jest pełen przykładów wykorzystania AI, od specjalnych ofert kupna na Amazon po samojezdne samochody. AI zdołała położyć rękę wszędzie. Co więcej, istnieje duże prawdopodobieństwo, że to sztuczna inteligencja zainspirowała Cię do przeczytania tego artykułu, a inne technologie były zaangażowane w jego napisanie.

GPT-3 to specjalny algorytm, który może wykonywać różne zadania przetwarzania ludzkiej mowy. Może pełnić rolę pisarza, dziennikarza, poety, autora, badacza lub bota. GPT-3 jest również uważany przez badaczy za algorytm, za pomocą którego możemy zrobić pierwszy krok w kierunku stworzenia Sztucznej Inteligencji Ogólnej (AGI). AGI to zdolność maszyn do uczenia się i wykonywania zadań podobnych do tych wykonywanych przez ludzi.

Był czas, kiedy ten algorytm był dla naukowców prawdziwą zagadką. Jednak wraz z rozwojem technologii stała się ona coraz bardziej dostępna zarówno dla profesjonalistów, jak i zwykłych użytkowników. Aby zrozumieć podstawy działania GPT-3, musimy zapoznać się z zasadami uczenia maszynowego, które jest kluczem do działania tego unikalnego algorytmu. Uczenie maszynowe jest integralną częścią sztucznej inteligencji. Pozwala to maszynie na samodoskonalenie się wraz ze zdobytym doświadczeniem.

Istnieją dwa rodzaje algorytmów uczenia maszynowego: nadzorowane i nienadzorowane.

Uczenie nadzorowane obejmuje algorytmy, które wymagają oznaczonych danych. Innymi słowy, powiedzmy, że twój samochód ma 5 lat. Chcesz nauczyć ją czytać, a następnie sprawdzić, czy umiejętność została wyuczona. W uczeniu nadzorowanym dostarczamy maszynie oznaczone dane. Następnie sprawdzamy, czy była w stanie się czegoś nauczyć, czy nie.

Ludzie oczywiście nabywają umiejętności podczas nadzorowanego uczenia się. Jednak przez większość czasu uczą się, analizując swoje doświadczenia i próbując przewidzieć przyszłość za pomocą swojej intuicji. Takie są właśnie zasady uczenia się bez nadzoru.

Uczenie nadzorowane kontra nienadzorowane

GPT-3 wykorzystuje uczenie bez nadzoru. Jest zdolny do meta-uczenia się, czyli uczenia się bez żadnego szkolenia. Korpus szkoleniowy GPT-3 składa się ze zbioru danych wspólnego indeksowania. Zawiera 45 TB danych tekstowych pozyskanych z Internetu. GPT-3 ma 175 miliardów parametrów modelu, podczas gdy ludzki mózg ma ich 10-100 bilionów.

Aby zrozumieć zasady życia na Ziemi, skalę wszechświata i inne ludzkie subtelności, konieczne jest posiadanie 4,398 bilionów parametrów modelu. Tempo, w jakim rośnie GPT, jest przerażające – rośnie około 100 razy rocznie, co jest zarówno zaskakujące, jak i niepokojące.

Wiemy, że modele uczenia maszynowego zawsze działają z dużą dokładnością. Jednak analiza ludzkiego języka jest ich słabym punktem. Aby przezwyciężyć tę wadę, konwertujemy tekst na liczby za pomocą osadzania i przekazujemy je do naszych maszyn. Maszyny używają koderów i dekoderów, aby pomóc im rozpoznać wiadomość.

Rekurencyjne sieci neuronowe (RNN) to klasa sieci neuronowych, które dobrze nadają się do modelowania danych sekwencyjnych, takich jak szeregi czasowe lub język naturalny. Jednak ze względu na ogromną ilość informacji tekstowych nie możemy być pewni, że wiadomość zostanie odczytana w sposób dokładny. Dla lepszego rozpoznania wysyłanej wiadomości stosujemy mechanizm uwagi. Działa dokładnie tak samo, jak nasz mózg. Kiedy zapisujemy w nim określone informacje, odfiltrowuje ważne dane i usuwa niepotrzebne. Mechanizm uwagi pomaga liczyć każdy załącznik. Ocena ważności danych umożliwia odfiltrowanie nieistotnych informacji.

Jak działa RNS

Kiedy wysyłamy nasze dane tekstowe do maszyny, przechodzą one przez koder i tworzone są wektory. Powstałe wektory są dalej analizowane przez mechanizm uwagi. Ten mieszany proces pomaga przewidzieć następne słowo, które wypowie dana osoba. Mówiąc najprościej, istnieje „ wypełnianie luk " w oparciu o to, jak pewna jest wiedza maszyny. W miarę przyswajania języka maszyna może lepiej przewidywać kolejne słowa. Mając ogromne doświadczenie, trafnie przewidzi możliwe opcje. Następnie przesyłamy otrzymane słowo z dostępną predykcją do dekodera. Cykl generowania nowych propozycji trwa w nieskończoność, co pomaga ulepszać AGI.

Główną atrakcją GPT-3 jest ogromny zbiór danych i nieskończone możliwości uczenia się. Samo uczenie się nie jest specyficzne dla domeny, ale pozwala algorytmowi nauczyć się, jak wykonać dowolne zadanie specyficzne dla domeny. Poproś algorytm o napisanie zapytania SQL, a to załatwi sprawę. Poproś go o pomoc w napisaniu tekstu na temat sportowy – to też potrafi.

Źródło: Papier GPT-3

GPT-3 działa lepiej z wieloma ramkami treningowymi: gdy podasz mu podpowiedź i kilka przykładów. Wyobraź sobie, że dałeś studentowi pierwszego roku kilka książek i poprosiłeś ją o udzielenie odpowiedzi na pytania. Czasami jej się to udawało, a czasami nie. Więc dajesz jej więcej książek i zadajesz więcej pytań, co pomaga jej poszerzać swoją wiedzę. Robi to, czytając nowy materiał i przyglądając się przykładom podobnych pytań.

GPT-3 to wciąż maszyna, będzie mogła uczyć się na wielu przykładach. Kiedy uczymy się prowadzić samochód, wybieramy ogromną liczbę miejsc, w których możemy doskonalić swoje umiejętności. Zaczynamy od dróg, po których jeździ niewielka liczba samochodów. Następnie jedziemy na tory o większym natężeniu ruchu samochodowego. I wreszcie, zdobywszy całkowitą pewność siebie, jedziemy najbardziej ruchliwą ulicą, aby zdobyć potrzebne nam umiejętności. Jeśli jeździsz po drogach o umiarkowanym natężeniu ruchu, to na pewno nie będziesz mógł prowadzić samochodu w godzinach szczytu. Tak samo, jeśli chcemy uzyskać najlepszy model, musimy zapewnić mu inne warunki treningowe.

GPT-3 ciągle się uczy. Jest to najlepszy algorytm w dziedzinie AI. Jednak GPT-3 nie może zachowywać się dokładnie tak, jak my. W końcu dzieci nie muszą oglądać milionów przykładów, aby nauczyć się czegoś nowego. GPT-3 uczy się w Internecie i czasami pochłania całą negatywność, która się tam znajduje. Może naśladować język naturalny, ale jeśli chodzi o naturalne myśli, sztuczna inteligencja wciąż zawodzi. Istnieje cienka granica między językiem naturalnym a naturalnym myśleniem. GPT-3 udowodnił, że skalowanie modelu językowego może poprawić dokładność wypowiedzi. Aby posługiwać się językiem identycznym z ludzkim, maszyna nie potrzebuje duszy, ale ogromnej ilości danych.

Kiedy byłem dzieckiem, nasz nauczyciel dał nam pierwszą część scenariusza i poprosił o napisanie kontynuacji. Spędzałem godziny na wymyślaniu zwrotów akcji, a potem przynosiłem je mojemu nauczycielowi. Za każdym razem dostawałem niskie oceny i nie rozumiałem dlaczego.

Robiłem to przez wiele lat i nadal nie rozumiałem powodu. Jednak pewnego dnia dotarło do mnie, że wszystko robię źle. Byłem zbyt zajęty skupieniem się na kreatywnych myślach, ale do dobrej oceny wystarczył brak błędów gramatycznych. Najwyraźniej nauczył nas „pisać”, a nie „kreatywnie myśleć”. Przyznam jednak, że gramatyka nie była moją mocną stroną, w przeciwieństwie do tworzenia ciekawej fabuły.

Dokładnie to robi GPT-3. Wiele swojej wiedzy czerpie z wcześniejszych prac stworzonych przez ludzi. A wszystko, na czym mu zależy, to tworzenie podobnych ludzkich myśli i słów. Koncentruje się raczej na „ stylu ” niż na „ kreatywności czy zrozumieniu przyczyn “. Gramatyka to jego język programowania.

Nie da się ukryć, że jest dobry w przewidywaniu możliwych doborów słów. Jednak GPT-3 nie jest przeznaczony do przechowywania faktów ani do ich odzyskiwania we właściwym czasie, tak jak robi to ludzki mózg. To bardziej przypomina algorytm wybierania słów kluczowych z szablonu, tak jak ma to miejsce w przypadku SEO.

Taka maszyna (nawet po poznaniu ludzi przez Internet) nie ma cech ludzkich. To tylko algorytm i nieuzasadnione jest oczekiwanie, że będzie w stanie „ wyrazić ” swoje prywatne myśli. Nadal brakuje mu IQ, co odróżnia ludzi od maszyn. Mam nadzieję, że tak zostanie (przynajmniej na jakiś czas).

Źródło : Towards AI.
Zdjęcie na okładce: Kasia Bojanowska