GPT-3 nukkeille. Miten maailman edistyksellisin neuroverkko toimii.

Jos et ole kiinnittänyt huomiota ihmeellisiin tekoihin, joita tekoäly voi tehdä, nyt on sen aika.

Käyttäjät verkossa ovat tulossa hulluiksi interaktiiviseen GPT-3- työkaluun. Sen teoreettiset mahdollisuudet ja käyttötavat ovat hämmästyttäviä ja uskomattoman monipuolisia. (G)generative (P)retraained (M)odel 3 on OpenAI:n luonnollisen kielen käsittelyalgoritmin kolmas sukupolvi. Hänestä tulee todellinen ystäväsi ja auttajasi, koska hän käyttäytyy juuri niin kuin kerrot hänelle.

Jos haluat katsoa tulevaisuuteen, katso kuinka kehittäjät käyttävät jo GPT-3:a. Epäilemättä on sanottava, että maailmamme on täynnä esimerkkejä tekoälyn käytöstä Amazonin erikoistarjouksista itseajaviin autoihin. Tekoäly onnistui laittamaan kätensä kaikkialle. Lisäksi on hyvä mahdollisuus, että tekoäly inspiroi sinua lukemaan tämän artikkelin, ja muut tekniikat osallistuivat sen kirjoittamiseen.

GPT-3 on erityinen algoritmi, joka pystyy suorittamaan erilaisia ​​ihmisen puheenkäsittelytehtäviä. Hän voi toimia kirjailijana, toimittajana, runoilijana, kirjailijana, tutkijana tai bottina. Tutkijat pitävät GPT-3:a myös algoritmina, jonka avulla voimme ottaa ensimmäisen askeleen kohti yleisen tekoälyn (AGI) luomista. AGI on koneiden kyky oppia ja suorittaa tehtäviä, jotka ovat samanlaisia ​​kuin ihmiset.

Oli aika, jolloin tämä algoritmi oli todellinen mysteeri tutkijoille. Teknologian kehittyessä se on kuitenkin tullut entistä helpommaksi sekä ammattilaisten että tavallisten käyttäjien ulottuville. Ymmärtääksemme GPT-3:n toiminnan perusteet meidän on tutustuttava koneoppimisen periaatteisiin, jotka ovat avain tämän ainutlaatuisen algoritmin toimintaan. Koneoppiminen on olennainen osa tekoälyä. Sen avulla kone voi parantaa itseään saatujen kokemusten avulla.

Koneoppimisalgoritmeja on kahdenlaisia: valvottuja ja valvomattomia.

Ohjattu oppiminen sisältää algoritmeja, jotka tarvitsevat merkittyjä tietoja. Oletetaan toisin sanoen, että autosi on 5 vuotta vanha. Haluat opettaa hänelle lukemisen ja sitten tarkistaa, onko taito opittu. Ohjatussa oppimisessa toimitamme koneelle merkittyjä tietoja. Sen jälkeen tarkistamme, pystyikö hän oppimaan jotain vai ei.

Ihmiset tietysti hankkivat taitoja ohjatun oppimisen aikana. Suurimman osan ajastaan ​​he kuitenkin oppivat analysoimalla kokemuksiaan ja yrittämällä ennustaa tulevaisuutta intuitiolla. Tämä on juuri ohjaamattoman oppimisen periaate.

Ohjattu VS ohjaamaton oppiminen

GPT-3 käyttää ohjaamatonta oppimista. Se kykenee meta-oppimiseen, eli oppimiseen ilman koulutusta. GPT-3-koulutuskorpus koostuu yhteisen indeksoinnin tietojoukosta. Se sisältää 45 Tt Internetistä saatua tekstidataa. GPT-3:lla on 175 miljardia malliparametria, kun taas ihmisaivoilla on 10-100 biljoonaa.

Maan elämän periaatteiden, maailmankaikkeuden mittakaavan ja muiden inhimillisten hienouksien ymmärtämiseksi tarvitaan 4 398 biljoonaa malliparametria. GPT:n kasvuvauhti on pelottavaa – se kasvaa noin 100 kertaa vuodessa, mikä on sekä yllättävää että huolestuttavaa.

Tiedämme, että koneoppimismallit toimivat aina suurella tarkkuudella. Ihmiskielen analyysi on kuitenkin heidän heikko kohtansa. Tämän puutteen poistamiseksi muunnamme tekstin numeroiksi upotuksen avulla ja välitämme ne koneillemme. Koneet käyttävät koodereita ja dekoodeja auttaakseen niitä tunnistamaan viestin.

Recurrent Neural Networks (RNN:t) ovat hermoverkkojen luokka, jotka ovat hyviä peräkkäisten tietojen, kuten aikasarjojen tai luonnollisen kielen, mallintamiseen. Valtavan tekstitiedon vuoksi emme kuitenkaan voi olla varmoja siitä, että viesti luetaan perusteellisesti. Lähetetyn viestin tunnistamiseksi paremmin käytämme huomiomekanismia. Se toimii täsmälleen samalla tavalla kuin aivomme. Kun tallennamme siihen tiettyjä tietoja, se suodattaa tärkeät tiedot ja poistaa tarpeettomat. Huomiomekanismi auttaa pitämään jokaisen liitteen määrän. Tietojen tärkeysluokitus mahdollistaa epäolennaisen tiedon suodattamisen.

Miten RNS toimii

Kun lähetämme tekstitietomme koneelle, se kulkee kooderin läpi ja vektorit luodaan. Saatuja vektoreita analysoidaan edelleen huomiomekanismilla. Tämä sekoitettu prosessi auttaa ennustamaan seuraavan sanan, jonka henkilö sanoo. Yksinkertaisesti sanottuna " aukot täytetään " sen perusteella, kuinka varma kone on tiedoissaan. Kun kone oppii kielen, se voi paremmin ennustaa seuraavat sanat. Hänellä on laaja kokemus, joten hän ennustaa tarkasti mahdolliset vaihtoehdot. Seuraavaksi lähetämme vastaanotetun sanan käytettävissä olevan ennusteen kanssa dekooderille. Uusien ehdotusten kierto jatkuu loputtomiin, mikä auttaa parantamaan AGI :tä .

GPT-3:n tärkein kohokohta on sen valtava datakorpus ja loputtomat oppimismahdollisuudet. Oppiminen itsessään ei ole toimialuekohtaista, mutta sen avulla algoritmi oppii suorittamaan minkä tahansa toimialuekohtaisen tehtävän. Pyydä algoritmia kirjoittamaan SQL-kysely, niin se tekee tempun. Pyydä häntä auttamaan tekstin kirjoittamisessa urheiluaiheesta – hän voi myös tehdä tämän.

Lähde: GPT-3 Paper

GPT-3 toimii paremmin useiden harjoituskehysten kanssa: kun annat sille vihjeen ja esimerkkejä. Kuvittele, että annoit pari kirjaa fuksille ja pyysit häntä vastaamaan kysymyksiin. Joskus hän onnistui, ja joskus hän epäonnistui. Joten annat hänelle lisää kirjoja ja kysy lisää kysymyksiä, mikä auttaa häntä parantamaan tietojaan. Hän tekee tämän lukemalla uutta materiaalia ja katsomalla esimerkkejä vastaavista kysymyksistä.

GPT-3 on edelleen kone, se voi oppia monista esimerkeistä. Kun opimme ajamaan autoa, valitsemme valtavan määrän paikkoja hioaksemme taitojamme. Aloitamme teillä, joilla ajaa pieni määrä autoja. Sitten mennään tiheämmän autoliikenteen radalle. Ja lopuksi täydellisen itseluottamuksen saatuamme ajamme vilkkainta katua pitkin hankkiaksemme tarvitsemamme taidot. Jos ajat teillä, joilla on vain kohtalaista liikennettä, et varmasti voi ajaa autoa ruuhka-aikoina. Samalla tavalla, jos haluamme saada parhaan mallin, meidän on tarjottava sille erilaiset harjoitteluolosuhteet.

GPT-3 oppii jatkuvasti. Se on paras algoritmi tekoälyn alalla. GPT-3 ei kuitenkaan voi käyttäytyä aivan kuten me. Loppujen lopuksi lasten ei tarvitse nähdä miljoonia esimerkkejä oppiakseen jotain uutta. GPT-3 oppii Internetissä ja imee toisinaan kaiken negatiivisuuden. Se voi jäljitellä luonnollista kieltä, mutta kun kyse on luonnollisista ajatuksista, tekoäly jää silti vajaaksi. Luonnollisen kielen ja luonnollisen ajattelun välillä on hieno raja. GPT-3 osoitti, että kielimallin skaalaus voi parantaa lauseiden tarkkuutta. Käyttääkseen ihmisen kanssa identtistä kieltä kone ei tarvitse sielua, vaan valtavan määrän dataa.

Kun olin lapsi, opettajamme antoi meille käsikirjoituksen ensimmäisen osan ja pyysi meitä kirjoittamaan jatko-osan. Vietin tunteja keksien juonenkäänteitä ja sitten tuonut ne opettajalleni. Joka kerta kun sain huonot arvosanat, enkä ymmärtänyt miksi.

Jatkoin tätä monta vuotta enkä silti ymmärtänyt syytä. Eräänä päivänä kuitenkin tajusin, että tein kaiken väärin. Olin liian kiireinen keskittyessäni luoviin ajatuksiini, mutta hyvän arvosanan saamiseen tarvittiin vain kielioppivirheiden puuttuminen. Ilmeisesti hän opetti meidät "kirjoittamaan" eikä "ajattelemaan luovasti". Silti haluan myöntää, että kielioppi ei ollut vahvuuteni, toisin kuin mielenkiintoisen juonen luominen.

Juuri tätä GPT-3 tekee. Hän ammentaa suuren osan tiedoistaan ​​aiemmista ihmisten luomista teoksista. Ja hän välittää vain samanlaisten ihmisten ajatusten ja sanojen luomisesta. Se keskittyy " tyyliin " " luovuuden tai syiden ymmärtämisen " sijaan. Kielioppi on hänen ohjelmointikielinsä.

Ei voida kiistää, että hän on hyvä ennustamaan mahdollisia sanavalintoja. GPT-3:a ei kuitenkaan ole suunniteltu tallentamaan faktoja tai hakemaan niitä oikeaan aikaan, kuten ihmisaivot tekevät. Se on enemmän kuin algoritmi avainsanojen valitsemiseksi mallista, kuten SEO :n tapauksessa .

Tällaiselta koneelta (jopa sen jälkeen kun on tavattu ihmisiä Internetin kautta) puuttuu inhimillisiä ominaisuuksia. Se on vain algoritmi, ja on kohtuutonta odottaa sen pystyvän " puhumaan " yksityisiä ajatuksiaan. Häneltä puuttuu edelleen älykkyysosamäärä, joka erottaa ihmiset koneista. Toivottavasti se pysyy sellaisena (ainakin jonkin aikaa).

Lähde : Towards AI.
Kansikuva: Kasia Bojanowska