GPT-3 mannekeenide jaoks. Kuidas töötab maailma kõige arenenum närvivõrk.

Kui te pole pööranud tähelepanu hämmastavatele asjadele, mida AI teha saab, on nüüd aeg seda teha.

Interneti kasutajad on GPT-3 interaktiivse tööriista järele hulluks minemas. Selle teoreetilised võimalused ja kasutusviisid on hämmastavad ja uskumatult mitmekülgsed. (G)generatiivne (P)retrained (M)odel 3 on OpenAI loomuliku keele töötlemise algoritmi kolmas põlvkond. Temast saab sinu tõeline sõber ja abiline, sest ta käitub täpselt nii, nagu sa talle ütled.

Kui soovite vaadata tulevikku, vaadake, kuidas arendajad juba GPT-3 kasutavad. Kahtlemata tuleb öelda, et meie maailm on täis AI kasutamise näiteid alates Amazoni ostude eripakkumistest kuni isejuhtivate autodeni. AI suutis igale poole kätt panna. Lisaks on suur tõenäosus, et AI inspireeris teid seda artiklit lugema ja selle kirjutamisse olid kaasatud muud tehnoloogiad.

GPT-3 on spetsiaalne algoritm, mis suudab täita erinevaid inimkõne töötlemise ülesandeid. Ta võib tegutseda kirjaniku, ajakirjaniku, poeedi, autori, uurija või robotina. GPT-3 peavad teadlased ka algoritmiks, mille abil saame astuda esimese sammu tehisintellekti (AGI) loomise suunas. AGI on masinate võime õppida ja täita ülesandeid, mis on sarnased inimeste tehtavatega.

Oli aeg, mil see algoritm oli teadlastele tõeline mõistatus. Tehnoloogia arenedes on see aga muutunud üha kättesaadavamaks nii professionaalidele kui ka tavakasutajatele. GPT-3 toimimise põhitõdede mõistmiseks peame tutvuma masinõppe põhimõtetega, mis on selle ainulaadse algoritmi toimimise võti. Masinõpe on tehisintellekti lahutamatu osa. See võimaldab masinal end omandatud kogemuste abil täiustada.

Masinõppe algoritme on kahte tüüpi: järelevalvega ja järelevalveta.

Juhendatud õpe sisaldab algoritme, mis vajavad märgistatud andmeid. Teisisõnu oletame, et teie auto on 5 aastat vana. Soovite talle lugema õpetada ja seejärel kontrollida, kas oskus on õpitud. Juhendatud õppe korral edastame masinale märgistatud andmed. Pärast seda kontrollime, kas ta suutis midagi õppida või mitte.

Inimesed omandavad oskusi muidugi juhendatud õppe käigus. Suurema osa ajast õpivad nad aga oma kogemusi analüüsides ja intuitsiooni abil tulevikku ennustades. Just sellised on juhendamata õppimise põhimõtted.

Juhendatud VS juhendamata õppimine

GPT-3 kasutab järelevalveta õppimist. See on võimeline metaõppeks, st õppima ilma igasuguse koolituseta. GPT-3 koolituskorpus koosneb ühisest roomamise andmekogumist. See sisaldab 45 TB Internetist saadud tekstiandmeid. GPT-3 mudeli parameetrid on 175 miljardit, inimese ajus aga 10–100 triljonit.

Maapealse elu põhimõtete, universumi ulatuse ja muude inimlike peensuste mõistmiseks on vaja 4,398 triljonit mudeliparameetrit. GPT kasvutempo on hirmutav – see kasvab igal aastal umbes 100 korda, mis on ühtaegu üllatav ja murettekitav.

Teame, et masinõppe mudelid töötavad alati suure täpsusega. Inimkeele analüüs on aga nende nõrk koht. Selle puuduse ületamiseks teisendame teksti manustamise abil numbriteks ja edastame need oma masinatele. Masinad kasutavad sõnumi äratundmiseks kodeerijaid ja dekoodereid.

Korduvad närvivõrgud (RNN-id) on närvivõrkude klass, mis sobivad hästi järjestikuste andmete, näiteks aegridade või loomuliku keele modelleerimiseks. Tekstilise teabe tohutu hulga tõttu ei saa me aga kindlad olla, et sõnum loetakse põhjalikult läbi. Saadetud sõnumi paremaks äratundmiseks kasutame tähelepanumehhanismi. See töötab täpselt samamoodi nagu meie aju. Kui salvestame sellesse teatud teabe, filtreerib see olulised andmed välja ja eemaldab mittevajalikud. Tähelepanumehhanism aitab iga manuse arvu pidada. Andmete tähtsuse reiting võimaldab filtreerida välja ebaolulise teabe.

Kuidas RNS töötab

Kui saadame oma tekstiandmed masinasse, läbivad need kodeerija ja luuakse vektorid. Saadud vektoreid analüüsitakse täiendavalt tähelepanumehhanismi abil. See segaprotsess aitab ennustada järgmist sõna, mida inimene ütleb. Lihtsamalt öeldes toimub " lünkade täitmine " selle põhjal, kui kindel masin oma teadmistes on. Keele omandades suudab masin järgmisi sõnu paremini ennustada. Omades tohutuid kogemusi, ennustab ta täpselt võimalikke valikuid. Järgmisena saadame vastuvõetud sõna koos saadaoleva ennustusega dekoodrisse. Uute ettepanekute genereerimise tsükkel jätkub lõputult, mis aitab AGI -d täiustada .

GPT-3 peamine esiletõst on selle tohutu andmekorpus ja lõputud õppimisvõimalused. Õppimine ise ei ole domeenispetsiifiline, kuid võimaldab algoritmil õppida täitma mis tahes domeenispetsiifilist ülesannet. Paluge algoritmil kirjutada SQL-päring ja see teeb asja ära. Paluge tal aidata sporditeemalist teksti kirjutada – ta saab ka sellega hakkama.

Allikas: GPT-3 paber

GPT-3 töötab paremini mitme treeningraamiga: kui annate sellele vihje ja mõned näited. Kujutage ette, et kinkisite esmakursuslasele paar raamatut ja palusite tal küsimustele vastata. Mõnikord õnnestus tal ja mõnikord ebaõnnestus. Nii et annate talle rohkem raamatuid ja esitate rohkem küsimusi, mis aitab tal oma teadmisi täiendada. Ta teeb seda uut materjali lugedes ja sarnaste küsimuste näiteid vaadates.

GPT-3 on endiselt masin, see võib paljudest näidetest õppida. Kui õpime autot juhtima, valime oma oskuste lihvimiseks tohutul hulgal kohti. Alustame teedest, kus sõidab vähe autosid. Seejärel läheme tihedama autoliiklusega radadele. Ja lõpuks, olles saavutanud täieliku enesekindluse, sõidame mööda kõige elavamat tänavat, et omandada vajalik oskus. Kui sõidad ainult mõõduka liiklusega teedel, siis tipptunnil autoga kindlasti sõita ei saa. Samamoodi, kui tahame saada parimat mudelit, peame sellele tagama erinevad treeningtingimused.

GPT-3 õpib pidevalt. See on parim algoritm AI valdkonnas. Kuid GPT-3 ei saa käituda täpselt nii nagu meie. Lõppude lõpuks ei pea lapsed millegi uue õppimiseks nägema miljoneid näiteid. GPT-3 õpib Internetis ja mõnikord neelab kogu seal leiduva negatiivsuse. See võib jäljendada loomulikku keelt, kuid loomulike mõtete osas jääb tehisintellekt siiski alla. Loomuliku keele ja loomuliku mõtte vahel on peen piir. GPT-3 tõestas, et keelemudeli skaleerimine võib parandada väidete täpsust. Inimesega identse keele kasutamiseks ei vaja masin hinge, vaid tohutul hulgal andmeid.

Kui ma olin laps, andis meie õpetaja meile stsenaariumi esimese osa ja palus meil kirjutada järg. Veetsin tunde süžee keerdkäikude väljamõtlemiseks ja seejärel oma õpetajale toomiseks. Iga kord sain madalad hinded ja ei saanud aru, miks.

Jätkasin seda aastaid ega saanud ikka aru põhjusest. Ühel päeval aga jõudis mulle kohale, et teen kõike valesti. Olin liiga hõivatud oma loomingulistele mõtetele keskendumisega, kuid hea hinde saamiseks oli vaja ainult grammatikavigade puudumist. Ilmselt õpetas ta meid "kirjutama" ja mitte "loovalt mõtlema". Siiski tahaksin tunnistada, et erinevalt huvitava süžee loomisest polnud grammatika minu tugevaim külg.

See on täpselt see, mida GPT-3 teeb. Suure osa oma teadmistest ammutab ta varasematest inimeste loodud töödest. Ja kõik, mis teda huvitab, on sarnaste inimlike mõtete ja sõnade loomine. See keskendub pigem " stiilile " kui " loovusele või põhjuste mõistmisele ". Grammatika on tema programmeerimiskeel.

Ei saa salata, et ta oskab hästi ennustada võimalikke sõnavalikuid. Kuid GPT-3 ei ole loodud faktide salvestamiseks ega nende õigel ajal hankimiseks, nagu seda teeb inimaju. See on rohkem nagu mallist märksõnade valimise algoritm, nagu see on SEO puhul .

Sellisel masinal (isegi pärast inimestega Interneti kaudu kohtumist) puuduvad inimlikud omadused. See on lihtsalt algoritm ja on ebamõistlik eeldada, et see suudab oma isiklikke mõtteid " häälestada ". Tal puudub endiselt IQ, mis eristab inimesi masinatest. Loodan, et see jääbki nii (vähemalt mõnda aega).

Pärineb lehelt Towards AI.
Kaanepilt: Kasia Bojanowska