GPT-3 per i manichini. Come funziona la rete neurale più avanzata al mondo.

Se non hai prestato attenzione alle cose straordinarie che l’IA può fare, ora è il momento di farlo.

Gli utenti in rete stanno impazzendo per lo strumento interattivo GPT-3. Le sue possibilità teoriche e le modalità di utilizzo sono sorprendenti e incredibilmente versatili. (G)enerative (P)retrained (M)odel 3 è la terza generazione dell’algoritmo di elaborazione del linguaggio naturale di OpenAI. Diventerà il tuo vero amico e aiutante, perché si comporterà esattamente come gli dici.

Se vuoi guardare al futuro, dai un’occhiata a come gli sviluppatori stanno già utilizzando GPT-3. Senza dubbio, va detto, il nostro mondo è pieno di esempi di utilizzo dell’IA, dalle offerte speciali per l’acquisto su Amazon alle auto a guida autonoma. L’intelligenza artificiale è riuscita a mettere la mano ovunque. Inoltre, ci sono buone probabilità che sia stata l’intelligenza artificiale a ispirarti a leggere questo articolo e che altre tecnologie siano state coinvolte nella sua stesura.

GPT-3 è un algoritmo speciale in grado di eseguire varie attività di elaborazione del linguaggio umano. Può agire come scrittore, giornalista, poeta, autore, ricercatore o bot. GPT-3 è anche considerato dai ricercatori come un algoritmo con cui possiamo fare il primo passo verso la creazione di Intelligenza Generale Artificiale (AGI). AGI è la capacità delle macchine di apprendere ed eseguire compiti simili a quelli svolti dagli esseri umani.

C’è stato un tempo in cui questo algoritmo era un vero mistero per gli scienziati. Tuttavia, con lo sviluppo della tecnologia, è diventata sempre più accessibile sia ai professionisti che agli utenti ordinari. Per comprendere le basi di come funziona GPT-3, dobbiamo acquisire familiarità con i principi dell’apprendimento automatico, che è la chiave del funzionamento di questo algoritmo unico. L’apprendimento automatico è parte integrante dell’intelligenza artificiale. Permette alla macchina di migliorarsi con l’esperienza acquisita.

Esistono due tipi di algoritmi di apprendimento automatico: supervisionati e non supervisionati.

L’apprendimento supervisionato include algoritmi che necessitano di dati etichettati. In altre parole, diciamo che la tua auto ha 5 anni. Vuoi insegnarle a leggere e poi controllare se l’abilità è stata appresa. Nell’apprendimento supervisionato, forniamo dati etichettati alla macchina. Successivamente, controlliamo se è stata in grado di imparare qualcosa o meno.

Le persone, ovviamente, acquisiscono abilità durante l’apprendimento supervisionato. Tuttavia, la maggior parte del loro tempo imparano analizzando le loro esperienze e cercando di prevedere il futuro con il loro intuito. Questo è esattamente il principio dell’apprendimento non supervisionato.

Apprendimento supervisionato VS non supervisionato

GPT-3 utilizza l’apprendimento senza supervisione. È in grado di meta-apprendimento, cioè di apprendimento senza alcuna formazione. Il corpus di addestramento GPT-3 è costituito da un set di dati di scansione comune. Include 45 TB di dati di testo ottenuti da Internet. GPT-3 ha 175 miliardi di parametri del modello, mentre il cervello umano ne ha 10-100 trilioni.

Per comprendere i principi della vita sulla Terra, la scala dell’universo e altre sottigliezze umane, è necessario disporre di 4.398 trilioni di parametri del modello. Il ritmo con cui GPT sta crescendo è terrificante: aumenta di circa 100 volte ogni anno, il che è sia sorprendente che preoccupante.

Sappiamo che i modelli di machine learning funzionano sempre con elevata precisione. Tuttavia, l’analisi del linguaggio umano è il loro punto debole. Per ovviare a questa lacuna, convertiamo il testo in numeri utilizzando l’incorporamento e li passiamo alle nostre macchine. Le macchine utilizzano codificatori e decodificatori per aiutarli a riconoscere il messaggio.

Le reti neurali ricorrenti (RNN) sono una classe di reti neurali utili per la modellazione di dati sequenziali come serie temporali o linguaggio naturale. Tuttavia, a causa dell’enorme quantità di informazioni testuali, non possiamo essere sicuri che il messaggio venga letto in modo completo. Per un migliore riconoscimento del messaggio inviato, utilizziamo il meccanismo dell’attenzione. Funziona esattamente allo stesso modo del nostro cervello. Quando salviamo determinate informazioni al suo interno, filtra i dati importanti e rimuove quelli non necessari. Il meccanismo dell’attenzione aiuta a tenere il conto di ogni attaccamento. La valutazione dell’importanza dei dati consente di filtrare le informazioni irrilevanti.

Come funziona RNS

Quando inviamo i nostri dati di testo alla macchina, passa attraverso il codificatore e vengono creati i vettori. I vettori risultanti vengono ulteriormente analizzati dal meccanismo dell’attenzione. Questo processo misto aiuta a prevedere la parola successiva che una persona dirà. In poche parole, c’è un " riempimento delle lacune " in base alla fiducia della macchina nella sua conoscenza. Man mano che acquisisce il linguaggio, la macchina può prevedere meglio le parole successive. Avendo una vasta esperienza, prevederà accuratamente le possibili opzioni. Successivamente, inviamo la parola ricevuta con la previsione disponibile al decodificatore. Il ciclo di generazione di nuove proposte continua all’infinito, il che contribuisce a migliorare l’ AGI.

Il clou principale di GPT-3 è il suo enorme corpus di dati e le infinite opportunità di apprendimento. L’apprendimento in sé non è specifico del dominio, ma consente all’algoritmo di apprendere come eseguire qualsiasi attività specifica del dominio. Chiedi all’algoritmo di scrivere una query SQL e farà il trucco. Chiedigli di aiutarti a scrivere un testo su un argomento sportivo: può farlo anche lui.

Fonte: documento GPT-3

GPT-3 funziona meglio con più frame di addestramento: quando gli fornisci un suggerimento e alcuni esempi. Immagina di aver dato un paio di libri a una matricola e di averle chiesto di rispondere alle domande. A volte ci è riuscita, a volte ha fallito. Quindi continui a darle più libri e a farle più domande, il che la aiuta a migliorare le sue conoscenze. Lo fa leggendo nuovo materiale e guardando esempi di domande simili.

GPT-3 è ancora una macchina, potrà imparare da molti esempi. Quando impariamo a guidare un’auto, scegliamo un numero enorme di posti per affinare le nostre capacità. Iniziamo con le strade in cui circola un numero limitato di automobili. Quindi andiamo sui binari con un traffico automobilistico più intenso. E infine, acquisita la completa fiducia in se stessi, guidiamo lungo la strada più trafficata per acquisire l’abilità di cui abbiamo bisogno. Se guidi su strade con traffico moderato, sicuramente non sarai in grado di guidare un’auto nelle ore di punta. Allo stesso modo, se vogliamo ottenere il modello migliore, dobbiamo dotarlo di diverse condizioni di addestramento.

GPT-3 impara costantemente. È il miglior algoritmo nel campo dell’IA. Tuttavia, GPT-3 non può comportarsi esattamente come noi. Dopotutto, i bambini non hanno bisogno di vedere milioni di esempi per imparare qualcosa di nuovo. GPT-3 impara su Internet e talvolta assorbe tutta la negatività che c’è. Può imitare il linguaggio naturale, ma quando si tratta di pensieri naturali, l’intelligenza artificiale non è ancora all’altezza. C’è una linea sottile tra il linguaggio naturale e il pensiero naturale. GPT-3 ha dimostrato che il ridimensionamento del modello linguistico può migliorare l’accuratezza delle dichiarazioni. Per usare un linguaggio identico a quello umano, una macchina non ha bisogno di un’anima, ma di un’enorme quantità di dati.

Quando ero bambino, il nostro insegnante ci ha dato la prima parte della sceneggiatura e ci ha chiesto di scrivere un seguito. Ho passato ore a inventare colpi di scena e poi a portarli al mio insegnante. Ogni volta prendevo voti bassi e non capivo perché.

Per molti anni ho continuato a farlo e ancora non capivo il motivo. Tuttavia, un giorno mi sono reso conto che stavo sbagliando tutto. Ero troppo impegnato a concentrarmi sui miei pensieri creativi, ma per ottenere un buon voto è bastata l’ assenza di errori grammaticali. Apparentemente, ci ha insegnato a "scrivere" e non a "pensare in modo creativo". Tuttavia, vorrei ammettere che la grammatica non era il mio forte, a differenza della creazione di una trama interessante.

Questo è esattamente ciò che fa GPT-3. Trae gran parte della sua conoscenza da precedenti lavori creati dagli esseri umani. E tutto ciò che gli interessa è la creazione di pensieri e parole umani simili. Si concentra sullo " stile " piuttosto che sulla " creatività o comprensione delle cause ". La grammatica è il suo linguaggio di programmazione.

Non si può negare che sia bravo a prevedere possibili scelte di parole. Tuttavia, GPT-3 non è progettato per memorizzare fatti né per recuperarli al momento giusto, come fa il cervello umano. È più simile a un algoritmo per selezionare le parole chiave da un modello, come nel caso della SEO.

Una macchina del genere (anche dopo aver incontrato persone attraverso Internet) manca di caratteristiche umane. È solo un algoritmo ed è irragionevole aspettarsi che sia in grado di "dare voce " ai suoi pensieri privati. Gli manca ancora il QI, che è ciò che separa gli umani dalle macchine. Spero che rimanga così (almeno per un po’).

Fonte: Towards AI.
Immagine di copertina: Kasia Bojanowska