GPT-3 para tontos. Cómo funciona la red neuronal más avanzada del mundo.

Si no ha estado prestando atención a las increíbles cosas que la IA puede hacer, ahora es el momento de hacerlo.

Los usuarios de la red se están volviendo locos por la herramienta interactiva GPT-3. Sus posibilidades teóricas y formas de uso son asombrosas e increíblemente versátiles. (G)energative (P)retrained (M)odel 3 es la tercera generación del algoritmo de procesamiento de lenguaje natural de OpenAI. Se convertirá en tu verdadero amigo y ayudante, porque se comportará exactamente como le digas.

Si desea mirar hacia el futuro, eche un vistazo a cómo los desarrolladores ya están usando GPT-3. Sin duda, todo hay que decirlo, nuestro mundo está lleno de ejemplos del uso de la IA, desde ofertas especiales para comprar en Amazon hasta coches autónomos. AI logró poner su mano en todas partes. Además, es muy probable que haya sido la IA la que lo inspiró a leer este artículo, y otras tecnologías participaron en su redacción.

GPT-3 es un algoritmo especial que puede realizar varias tareas de procesamiento del habla humana. Puede actuar como escritor, periodista, poeta, autor, investigador o bot. GPT-3 también es considerado por los investigadores como un algoritmo con el que podemos dar el primer paso hacia la creación de Inteligencia General Artificial (AGI). AGI es la capacidad de las máquinas para aprender y realizar tareas similares a las que realizan los humanos.

Hubo un tiempo en que este algoritmo era un verdadero misterio para los científicos. Sin embargo, a medida que la tecnología se ha desarrollado, se ha vuelto cada vez más accesible tanto para los profesionales como para los usuarios comunes. Para comprender los conceptos básicos de cómo funciona GPT-3, debemos familiarizarnos con los principios del aprendizaje automático, que es la clave de cómo funciona este algoritmo único. El aprendizaje automático es una parte integral de la inteligencia artificial. Permite que la máquina se mejore a sí misma con la experiencia adquirida.

Hay dos tipos de algoritmos de aprendizaje automático: supervisados ​​y no supervisados.

El aprendizaje supervisado incluye algoritmos que necesitan datos etiquetados. En otras palabras, digamos que su automóvil tiene 5 años. Desea enseñarle a leer y luego verificar si ha aprendido la habilidad. En el aprendizaje supervisado, proporcionamos datos etiquetados a la máquina. Después de eso, verificamos si pudo aprender algo o no.

Las personas, por supuesto, adquieren habilidades durante el aprendizaje supervisado. Sin embargo, la mayor parte de su tiempo aprenden analizando sus experiencias y tratando de predecir el futuro con su intuición. Estos son precisamente los principios del aprendizaje no supervisado.

Aprendizaje supervisado VS no supervisado

GPT-3 utiliza aprendizaje no supervisado. Es capaz de metaaprendizaje, es decir, aprender sin ningún entrenamiento. El corpus de entrenamiento de GPT-3 consta de un conjunto de datos comunes. Incluye 45 TB de datos de texto obtenidos de Internet. GPT-3 tiene 175 mil millones de parámetros de modelo, mientras que el cerebro humano tiene entre 10 y 100 billones.

Para comprender los principios de la vida en la Tierra, la escala del universo y otras sutilezas humanas, es necesario tener 4,398 billones de parámetros del modelo. El ritmo al que crece GPT es aterrador: aumenta unas 100 veces cada año, lo que es a la vez sorprendente y preocupante.

Sabemos que los modelos de aprendizaje automático siempre funcionan con alta precisión. Sin embargo, el análisis del lenguaje humano es su punto débil. Para superar esta deficiencia, convertimos el texto en números utilizando incrustaciones y los pasamos a nuestras máquinas. Las máquinas utilizan codificadores y decodificadores para ayudarles a reconocer el mensaje.

Las redes neuronales recurrentes (RNN) son una clase de redes neuronales que son buenas para modelar datos secuenciales como series temporales o lenguaje natural. Sin embargo, debido a la gran cantidad de información textual, no podemos estar seguros de que el mensaje se lea de manera completa. Para un mejor reconocimiento del mensaje enviado, utilizamos el mecanismo de atención. Funciona exactamente de la misma manera que nuestro cerebro. Cuando guardamos cierta información en él, filtra los datos importantes y elimina los innecesarios. El mecanismo de atención ayuda a llevar la cuenta de cada archivo adjunto. La clasificación de importancia de los datos permite filtrar información irrelevante.

Cómo funciona RNS

Cuando enviamos nuestros datos de texto a la máquina, pasan por el codificador y se crean vectores. Los vectores resultantes son analizados más a fondo por el mecanismo de atención. Este proceso mixto ayuda a predecir la siguiente palabra que dirá una persona. En pocas palabras, se trata de " llenar los vacíos " en función de la confianza que tenga la máquina en su conocimiento. A medida que adquiere lenguaje, la máquina puede predecir mejor las siguientes palabras. Con una vasta experiencia, predecirá con precisión las posibles opciones. A continuación, enviamos la palabra recibida con la predicción disponible al decodificador. El ciclo de generación de nuevas propuestas continúa indefinidamente, lo que ayuda a mejorar AGI.

Lo más destacado de GPT-3 es su enorme corpus de datos y sus infinitas oportunidades de aprendizaje. El aprendizaje en sí no es específico del dominio, pero permite que el algoritmo aprenda a realizar cualquier tarea específica del dominio. Pídale al algoritmo que escriba una consulta SQL y hará el truco. Pídele que te ayude a escribir un texto sobre un tema deportivo; también puede hacerlo.

Fuente: Papel GPT-3

GPT-3 funciona mejor con múltiples marcos de entrenamiento: cuando le proporciona una pista y algunos ejemplos. Imagina que le diste un par de libros a una estudiante de primer año y le pediste que respondiera preguntas. A veces lo conseguía y otras veces fallaba. Así que sigues dándole más libros y haciéndole más preguntas, lo que la ayuda a mejorar su conocimiento. Lo hace leyendo material nuevo y mirando ejemplos de preguntas similares.

GPT-3 sigue siendo una máquina, podrá aprender de muchos ejemplos. Cuando aprendemos a conducir un automóvil, elegimos una gran cantidad de lugares para perfeccionar nuestras habilidades. Comenzamos con carreteras donde circula un pequeño número de coches. Luego nos dirigimos a las pistas con un tráfico de automóviles más denso. Y finalmente, habiendo ganado la confianza total en nosotros mismos, conducimos por la calle más transitada para adquirir la habilidad que necesitamos. Si conduce por carreteras con tráfico moderado, definitivamente no podrá conducir un automóvil durante las horas pico. De la misma forma, si queremos conseguir el mejor modelo, debemos dotarlo de diferentes condiciones de entrenamiento.

GPT-3 está en constante aprendizaje. Es el mejor algoritmo en el campo de la IA. Sin embargo, GPT-3 no puede comportarse exactamente como lo hacemos nosotros. Después de todo, los niños no necesitan ver millones de ejemplos para aprender algo nuevo. GPT-3 aprende en Internet y, a veces, absorbe toda la negatividad que hay allí. Puede imitar el lenguaje natural, pero cuando se trata de pensamientos naturales, la IA aún se queda corta. Hay una delgada línea entre el lenguaje natural y el pensamiento natural. GPT-3 demostró que escalar el modelo de lenguaje puede mejorar la precisión de las declaraciones. Para utilizar un lenguaje idéntico al humano, una máquina no necesita un alma, sino una enorme cantidad de datos.

Cuando era niño, nuestro maestro nos dio la primera parte del guión y nos pidió que escribiéramos una continuación. Pasé horas inventando giros en la trama y luego presentárselos a mi maestro. Cada vez que obtenía notas bajas y no entendía por qué.

Durante muchos años continué haciendo esto y todavía no entendía la razón. Sin embargo, un día me di cuenta de que estaba haciendo todo mal. Estaba demasiado ocupado concentrándome en mis pensamientos creativos, pero todo lo que necesité para obtener una buena calificación fue la ausencia de errores gramaticales. Aparentemente, nos enseñó a "escribir" y no a "pensar creativamente". Aún así, me gustaría admitir que la gramática no era mi punto fuerte, a diferencia de crear una trama interesante.

Esto es exactamente lo que hace GPT-3. Extrae gran parte de su conocimiento de trabajos anteriores creados por humanos. Y todo lo que le importa es la creación de pensamientos y palabras humanas similares. Se centra en el " estilo " más que en la " creatividad o la comprensión de las causas ". La gramática es su lenguaje de programación.

No se puede negar que es bueno para predecir posibles elecciones de palabras. Sin embargo, GPT-3 no está diseñado para almacenar datos ni para recuperarlos en el momento adecuado, como lo hace el cerebro humano. Es más como un algoritmo para seleccionar palabras clave de una plantilla, como es el caso del SEO.

Tal máquina (incluso después de conocer gente a través de Internet) carece de rasgos humanos. Es solo un algoritmo y no es razonable esperar que pueda " expresar " sus pensamientos privados. Todavía carece de coeficiente intelectual, que es lo que separa a los humanos de las máquinas. Espero que siga así (al menos por un tiempo).

Procedente de Hacia la IA.
Imagen de portada: Kasia Bojanowska