¿Cómo funciona ChatGPT?

Nadie nace aprendido, ni siquiera ChatGPT. Para llegar a lo que es hoy,  esta inteligencia artificial ha tenido que pasar por varias etapas de aprendizaje. Principalmente está el aprendizaje supervisado, en el que se entrena al modelo con preguntas y sus respectivas respuestas. Pero claro, detrás de esta idea subyace un grave problema: es imposible anticiparse a todas las preguntas existentes. Limitándose solo a este entrenamiento, ChatGPT solo podría responder a preguntas que ya hubieran sido formuladas antes (o similares). Es aquí donde entra en juego la capacidad generativa de ChatGPT. Una vez ha detectado patrones en la etapa anterior, es capaz de extrapolar esas reglas a nuevas preguntas.

La diferencia entre estos dos tipos de aprendizaje es como aprender a poner tildes en castellano. Sería impensable estudiar para un examen de ortografía memorizando una por una todas las palabras. En cambio, con la capacidad generativa podrías detectar patrones, como por ejemplo que todas las palabras agudas que acaban en “n” llevan vocal. De esta forma, escuchando la palabra “periton” puedes determinar si lleva tilde o no en función de cuál sea la sílaba tónica, por mucho que no hayas visto esa palabra nunca antes. 

Gracias a ser generativo, ChatGPT puede responder a cualquier pregunta por mucho que no se la hayan planteado nunca. De hecho, esta es su respuesta ante una pregunta extravagante, como es pedirle que te haga un resumen de la tercera película de Harry Potter si Shrek fuera el protagonista.

“Sirius Black escapa de Azkaban para encontrarse con Shrek, pero en cuanto lo ve, decide que el ogro es más aterrador que los dementores y se rinde de inmediato. Shrek, sin paciencia para viajar en el tiempo, le da un cabezazo a Peter Pettigrew y lo entrega a las autoridades en menos de cinco minutos”.

Mediante los “transformers”, probablemente asignará una mayor importancia a las palabras “resumen”, “Harry Potter”, “Shrek” y “protagonista”, y determinará que “Shrek” es quien tiene que ser el protagonista. Gracias a los “word embeddings”, encontrará que conceptos como “aterrador” o “cabezazo” estarán cerca de “Shrek” y responderá con ellos. Las opciones con esto son inimaginables: pedirle que te explique las Leyes de Newton como si fuera Belén Esteban, o preguntarle qué reyes de la historia de España serían mejores jugadores de fútbol.

En resumen, primero se entrena con el aprendizaje supervisado (para profundizar más: “language modelling”, “auto-encoding” y “sequence-prediction”). Le sigue una etapa de afinado (conocida como Fine-tuning) para que sea más preciso y por último está la etapa de Reinforcement Learning from Human Feedback (RLHF).  Como su propio nombre indica, en esta fase el modelo va mejorando según si los usuarios califican como buenas o malas sus respuestas.

¿Cómo se resumiría todo este artículo en unas líneas? ChatGPT es un modelo de lenguaje entrenado con muchísimo texto, en el que detecta qué palabras aparecen en contextos similares. Gracias a los “transformers” determina las relaciones e importancias entre las palabras de nuestra pregunta y, mediante los “word embeddings”, las representa en un espacio multidimensional. Las palabras que se encuentren cerca en ese espacio serán las que tengan una mayor probabilidad de responder a nuestra pregunta. Hemos visto que ChatGPT es generativo (G), está preentrenado (P) y usa “transformers” (T). Exacto, de ahí viene GPT.