No hay quien no esté hablando de los programas de inteligencia artificial generativa.
Principalmente del ChatGPT, pero también de otros como el Midjourney o el Bard de Google. Se dice que este tipo de programas representan uno de los cambios más profundos que vivirá la humanidad desde la creación de la red eléctrica. Filósofos, intelectuales e ingenieros alertan que representa graves riesgos para la civilización. Y recientemente Geoffry Hinton, el ingeniero considerado el mayor especialista en inteligencia artificial, abandonó Google alertando que este tipo de programas puede llegar a ser más astuto que la inteligencia humana y puede destruirnos como especie.
Lo cierto es que programas como el ChatGPT pueden resultar muy útiles para algunas
actividades, entre ellas el marketing y el ecommerce. En este rubro mucha gente está empezando a utilizarlo pero nadie sabe bien cómo es que el ChatGPT hace lo que hace.
Para aquellos interesados en saber cómo funcionan técnicamente los software que usamos muchos de nosotros a diario, recomendamos suscribirse a ByteByteGo, el newsletter creado por un ingeniero de origen oriental donde según sus propias palabras “explica sistemas complejos con términos simples”.
Cómo funciona el GPT
El ChatGPT apareció en noviembre del 2022. Alcanzó 100 millones de usuarios activos
en sólo dos meses. A Instagram le llevó más de dos años alcanzar esa cantidad de usuarios. El corazón de ChatGPT es un Modelo Extenso de Lenguaje (en inglés LLM).
Actualmente ChatGPT utiliza el LLM GPT3.5 pero también puede utilizar el más avanzado GPT4, pero todavía no tenemos muchos detalles de cómo funciona el GPT4. ¿Qué es un LLM? Es un tipo de modelo basado en redes neuronales que es entrenado en grandes cantidades de información de texto que permite entender y general lenguaje humano. El modelo usa la información para aprender patrones estadísticos y las relaciones entre las palabras en el lenguaje y utiliza este conocimiento para predecir las siguientes palabras en una oración. Una palabra por vez. Un LLM se caracteriza por su tamaño y el número de parámetros que contiene. El GPT3.5 contiene 175.000 millones de parámetros distribuidos en 96 capas de la red neuronal,
lo que lo convierte en uno de los más grandes modelos de aprendizaje profundo jamás creados. Los input y output están organizados por tokens, que son representaciones numéricas de palabras, o más correctamente partes de palabras. Se usan números en vez de palabras porque es más fácil de procesar.
El ChatGPT3.5 fue entrenado en una gran cantidad de información obtenida de internet. El conjunto de datos de origen contiene 500.000 millones de tokens. Esto significa que el modelo fue entrenado con cientos de miles de millones de palabras. Y fue entrenado para predecir el próximo token dada una serie de inputs. Puede generar texto estructurado de una manera que es gramaticalmente correcto y semánticamente similar a la información de internet sobre la cual fue entrenado.
Para verlo de otra manera, al GPT3.5 se le aplica sintonía fina con RLFH, recopilando comentarios de los comensales, creando un modelo de gratificación en base a sus preferencias y mejorando el trabajo del modelo usando PPO. Esto le permite al GPT3.5 generar mejores respuestas a los requerimientos específicos de los usuarios.
Ahora que entendemos cómo el modelo es entrenado y cómo se le aplica sintonía fina, veremos cómo es usado en ChatGPT para responder un requerimiento.
Conceptualmente es tan sencillo como alimentar el prompt en el modelo de ChatGPT y lograr la respuesta. En realidad es un poco más complicado.
Primero, el ChatGPT conoce el contexto del chat. Esto se logra alimentando la interface del ChatGPT cada vez que se le introduce un nuevo requerimiento. Esto se conoce como Inyección Conversacional Rápida. De esta manera es cómo el ChatGPT logra entender el contexto.
En segundo lugar el ChatGPT incluye ingeniería de requerimiento primario. Estos son tipos de requerimientos inyectados antes y después del prompt para guiar al modelo hacia un tipo de conversación. Estos requerimientos son invisibles para el usuario.
En tercer lugar el requerimiento es trasladado hacia la API de moderación para alertar o bloquear cierto tipo de contenido no deseable. El resultado generado es nuevamente trasladado a la API de moderación antes de llegar finalmente al usuario. Y así finaliza nuestro viaje a través del fascinante mundo del ChatGPT.
