El predecesor de ChatGPT, GPT-2, está alojado en una hoja de Excel de 1,25 GB: el LLM se ejecuta dentro de una hoja de cálculo que puede descargar desde GitHub.
Ishan Anand, desarrollador de software y adicto confeso a las hojas de cálculo Ofuscación GPT-2 en Microsoft Excel. Aún más sorprendente es que funciona: proporciona información sobre cómo funcionan los modelos de lenguaje grandes (LLM) y cómo la arquitectura Transformer subyacente maneja la predicción inteligente del siguiente token. “Si puedes entender una hoja de cálculo, puedes entender la inteligencia artificial”, alardea Anand. La hoja de cálculo fue creada con un tamaño de 1,25 GB. Disponible en GitHub Para que cualquiera pueda descargarlo y jugar con él.
Naturalmente, la implementación de hojas de cálculo de GPT-2 va un poco por detrás de los LLM disponibles en 2024, pero GPT-2 era lo último en tecnología y ocupó muchos titulares en 2019. Es importante recordar que GPT-2 no es algo para charlar. Acerca de Con eso, porque viene de antes de la era del “chat”. ChatGPT surgió del trabajo realizado para el reclamo de GPT-3 en 2022. Además, Anand usa un pequeño modelo GPT-2 aquí, el archivo binario XLSB de Microsoft Excel tiene 124 millones de parámetros y la versión completa de GPT-2 usó 1,5 mil millones de parámetros ( mientras que el GPT-3 mueve la cinta hasta en 175 mil millones de parámetros).
Básicamente, GPT-2 realiza una “predicción del siguiente token” inteligente, donde un modelo de lenguaje de sintaxis de cambio completa la entrada con la siguiente parte más probable de la secuencia. Esta hoja de cálculo solo puede manejar 10 tokens de entrada, que es un número pequeño en comparación con los 128.000 tokens que puede manejar el GPT-4 Turbo. Sin embargo, sigue siendo bueno para realizar demostraciones, y Anand afirma que su “introducción de código bajo” es ideal como base para un LLM para ejecutivos de tecnología, especialistas en marketing, gerentes de productos, responsables de políticas de IA y especialistas en ética, así como para desarrolladores y científicos. Novatos en el campo de la inteligencia artificial. Anand enfatiza que la arquitectura Transformer en sí sigue siendo “la base para ChatGPT de OpenAI, Claude de Anthropic, Bard/Gemini de Google, Llama de Meta y muchos otros programas LLM”.
Arriba, puedes ver a Anand explicando su GPT-2 como una aplicación de hoja de cálculo. En un trabajo de varias hojas, la primera hoja contiene cualquier mensaje que desee ingresar (pero recuerde el límite de 10 mensajes). Luego nos guía sobre la codificación de palabras, posiciones y pesos del texto, refinando iterativamente para predecir la siguiente palabra y finalmente eligiendo el código de salida: la última palabra predicha en la secuencia.
imagen 1 a 5
Mencionamos anteriormente el LLM relativamente compacto utilizado por GPT-2 Small. A pesar de utilizar un LLM que quizás no se clasifique como tal en 2024, Anand todavía está trabajando para ampliar las capacidades de la aplicación Excel. El desarrollador advierte contra intentar utilizar este archivo de Excel en una Mac (fallos y congelaciones frecuentes) o intentar cargarlo en una aplicación de hoja de cálculo en la nube, porque ahora no funcionará. También se recomienda utilizar la última versión de Excel. Recuerde, esta hoja de cálculo es en gran medida un ejercicio educativo y divertido para Anand. Finalmente, uno de los beneficios de usar Excel en su computadora es que este software LLM se ejecuta 100% localmente, sin llamadas API a la nube.
“Alborotador. Amante de la cerveza. Total aficionado al alcohol. Sutilmente encantador adicto a los zombis. Ninja de twitter de toda la vida”.