Por qué la inteligencia artificial suele tener problemas con las matemáticas

En el curso escolar que acaba de terminar, un grupo de alumnos llamó la atención por su peculiaridad. Son muy trabajadores, están mejorando y son de lo más elocuentes. Pero, curiosamente, estos alumnos (chatbots con inteligencia artificial) suelen tener problemas con las matemáticas.

Chatbots como ChatGPT de Open AI pueden escribir poesía, resumir libros y responder preguntas, muchas veces con una fluidez humana. Pero cuando se trata de cálculos matemáticos, aunque estos sistemas pueden hacerlos basándose en lo que han aprendido, los resultados pueden variar y ser erróneos. Esto se debe a que están diseñados para determinar probabilidades, no para hacer cálculos basados en reglas. La probabilidad no es exactitud y el lenguaje es más flexible e indulgente que las matemáticas.

"Los chatbots con inteligencia artificial (IA) tienen dificultades con las matemáticas porque nunca fueron diseñados para eso", comentó Kristian Hammond, profesor de ciencias de la computación e investigador de inteligencia artificial de la Universidad del Noroeste.

Parece que los informáticos más inteligentes del mundo crearon una inteligencia artificial más preparada para las materias de humanidades que para las matemáticas.

A primera vista, esto supone una ruptura con el pasado de la informática. Desde que aparecieron las primeras computadoras en la década de 1940, una buena definición resumida de la informática ha sido "matemáticas con esteroides". Las computadoras han sido máquinas de cálculo incansables, rápidas y precisas. Durante mucho tiempo, han sido realmente buenas para los números, superando con creces el desempeño humano.

Tradicionalmente, las computadoras se programaban para seguir reglas paso a paso, recuperar información y presentarla en bases de datos estructuradas. Eran potentes pero frágiles. Por eso, los intentos anteriores de producir una inteligencia artificial no prosperaron.

Sin embargo, hace más de una década surgió una estrategia diferente que empezó a dar resultados sorprendentes. La tecnología subyacente, denominada red neuronal, se basa en el cerebro humano.

Este tipo de inteligencia artificial no está programada con reglas rígidas, sino que aprende del análisis de una gran cantidad de datos. Genera lenguaje basándose en toda la información que ha absorbido y predice qué palabra o frase es más probable que venga a continuación, como hacen los humanos.

"Esta tecnología hace cosas brillantes, pero no lo hace todo", afirmó Hammond. "Todo el mundo quiere que la respuesta a la IA sea una sola cosa. Es una tontería".

En ocasiones, los chatbots con inteligencia artificial han tenido dificultades con sencillos problemas aritméticos y matemáticos de palabras que requieren múltiples pasos para llegar a una solución, lo cual documentaron hace poco algunos reseñadores de tecnología. La destreza de la IA está mejorando, pero sigue siendo un defecto.

Durante su ponencia en un simposio reciente, Kristen DiCerbo, directora de aprendizaje de Khan Academy, una organización educativa sin fines de lucro que está experimentando con un chatbot tutor y asistente de enseñanza de IA, introdujo el tema de la precisión en matemáticas. "Es un problema, como muchos de ustedes saben", les dijo DiCerbo a los educadores.

Hace unos meses, Khan Academy introdujo un cambio significativo en su tutor potenciado por IA, llamado Khanmigo. Envía muchos problemas numéricos a un programa de calculadora en lugar de pedirle a la IA que resuelva las operaciones matemáticas. Mientras esperan a que el programa de calculadora termine, los alumnos ven las palabras "calculando" en sus pantallas y un icono de Khanmigo moviendo la cabeza.

"En realidad estamos utilizando herramientas que están pensadas para hacer cálculos", afirmó DiCerbo, quien no pierde el optimismo respecto a que los chatbots conversacionales desempeñarán un papel importante en la educación.

Desde hace más de un año, ChatGPT ha venido utilizando una solución similar para algunos problemas matemáticos. Para tareas como divisiones y multiplicaciones de números grandes, el chatbot le pide ayuda a un programa de calculadora.

Las matemáticas son un "área de investigación importante en desarrollo", dijo OpenAI en una declaración, y un campo en el que el progreso de los científicos ha sido constante. La empresa agregó que su nueva versión de GPT logró una exactitud de casi el 64 por ciento en una base de datos pública de miles de problemas que requerían percepción visual y razonamiento matemático. Se trata de un aumento con respecto al 58 por ciento de la versión anterior.

Los chatbots con inteligencia artificial suelen sobresalir cuando han consumido grandes cantidades de datos de entrenamiento pertinentes: libros de texto, ejercicios y exámenes estandarizados. El efecto es que los chatbots ya vieron y analizaron preguntas muy similares, si no es que las mismas. Según la empresa, una versión reciente de la tecnología en la que se basa ChatGPT obtuvo en el examen SAT de matemáticas para estudiantes de secundaria una puntuación que se ubica en el percentil 89.

El desempeño errático de esta tecnología en matemáticas contribuye a un animado debate en la comunidad de la IA sobre la mejor forma de avanzar en este campo. En general, hay dos bandos.

De un lado están quienes creen que las redes neuronales avanzadas que impulsan los chatbots con inteligencia artificial, conocidas como grandes modelos lingüísticos (LLM, por su sigla en inglés), son casi un camino singular hacia el progreso constante y, en última instancia, hacia la inteligencia artificial general (o AGI, por su sigla en inglés), una computadora capaz de hacer todo lo que hace el cerebro humano. Esa es la opinión dominante en gran parte de Silicon Valley.

Por el otro, están los escépticos que se preguntan si basta con añadirles más datos y potencia de cálculo a los grandes modelos lingüísticos. Entre ellos destaca Yann LeCun, científico jefe de IA en Meta.

Según LeCun, los grandes modelos lingüísticos tienen poca lógica y carecen de razonamiento de sentido común, e insiste en que lo que se necesita es un enfoque más amplio, que él llama "modelado del mundo", o sistemas que puedan aprender cómo funciona el mundo de forma parecida a como lo hacen los humanos. Y puede que tardemos una década en conseguirlo.

Mientras tanto, Meta decidió incorporar a sus servicios de redes sociales, como Facebook, Instagram y WhatsApp, un software de asistente inteligente impulsado por IA y basado en su gran modelo lingüístico LLaMA. Tal vez los modelos actuales tengan defectos, pero, de cualquier manera, hacen mucho.

La inteligencia artificial puede escribir poesía, pero sigue teniendo problemas con las matemáticas; el problema de la inteligencia artificial con las matemáticas refleja hasta qué punto la nueva tecnología supone una ruptura con el pasado de la informática. (Sean Dong/The New York Times)