Los "cerebros" de los chatbots pueden ralentizarse con la edad

LUNES, 23 de diciembre de 2024 (HealthDay News) -- Los humanos no son los únicos que pierden uno o dos pasos en el cerebro a medida que envejecen.

Los programas de inteligencia artificial (IA) comienzan a mostrar señales de deterioro cognitivo leve a medida que envejecen, según un nuevo estudio publicado el 20 de diciembre en la revista BMJ .

Las versiones más antiguas de los chatbots, al igual que los pacientes mayores, tienden a obtener peores resultados en las pruebas de capacidad cognitiva.

"No solo es poco probable que los neurólogos sean reemplazados por grandes modelos de lenguaje en el corto plazo, sino que nuestros hallazgos sugieren que pronto podrían encontrarse tratando a nuevos pacientes virtuales, modelos de inteligencia artificial que presentan deterioro cognitivo", escribió un equipo de investigación dirigido por el Dr. Roy Dayan, neurólogo de la Universidad Hebrea en Jerusalén.

Para este estudio, los investigadores evaluaron las capacidades cognitivas de los principales programas de IA disponibles públicamente, que también se denominan "grandes modelos de lenguaje [LLM]".

Se está evaluando la capacidad de la IA para ayudar en el tratamiento médico, pero "si vamos a confiar en los LLM para el diagnóstico y la atención médica, debemos examinar su susceptibilidad a las deficiencias humanas, como el deterioro cognitivo", escribieron los investigadores en un comunicado de prensa de la revista.

Los programas de IA respondieron a las preguntas de la prueba de Evaluación Cognitiva de Montreal (MoCA), una prueba estándar utilizada para detectar signos de envejecimiento cerebral y demencia temprana en personas mayores.

La puntuación máxima en la prueba es de 30 puntos, y una puntuación de 26 o más generalmente se considera normal, dijeron los investigadores.

ChatGPT 4o tuvo la puntuación más alta en la prueba, con 26 de 30, según muestran los resultados. ChatGPT y Claude 3.5 "Sonnet" obtuvieron 25 cada uno, y Gemini 1.0 obtuvo solo 16.

"Ninguno de los grandes modelos de lenguaje 'superó' la prueba MoCA, en la jerga de un presidente estadounidense", escribieron los investigadores.

Todos los programas de IA tuvieron un desempeño deficiente en habilidades visoespaciales y tareas organizativas, como conectar números y letras en orden ascendente.

"Los chatbots parecen tener dificultades en tareas que exigen tanto la función ejecutiva visual como el razonamiento abstracto, a diferencia de las tareas que requieren análisis textual y razonamiento abstracto, como la prueba de similitud, que se realizaron sin problemas", escribieron los investigadores.

De hecho, este patrón de deterioro se asemejaba al de los pacientes humanos con atrofia cortical posterior, una variante de la enfermedad de Alzheimer, apuntaron los investigadores.

"Además, al igual que en los humanos, la edad es un determinante clave del deterioro cognitivo: los chatbots 'mayores', al igual que los pacientes mayores, tienden a tener un peor rendimiento en la prueba MoCA", añadieron los investigadores.

Por ejemplo, los modelos de IA Gemini 1.0 y Gemini 1.5 difirieron en seis puntos en los resultados de las pruebas.

"Como las dos versiones de Géminis tienen menos de un año de diferencia en 'edad', esto puede indicar una demencia que progresa rápidamente", escribieron los investigadores.

Estos defectos subrayan la ardua batalla que enfrentará la IA para reemplazar a los médicos humanos.

O, para decirlo de manera más suave, "estos hallazgos desafían la suposición de que la inteligencia artificial pronto reemplazará a los médicos humanos", concluyó el equipo de investigación.

Más información

La Academia Nacional de Medicina ofrece más información sobre la IA en la atención médica.

FUENTE: BMJ, comunicado de prensa, 19 de diciembre de 2024