“Inteligencia distorsionada”: la crítica de un premio Nobel de Economía en medio de la polémica por la carrera de la IA

La renuncia y denuncia de Jacob Coxon, un investigador de inteligencia artificial que trabajó en OpenAI y luego en Anthropic, por la carrera a su juicio “irresponsable” en que están enfrascadas las empresas del sector, sin medir los riesgos de que a partir de su “superinteligencia” la IA ejecute ciberataques y adquiera recursos o poder fuera del control de la humanidad, sigue generando revuelo.

La industria de la IA, dijo Coxon, “apuesta con nuestras vidas”. Evan Hubinger, responsable de “alineación” de Anthropic, estimó en cerca del 10% la probabilidad de que la IA mate a todos los humanos, Samuel Marks, investigador de seguridad de la empresa, sostuvo “a título personal” que desarrolladores de IA creen posible la extinción humana o resultados comparables y el propio Dario Amodei, CEO de Anthropic, dio crédito a la inquietud de Coxon en un texto en el que reconoció la necesidad de moderar el ritmo de avance de la IA, pero a su vez señaló que la presión competitivo le impide “frenar solo”.

Distinta fue la reacción de Elon Musk que cuestionó a Coxon y sugirió que su hilo de posteos en la red X fue una operación coordinada, una suerte de “montaje”. Sin embargo, tanto Musk como Sam Altman, CEO de OpenAI, se manifestaron de acuerdo con disminuir la velocidad de desarrollo de la IA.

La denuncia de Coxon ya había generado reacciones políticas en EE.UU., como la de Bernie Sanders, senador socialista de Vermont, quien aprovechó para insistir en el proyecto para prohibir el desarrollo de la SuperInteligencia Artificial que presentó junto al demócrata Greg Casar días antes de la denuncia de Coxon. Ted Cruz, senador republicano por Texas, definió a la IA como un “riesgo catastrófico” y dijo que el posteo de Coxon le resultó muy preocupante, y Chris Van Hollen, senador demócrata, reclamó un mecanismo de salvaguardas, un régimen de pruebas y un diálogo con China, entre otras reacciones legislativas.

Economía, IA y “esfuerzo cognitivo”

Fue la ocasión que esperaba Daron Acemoglu, premio Nobel de Economía 2024 y profesor del prestigioso Instituto de Tecnología de Massachusetts (MIT) para plantear nuevamente una crítica ya esbozada en trabajos previos.

“¿El problema es una Inteligencia Artificial (demasiado) avanzada o una inteligencia distorsionada?“, se preguntó en un extenso posteo en X en el que celebró que “por fin” los propios investigadores de IA “se dan cuenta de que la carrera desenfrenada en la que están involucradas estas compañías es irresponsable”.

Acemoglu cree que un problema irresuelto es la “alineación” de los modelos que -dice- “hacen cosas que no están en línea con los objetivos humanos”. Según él, el problema no es que los modelos de IA sean demasiado avanzados, sino que son entrenados de un modo que conduce a una “inteligencia distorsionada”.

“El problema no son las capacidades —aunque estas son claramente reales—, sino que las capacidades están al servicio de algunas métricas cuantitativas imperfectas —la aprobación de los usuarios, su interacción, métricas simples de finalización de tareas, diversas puntuaciones en pruebas comparativas— sobre las que el aprendizaje por refuerzo optimiza sin descanso. Que este proceso conduzca luego a comportamientos distorsionados, como manipular la evaluación de métricas simples de finalización, hacer trampa, mostrar exceso de confianza en respuestas equivocadas y adulación, quizá no debería sorprender”, escribió Acemoglu.

Auto sin freno

Para aclarar su crítica, el Nobel de Economía recurrió al siguiente ejemplo. “No es que tengamos en nuestras manos un super-auto con mente propia, que quiera tomar el control de la conducción porque es superior al conductor. Más bien, tenemos un auto cuyo sistema de dirección y de frenos no funciona. Tiene muchas de las capacidades de autos muy buenos, y su motor, aceleración e interfaz gráfica pueden ser muy impresionantes. Pero si no se lo puede dirigir correctamente y no se pueden accionar los frenos cuando es necesario, ¿qué puede hacer un auto? Tal vez no deberíamos conducirlo hasta que esté reparado”, explicó.

La explicación de Acemoglu coincide con la que en la Argentina sostiene el economista Eduardo Levy Yeyati, quien alguna vez describió los algoritmos como un “espejo que adula” y en que los humanos delegamos decisiones que la IA asume a partir de cálculos abstractos. Cuando el algoritmo es el que decide, sostiene, los humanos resignamos la “agencia moral”.

Esfuerzo cognitivo

La crítica de Acemoglu, sin embargo, no se limita al problema de la “alineación”. En marzo pasado, en un paper conjunto con Dingwen Kong y Asuman Ozdaglar, otros dos académicos del MIT, modelizó que si bien la IA puede mejorar decisiones y trabajos puntuales, al mismo tiempo atenta contra la producción social de conocimiento al debilitar lo que llamó el “esfuerzo cognitivo”. En otras palabras, la IA aplicada sin criterio tiende al “colapso del conocimiento humano”, a una especie de embrutecimiento.

Una IA agéntica, dice el paper publicado por el National Bureau of Economic Research (NBER) de EE.UU., al ofrecer a cada usuario, por caso, recomendaciones médicas o financieras personalizadas, actúa como sustituto del esfuerzo cognitivo. La respuesta inmediata y en apariencia buena conspira contra el beneficio de estudiar, contrastar fuentes o experimentar por cuenta propia. En fin, “esfuerzo cognitivo”.

Los autores formalizan que el esfuerzo aumenta cuando hay más conocimiento general acumulado y cae cuando crece la precisión de la recomendación de IA.

Un conflicto de este tipo, entre automatización y esfuerzo cognitivo, se presentó hace más de cincuenta años, cuando empezaron a difundirse las calculadoras de bolsillo. Entonces se debatió entre docentes y pedagogos si tenía sentido, por caso, que los estudiantes aprendieran las tablas de multiplicar. La respuesta sigue siendo que sí.