La pregunta del millón, ¿cuáles son los verdaderos costos de la IA?

El CEO de Nvidia, Jensen Huang, declaró a principios de 2024 que el costo del cómputo es “aproximadamente cero”. Para comprender esta afirmación hay que distinguir el costo de la fabricación de las unidades de procesamiento de gráficos o GPU del costo asociado con la fase de entrenamiento y de la cantidad de tiempo que demanda realizar los cómputos. Huang se refería específicamente al último punto pero no se expresó ni sobre el primero que implica conseguir y procesar materiales para fabricar los procesadores, ni sobre el segundo relacionado con los costos de energía para entrenar los modelos de aprendizaje automático.

Las GPU fueron diseñadas específicamente para manejar cálculos paralelos masivos requeridos para el procesamiento de los gráficos de videojuegos. Estos cálculos incluyen renderizar imágenes en 3D, aplicar texturas, gestionar la iluminación, las sombras, y los efectos especiales. Estas tareas son extremadamente intensivas en términos de procesamiento debido a la cantidad de operaciones matemáticas necesarias para cada píxel en la pantalla y para cada objeto en la escena. Esta capacidad de procesamiento paralelo masivo permite a las GPU manejar grandes volúmenes de datos y realizar complejas operaciones de manera rápida y eficiente, mejorando significativamente la calidad y la velocidad del procesamiento.

Para la fabricación de GPU se utilizan minerales como el cobalto, el litio y otros minerales raros, existentes en cantidad finita y difíciles de obtener. Estos materiales son esenciales para la fabricación de los semiconductores y otros componentes electrónicos avanzados. Su disponibilidad limitada plantea desafíos importantes para la sostenibilidad a largo plazo de la industria tecnológica en términos de acceso a recursos naturales, de impacto ambiental y de financiamiento para poder producirlos. La concentración de estos minerales en ciertas regiones del mundo puede generar tensiones y dependencia de proveedores específicos, lo que puede afectar la cadena de suministro global. La extracción y el procesamiento de estos materiales pueden causar contaminación del agua, degradación del suelo y problemas de salud en las comunidades locales. El reciclaje de componentes electrónicos es limitado, lo que encarece el proceso, tanto en costo de recursos como en impacto ambiental. Finalmente, la falta de capacidad para producir este tipo de hardware por cualquiera de las razones antes mencionadas, obliga a su adquisición del mismo. El costo de adquisición de una GPU A100 de Nvidia se estima entre 10 mil y 15 mil dólares. Teniendo en cuenta que ChatGPT-4 utilizó 25 mil de estas GPU, el costo de adquisición del hardware para entrenar al modelo superó los 250 millones de dólares.

Respecto al consumo energético, las aplicaciones desarrolladas con IA tienen dos momentos fundamentales con alto consumo de energía: el entrenamiento y la utilización cotidiana. ChatGPT-3, que utilizó 1.287 MWh para su entrenamiento, según de Vries (de Vries, 2023); es decir, el equivalente a lo que consumirían durante 1 año 360 familias argentinas. Por otra parte, el modelo de ChatGPT-4 utilizó 25 mil GPU A100 de Nvidia, y llevó más de 100 días con un consumo estimado de energía en 50 GWh (o sea 50 mil MWh). Continuando con la comparación en el consumo de familias tipo, esto sería alrededor del consumo de 15.000 familias argentinas durante un año. Además, la utilización de estos modelos para la generación de información basándose en los pedidos de los usuarios también consumen gran cantidad de energía y recursos. Google reporta que entre 2019 y 2021 el 60% de consumo energético vinculados a sus desarrollos de IA corresponden a la predicción.

En la figura se puede observar el costo energético de realizar una misma búsqueda en Google, ChatGPT, Bloom o los buscadores de Google con IA (de Vries, 2023).

La imagen anterior es un buen motivo para preguntarnos el costo/beneficio de hacer una consulta en ChatGPT o cualquiera de los otros modelos, como las búsquedas de Google que incorporan IA.

Es decir, la afirmación de Huang se basa en una visión optimista que promete alcanzar el “costo cero de la IA” respaldada por avances tecnológicos significativos que permiten aumentar la velocidad de cómputo, pero esta perspectiva no considera los otros costos.

La industria puede abordar estos desafíos mediante la innovación, el reciclaje y la gestión sostenible de recursos para asegurar un desarrollo tecnológico equilibrado y sostenible en el futuro pero ello requiere de definición política, planificación y asignación de recursos.

Este y otros aspectos ligados a la irrupción de la IA están desarrollados con mayor profundidad en la guía “10 preguntas frecuentes y urgentes sobre Inteligencia Artificial” que elaboró la Fundación Sadosky a partir de la colaboración de especialistas en la temática. Si bien el propósito es contribuir a la democratización del conocimiento especializado para que cada vez más personas puedan reflexionar informada y críticamente sobre el impacto de esta tecnología, las respuestas no buscan dar por cerrado el tema. Se profundizan y muchas veces se complejizan los asuntos abordados presentando nuevas aristas que promuevan seguir investigando, pensando y discutiendo sobre aquello que aún es incierto.

La autora es coordinadora de la Iniciativa ProgramAR de la Fundación Sadosky