¿La industria tecnológica ya está a punto de perder el impulso en el campo de la inteligencia artificial?

SAN FRANCISCO -- Demis Hassabis, uno de los expertos en inteligencia artificial más influyentes del mundo, tiene una advertencia para el resto de la industria tecnológica: no esperen que los chatbots sigan mejorando con la rapidez de los últimos años.

Los investigadores de la inteligencia artificial llevan algún tiempo basándose en un concepto bastante simple para mejorar sus sistemas: cuantos más datos extraídos del internet bombearan a los grandes modelos lingüísticos --la tecnología detrás de los chatbots--, mejor funcionaban esos sistemas.

Pero Hassabis, quien supervisa Google DeepMind, el principal laboratorio de inteligencia artificial de la empresa, dice ahora que ese método está perdiendo fuerza simplemente porque las empresas tecnológicas se están quedando sin datos.

"Todo el mundo en la industria está viendo cómo disminuyen sus rendimientos", dijo Hassabis este mes en una entrevista con The New York Times, mientras se preparaba para aceptar el Premio Nobel por su trabajo en el campo de la inteligencia artificial.

Hassabis no es el único experto en inteligencia artificial que haya advertido sobre una ralentización. En entrevistas, 20 ejecutivos e investigadores mostraron una creencia generalizada en que la industria tecnológica se está enfrentando a un problema que muchos habrían considerado impensable hace apenas unos años: han agotado la mayor parte del texto digital disponible en internet.

Este problema está empezando a surgir, aunque se sigan invirtiendo miles de millones de dólares en el desarrollo de la inteligencia artificial. El martes, Databricks, una empresa de datos de inteligencia artificial, declaró que estaba a punto de conseguir 10.000 millones de dólares de financiación privada, la mayor ronda de este tipo para una empresa emergente. Y las principales empresas tecnológicas están señalando que no tienen previsto ralentizar su gasto en los gigantescos centros de datos que impulsan los sistemas de inteligencia artificial.

No todos están preocupados en el mundo de la inteligencia artificial. Algunos, como el director ejecutivo de OpenAI, Sam Altman, afirman que el progreso continuará al mismo ritmo, aunque con algunos giros en las viejas técnicas. Dario Amodei, director ejecutivo de la empresa emergente de inteligencia artificial Anthropic, y Jensen Huang, director ejecutivo de Nvidia, también son optimistas.

(El Times demandó a OpenAI, alegando infracción de los derechos de autor del contenido de las noticias relacionado con los sistemas de inteligencia artificial. OpenAI ha rechazado las acusaciones).

Las raíces del debate se remontan a 2020, cuando Jared Kaplan, físico teórico de la Universidad Johns Hopkins, publicó un trabajo de investigación que demostraba que los grandes modelos de lenguaje se volvían cada vez más potentes y realistas conforme analizaban más datos.

Los investigadores llamaron a los descubrimientos de Kaplan "las Leyes de escalamiento". Del mismo modo que los estudiantes aprenden más leyendo más libros, los sistemas de inteligencia artificial mejoran a medida que ingieren cantidades cada vez mayores de texto digital extraído de internet, incluidos artículos de noticias, registros de chats y programas de computadora. Al ver la potencia bruta de este fenómeno, empresas como OpenAI, Google y Meta se apresuraron a hacerse con la mayor cantidad posible de datos del internet, tomando atajos, ignorando las políticas corporativas e incluso debatiendo si debían evadir la ley, según un análisis realizado este año por el Times.

Fue el equivalente moderno de la Ley de Moore, la máxima tantas veces citada que acuñó en la década de 1960 el cofundador de Intel Gordon Moore, quien demostró que el número de transistores en un chip de silicio se duplicaba cada dos años aproximadamente para aumentar de forma constante la potencia de las computadoras del mundo. La Ley de Moore se mantuvo durante 40 años. Pero, con el tiempo, empezó a ralentizarse.

El problema es que ni las Leyes de escalamiento ni la Ley de Moore son leyes inmutables de la naturaleza. Son simplemente observaciones inteligentes. Una se mantuvo durante décadas. Las otras pueden tener una vida útil mucho más corta. Google y el nuevo empleador de Kaplan, Anthropic, no pueden tan solo lanzar más texto a sus sistemas de inteligencia artificial porque queda poco texto que lanzar.

"En los últimos tres o cuatro años, cuando las Leyes de escalamiento se estaban poniendo en marcha, hubo rendimientos extraordinarios", dijo Hassabis. "Pero ya no estamos consiguiendo los mismos avances".

Hassabis afirmó que las técnicas existentes seguirían mejorando la inteligencia artificial en algunos aspectos. Pero dijo que creía que se necesitaban ideas totalmente nuevas para alcanzar el objetivo que perseguían Google y muchos otros: una máquina que pueda igualar la potencia del cerebro humano.

Ilya Sutskever, quien contribuyó de forma decisiva a que el sector pensara a lo grande, como investigador tanto en Google como en OpenAI, la cual dejó para crear una nueva empresa emergente la primavera pasada, hizo la misma observación durante un discurso la semana pasada. "Hemos alcanzado el pico de datos y no habrá más", dijo. "Tenemos que trabajar con los datos que tenemos. Solo hay un internet".

Hassabis y otros están explorando un enfoque diferente. Están desarrollando mecanismos para que los grandes modelos de lenguaje aprendan de su propio ensayo y error. Por ejemplo, al resolver varios problemas matemáticos, los modelos lingüísticos pueden aprender cuáles métodos conducen a la respuesta correcta y cuáles no. En esencia, los modelos se entrenan con datos que ellos mismos generan. Los investigadores los llaman "datos sintéticos".

OpenAI lanzó hace poco un nuevo sistema llamado OpenAI o1 que se construyó de esta forma. Pero el método solo funciona en áreas como las matemáticas y la programación informática, donde existe una firme distinción entre lo correcto y lo incorrecto.

Durante una llamada con analistas el mes pasado, se preguntó a Huang de qué manera la empresa estaba ayudando a los clientes a superar una posible desaceleración y cuáles podrían ser las repercusiones para su negocio. Huang respondió que las pruebas demostraban que se seguían obteniendo beneficios, pero que las empresas también estaban probando nuevos procesos y técnicas en chips de inteligencia artificial.

"Como consecuencia de ello, la demanda de nuestras infraestructuras es realmente alta", dijo Huang.

Aunque Huang confía en las perspectivas de Nvidia, algunos de los principales clientes de la empresa reconocen que deben prepararse para la posibilidad de que la inteligencia artificial no avance tan rápido como se espera.

"Hemos tenido que lidiar con esto. ¿Es esto real o no?", dijo Rachel Peterson, vicepresidenta de centros de datos de Meta. "Es una muy buena pregunta si consideramos todos los dólares que se están invirtiendo en esto de forma generalizada".

Empresas como OpenAI y Google se están quedando sin los datos utilizados para entrenar los sistemas de inteligencia artificial. ¿Los nuevos métodos pueden continuar años de rápido progreso? (Brendan Totten/The New York Times)

"Hemos alcanzado el pico de datos y no habrá más", afirma Ilya Sutskever, antiguo científico jefe de OpenAI. "Tenemos que trabajar con los datos que tenemos. Solo hay un internet". (Jim Wilson/The New York Times)