Informantes de OpenAI advierten de una carrera 'imprudente' por el dominio

(The Shift)

SAN FRANCISCO -- Un grupo de informantes de OpenAI está denunciando lo que considera una cultura de imprudencia y secretismo en la empresa de inteligencia artificial de San Francisco, la cual tiene prisa por construir los sistemas de inteligencia artificial más potentes que se hayan creado.

En días recientes, el grupo, que incluye a nueve empleados actuales y antiguos de OpenAI, se ha congregado en relación con la preocupación compartida de que la empresa no ha hecho lo suficiente para evitar que sus sistemas de inteligencia artificial se vuelvan peligrosos.

Según los miembros, OpenAI, empresa que comenzó como un laboratorio de investigación sin fines de lucro y saltó a la luz pública con el lanzamiento de ChatGPT en 2022, está priorizando las ganancias y el crecimiento mientras intenta construir una inteligencia artificial general (AGI, por su sigla en inglés), el término industrial para un programa de computadora capaz de hacer todo lo que puede hacer un humano.

También aseguran que OpenAI ha utilizado tácticas agresivas para evitar que los trabajadores expresen sus inquietudes sobre la tecnología, entre ellas acuerdos restrictivos de no descrédito que se les pidió firmar a empleados que se fueron de la empresa.

"OpenAI está muy emocionada con la construcción de la AGI y está corriendo de manera imprudente para ser la primera que lo haga", afirmó Daniel Kokotajlo, exinvestigador de la división de gobernanza de OpenAI y uno de los organizadores del grupo.

El grupo publicó una carta abierta el martes en la que convoca a las principales empresas de inteligencia artificial, incluida OpenAI, a tener una mayor transparencia y más protecciones para los informantes.

Otros miembros son William Saunders, un ingeniero de investigación que dejó OpenAI en febrero, y otros tres exempleados de OpenAI: Carroll Wainwright, Jacob Hilton y Daniel Ziegler. Varios empleados actuales de OpenAI respaldaron la carta de manera anónima porque temían represalias de la empresa, comentó Kokotajlo. También firmaron la carta un empleado actual y otro exempleado de Google DeepMind, el laboratorio central de inteligencia artificial de Google.

Una vocera de OpenAI, Lindsey Held, mencionó en un comunicado: "Estamos orgullosos de nuestra trayectoria como proveedores de los sistemas de inteligencia artificial más capaces y seguros, y creemos en nuestro criterio científico para abordar los riesgos. Estamos de acuerdo en que es crucial tener un debate riguroso debido a la importancia de esta tecnología y seguiremos colaborando con gobiernos, la sociedad civil y otras comunidades de todo el mundo".

Un vocero de Google se rehusó a ofrecer comentarios.

La campaña llega en un momento difícil para OpenAI. Todavía se está recuperando de un intento de levantamiento el año pasado, cuando los miembros del consejo de administración de la empresa votaron a favor de despedir al director ejecutivo Sam Altman porque dudaban de su franqueza. Altman regresó días después y el consejo se reconstruyó con nuevos miembros.

La empresa también enfrenta batallas legales con creadores de contenido que la han acusado de robar obras protegidas por derechos de autor para entrenar a sus modelos. (El año pasado, The New York Times demandó a OpenAI y a su socio, Microsoft, por violación de derechos de autor). Y una disputa pública con la actriz de Hollywood Scarlett Johansson estropeó su reciente lanzamiento de un asistente de voz hiperrealista, porque la celebridad afirmó que OpenAI había imitado su voz sin permiso.

Kokotajlo, de 31 años, ingresó a OpenAI en 2022 como investigador de gobernanza y se le pidió que pronosticara el progreso de la inteligencia artificial. No fue optimista, por decirlo amablemente.

En su trabajo anterior en una organización de seguridad de la inteligencia artificial, predijo que la AGI llegaría en 2050. Sin embargo, después de ver la rapidez con la que mejoraba la inteligencia artificial, acortó su marco temporal. Ahora cree que hay un 50 por ciento de probabilidades de que la AGI llegue en 2027, en solo tres años.

También cree que la probabilidad de que la inteligencia artificial avanzada destruya o dañe de manera catastrófica a la humanidad --una estadística sombría que a menudo se abrevia como "p(doom)" en los círculos de inteligencia artificial-- es del 70 por ciento.

En OpenAI, Kokotajlo vio que, aunque la empresa tenía protocolos de seguridad --incluida una iniciativa conjunta con Microsoft conocida como "consejo de seguridad de despliegue", que en teoría revisaba los nuevos modelos en busca de riesgos importantes antes de que se lanzaran al público--, casi nunca parecían frenar nada.

Según cuenta Kokotajlo, llegó a estar tan preocupado que, el año pasado, le comentó a Altman que la empresa debía "regresar hacia la seguridad" y dedicar más tiempo y recursos a protegerse de los riesgos de la inteligencia artificial en vez de precipitarse para mejorar sus modelos. Según Kokotajlo, Altman estuvo de acuerdo con él, pero nada cambió mucho.

En abril, Kokotajlo renunció. En un correo electrónico a su equipo, le comentó que se iba porque había "perdido la confianza en que OpenAI se comporte con responsabilidad" cuando sus sistemas se acerquen a los niveles de la inteligencia humana.

"El mundo no está listo y nosotros tampoco", escribió Kokotajlo. "Y me preocupa que nos precipitemos a pesar de todo y racionalicemos nuestras acciones".

OpenAI declaró la semana pasada que había empezado a entrenar a un nuevo modelo insignia de inteligencia artificial y que estaba formando un nuevo comité de seguridad y protección para explorar los riesgos asociados con el nuevo modelo y otras tecnologías futuras.

En su carta abierta, Kokotajlo y los otros exempleados de OpenAI piden que se ponga fin al uso de acuerdos de no descrédito y confidencialidad en OpenAI y otras empresas de inteligencia artificial.

"Los acuerdos de confidencialidad de gran envergadura nos impiden expresar nuestras preocupaciones, excepto a las empresas mismas que tal vez no están abordando estos problemas", escriben.

También les piden a las empresas de inteligencia artificial que "apoyen una cultura de crítica abierta" y creen un proceso para que los empleados puedan denunciar de manera anónima sus preocupaciones relacionadas con la seguridad.

El grupo emplea a un abogado que trabaja con ellos de manera voluntaria, Lawrence Lessig, el destacado académico y activista. Lessig también asesoró a Frances Haugen, exempleada de Facebook que se convirtió en informante y acusó a esa empresa de anteponer las ganancias a la seguridad.

En una entrevista, Lessig comentó que, aunque la protección tradicional de los informantes se suele utilizar en las denuncias de actividades ilegales, es importante que los empleados de las empresas de inteligencia artificial puedan tener la libertad de hablar de los riesgos y posibles daños, debido a la importancia de esta tecnología.

"Los empleados son una importante línea de defensa de la seguridad y si no pueden hablar con libertad y sin represalias, ese canal se cerrará", opinó.

Held, la vocera de OpenAI, comentó que la empresa tenía "medios para que los empleados expresaran sus preocupaciones", entre ellos una línea directa de asistencia telefónica anónima de integridad.

Kokotajlo y su grupo son escépticos ante la posibilidad de que la autorregulación por sí sola baste para enfrentar un mundo con sistemas de inteligencia artificial más potentes. Por lo que les piden a los legisladores que también regulen la industria.

"Debe haber algún tipo de estructura de gobernanza transparente y democráticamente responsable a cargo de este proceso", comentó Kokotajlo. "En vez de solo un par de empresas privadas distintas que compitan entre sí y mantengan todo en secreto".

Daniel Kokotajlo, exinvestigador de la división de gobernanza de OpenAI, en Virginia, el 2 de junio de 2024. (Jason Andrew/The New York Times).

Ilya Sutskever, entonces científico jefe de OpenAI, en las oficinas de la empresa en San Francisco, el 13 de marzo de 2023. (Jim Wilson/The New York Times).