OpenAI prometió el 20% de su potencia informática para combatir el tipo más peligroso de IA, pero nunca lo cumplió

En julio de 2023, OpenAI presentó un nuevo equipo dedicado a garantizar que futuros sistemas de inteligencia artificial, que podrían ser más inteligentes que todos los humanos combinados, pudieran ser controlados de manera segura. Para mostrar lo serio de este objetivo, la empresa prometió públicamente dedicar el 20% de sus recursos informáticos disponibles a este esfuerzo. Sin embargo, menos de un año después, ese equipo, llamado Superalignment, ha sido disuelto tras renuncias de personal y acusaciones de que OpenAI prioriza los lanzamientos de productos sobre la seguridad de la IA. Según una media docena de fuentes familiarizadas con el funcionamiento del equipo de Superalignment, OpenAI nunca cumplió su compromiso de proporcionar al equipo el 20% de su poder informático.

En cambio, según las fuentes, el equipo vio repetidamente rechazadas sus solicitudes de acceso a unidades de procesamiento gráfico, los chips especializados necesarios para entrenar y ejecutar aplicaciones de inteligencia artificial, por parte de la dirección de OpenAI, incluso cuando el presupuesto total del equipo nunca se acercó al umbral prometido del 20%. Las revelaciones ponen en duda la seriedad de OpenAI al cumplir su promesa pública y si otros compromisos públicos de la empresa deben ser confiables. OpenAI no respondió a las solicitudes de comentarios para esta historia.

Actualmente, la empresa enfrenta críticas por el uso de una voz para sus funciones de generación de voz por IA que es sorprendentemente similar a la de la actriz Scarlett Johansson. En ese caso, se han planteado dudas sobre la credibilidad de las declaraciones públicas de OpenAI de que la similitud entre la voz de IA llamada “Sky” y la voz de Johansson es puramente coincidental. Johansson dice que el cofundador y CEO de OpenAI, Sam Altman, se acercó a ella en septiembre pasado, cuando se presentó por primera vez la voz de Sky, pidiendo permiso para usar su voz. Johansson declinó. Y dice que Altman volvió a pedir su permiso la semana pasada, justo antes de una demostración muy esperada del último modelo GPT-4o, que usó la voz de Sky. OpenAI ha negado usar la voz de Johansson sin su permiso, diciendo que pagó a una actriz profesional, cuyo nombre no puede divulgar legalmente, para crear Sky. Pero las afirmaciones de Johansson han puesto en duda esto, con algunos especulando en las redes sociales que OpenAI, de hecho, clonó la voz de Johansson o tal vez mezcló la voz de otra actriz con la de Johansson de alguna manera para crear Sky.

El equipo de Superalignment fue creado bajo la dirección de Ilya Sutskever, el cofundador y ex científico jefe de OpenAI, cuya salida de la empresa se anunció la semana pasada. Jan Leike, un investigador de OpenAI de larga data, codirigió el equipo. Anunció su propia renuncia el viernes, dos días después de la partida de Sutskever. La empresa luego informó a los empleados restantes del equipo—que contaban con unas 25 personas—de que el equipo iba a ser desbandado y que serían reasignados dentro de la empresa. Era una caída rápida para un equipo cuyo trabajo OpenAI había posicionado menos de un año antes como vital para la empresa y crítico para el futuro de la civilización.

La superinteligencia es la idea de un futuro hipotético sistema de IA que sería más inteligente que todos los humanos combinados. Es una tecnología que iría más allá del objetivo declarado de la empresa de crear inteligencia artificial general, o AGI, un único sistema de IA tan inteligente como cualquier persona. La superinteligencia, dijo la empresa al anunciar el equipo, podría representar un riesgo existencial para la humanidad al intentar matar o esclavizar a las personas. “No tenemos una solución para dirigir y controlar una IA potencialmente superinteligente y evitar que se vuelva descontrolada,” dijo OpenAI en su anuncio. El equipo de Superalignment se suponía que investigaría esas soluciones. Era una tarea tan importante que la empresa dijo en su anuncio que comprometería “el 20% del cómputo que hemos asegurado hasta la fecha durante los próximos cuatro años” al esfuerzo.

Pero según una media docena de fuentes familiarizadas con el trabajo del equipo de Superalignment, el grupo nunca recibió este cómputo. En cambio, recibió mucho menos en el presupuesto de asignación de cómputo regular de la empresa, que se reevaluaba trimestralmente. Una fuente familiarizada con el trabajo del equipo de Superalignment dijo que nunca hubo métricas claras sobre cómo se debía calcular exactamente el monto del 20%, lo que dejaba espacio para una amplia interpretación. Por ejemplo, la fuente dijo que el equipo nunca fue informado si la promesa significaba “20% cada año durante cuatro años” o “5% al año durante cuatro años” o alguna cantidad variable que podría terminar siendo “1% o 2% durante los primeros tres años, y luego el grueso del compromiso en el cuarto año”.

En cualquier caso, todas las fuentes confirmaron que el equipo de Superalignment nunca recibió nada cercano al 20% del cómputo asegurado de OpenAI a partir de julio de 2023. Los investigadores de OpenAI también pueden hacer solicitudes de lo que se conoce como “cómputo flexible”—acceso adicional a la capacidad de GPU más allá de lo presupuestado—para abordar nuevos proyectos entre las reuniones trimestrales de presupuesto. Pero las solicitudes flexibles del equipo de Superalignment eran rutinariamente rechazadas por los directivos superiores dijeron estas fuentes. Bob McGrew, vicepresidente de investigación de OpenAI, fue el ejecutivo que informó al equipo de que estas solicitudes eran denegadas, pero las fuentes dijeron que otras personas en la empresa, incluido el director de tecnología Mira Murati, estaban involucradas en la toma de decisiones. Ni McGrew ni Murati respondieron a las solicitudes de comentarios para esta historia.

Si bien el equipo llevó a cabo alguna investigación—publicó un artículo detallando sus experimentos al lograr que un modelo de IA menos poderoso controlara a uno más poderoso en diciembre de 2023—la falta de cómputo frustró las ideas más ambiciosas del equipo, dijo la fuente.

Después de renunciar, Leike publicó el viernes una serie de mensajes en X (anteriormente Twitter) en los que criticaba a su antiguo empleador, diciendo que “‘la cultura y los procesos de seguridad han pasado a un segundo plano frente a los productos llamativos’”. También dijo que “en los últimos meses, mi equipo ha estado navegando contra el viento. A veces luchábamos por el cómputo y se estaba volviendo cada vez más difícil llevar a cabo esta investigación crucial.” Cinco fuentes respaldaron la versión de Leike, diciendo que los problemas para acceder al cómputo empeoraron tras el enfrentamiento antes del Día de Acción de Gracias entre Altman y la junta de la fundación sin fines de lucro de OpenAI.

Sutskever, que estaba en la junta, había votado para despedir a Altman y fue la persona que la junta eligió para darle a Altman la noticia. Cuando el personal de OpenAI se rebeló en respuesta a la decisión, Sutskever posteriormente publicó en X que “‘lamentaba profundamente’” su participación en el despido de Altman. Finalmente, Altman fue readmitido y Sutskever y varios otros miembros de la junta involucrados en su despido renunciaron a la junta. Sutskever nunca regresó a trabajar en OpenAI después de la readmisión de Altman, pero no había dejado formalmente la empresa hasta la semana pasada. Una fuente disputó la caracterización de los problemas de cómputo que enfrentó el equipo de Superalignment, diciendo que estos problemas precedieron a la participación de Sutskever en el fallido golpe y que plagaron al grupo desde el principio.

Si bien ha habido algunos informes de que Sutskever continuaba codirigiendo el equipo de Superalignment de forma remota, fuentes familiarizadas con el trabajo del equipo dijeron que este no era el caso y que Sutskever no tenía acceso al trabajo del equipo y no desempeñó ningún papel en la dirección del equipo después del Día de Acción de Gracias. Con la salida de Sutskever, el equipo de Superalignment perdió a la única persona del equipo que tenía suficiente capital político dentro de la organización para argumentar con éxito por su asignación de cómputo, dijeron las fuentes.

Además de Leike y Sutskever, OpenAI ha perdido al menos a seis otros investigadores en seguridad de IA de diferentes equipos en los últimos meses. Uno de los investigadores, Daniel Kokotajilo, dijo a un sitio de noticias que “gradualmente perdió la confianza en el liderazgo de OpenAI y su capacidad para manejar de manera responsable la AGI, por lo que renunció”.

En respuesta a los comentarios de Leike, Altman y el cofundador Greg Brockman, quien es el presidente de OpenAI, publicaron en X que estaban “‘agradecidos a [Leike] por todo lo que ha hecho por OpenAI’”. Los dos continuaron escribiendo, “Necesitamos seguir elevando nuestro trabajo en seguridad para igualar la importancia de cada nuevo modelo”. Luego presentaron su visión del enfoque de la empresa hacia la seguridad de la IA en el futuro, que implicaría un mayor énfasis en probar los modelos en desarrollo en lugar de tratar de desarrollar enfoques teóricos sobre cómo hacer seguros los modelos futuros más poderosos. “Necesitamos tener un circuito de retroalimentación muy estrecho, pruebas rigurosas, consideración cuidadosa en cada paso, seguridad de primer nivel y armonía entre seguridad y capacidades,” escribieron Brockman y Altman, agregando que “la comprensión empírica puede ayudar a informar el camino a seguir”.

Las personas que hablaron lo hicieron de forma anónima, ya sea porque dijeron que temían perder sus trabajos, o por temor a perder capital adquirido en la empresa, o ambos. Los empleados que han dejado OpenAI han sido obligados a firmar acuerdos de separación que incluyen una estricta cláusula de no menosprecio que dice que la empresa puede recuperar su capital adquirido si critican públicamente a la empresa o si siquiera reconocen la existencia de la cláusula. Y se ha dicho a los empleados que cualquiera que se niegue a firmar el acuerdo de separación perderá su capital.

Después de que un sitio de noticias informara sobre estos términos de separación, Altman publicó en X que no tenía conocimiento de esa disposición y “estaba ‘genuinamente avergonzado’ por ese hecho”. Dijo que OpenAI nunca había intentado hacer cumplir la cláusula y recuperar el capital adquirido de nadie. Dijo que la empresa estaba en proceso de actualizar su documentación de salida para “corregir” el problema y que cualquier empleado anterior preocupado por las disposiciones en la documentación de salida que firmaron podría comunicarse directamente con él al respecto y sería cambiada.

(c) 2024, Fortune