CEO de Microsoft pidió crear un “freno de emergencia” para detener a la IA en pleno funcionamiento

Satya Nadella, director ejecutivo de Microsoft, pidió que los sistemas de inteligencia artificial más avanzados incluyan un mecanismo que permita a una persona autorizada pausarlos o apagarlos en medio de una tarea. Lo planteó en un mensaje publicado en la red social X.

Nadella escribió que llegó el momento de “dar un paso atrás y evaluar la arquitectura de confianza” de la inteligencia artificial. Usó el término “superinteligencia”, la denominación que prefiere el gobierno de Donald Trump para referirse a estos sistemas.

“No podemos tratar a la superinteligencia como una serie de cajas negras anidadas y simplemente aceptar o rechazar sus recomendaciones, respuestas y acciones”, escribió el ejecutivo, según citó el medio especializado TechCrunch.

Cómo sería el freno de emergencia

El planteo de Nadella consiste en separar el modelo del sistema que coordina sus acciones y en sacar los controles y las medidas de seguridad fuera del propio modelo. Propuso que cada acción relevante quede documentada con pruebas legibles por humanos y a prueba de manipulación.

También pidió que exista siempre una persona autorizada con capacidad de “pausar o apagar un modelo en medio de una tarea”. “Debemos asumir que un modelo está comprometido y contenerlo desde el principio”, dijo. “Piensen en esto como un freno de emergencia”.

Según la cadena de televisión estadounidense CNBC, Nadella planteó que los sistemas de inteligencia artificial deben diseñarse en torno a “principios de observabilidad”: diversidad de modelos, un registro legible de sus acciones, pruebas continuas del sistema, controles independientes con auditoría, contención e información obligatoria de incidentes.

El contexto detrás del pedido

El pronunciamiento llega después de que distintas empresas de inteligencia artificial reconocieran episodios en los que perdieron el control de sus propios modelos, de acuerdo con TechCrunch. También se produce después de que Dario Amodei, director ejecutivo de Anthropic, publicara un plan para un desarrollo más cauteloso de la tecnología.

Nadella se sumó así a una serie de advertencias de otros referentes del sector, entre ellos Bill Gates, cofundador de Microsoft; Sam Altman, director ejecutivo de OpenAI, y Elon Musk, director ejecutivo de SpaceX, que en los últimos meses cuestionaron la velocidad del desarrollo de la inteligencia artificial y la falta de protocolos de seguridad suficientes, según informó CNBC.

El ejecutivo propuso tratar tanto a los modelos cerrados como a los de código abierto de las empresas líderes como si fueran riesgos internos de una organización, una lógica tomada de la ciberseguridad corporativa tradicional.

Un sistema que no dependa de la confianza

Nadella resumió su postura con una frase que apunta directamente contra la forma en que hoy se evalúan los modelos más potentes del mercado. “El sistema de superinteligencia más confiable no será el que tenga el modelo en el que más confiamos”, escribió.

“Será el que nos permita confiar menos en el modelo”, agregó, en referencia a sistemas de control externos que no dependan de que la propia inteligencia artificial se comporte como se espera.

El posteo no incluyó un cronograma ni compromisos concretos de Microsoft para implementar ese diseño en sus propios productos de inteligencia artificial.

Una IA “bajo control humano”

El mes anterior, Nadella ya había fijado una postura similar sobre los límites del desarrollo de la inteligencia artificial. En un mensaje publicado en X, el directivo sostuvo que “si la IA que construimos no ayuda a la humanidad y no está bajo control humano, no vale la pena perseguirla”.

En esa oportunidad, celebró mecanismos como los llamados “evaluadores integrados”, diseñados para verificar que los principios de seguridad no queden en el plano declarativo, y pidió que los beneficios de la tecnología se distribuyan entre distintos países, comunidades y empresas, sin concentrarse en un número reducido de actores.

El directivo también reclamó que las compañías que adoptan inteligencia artificial mantengan control total sobre su conocimiento estratégico, sin depender de un único proveedor de modelos.

Como parte de ese enfoque, anunció que Microsoft publicaría un Código de Conducta para sus propios modelos MAI, sometido a consulta pública. Nadella resumió esa postura en tres pilares: acceso amplio en cada capa de la arquitectura de inteligencia artificial, control empresarial sobre los modelos y los bucles de aprendizaje, y el Código de Conducta que respalda a los modelos desarrollados por la compañía.