Es tiburones contra jets: bienvenidos a la lucha por el proyecto de ley de seguridad de la IA de California

Un proyecto de ley del estado de California se ha convertido en un punto de conflicto entre quienes piensan que la IA debería ser regulada para garantizar su seguridad y aquellos que ven la regulación como un posible freno a la innovación. El proyecto de ley, que se someterá a la votación final en agosto, está provocando un encendido debate y una frenética oposición entre líderes de toda la industria de la IA, incluso de algunas empresas y líderes de IA que anteriormente habían pedido que se regulara el sector. La legislación, el Proyecto de Ley del Senado de California 1047, ha tomado mayor relevancia ya que los esfuerzos por regular la IA a nivel federal han resultado elusivos en un año de elecciones presidenciales. Tiene como objetivo poner límites al desarrollo y uso de los modelos de IA más poderosos al exigir que los desarrolladores cumplan con varios requisitos de seguridad y reporten incidentes de seguridad.

El discurso y la presión en torno al proyecto de ley de California, que fue aprobado por el Senado estatal en mayo con 32 votos a favor y 1 en contra y se someterá a una votación final en agosto, ha llegado a un punto álgido en las últimas semanas. El senador estatal que introdujo el proyecto de ley, Scott Wiener, dijo recientemente a Fortune que compara la lucha, que ha enfrentado a expertos en seguridad de IA contra algunos de los principales capitalistas de riesgo de la tecnología, con los ‘Jets vs Sharks’—Silicon Valley se encuentra con West Side Story.

“No me di cuenta de lo tóxica que es la división”, dijo, unos días después de publicar una carta pública en respuesta a “declaraciones inexactas e incendiarias” de la incubadora de startups Y Combinator y la firma de capital riesgo a16z sobre la legislación. La carta llegó una semana después de que a16z publicara su propia carta abierta diciendo que el proyecto de ley “frenaría el desarrollo de IA de código abierto y tendría un efecto de enfriamiento no solo en la inversión y expansión de IA, sino en el emprendimiento de pequeñas empresas que hace que California sea lo que es hoy”.

Ciertamente hay muchas disputas, discusiones y memes sarcásticos en las redes sociales sobre SB-1047, cuyo título completo es la Ley de Innovación Segura y Confiable para Modelos Frontera de Inteligencia Artificial. A primera vista, el debate podría parecer un choque digno de GIFs entre ‘catastrofistas’ de la IA—pesimistas que piden regulaciones contra el supuesto ‘riesgo existencial’ de la IA para la humanidad—y ‘aceleracionistas’ de la IA que abogan por una carrera desenfrenada en el desarrollo de IA porque creen que los beneficios de la tecnología superarán con creces cualquier daño que cause.

Pero el encuadre de Wiener—una guerra de pandillas entre dos facciones rivales disputándose territorio—diluye la seriedad de los problemas subyacentes bajo la postura política de ambos lados. Muchos consideran esencial la regulación de la IA para gestionar no solo los riesgos conocidos asociados con la IA—desde sesgos y violaciones de privacidad hasta el desplazamiento de empleos—sino para promover estándares éticos y fomentar la confianza pública. Por otro lado, hay quienes temen la captura regulatoria—que la regulación termine avanzando los intereses de unos pocos desarrolladores de modelos de IA, como OpenAI, Google, Microsoft, Anthropic y Meta, a expensas de una competencia más amplia o los verdaderos intereses del público. Muchos sospechaban cuando el CEO de OpenAI, Sam Altman, por ejemplo, imploró al Congreso que regulase la IA en una audiencia en mayo de 2023. Sin embargo, el Congreso, que celebró numerosas audiencias sobre la regulación de la IA el año pasado, ha renunciado en su mayoría a tomar medidas hasta después de las elecciones de 2024.

Hasta ahora, el SB-1047 ha avanzado rápidamente hacia convertirse en ley. Sus redactores se centran en lo que consideraron un objetivo bastante simple y reducido para la legislación. Solo las empresas que gasten más de USD 100 millones y utilicen un nivel específico y alto de poder de cómputo para entrenar los modelos de IA más grandes y sofisticados—como el GPT-5 en desarrollo de OpenAI—estarían obligadas a cumplir con pruebas y monitoreo de seguridad para prevenir el uso indebido de ‘capacidades peligrosas’. Estas capacidades incluirían la creación de armas de destrucción masiva o el uso de IA para lanzar ciberataques contra infraestructura crítica.

Los partidarios del proyecto de ley incluyen luminarias de la IA como Geoffrey Hinton y Yoshua Bengio, y organizaciones sin fines de lucro como Encode Justice, un movimiento juvenil por una IA ‘segura y equitativa’. Otro defensor es el asesor de X.ai, Dan Hendrycks, cuya organización sin fines de lucro, el Centro de Seguridad de IA, es financiada por Open Philanthropy—conocido por sus vínculos con el controvertido movimiento del Altruismo Eficaz (EA) que se centra fuertemente en el ‘riesgo existencial’ de la IA para la humanidad.

En un tuit reciente, el CEO de Y Combinator, Garry Tan, hizo una burla al EA. Respondiendo a una lista de organizaciones afiliadas al EA que apoyan el SB-1047, incluidas aquellas financiadas por el cofundador de Skype, Jaan Tallinn, escribió: “El EA haciendo cosas de EA”.

Además de a16z y Y Combinator, los críticos del SB-1047 incluyen una amplia gama de Big Tech, capitalistas de riesgo, startups y organizaciones de código abierto. Luminaries de la IA como el ex fundador de Google Brain, Andrew Ng, la profesora de Stanford, Fei-Fei Li, y el científico jefe de Meta, Yann LeCun, también se han manifestado en contra, diciendo que el proyecto de ley es cualquier cosa menos simple o reducido. En cambio, los opositores insisten en que el lenguaje del proyecto de ley es demasiado vago. Dicen que el enfoque del proyecto de ley en los modelos de IA en sí mismos, en lugar de en cómo se utilizan, ha llevado a la incertidumbre sobre el cumplimiento y ha dejado a los desarrolladores temerosos de ser legalmente responsables por cómo se implementan o modifican los modelos por parte de los clientes. También sostienen que el proyecto de ley podría consolidar el poder sobre la IA en manos de unos pocos gigantes tecnológicos con muchos recursos, asfixiar los esfuerzos de pequeñas startups y desarrolladores de código abierto, y permitir que China tome la delantera en el desarrollo de IA.

“Hay propuestas sensatas para la regulación de la IA”, dijo Ng a Fortune. “Desafortunadamente, SB-1047 no es una de ellas”.

Wiener y sus compañeros defensores del proyecto de ley dicen que es una tontería: “Este es un proyecto de ley de seguridad básica, de toque ligero”, dijo Wiener. Sunny Madra, vicepresidente de asuntos políticos en Encode Justice, un co-patrocinador del proyecto de ley, dijo que no esperaba que la oposición montara una contraofensiva tan masiva. “Realmente tratamos de centrarnos en lo que creemos que son problemas súper razonables”, dijo.

Eso no ha reducido la resistencia al proyecto de ley, que dice que los desarrolladores no pueden lanzar modelos cubiertos por el proyecto de ley si existe un “riesgo irrazonable” de “daño crítico.” También requiere que los desarrolladores cumplan con auditorías anuales del modelo y presenten un certificado de cumplimiento a una nueva división dentro de la Agencia de Operaciones Gubernamentales del estado, “bajo pena de perjurio.”

“No creo que nadie realmente quiera una pequeña junta no elegida implementando estándares de seguridad vagos de manera arbitraria,” dijo Daniel Jeffries, CEO de la startup de IA Kentaurus AI. “Para mí, la legislación práctica se centra en los casos de uso, en la seguridad,” explicó. “Tengamos la conversación sobre armas autónomas, o coches autónomos, o usar la tecnología para clonar la voz de tu madre para estafarte cinco mil dólares.”

Pero Yacine Jernite, investigadora en la plataforma comunitaria de código abierto Hugging Face, adoptó un enfoque diferente: señalando que la intención del SB-1047 de hacer que los desarrolladores de IA sean más responsables está “definitivamente en línea con las posiciones que hemos expresado sobre propuestas regulatorias en el pasado.” Sin embargo, añadió que la forma en que está redactado el proyecto de ley demuestra una falta de comprensión del ecosistema tecnológico. Por ejemplo, los modelos afectados por el proyecto de ley pueden no ser entrenados solo por grandes empresas que quieren integrarlos en sus productos, sino por organizaciones públicas o filantrópicas, o coaliciones de investigadores que se han unido para entrenar modelos. “Aunque esos modelos tienen menos visibilidad pública que los que soportan sistemas de IA de nombres conocidos, juegan un papel indispensable en la comprensión científica y la regulación informada de la tecnología,” dijo Jernite.

Aunque Hendrycks no respondió a una solicitud de comentario de Fortune, recientemente insistió a Bloomberg que los capitalistas de riesgo probablemente estarían en contra del proyecto de ley “independientemente de su contenido,” y que el proyecto de ley se enfoca en la seguridad nacional, particularmente en proteger la infraestructura crítica. La mayoría de las empresas ya están haciendo pruebas de seguridad, dijo, para cumplir con la Orden Ejecutiva sobre IA promulgada por el presidente Biden en octubre de 2023. “Esto solo hace que sea ley, en lugar de una orden ejecutiva que puede ser rescindida por una futura administración,” dijo.

Ng mantuvo que la comunidad tecnológica está “haciendo mucho trabajo para tratar de entender qué aplicaciones podrían ser perjudiciales” y acogió la participación y financiación del gobierno en tales esfuerzos. “Por ejemplo, me encantaría ver regulaciones que pongan fin a la pornografía deep fake no consensuada,” dijo.

Pero Wiener explicó que hay otros proyectos de ley de IA avanzando en la legislatura de California que se enfocan en riesgos inmediatos y a corto plazo de la IA, como la discriminación algorítmica, los deep fakes y la pornografía vengativa con IA. “No puedes hacer todo en un solo proyecto de ley,” dijo, y enfatizó su continua disposición a colaborar. “Hemos hecho cambios significativos en respuesta a comentarios constructivos, y seguimos invitando a esos comentarios,” dijo.

Jeffries, sin embargo, dijo que ha leído cada versión del proyecto de ley a lo largo del camino y que, aunque se han hecho cambios, “la esencia del proyecto de ley sigue siendo la misma,” incluyendo el requisito de firmar un certificado de cumplimiento bajo pena de perjurio. “Las reglas pueden cambiar de la noche a la mañana,” dijo. “Podrían mover el umbral hacia arriba o hacia abajo. Y los estándares están redactados de una manera frustrantemente vaga.”

En su carta en respuesta a a16z y Y Combinator, Wiener insistió en que el Fiscal General de California solo podría presentar una demanda si “un desarrollador de un modelo cubierto (más de USD 100 millones para entrenar) no realiza una evaluación de seguridad o toma medidas para mitigar el riesgo catastrófico y luego ocurre una catástrofe.”

El gobernador Newsom no ha indicado si firmará el proyecto de ley si pasa por la Cámara de California. “Estamos haciendo contactos con la administración como hacemos con proyectos de ley grandes o complicados,” dijo Wiener. “Obviamente nos encantaría que el gobernador proporcionara sus comentarios.”

Incluso algunas empresas de IA con reputación de abogar por la seguridad de la IA, como Anthropic, se han retirado de apoyar el proyecto de ley, quizás temiendo que restringirá sus propios esfuerzos para desarrollar modelos de IA más avanzados. El CEO de Anthropic, Dario Amodei, dijo durante una entrevista en el podcast In Good Company en junio que la regulación imaginada en el SB-1047 es demasiado temprana, que primero debería llegar el consenso de la industria sobre una “política de escalado responsable.”

Ng dijo a Fortune que ha hablado con el senador Wiener y proporcionó comentarios. “No dijo mucho durante nuestra llamada y no siento que los cambios en el proyecto de ley hayan sido receptivos a las preocupaciones que muchos de nosotros en el mundo tecnológico compartimos,” dijo.

Mientras tanto, Wiener insiste en que su puerta sigue abierta para discutir posibles cambios al SB-1047. “Hay algunos excelentes cabilderos en el proyecto de ley que las personas en la industria han contratado... que tratan de participar constructivamente,” dijo, así como “personas de la industria que no solo han adoptado una posición negativa y han sido constructivas al sugerir enmiendas, algunas de las cuales incorporamos, otras con las que no estamos de acuerdo.” El proceso, enfatizó, ha “sido un proceso bastante colaborativo, y aprecio mucho eso.” ¿Su objetivo? “Hacerlo bien.”

(c) 2024, Fortune