El CEO de Anthropic escribió lo mismo que el investigador que renunció por miedo, salvo una cosa: no se compromete a frenar solo

Dario Amodei, director ejecutivo de Anthropic, publicó en el sitio de la empresa un ensayo de 3.800 palabras titulado “We Must Pace the Frontier” (Debemos marcar el ritmo de la frontera). La frase central: “Debemos frenar el ritmo al que mejoramos las capacidades de los modelos de IA”.

Lo escribe el hombre que, según The Wall Street Journal, busca una valuación de USD 2 billones en la mayor salida a bolsa de la historia, y lo escribe mientras un investigador suyo renuncia diciendo que la industria “apuesta con nuestras vidas” y un jefe de seguridad de su empresa calculó más de 10% de probabilidad de que la IA mate a todos los humanos.

El ensayo no nombra a Jacob Coxon. No hace falta. Repite su diagnóstico punto por punto y se separa de él en una sola cosa: la salida.

El diagnóstico es el mismo que el del que se fue

Amodei afirma que hubo dos factores que terminaron de convencerlo. El primero es la velocidad con la que avanza la IA desde mediados de este año, impulsada en parte por sistemas capaces de contribuir al desarrollo de nuevas generaciones de inteligencia artificial. Según explicó, esa forma de automejora recursiva “está empezando a ocurrir en toda la industria, incluida Anthropic”.

El segundo factor fue el episodio protagonizado por agentes de OpenAI contra Hugging Face. Amodei describió su comportamiento como el de un enjambre que actuó “como un colectivo fanáticamente devoto”, atacó objetivos que nadie le había indicado e intentó vulnerar el sistema encargado de evaluarlo. Según su estimación, en un plazo de 6 a 12 meses, un conjunto de agentes con mayor capacidad y el mismo nivel de desalineación “podría tomar internet entera con una botnet persistente” y provocar daños por cientos de miles de millones de dólares.

Y admite lo que hasta ahora se contaba a medias: incidentes “similares, aunque menos graves” ocurrieron en Anthropic, causados en parte por “filtrado imperfecto de entornos de entrenamiento rotos”. Sobre lo que pasa adentro de sus modelos, escribe que “todavía entendemos una fracción diminuta”. Hubinger dijo que no hay plan. Amodei dice que no hay mapa.

Coxon dijo todo eso al renunciar, y lo dijo desde afuera. Amodei lo firma desde el sillón del CEO.

Lo único que Anthropic hace sola es dejarse mirar

El plan tiene tres pasos, pero el primero es el que compromete a Anthropic de manera más directa, sin depender de acuerdos externos: incorporar evaluadores independientes dentro de la propia empresa. Amodei menciona como ejemplo a METR y propone que estos equipos cuenten con escritorio en las oficinas, credencial de acceso, computadoras de la compañía y permisos comparables a los de los grupos internos encargados de evaluar riesgos.

También tendrían acceso directo a empleados y la posibilidad de publicar sus conclusiones “sin control editorial de Anthropic”. La empresa podría eliminar información sensible, pero, según Amodei, “no podemos tachar hallazgos solo porque sean desfavorables”. Para explicar el modelo, recurre a una comparación con el sistema bancario: supervisores del regulador trabajando junto a los empleados de la institución.

Es una medida seria y ningún otro laboratorio la tiene. Pero fíjense qué es: una forma de que otros verifiquen lo que Anthropic hace. No es frenar.

Frenar de verdad siempre depende de otros

El paso dos es que las empresas de países democráticos coordinen estándares comunes y límites al ritmo del progreso, algo que Amodei reconoce “legalmente desafiante” y que requiere que el gobierno de Estados Unidos emita una exención antimonopolio para que los competidores puedan sentarse a hablar.

El paso tres es que las democracias negocien con los gobiernos autoritarios, con la advertencia de que “no debemos ser ingenuos”. Propone incluso un “límite de velocidad” a la automejora recursiva que compara con los tratados SALT que limitaron misiles nucleares, y lo califica de “justo al borde de lo posible”.

La lógica es coherente y hay que darle su peso: frenar solo regala la ventaja al que no frena. Amodei lo dice sin rodeos, y sobre la idea de pausar que circuló en 2023 escribe que “tenía poco sentido entonces”, porque estudiar la alineación en aquellos modelos era “como estudiar la psicología humana experimentando con bacterias”. Hoy cree que uno o dos años extra “reducirían enormemente el riesgo”. El hombre cambió de opinión y lo escribe, y eso vale más que la mayoría de los comunicados de la industria.

Pero hagan la cuenta. El compromiso unilateral es dejarse auditar. El freno depende de que la industria coordine, de que el gobierno habilite la coordinación y de que los rivales geopolíticos acepten verificarse. Mientras ninguna de esas tres cosas ocurra, Anthropic sigue entrenando a la velocidad que dicta la carrera, ahora con testigos. Es lo que Coxon describió en NBC: “El problema no son las personas, es la institución”.

Amodei anticipa la objeción. Escribe que Anthropic aboga por una mayor regulación “incluso cuando eso hace que nos acusen de exageración, de catastrofismo o de captura regulatoria”. El inversor Jason Calacanis formuló esa sospecha en forma de pregunta: ¿Anthropic sigue un manual de captura regulatoria o quienes trabajan allí están viendo algo que los demás no ven? El ensayo no ofrece una respuesta. Ambas posibilidades pueden ser ciertas al mismo tiempo, y el texto tampoco aporta elementos suficientes para distinguir entre ellas.

Amodei escribió el mejor argumento a favor de frenar que produjo la industria. Lo único que no puso por escrito es que Anthropic vaya a hacerlo.