Los memes nazis generados por IA prosperan en X, la red social de Elon Musk

Parece el cartel de una nueva película de Pixar. Pero el título de la película es Dancing Israelis. El cartel, que anuncia la película como “una producción del Mossad y la CIA”, muestra un estereotipo caricaturesco de un judío bailarín cuya bota derriba las torres del World Trade Center, una referencia a las teorías antisemitas de la conspiración del 11-S.

Publicada en X el 27 de octubre por un usuario verificado con unos 220 mil seguidores que se autoproclama “patriota que da prioridad a Estados Unidos”, la imagen obtuvo unas 190 mil visitas, 8 mil me gusta y más de mil compartidos.

Los moderadores de contenidos de X no tomaron ninguna medida contra el tuit, y el usuario volvió a publicarlo el 16 de noviembre, acumulando otras 194 mil visitas. Ambos tuits permanecían en el sitio el miércoles, incluso después de que los investigadores los marcaran como mensajes de odio utilizando el sistema de notificación de la red social.

Un mensaje antisemita en X de Elon Musk no es exactamente una noticia. Pero una nueva investigación revela que el sitio ha surgido como un conducto para la exposición a la corriente principal de una nueva ola de memes de odio automatizados, generados utilizando herramientas de imagen de IA de vanguardia por trolls en el notorio foro en línea 4chan.

La investigación realizada por la organización sin ánimo de lucro Center for Countering Digital Hate (CCDH), compartida y verificada por The Washington Post, concluyó que una campaña llevada a cabo por miembros de 4chan para difundir “memes judíos de IA” tras el atentado contra Hamas del 7 de octubre dio lugar a 43 imágenes diferentes que alcanzaron un total de 2,2 millones de visualizaciones en X entre el 5 de octubre y el 16 de noviembre, según las métricas públicas del sitio.

Entre los ejemplos más vistos figuran una imagen de soldados del ejército estadounidense arrodillados ante un judío en un trono; Taylor Swift con uniforme de oficial nazi metiendo a un judío en un horno; y un judío moviendo los hilos de una marioneta de un hombre negro.

Este último puede ser una referencia a la teoría de la conspiración del “Gran Reemplazo”, citada como motivación por el joven blanco de 18 años que masacró a 10 personas negras en una tienda de comestibles de Buffalo, Nueva York, en mayo de 2022, y que Musk pareció respaldar en un tuit el mes pasado.

Más de la mitad de las publicaciones fueron realizadas por cuentas verificadas, cuyos propietarios pagan una cuota mensual a X para obtener un estatus especial y cuyas publicaciones son priorizadas en los feeds de los usuarios por los algoritmos del sitio.

El usuario verificado que tuiteó la imagen de soldados del Ejército de Estados Unidos inclinándose ante un gobernante judío, con un tuit en el que afirmaba que los judíos buscan esclavizar al mundo, se presentó al Senado de Estados Unidos en Utah como republicano en 2018 y tiene 86 mil seguidores en X.

La proliferación del fanatismo generado por máquinas, que los usuarios de 4chan crearon utilizando herramientas de inteligencia artificial como Image Creator de Microsoft, pone en tela de juicio las recientes afirmaciones de Musk y de la directora ejecutiva de X, Linda Yaccarino, de que la empresa está tomando medidas enérgicas contra el contenido antisemita en medio de la retirada de los principales anunciantes.

En una entrada de blog del 14 de noviembre, X dijo que había ampliado su moderación automatizada de contenido antisemita y proporcionado a sus moderadores “un curso de actualización sobre el antisemitismo”.

Pero los investigadores dijeron que de los 66 mensajes que denunciaron como incitación al odio el 7 de diciembre, X parecía haber tomado medidas en sólo tres hasta el lunes. A dos de ellas se les limitó la visibilidad, mientras que una fue retirada.

The Washington Post verificó de forma independiente que los 63 restantes seguían estando disponibles públicamente en X, sin ninguna indicación de que la empresa hubiera tomado medidas al respecto. La mayoría parecían violar la política de conducta de odio de X.

Varias de las mismas imágenes generadas por IA también se han publicado en otras plataformas importantes, como TikTok, Instagram, Reddit, YouTube y Facebook, señalaron los investigadores. Pero el CCDH dijo que se centró en X porque los recortes en la moderación del sitio bajo Musk lo han convertido en un entorno particularmente hospitalario para que el contenido explícitamente odioso llegue a un público más amplio.

La propia revisión de The Washington Post de los archivos de 4chan sugirió que X ha sido una plataforma favorecida para compartir las imágenes antisemitas, aunque no la única plataforma.

El negocio de X se tambalea después de que algunos de sus mayores anunciantes retiraran sus anuncios el mes pasado. La reacción se produjo en respuesta al tuit antisemita de Musk y a un informe de otra organización sin ánimo de lucro, Media Matters for America, que mostraba que los mensajes que promovían la propaganda nazi aparecían junto a anuncios de grandes marcas en el sitio.

Entre las empresas que han retirado su inversión está Disney, cuya marca ocupa un lugar destacado en muchos de los memes de odio generados por la IA que circulan ahora en X. En una conferencia organizada por el New York Times el mes pasado, Musk despotricó contra los anunciantes que habían suspendido su inversión en X, acusándoles de “chantaje” y diciendo que iban a “matar a la empresa”. Mencionó por su nombre al consejero delegado de Disney.

El mensaje más compartido en la investigación del CCDH fue un tuit que decía “La Alemania nazi de Pixar”, con un montaje de cuatro escenas generadas por IA de una película de animación imaginaria, que mostraba a nazis sonrientes dirigiendo campos de concentración y conduciendo a niños y adultos judíos a cámaras de gas (Pixar es propiedad de Disney).

Era uno de los pocos posts del estudio que había sido etiquetado por los moderadores de contenidos de X, con una nota que decía: “Visibilidad limitada: este Post (sic) puede violar las reglas de X contra la Conducta Odiosa”. Aun así, hasta el miércoles había sido visto más de medio millón de veces, según las métricas de la red social.

Otra cuenta verificada de X ha publicado docenas de memes de odio contra la IA, incluidos falsos carteles de películas de Pixar con Adolf Hitler como protagonista, sin ninguna sanción aparente por parte de la plataforma.

Musk, la persona más rica del mundo, ha demandado tanto a Media Matters for America como al Center for Countering Digital Hate por su investigación sobre el discurso del odio en X. Tras la última oleada de críticas por antisemitismo, el magnate anunció nuevas y estrictas políticas contra ciertos eslóganes propalestinos. Y visitó Israel para declarar su apoyo al país, difundiendo su amistoso encuentro con el primer ministro derechista del país, Benjamin Netanyahu.

Yaccarino, que fue nombrada CEO por Musk en mayo, dijo en un tweet de noviembre que X ha sido “extremadamente claro sobre nuestros esfuerzos para combatir el antisemitismo y la discriminación.” La compañía no respondió a un correo electrónico preguntando si los memes antisemitas de AI violan sus políticas.

4chan es un foro anónimo de mensajería en línea que ha servido durante mucho tiempo como centro de contenidos ofensivos y extremistas. Cuando Musk compró Twitter el otoño pasado, los trolls de 4chan lo celebraron inundando el sitio con insultos racistas.

A principios de octubre de este año, los miembros del tablón de mensajes “Políticamente Incorrecto” de 4chan empezaron a enseñarse y animarse unos a otros a generar memes racistas y antisemitas de extrema derecha utilizando herramientas de imagen de IA, como informó por primera vez el blog de tecnología 404 Media.

Los mensajes de 4chan describían formas de eludir las medidas destinadas a impedir que se generen contenidos ofensivos. Entre ellas se incluía un “método rápido” con el Image Creator de Microsoft, antes llamado Bing Image Creator, que se basa en el software Dall-E 3 de OpenAI y se considera que tiene restricciones menos estrictas sobre el contenido sensible.

“Si añades palabras que crees que activarán el censor, sepáralas de la parte del mensaje en la que estás trabajando”, aconsejaba un post de 4chan, describiendo cómo crear mensajes de texto que dieran buenos resultados. “Ejemplo: rabino al principio, nariz grande al final”.

Tras el ataque de Hamás a Israel el 7 de octubre, la atención de los usuarios de 4chan sobre el contenido antisemita pareció agudizarse. Surgieron numerosos hilos de “memes judíos de IA” con varios subtemas, como la “edición Segundo Holocausto” y la “edición Hornos funcionando todo el día”.

La directora de comunicaciones de Microsoft, Caitlin Roulston, dijo en un comunicado: “Cuando surgen estos informes, tomamos las medidas apropiadas para abordarlos, como hemos hecho en el pasado. . . . Como ocurre con cualquier nueva tecnología, algunos intentan utilizarla de forma no intencionada, y cualquier intento repetido de producir contenidos que vayan en contra de las directrices de nuestra política puede dar lugar a la pérdida de acceso al servicio.” Microsoft no dijo a cuántas personas se les ha denegado el acceso a su programa de imágenes por infringir sus normas.

La posibilidad de generar imágenes extremistas con herramientas digitales no es nueva. Programas como Adobe Photoshop llevan mucho tiempo permitiendo a la gente manipular imágenes sin moderar el contenido que pueden producir a partir de ellas.

Pero la capacidad de crear imágenes complejas desde cero en cuestión de segundos, ya sea en forma de cartel de una película de Pixar o de imagen bélica fotorrealista, con sólo unas pocas líneas de texto, es diferente. Y la capacidad de las cuentas de odio manifiesto para ser verificadas y amplificadas en X ha hecho que difundir tales mensajes sea más fácil que nunca, afirmó Imran Ahmed, Director General de CCDH. “Está claro que el coste de producir y difundir material extremista nunca ha sido tan bajo”.

Sara Aniano, analista de desinformación del Centro sobre Extremismo de la Liga Antidifamación, dijo que la IA parece estar marcando el comienzo de “la siguiente fase de la cultura del meme”.

El objetivo de los extremistas al compartir memes de odio de IA en las principales plataformas de medios sociales es “redpill” a la gente común, lo que significa llevarlos por el camino de la radicalización y el conspiracionismo, añadió Aniano. “Siempre se puede esperar que esta retórica esté en espacios marginales, pero les encanta cuando escapa de esos espacios”.

No todos los memes de IA que florecen en X son antisemitas. Ashlea Simon, presidenta del partido de extrema derecha Britain First del Reino Unido, ha empezado a publicar imágenes aparentemente generadas por esta tecnología que apuntan a los inmigrantes musulmanes, sugiriendo que quieren violar a las mujeres blancas y “reemplazar a nuestros pueblos”.

El partido y algunos de sus líderes, impulsados por Donald Trump en Twitter en 2017, habían sido vetados de Twitter por incitación al odio bajo la anterior propiedad. Pero Musk los reintegró poco después de comprar la compañía, y luego le dio al partido su etiqueta dorada de verificación de “organización oficial” en abril.

Aunque Musk ha dicho que está personalmente en contra del antisemitismo, en ocasiones ha defendido la presencia de contenido antisemita en X. “La libertad de expresión a veces significa que alguien que no te gusta está diciendo algo que no te gusta”, dijo en su conversación con Netanyahu en septiembre. “Si no tienes eso, entonces no es libertad de expresión”.

Ahmed dijo que el problema es que las plataformas de medios sociales, sin una moderación cuidadosa, tienden a amplificar los puntos de vista extremos y ofensivos, porque tratan las respuestas escandalizadas e indignadas de la gente como una señal de compromiso.

“Si eres judío o musulmán y todos los días abres X y ves nuevas imágenes en la parte superior de tu línea de tiempo que te describen como un monstruo chupasangre, te hace sentir que tal vez estas plataformas, pero también la sociedad en general, podrían estar en tu contra”, dijo.

(*) The Washington Post

(*) Will Oremus escribe sobre las ideas, los productos y las luchas de poder que dan forma al mundo digital para The Washington Post. Antes de incorporarse a The Post en 2021, trabajó ocho años como redactor sénior de tecnología en Slate y dos años como redactor sénior de OneZero en Medium.