Facebook autogenera videos en perfiles extremistas pese a su promesa por combatir discursos de odio

El video animado comienza con una foto de las banderas negras de la jihad. Segundos más tarde, muestra un resumen de publicaciones a lo largo de un año en redes sociales: placas de versos antisemitas, comentarios sobre retribución y una foto de dos hombres que portan más banderas yihadistas mientras queman las barras y las estrellas.

No fue producido por extremistas, sino por Facebook. En un ingenioso proceso de autopromoción, el gigante de las redes sociales toma un año del contenido de un usuario y genera automáticamente un video de celebración. En este caso, el usuario se llamó a sí mismo "Abdel-Rahim Moussa, El Califato".

"Gracias por estar aquí, desde Facebook", concluye el video en una burbuja de dibujos animados antes de mostrar el famoso "Like" de la compañía.

A Facebook le gusta dar la impresión de estar adelantándose a los extremistas al eliminar sus publicaciones, a menudo incluso antes de que los usuarios los vean. Pero una queja confidencial de un informante ante la Comisión de Bolsa y Valores obtenida por la agencia The Associated Press alega que la compañía ha exagerado su éxito.

Aún peor, muestra que la compañía está haciendo uso inadvertidamente de la propaganda de los grupos militantes para generar videos automáticamente y páginas que los extremistas podrían usar para crear redes.

Según la queja, durante un período de cinco meses en el año pasado, investigadores monitorearon las páginas de los usuarios que se afiliaron a grupos que el Departamento de Estado de los Estados Unidos designaron como organizaciones terroristas.

En ese período, el 38% de los mensajes con símbolos prominentes de grupos extremistas fueron eliminados. En su propia revisión, la AP descubrió que a partir de este mes, gran parte del contenido prohibido citado en el estudio (un video de ejecución, imágenes de cabezas cortadas, propaganda que honra a los militantes martirizados) se deslizó a través de la web algorítmica y siguió siendo fácil de encontrar dentro de Facebook.

La queja llega cuando Facebook intenta mantenerse firme ante una creciente gama de críticas sobre sus prácticas de privacidad y su capacidad para mantener el discurso de odio, los asesinatos en vivo y los suicidios fuera de su servicio.

Ante las críticas, el CEO Mark Zuckerberg habló de su orgullo por la capacidad de la compañía para eliminar los mensajes violentos automáticamente a través de la inteligencia artificial. Durante una llamada de ganancias el mes pasado, por ejemplo, repitió una formulación cuidadosamente redactada que Facebook ha estado empleando.

"En áreas como el terrorismo, para al-Qaida y el contenido relacionado con ISIS, ahora el 99% del contenido que eliminamos en la categoría de nuestros sistemas marca de manera proactiva antes de que alguien lo vea", dijo el magnate. "Eso es lo que realmente se ve bien".

Pero Zuckerberg no ofreció una estimación de la cantidad de material prohibido total que se está eliminando. En tanto, la investigación detrás de la queja de la SEC tiene como objetivo destacar fallas evidentes en el enfoque de la compañía, pues tan solo el año pasado, los investigadores comenzaron a monitorear a los usuarios que se identificaron explícitamente como miembros de grupos extremistas. Algo que no fue difícil de documentar.

Algunas de estas personas incluso mencionan a los grupos extremistas como sus empleadores. Un perfil anunciado por la bandera negra de un grupo afiliado a al-Qaida enumeró a su empleador como Facebook. El perfil que incluía el video generado automáticamente con la quema de la bandera también tenía un video del líder de al-Qaida Ayman al-Zawahiri instando a los grupos yihadistas a no pelear entre ellos.

Si bien el estudio dista mucho de ser exhaustivo, en parte porque Facebook rara vez pone a disposición del público gran parte de sus datos, los investigadores involucrados en el proyecto afirman la facilidad de identificación de estos perfiles mediante una búsqueda de palabras clave básica y el hecho de que tan pocos de ellos hayan sido eliminados, sugieren que las afirmaciones de Facebook de que sus sistemas atrapan el contenido más extremista no son exactas.

"Quiero decir, eso es simplemente estirar la imaginación más allá de la incredulidad", dice Amr Al Azm, uno de los investigadores involucrados en el proyecto. "Si un pequeño grupo de investigadores puede encontrar cientos de páginas de contenido mediante búsquedas simples, ¿por qué no puede hacerlo una empresa gigante con todos sus recursos?".

Al Azm, profesor de historia y antropología en la Universidad Estatal de Shawnee en Ohio, también ha dirigido un grupo en Siria que documenta el saqueo y el contrabando de antigüedades. Facebook admite que sus sistemas no son perfectos, pero dice que está haciendo mejoras.

En respuesta a los informes de AP, la representante Bennie Thompson, D-Miss., El presidente del Comité de Seguridad Nacional de la Cámara de Representantes expresó su frustración por el hecho de que Facebook haya hecho tan poco progreso en el bloqueo de contenido a pesar de las garantías que recibió de la compañía.

"Este es otro ejemplo profundamente preocupante de la incapacidad de Facebook para administrar sus propias plataformas, y la medida en que necesita limpiar su actuación", dijo. "Facebook no solo debe librar a sus plataformas de contenido terrorista y extremista, sino que también debe poder evitar que se amplifique".

Pero como una clara indicación de la facilidad con que los usuarios pueden evadir Facebook, una página de un usuario llamado "Nawan al-Farancsa" tiene un encabezado cuyas letras blancas sobre un fondo negro dicen en inglés "El Estado Islámico". La pancarta está marcada con un Foto de una seta explosiva que se eleva desde una ciudad.

El perfil debería haber llamado la atención de Facebook, así como las agencias de contrainteligencia. Fue creado en junio de 2018 y enumera al usuario como proveniente de Chechenia, una vez que fue un punto de acceso militante. Dice que vivió en Heidelberg, Alemania, y estudió en una universidad en Indonesia. Algunos de los amigos del usuario también publicaron contenido militante.

La página, aún en los últimos días, aparentemente escapó a los sistemas de Facebook, debido a una evasión evidente y prolongada de la moderación de que Facebook debería ser un experto en el reconocimiento: las letras no eran texto de búsqueda, pero estaban incrustadas en un bloque gráfico. Pero la compañía dice que su tecnología escanea audio, video y texto, incluso cuando está incrustado, en busca de imágenes que reflejen la violencia, las armas o los logotipos de grupos prohibidos.

Facebook dice que ahora emplea a 30.000 personas que trabajan en sus prácticas de seguridad y protección, revisando material potencialmente dañino y cualquier otra cosa que no pertenezca al sitio. Sin embargo, la compañía está poniendo gran parte de su fe en la inteligencia artificial y la capacidad de sus sistemas para eliminar eventualmente las cosas malas sin la ayuda de los humanos. La nueva investigación sugiere que el objetivo está muy lejos y algunos críticos alegan que la compañía no está haciendo un esfuerzo sincero.

Cuando el material no se elimina, se trata de la misma manera que cualquier otra cosa publicada por los 2,4 mil millones de usuarios de Facebook: celebrada en videos animados, vinculados, categorizados y recomendados por algoritmos.