Qué está pasando con el falso porno en WhatsApp e Instagram: Taylor Swift fue victima

A Meta le hicieron la petición de actuar con más firmeza frente a los deepfakes no consensuados y las imágenes explícitas generadas por inteligencia artificial en sus plataformas, según un reciente informe de su Junta de Supervisión.

La investigación, anunciada en abril, cuestiona la respuesta de la compañía ante casos específicos de contenido para adultos deepfake, incluyendo uno que afectó a una figura pública estadounidense y otro a una figura pública india.

El uso de tecnología de IA generativa para crear contenido para adultos deepfake ha aumentado considerablemente en los últimos meses, afectando a figuras conocidas como Taylor Swift, estudiantes de secundaria en EE.UU. y mujeres en todo el mundo.

Estas herramientas, que son ampliamente accesibles, han facilitado la producción rápida, económica y sencilla de este tipo de imágenes. Y las aplicaciones, como Instagram, Facebook y WhatsApp, han tenido una mayor presión para tomar medidas más efectivas contra este tipo de abuso en línea.

En el caso de la figura pública estadounidense, Meta actuó de inmediato eliminando la imagen generada por IA que la mostraba desnuda y siendo tocada. Esta acción fue posible porque la imagen había sido añadida previamente a un banco de coincidencia de fotos que detecta automáticamente las imágenes que infringen las normas comunitarias.

No obstante, en el caso de la figura pública india, la empresa no retiró la imagen de Instagram hasta que la Junta de Supervisión intervino, a pesar de que el contenido fue reportado dos veces.

El informe de la Junta de Supervisión critica la inconsistencia en la aplicación de las normas de Meta contra las imágenes sexuales no consensuadas.

“Meta determinó que su decisión original de dejar el contenido en Instagram fue un error y la empresa eliminó la publicación por violar el Estándar de la Comunidad contra el Acoso e Intimidación. Posteriormente, tras iniciar nuestras deliberaciones, Meta deshabilitó la cuenta que publicó el contenido”, se menciona en el informe.

El reporte también señala problemas continuos en la moderación de contenido por parte de la empresa en países no occidentales o no angloparlantes, un área en la que la compañía ha recibido críticas previamente.

Meta, por su parte, acogió la decisión de la Junta. La empresa afirmó que, aunque las publicaciones específicas identificadas en el informe ya fueron eliminadas, tomarán medidas sobre imágenes similares y en el mismo contexto cuando sea técnicamente posible hacerlo.

La Junta de Supervisión, un organismo cuasi-independiente compuesto por expertos en libertad de expresión y derechos humanos, emitió varias recomendaciones adicionales para que la compañía mejore sus esfuerzos en la lucha contra los deepfakes sexualizados.

Instaron a la empresa a aclarar sus reglas actualizando su prohibición contra el “photoshop sexualizado derogatorio” para incluir explícitamente la palabra “no consensuado” y cubrir claramente otras técnicas de manipulación fotográfica, como la IA.

Meta explicó a la Junta que no añadió originalmente la imagen de la figura pública india a su banco de coincidencia de fotos que infringen las normas porque no había informes de prensa sobre el tema, a diferencia del caso de la figura estadounidense.

“Esto es preocupante, ya que muchas víctimas de imágenes íntimas deepfake no están en el ojo público y deben aceptar la difusión de sus representaciones no consensuadas o buscar y reportar cada instancia”, afirmó la Junta, sugiriendo que Meta podría considerar otros factores, como si una imagen fue generada por IA, al decidir añadirla al banco.

La lucha contra los deepfakes no consensuados es solo una parte de los esfuerzos más amplios de Meta para prevenir la explotación sexual de sus usuarios. La empresa anunció recientemente la eliminación de aproximadamente 63.000 cuentas en Nigeria involucradas en estafas de sextorsión financiera, donde personas, a menudo adolescentes, son engañadas para enviar imágenes desnudas y luego extorsionadas.