Aplicaciones en Google que ofrecen crear contenido para adultos con IA tendrán castigos

Google Play Store ha anunciado nuevas medidas para las aplicaciones que utilizan inteligencia artificial con el fin de evitar la generación de contenido inapropiado, especialmente contenido para adultos y otros materiales sensibles.

Esta decisión llega en respuesta al crecimiento de apps que prometen capacidades como desvestir personas o crear imágenes de no consentidas mediante el uso de tecnologías de IA avanzadas.

Por ese motivo, la tienda digital de Android ha establecido que las aplicaciones que incluyen características de IA deben cumplir estrictamente con ciertas normativas para ser aprobadas y permanecer en su tienda digital.

Estas normativas no solo se centran en la prevención de contenido sexual y violento, sino que también exigen a los desarrolladores implementar mecanismos para que los usuarios puedan reportar y denunciar contenido ofensivo que encuentren dentro de las aplicaciones.

Las nuevas directrices establecidas por Google Play Store incluyen varios requisitos específicos que las aplicaciones de IA deben cumplir para ser aprobadas y mantenerse en la plataforma:

• Prevención de contenido restringido:

Las aplicaciones de IA no pueden generar contenido sexual, violento u otro tipo de material restringido. Los desarrolladores deben implementar mecanismos efectivos para evitar la creación y distribución de este tipo de contenido dentro de sus aplicaciones.

• Mecanismos de reporte y denuncia:

Es fundamental que las aplicaciones proporcionen a los usuarios la capacidad de reportar y denunciar contenido inapropiado. Google Play Store priorizará la monitorización y gestión de este feedback por parte de los desarrolladores para garantizar respuestas rápidas y efectivas ante incidentes de contenido ofensivo.

• Prohibición de uso inapropiado en la publicidad:

Google Play Store no permitirá que las aplicaciones promocionen capacidades para realizar acciones inapropiadas, como desvestir personas o crear imágenes no consensuales. Las aplicaciones que violen estas directrices podrían ser eliminadas de la tienda.

• Responsabilidades de los desarrolladores:

Los desarrolladores tienen la responsabilidad de salvaguardar sus aplicaciones contra manipulaciones que puedan ser utilizadas para crear contenido dañino y ofensivo. Google sugiere realizar pruebas exhaustivas antes del lanzamiento y documentar adecuadamente estos procesos para futuras revisiones.

Hace unos meses, desde la página 404 Media, reportaron que en redes sociales estaban apareciendo anuncios de aplicaciones que afirmaban utilizar IA para generar deepfake. En la publicidad aparecía una imagen de Kim Kardashian junto a un texto que decía: “desnude a cualquier chica gratis”. Después de recibir los reportes, Apple y Google eliminaron estas aplicaciones de sus tiendas, pero el problema sigue creciendo.

Por otro lado, en Estados Unidos y España ya se han reportado casos de acoso en las escuelas, en los que los menores están usando estas plataformas para generar contenido sexual de sus compañeras y luego extorsionarlas o hacer públicas las fotos, afectando su imagen frente a la comunidad.

En una investigación realizada por New York Times se contó un caso en Westfield, Nueva Jersey, donde estudiantes de secundaria utilizaron software de inteligencia artificial para generar imágenes sexualmente explícitas de sus compañeras de clase.

Estas imágenes, fabricadas de manera falsa, fueron compartidas en redes sociales y chats grupales, lo que resultó en una situación de acoso y humillación para las víctimas.

Otro caso se dio en Beverly Hills, California, donde estudiantes de octavo grado crearon y compartieron imágenes explícitas de compañeras de clase de 12 y 13 años utilizando IA. Ante esta situación, las autoridades escolares tomaron medidas firmes, incluyendo la expulsión de los estudiantes involucrados y la emisión de advertencias claras sobre las consecuencias del uso inapropiado de la IA.

Las imágenes alteradas son tomadas de redes sociales. Fotos en las que las víctimas están en situaciones normales, pero que mediante una aplicación de inteligencia artificial es posible convertirlas en material explícito.