Un informe del Stanford Internet Observatory ha revelado la presencia de miles de imágenes de abuso sexual infantil en el conocido conjunto de datos LAION-5B, empleado para entrenar generadores de imágenes de IA como Stable Diffusion de Stability AI.
Este descubrimiento sugiere que las herramientas de IA podrían generar contenidos dañinos y realza la preocupación sobre la seguridad de dichas tecnologías. La entidad LAION, que administra el conjunto de datos, ya ha respondido retirando temporalmente los conjuntos de datos involucrados para una revisión exhaustiva.
Los investigadores del observatorio, en colaboración con el Centro Canadiense de Protección Infantil, inspeccionaron el índice de LAION, que cuenta con aproximadamente 5.8 mil millones de imágenes, y encontraron más de 3,200 imágenes sospechosas de contener abuso sexual infantil. Aproximadamente 1,000 de estas han sido verificadas externamente.
Esto apunta a una debilidad significativa en el proceso de desarrollo rápido y competitivo de proyectos de IA generativa, sin la atención meticulosa adecuada para garantizar la exclusión de este tipo de contenido dañino.
El problema se extiende a la transformación de fotografías de adolescentes en redes sociales en imágenes desnudas y la generación de representaciones explícitas de niños falsos.
Con el desafío de erradicar este contenido inapropiado, se han hecho llamados para que se eliminen o limpien los modelos de IA entrenados con los datos de LAION-5B y se tomen medidas más drásticas para evitar la distribución de versiones problemáticas de Stable Diffusion.
Además, entidades como Hugging Face y CivitAI están bajo el escrutinio para implementar mejores prácticas y controles de seguridad.
Stable Diffusion, creado por Stability AI, es una de las herramientas que ha utilizado LAION-5B en su entrenamiento, lo que ha causado preocupación sobre el potencial mal uso de sus modelos. La compañía ha indicado que solo alberga versiones filtradas de Stable Diffusion y que ha tomado medidas proactivas para mitigar el riesgo de mal uso.
En respuesta al informe, se destacan los esfuerzos por mejorar los filtros para detectar y eliminar contenido ilegal antes de su distribución. Sin embargo, se reconoce que podría haberse hecho un mejor trabajo si se hubiera consultado con expertos en seguridad infantil desde etapas tempranas del desarrollo de los modelos.
OpenAI, desarrollador de DALL-E y ChatGPT, ha declarado que no utiliza LAION y ha ajustado sus modelos para rechazar solicitudes que involucren contenidos sexuales con menores. Por su parte, Google decidió no hacer público su modelo Imagen basado en datos de LAION tras hallar contenido inapropiado, incluyendo imágenes pornográficas y estereotipos sociales dañinos.
El uso de imágenes de niños, incluso en contextos inocuos, sin el consentimiento de los familiares, es cuestionado en el informe de Stanford y las autoridades reguladoras de EE. UU. han instado al Congreso a crear una comisión que investigue el impacto de la IA en la explotación infantil y prohíba la creación de CSAM (Child Sexual Abuse Material) generado por IA
El descubrimiento de material de abuso infantil en bases de datos utilizadas para entrenar modelos de inteligencia artificial plantea serias preocupaciones sobre la ética y la seguridad en el desarrollo tecnológico.
Este informe subraya la necesidad urgente de establecer protocolos más estrictos y colaboración entre desarrolladores, expertos en seguridad infantil y autoridades para prevenir la proliferación de este contenido dañino y garantizar el uso responsable de la IA.
(Con información de The Associated Press)
Últimas Noticias
Cómo evitar que el aire acondicionado dispare la factura eléctrica del hogar sin perder confort
Utilizar el electrodoméstico de manera eficiente puede reducir hasta un 40% el consumo energético si se saber elegir el modelo y se ajusta la temperatura entre 24 y 26 grados
Cómo saber si alguien me bloqueó en WhatsApp: guía paso a paso sin aplicaciones externas
El sistema de bloqueo no notifica al usuario, pero señales como la imposibilidad de ver estados, llamadas fallidas y mensajes sin entregar permiten confirmar la situación
El fin de una era: Xiaomi confirma la muerte de MIUI tras 16 años de historia
Ahora viene siendo reemplazado por HyperOS sobre el tema de seguridad, que es lo más importante de las actualziaciones
¿Ya las tienes? Las 6 funciones ocultas de WhatsApp que cambiarán tu forma de chatear en 2026
La aplicación móvil agregó un asistente de IA especializado en la redacción asistida, es decir, te ayuda a redactar mensajes claros y con buena ortografía
¿Tu celular ya no carga igual? El dato que revela cuánto debería durar realmente tu batería
En promedio, el dispositivo debería ofrecer entre 10 y 15 horas de uso continuo
