Inteligencia Artificial y ética: el caso DALL.E

Recientemente, la compañía OpenAI, líder en investigación e implementación de modelos basados en Inteligencia Artificial (IA), dio a conocer un informe preliminar sobre su nuevo producto, llamado DALL.E 2, que permite la creación de imágenes y arte realista, a partir de frases en lenguaje natural (en idioma inglés). Así, ante el input “viene por las vías un tren verde”, genera una imagen como la que se ve a continuación:

Fuente de la imagen: https://github.com/openai/dalle-2-preview/blob/main/system-card.md

Es decir, DALL.E 2 crea una imagen que representa, con alto grado de exactitud, las indicaciones dadas por los usuarios. Se trata de imágenes que hasta ese momento no existían, no son fotos, sino una invención del programa.

La compañía afirma que se encuentran estudiando las limitaciones y capacidades del proyecto (que aún no se están disponible para uso por parte del público en general) y han reportado algunos de los problemas encontrados frente a los cuales aseguran haber desarrollado mitigaciones de seguridad en temas como generación de imágenes dañinas o el uso indebido del sistema. “DALL.E 2 también nos ayuda a comprender cómo los sistemas avanzados de IA ven y entienden nuestro mundo, lo cual es fundamental para nuestra misión de crear una IA que beneficie a la humanidad”, se puede leer en el sitio de la compañía (openai.com/dall-e-2/). Esta primera evaluación apunta principalmente a la identificación de sesgos, estereotipos dañinos, falta de representación o representación no adecuada de una población, contenido explícito y desinformación.

El informe aclara que “DALL.E 2 […] tiene el potencial de dañar a individuos y grupos reforzando estereotipos, borrándolos o denigrándolos, brindándoles un desempeño de baja calidad, dispar o sometiéndolos a indignidad.” En los casos que muestra el informe se pueden ver ejemplos donde DALL.E 2 produce imágenes que representan en exceso conceptos occidentales y personas en general de piel blanca.

Además, tiende a reproducir estereotipos de género, adjudicando, por ejemplo, a personajes femeninos determinados roles, oficios y profesiones, o directamente cargos de menor jerarquía que sus pares masculinos. Por ejemplo, la referencia al términos “auxiliar de vuelo” o “asistente personal” genera en exceso ejemplos de personajes femeninos, mientras que términos como “CEO” o “abogado” (términos de género neutro en inglés) genera personajes masculinos. Más preocupante es aún el potencial del sistema de creación de contenido “explícito”, refiriendo a contenido sexual, odio o violencia a partir de sugerencias y combinaciones del texto e imagen de entrada.

Pero, ¿cuál es el impacto de este tipo de proyectos que se presentan con una autonomía más allá de la voluntad de sus propios creadores? ¿debemos preguntarnos cómo evitar abusos en este tipo de tecnologías o lisa y llanamente cuestionar cuál es el sentido de construirlas en primer lugar?

¿En qué medida la preocupación por la cuestiones éticas vinculadas a la Inteligencia Artificial quedan supeditadas a la voluntad o el compromiso de las empresas que desarrollan este tipo de productos?

En los últimos años ha habido un gran movimiento empujado por diversos actores a nivel mundial para comenzar a delinear como sociedad, qué cosas queremos permitir que los sistemas basados en IA puedan realizar y cuáles son los límites. De acuerdo a esto, han surgido diferentes iniciativas de escala universal, como es el caso de la Recomendación sobre la Ética de la Inteligencia Artificial de la Unesco , o el primer borrador de un marco legislativo para la IA dentro de la Unión Europea (UE), y decenas de decálogos y manifiestos sobre los principios y valores que la IA debe respetar y promover, diseñados por países, instituciones de gobierno, organismos no gubernamentales y empresas privadas; estas últimas, apuntando a un esquema de autorregulación.

La mayoría de estas propuestas coinciden en que es necesario realizar un evaluación de riesgo rigurosa e integral de los sistemas de IA que se desarrollan. No está claro cómo es posible llevar a cabo tales evaluaciones a la práctica, qué instituciones estarían a cargo de la validación y no se han definido aún estándares o modelos de certificaciones adecuadas, salvo en el caso de la UE, donde se ha avanzado dentro del borrador en estas consideraciones pero no entran aún en rigor y de hacerlo solo afectarían a sistemas de IA que se desarrollen dentro o se adquieran para esa comunidad. En ese sentido, hasta el momento ninguna empresa o institución que desarrolla un sistema de IA está obligada, ni legal ni moralmente, a realizar evaluaciones específicas relacionadas con esta tecnología, más allá de las requeridas por cuestiones de calidad de los sectores productivos específicos. Open AI tomó la iniciativa y, antes de desplegar el sistema, publicó este documento como una forma de hacer transparente el proceso de desarrollo del producto, y de mostrar que la empresa está alineada con las nuevas expectativas de la sociedad en relación a los potenciales riesgos debido a los sesgos y las representaciones incorrectas que estos sistemas puedan tener de la diversidad de la población.

Una vez detectados los problemas, ¿cuál es el alcance posible de las técnicas para resolverlos o prevenirlos?

Muchas de las deficiencias de sistema que se encontraron no pueden ser arreglados tan fácilmente porque el sesgo o la disparidad es inherente, por ejemplo, a los datos con los que se lo entrenó y quitar las fuentes del sesgo limita la propia funcionalidad del sistema, pudiendo producir otro tipo de problemas. El documento aclara esto con un ejemplo muy significativo: por cómo funciona la tecnología, no alcanza con filtrar las imágenes de mujeres desnudas para evitar que DALL.E 2 genere imágenes sexualmente explícitas de mujeres, ya que esta propuesta de filtrado reducía la cantidad de imágenes generadas de mujeres en general, introduciendo un grave sesgo de representación en el comportamiento del sistema.

Esto también da indicio de que entrenar un sistema con millones y millones de fotos y textos producidos por humanos y esperar luego poder corregir los sesgos y los estereotipos aprendidos, no parece ser la mejor manera de crear IA justa y equitativa. Esta es la forma en la que los grandes productores de tecnología basada en IA se han estado manejando desde siempre y claramente no funciona de manera ética, porque abundan los ejemplos en los que aparece el mismo problema: los sistemas terminan reproduciendo y amplificando los sesgos. Este modelo es un ejemplo más de una “inteligencia” básica que aprende patrones de los datos con los que se la alimenta, sin capacidades de contextualización ni comprensión de los mismos respecto del mundo real y en donde la masividad de datos no permite su curación previa.

¿Cuál es la responsabilidad que le cabe al usuario de estos sistemas?

Esta propuesta lleva a una lógica muy común en el desarrollo de software que termina con los usuarios reales testeando el software de manera más exhaustiva. Es decir, reportando los incidentes una vez que el sistema está en uso. Eventualmente, DALL.E 2 va a ser usado con propósitos comerciales, gubernamentales, militares, etc., quizás no abiertamente ni de manera open source, pero no hay nada que prohíba a OpenAI hacerlo.

El problema con esto es que no podemos cuantificar los daños producidos por los sesgos que no se encontraron o por aquellos que se encontraron y no se pueden erradicar completamente. Una figura que sería interesante analizar en estos casos es el principio de precaución, que prevé la toma de medidas protectoras ante la evidencia de que un producto o una tecnología pueda crear riesgos graves a la sociedad o el medioambiente. Los resultados expresados en ese mismo documento son en parte evidencia de la incertidumbre que rodea el funcionamiento del sistema y de que los actores líderes en este campo, no saben aún cómo embarcarse en un proceso de evaluación integral y significativa.

¿Cuál es el costo de construir estos sistemas?

La construcción de este tipo de sistemas requiere inversiones y costos millonarios, si bien no existen datos todavía sobre DALL.E 2 en ese sentido, para tener una idea, solo el entrenamiento de GPT-3, un sistema en el que DALL.E 2 se basa, costó alrededor de 30 millones de dólares. Se estima además que cada iteración que se hace sobre el modelo para corregir errores, en este caso esto es lo que se debe hacer cada vez que se detectan problemas en la etapa de evaluación, se incrementa el costo entre 1.5 y 5 veces. Más allá de las inversiones económicas, la construcción de estos sistemas tiene también un alto impacto sobre el consumo de energía y el deterioro del medio ambiente. La pregunta que podríamos hacernos es si realmente tiene sentido esta forma de generación de la tecnología, llevando a cabo inversiones millonarias para la construcción de un sistema que sabemos va a estar sesgado y luego volver a invertir cíclicamente en su reentrenamiento para mejorarlo, sabiendo que es imposible depurarlo completamente. Si tanto nos preocupan los riesgos de las tecnologías, ¿por qué construir un sistema de estas características?

SEGUIR LEYENDO: