500.000 escaneos faciales en un mes: cómo utiliza China la inteligencia artificial para hacer el perfil de una minoría

En un gran salto ético para el mundo tecnológico, las empresas chinas han creado algoritmos que el gobierno utiliza para rastrear a los miembros de un grupo minoritario mayoritariamente musulmán.

El gobierno chino ha recibido una amplia condena internacional por su severa represión contra los musulmanes étnicos en su región occidental, incluida la retención de hasta un millón de ellos en campos de detención.

Ahora, documentos y entrevistas muestran que las autoridades también están utilizando un vasto sistema secreto de tecnología avanzada de reconocimiento facial para rastrear y controlar a los uigures, una minoría mayoritariamente musulmana. Es el primer ejemplo conocido de un gobierno que usa intencionalmente inteligencia artificial (I.A.) para elaborar perfiles raciales, dijeron los expertos.

La tecnología de reconocimiento facial, que se integra rápidamente a las redes de cámaras de vigilancia en China, busca exclusivamente a los uigures en función de su apariencia y mantiene un registro de sus idas y venidas para su búsqueda y revisión. La práctica hace que China sea un pionero en la aplicación de tecnología de próxima generación para observar a su gente, lo que podría dar paso a una nueva era de racismo automatizado.

La tecnología y cómo se usa para controlar la información de 11 millones de uigures en China, fue descrita por cinco personas que conocen el sistema de manera directa, y quienes solicitaron anonimato porque temen represalias. El New York Times también revisó las bases de datos utilizadas por la policía, los documentos de contratación pública y los materiales publicitarios distribuidos por las empresas de I.A. que hacen los sistemas.

Las autoridades chinas ya mantienen una vasta red de vigilancia, que incluye el seguimiento del ADN de las personas, en la región occidental de Xinjiang, que muchos uigures consideran su hogar. Pero el alcance de los nuevos sistemas extiende ese monitoreo a muchos otros rincones del país.

La policía ahora está utilizando tecnología de reconocimiento facial para etiquetar a los uigures en ciudades ricas del este como Hangzhou y Wenzhou y en toda la provincia costera de Fujian, dijeron dos de las personas entrevistadas. La policía en la ciudad de Sanmenxia, ​​en el centro de China, a lo largo del río Amarillo, implementó un sistema que durante el transcurso de un mes este año evaluó 500.000 veces si los residentes eran uigures.

Los documentos policiales muestran que la demanda de tales capacidades se está extendiendo. De acuerdo con los documentos de contratación, casi dos docenas de departamentos de policía en 16 provincias y regiones diferentes de China buscaron dicha tecnología a partir de 2018. La aplicación de la ley de la provincia central de Shaanxi, por ejemplo, tuvo como objetivo adquirir un sistema de cámara inteligente el año pasado que "debería respaldar el reconocimiento facial para identificar los atributos Uighur / no Uighur".

Algunos departamentos de policía y compañías de tecnología describieron la práctica como "identificación de minoría", aunque tres de las personas dijeron que esa frase era un eufemismo para una herramienta que buscaba identificar exclusivamente a los uigures. Los uigures a menudo parecen distintos de la población mayoritaria de China, ya que se asemejan más a las personas de Asia Central. Tales diferencias hacen que sea más fácil para el software distinguirlos.

Durante décadas, las democracias han tenido un monopolio en tecnología de punta. Hoy en día, una nueva generación de nuevas empresas que atienden las necesidades autoritarias de Beijing están comenzando a establecer el tono para tecnologías emergentes como la inteligencia artificial. Herramientas similares podrían automatizar sesgos basados ​​en el color de la piel y el origen étnico en otros lugares.

"Piense la aplicación más arriesgada de esta tecnología, y es muy probable que alguien lo haga", dijo Clare Garvie, asociada del Centro de Privacidad y Tecnología de Georgetown. "Si creas una tecnología que puede clasificar a las personas por una etnia, alguien la usará para reprimir esa etnia".

Desde un punto de vista tecnológico, el uso de algoritmos para etiquetar a las personas según su raza o etnia se ha vuelto relativamente fácil. Compañías como I.B.M. anunciaron un software que puede clasificar a las personas en grupos amplios.

Pero China ha abierto nuevos caminos al identificar un grupo étnico con fines de cumplimiento de la ley. Una empresa china, CloudWalk, describió una experiencia de muestra en la comercialización de sus propios sistemas de vigilancia. La tecnología, dijo, podría reconocer a "grupos sensibles de personas".

"Si originalmente un uigur vive en un vecindario, y en 20 días aparecen seis uigures", dijo en su sitio web, "envía alarmas de inmediato a la policía".

En la práctica, los sistemas son imperfectos, dijeron dos de las personas. A menudo, su precisión depende de factores ambientales como la iluminación y el posicionamiento de las cámaras.

En los Estados Unidos y Europa, el debate en la comunidad de inteligencia artificial se ha centrado en los sesgos inconscientes de quienes diseñan la tecnología. Pruebas recientes mostraron que los sistemas de reconocimiento facial realizados por compañías como I.B.M. y Amazon fueron menos precisos al identificar las características de las personas de piel más oscura.

Los esfuerzos de China plantean cuestiones más graves. Si bien la tecnología de reconocimiento facial utiliza aspectos como el tono de la piel y las formas de la cara para clasificar las imágenes en fotos o videos, los humanos deben decirles que clasifiquen a las personas según las definiciones sociales de raza o etnia. La policía china, con la ayuda de las nuevas empresas, lo ha hecho.

"Es algo que parece sorprendente viniendo de los EE.UU., Donde es más probable que exista racismo en nuestra toma de decisiones algorítmica, pero no de una manera tan abierta como esta", dijo Jennifer Lynch, directora de litigios de vigilancia de la Electronic Frontier Foundation. "No hay un sistema diseñado para identificar a alguien como afroamericano, por ejemplo".

Las compañías chinas de A.I. detrás del software incluyen Yitu, Megvii, SenseTime y CloudWalk, cada una de ellas valuada en más de mil millones de dólares. Otra compañía, Hikvision, que vende cámaras y software para procesar las imágenes, ofreció una función de reconocimiento minoritario, pero comenzó a eliminarla en 2018, según una de las personas.

Las valoraciones de las compañías se dispararon en 2018 cuando el Ministerio de Seguridad Pública de China, la principal agencia de policía, reservó miles de millones de dólares bajo dos planes gubernamentales, llamados Skynet y Sharp Eyes, para computarizar la vigilancia, la vigilancia policial y la recopilación de inteligencia.

En un comunicado, una portavoz de SenseTime dijo que verificó con "equipos relevantes", que no sabían que su tecnología estaba siendo utilizada para hacer perfiles. Megvii dijo en un comunicado que se enfocaba en "soluciones comerciales no políticas", y agregó que "estamos preocupados por el bienestar y la seguridad de los ciudadanos individuales, no sobre los grupos de monitoreo". CloudWalk y Yitu no respondieron a las solicitudes de comentarios.

El Ministerio de Seguridad Pública de China no respondió a una solicitud de comentarios por fax.

Al vender productos con nombres como Fire Eye, Sky Eye y Dragonfly Eye, las nuevas empresas prometen utilizar I.A. para analizar imágenes de las cámaras de vigilancia de China. La tecnología no está madura —En 2017, Yitu promovió una tasa de éxito de uno de cada tres cuando la policía respondió a sus alarmas en una estación de tren— y muchas de las cámaras de China no son lo suficientemente potentes para que el software de reconocimiento facial funcione con eficacia.

Sin embargo, ayudan a avanzar en la arquitectura de China para el control social. Para hacer que los algoritmos funcionen, la policía ha reunido bases de datos de imagen facial de personas con antecedentes penales, enfermedades mentales, registros de uso de drogas y personas que hicieron quejas al gobierno, según dos de las personas y los documentos de adquisiciones. Una base de datos nacional de delincuentes en general incluye alrededor de 300,000 rostros, mientras que una lista de personas con antecedentes de uso de drogas en la ciudad de Wenzhou suma 8,000 rostros, dijeron.

Usando un proceso llamado aprendizaje automático, los ingenieros suministran datos a los sistemas de inteligencia artificial para capacitarlos en el reconocimiento de patrones o rasgos. En el caso de los perfiles, proporcionarían miles de imágenes etiquetadas de uigures y no uigures. Eso ayudaría a generar una función para distinguir al grupo étnico.

Las empresas de I.A. han tomado dinero de los principales inversores. Fidelity International y Qualcomm Ventures formaron parte de un consorcio que invirtió 620 millones de dólares en SenseTime. Sequoia invirtió en Yitu. Megvii está respaldado por Sinovation Ventures, el fondo del conocido inversor tecnológico chino Kai-Fu Lee.

Una portavoz de Sinovation dijo que el fondo había vendido recientemente una parte de su participación en Megvii y había renunciado a su puesto en el directorio. Fidelity se negó a comentar. Sequoia y Qualcomm no respondieron a las solicitudes de comentarios enviadas por correo electrónico.

El Sr. Lee, un impulsor de la IA china, ha argumentado que China tiene una ventaja en el desarrollo de la I.A. porque sus líderes están menos molestos por las "complejidades legales" o "consenso moral".

"No somos espectadores pasivos en la historia de I.A. somos sus autores", escribió Lee el año pasado. "Eso significa que los valores que sustentan nuestras visiones de I.A. en el futuro podría convertirse en profecías autocumplidas". Se negó a comentar sobre la inversión de su fondo en Megvii o sus prácticas.

El perfil étnico dentro de la industria tecnológica de China no es un secreto, dijeron. Se ha vuelto tan común que una de las personas lo comparó con la tecnología inalámbrica de corto alcance Bluetooth. Se advirtió a los empleados de Megvii sobre la sensibilidad de hablar públicamente sobre objetivos étnicos, dijo otra persona.

China ha dedicado importantes recursos a rastrear a los uigures, citando la violencia étnica en los ataques terroristas de Xinjiang y uigur en otros lugares. Beijing ha lanzado a cientos de miles de uigures y otros grupos en Xinjiang a campos de reeducación.

El software extiende la capacidad del estado para etiquetar a los uigures al resto del país. Una base de datos nacional almacena las caras de todos los uigures que abandonan Xinjiang, según dos de las personas entrevistadas.