Cuando el algoritmo de TikTok se vuelve mortal

Pocas veces leerás sobre un caso con hechos más desgarradores. En 2021, una niña de 10 años llamada Nylah Anderson estaba viendo videos en TikTok, como hacen millones de personas todos los días, cuando el algoritmo de la aplicación mostró un video del llamado desafío del apagón en su página “Para ti”. La página sugiere videos para que los usuarios los vean. El desafío del apagón alienta a las personas a grabarse mientras participan en la autoasfixia, a veces hasta el punto de perder el conocimiento. Nylah vio el desafío, lo intentó ella misma y murió. Se ahorcó accidentalmente.

El caso es horrible y devastador para su familia, pero también podría conducir a una reforma legal significativa. Gracias a un fallo clave de un tribunal de apelaciones, es posible que estemos a punto de imponer algo de sentido común constitucional a los gigantes de las redes sociales de Estados Unidos. El Tribunal de Apelaciones de Estados Unidos para el Tercer Circuito, en Filadelfia, sostuvo que TikTok podría ser potencialmente responsable de sus propias acciones si contribuyó a la muerte de Nylah, específicamente el acto de sugerirle el video, aunque ella no pidió verlo.

En el centro de la disputa legal hay una sola pregunta: ¿quién es responsable de la muerte de Nylah? Culpar a una niña de 10 años es absurdo. Ella apenas era capaz de comprender el riesgo. ¿Deberíamos culpar a la persona que creó el video que ella vio? Por supuesto. Una analogía fuera de línea podría ser útil. Imaginemos que una persona se acercara a Nylah en la escuela y le sugiriera que se asfixiara. Reconoceríamos inmediatamente la culpabilidad de esa persona.

Pero, ¿tiene TikTok alguna responsabilidad? Después de todo, no solo alojó el video. Según las afirmaciones en la denuncia legal que presentó la madre de Nylah, el algoritmo de TikTok colocó repetidamente desafíos peligrosos en la página “Para ti”, de Nylah. Para continuar con la analogía offline, imagine que un adulto se acercara a Nylah después de la escuela y le dijera: “Te conozco y sé que te gustará este video”, y luego le mostrara un desafío de apagón realizado por otra persona.

En esas circunstancias, ¿no sería aún más responsable el adulto que le presentó el video a Nylah que la persona que lo hizo? El mero hecho de que la recomendación viniera de un adulto puede hacer que Nylah sea más susceptible al mensaje del video.

Se podría decir que la sugerencia algorítmica es incluso más poderosa que una sugerencia en persona. Los niños suelen mirar videos de TikTok solos en sus habitaciones, donde no hay ningún adulto que pueda intervenir de inmediato y advertirles que no se comporten de manera evidentemente imprudente.

En el mundo real, el adulto que le mostró el video a Nylah podría ser considerado responsable de homicidio culposo, y ninguna objeción que se le haga a la niña por haberle mostrado un video hecho por otra persona lo libraría de responsabilidad. Después de todo, se acercó a la niña por su propia voluntad y le ofreció el video sin que ella se lo pidiera. Ese fue el discurso del propio adulto, y los adultos son responsables de lo que dicen.

Para entender mejor el caso de Nylah, es necesario dar una breve lección de historia jurídica. Desde el comienzo mismo de la era de Internet, los tribunales han lidiado con la cuestión de quién es responsable cuando una persona publica contenido problemático. ¿La culpa recae únicamente en la persona que publicó, por ejemplo, material potencialmente difamatorio? ¿O la responsabilidad es compartida con la plataforma que alojó la sala de chat o el foro de comentarios?

Dos de los primeros casos judiciales crearon incentivos profundamente perversos. En 1991, un tribunal federal de Nueva York sostuvo que CompuServe, uno de los primeros proveedores de servicios de Internet, no era responsable de los mensajes difamatorios porque no controlaba el contenido de los usuarios. Era evidente que el mensaje provenía del usuario y sólo del usuario.

Pero una plataforma de Internet en la que todo vale se vuelve rápidamente prácticamente inutilizable para la gente decente. Las secciones de comentarios y los foros de mensajes se inundan con el contenido más vil imaginable. Incluso los primeros proveedores de Internet reconocieron esto, y uno de ellos, Prodigy, decidió crear una plataforma más familiar moderando el contenido para eliminar las peores publicaciones.

Sin embargo, en 1995, un juez del Tribunal del Estado de Nueva York dictaminó que Prodigy podía ser considerada responsable del contenido de las publicaciones de sus usuarios. Al moderar el contenido, ejercía cierto grado de control sobre el discurso de los usuarios y, por lo tanto, era corresponsable de sus palabras.

Los dos casos ponen a las empresas de Internet en una posición imposible. Si querían evitar la responsabilidad por las expresiones de sus usuarios, tenían que adoptar un enfoque de “todo vale”, lo que inevitablemente convertiría sus plataformas en pozos negros de odio, racismo y pornografía. Si intentaban emplear moderadores para crear un espacio más humano y utilizable, serían responsables de todo lo que publicaran.

El Congreso de Estados Unidos respondió a este dilema aprobando la Sección 230 de la Ley de Decencia en las Comunicaciones en 1996. Resultó ser el motor de la Internet moderna. Tenía dos disposiciones clave. La primera establecía que “Ningún proveedor o usuario de un servicio informático interactivo será tratado como el editor o portavoz de ninguna información proporcionada por otro proveedor de contenido informativo”. Esto significa que mi discurso es mi discurso. El hecho de que publique mis pensamientos en Facebook no significa que también sean el discurso de Facebook.

Esta parte de la ley dio a las empresas de Internet (incluidas las empresas de medios como The New York Times) la capacidad de abrir comentarios públicos sin correr el riesgo de una responsabilidad legal catastrófica. Esto es lo que permite a Yelp permitir a los usuarios publicar reseñas de restaurantes sin preocuparse de que el restaurante demande a Yelp si un dueño de restaurante se enoja porque un usuario con un nombre como @JarJarRules difamó sus burritos.

Pero eso no es todo. La Sección 230 también habilitó la moderación de contenidos, ya que establece que los proveedores de servicios de Internet pueden “restringir el acceso o la disponibilidad de material que el proveedor o el usuario considere obsceno, lascivo, obsceno, excesivamente violento, acosador o de otro modo objetable” sin asumir responsabilidad por el contenido del usuario.

La Sección 230 armonizó la forma en que tratamos el discurso en línea con la forma en que tratamos el discurso fuera de línea. Si hablo en una reunión del Ayuntamiento, por ejemplo, el Ayuntamiento puede imponer una serie de reglas que actúen como moderación de contenido; puede limitar la cantidad de tiempo que hablo, o puede limitar el tema, pero ninguna de esas limitaciones significa que el Ayuntamiento también esté hablando cuando yo hablo. Mis palabras siguen siendo sólo mis palabras.

Es difícil imaginar un mundo digital sin la Sección 230. Sin protecciones contra la responsabilidad por la libertad de expresión de los usuarios, las empresas volverían a encontrarse en los primeros años de la década de 1990, frente a un enfoque de moderación de todo o nada que las pondría en un peligro legal extremo si se involucraran en cualquier tipo de moderación de contenido. Se volvería inaceptablemente riesgoso administrar incluso un sitio web de críticas cinematográficas o abrir un sitio de deportes a los comentarios sin enfrentar la posibilidad de una avalancha de demandas.

Así que cuando puedas publicar tu reseña favorable de “Rings of Power” o tu justa ira contra el comité de College Football Playoff por excluir a Georgia de los playoffs del año pasado, agradécele a la Sección 230. Te ha ayudado a darte voz y a evitarte algunos de los peores contenidos que puedas imaginar. Ha hecho que Internet sea lo suficientemente humano, y lo suficientemente abierto, para que la gente común pueda usarlo.

Pero a medida que Internet avanzaba, sus arquitectos e ingenieros comenzaron a perfeccionar algo que transformó la experiencia del usuario en línea: el algoritmo. En su opinión en el caso de Nylah, el tribunal de apelaciones definió un algoritmo como “un conjunto de instrucciones digitales que realizan una tarea”. En el contexto de las redes sociales, el algoritmo es el conjunto de instrucciones digitales que, entre otras cosas, sugieren contenido nuevo que podría gustarle.

Estos algoritmos pueden ser extraordinariamente sofisticados y demostrar un nivel de conocimiento sobre los usuarios casi aterrador, y el algoritmo de TikTok es más sofisticado que la mayoría. Como escribió Ben Smith en The Times en 2021, el año en que murió Nylah, “es asombrosamente bueno para revelar los deseos de las personas, incluso a ellas mismas”.

Aquí es donde la cosa se complica. Si bien los algoritmos te ofrecen contenido de otras personas, los algoritmos en sí mismos representan el discurso de los proveedores de servicios de Internet. Así es como dan forma al contenido de su sitio. Diferentes algoritmos pueden (y lo hacen) crear diferentes tipos de experiencias de usuario, incluso si el mismo contenido se publica en línea. Y si el algoritmo es muy eficaz (como sin duda lo es el de TikTok), genera confianza en el usuario. La gente querrá hacer clic en el contenido sugerido.

(Aquí es donde confieso que soy prácticamente propiedad total del algoritmo de libros de Amazon. Se ha convertido en un experto en recomendarme nuevos libros sobre la Primera Guerra Mundial y los compro todos.)

En un caso de la Corte Suprema de 2024, Moody v. NetChoice, la jueza Elena Kagan escribió en la opinión mayoritaria que “la actividad expresiva incluye la presentación de una compilación seleccionada de discursos creados originalmente por otros”. La jueza Kagan comparó el control editorial de un algoritmo con el control editorial de un editor de un periódico. Al igual que un editor, el algoritmo creado por humanos puede seleccionar qué material publicar, con qué prominencia presentarlo o si publicarlo o no.

En Moody, el tribunal estaba considerando la legalidad de la legislación aprobada tanto por Florida como por Texas para regular la moderación de las redes sociales. Si bien el tribunal no decidió el caso sobre el fondo, su opinión dejó muy en claro que la moderación de las redes sociales y la curación algorítmica eran ambas actividades expresivas, protegidas por la Primera Enmienda.

Pero, los derechos legales conllevan responsabilidades legales. La Primera Enmienda no permite que nadie diga lo que quiera. Si calumnio a alguien, puedo ser considerado responsable. Si trafico material de abuso sexual infantil, puedo ir a la cárcel. Si acoso a alguien, puedo enfrentar sanciones legales. ¿Deberían aplicarse las mismas reglas a la libertad de expresión de las empresas de redes sociales, incluidos sus algoritmos?

El Tribunal del Tercer Circuito dijo que sí. Un designado de Obama y dos designados de Trump sostuvieron que TikTok podría ser considerado potencialmente responsable por promover el desafío del apagón, sin que nadie lo solicitara, en la página de Nylah. No podría ser considerado responsable simplemente por alojar contenido del desafío del apagón (eso está claramente protegido por la Sección 230) ni por proporcionar contenido del desafío del apagón en respuesta a una búsqueda específica.

Pero según la denuncia del caso, TikTok actuó como el adulto de la hipótesis que mencioné anteriormente: mostró contenido terrible y no solicitado a una niña que aún no tenía las herramientas intelectuales ni la experiencia para evaluar y responder adecuadamente al video. Vio contenido de una fuente confiable, siguió sus instrucciones y pagó con su vida.

El caso de Nylah podría convertirse en uno de los más importantes en la historia de Internet. Como señala la opinión del tribunal de apelaciones, varios otros tribunales han otorgado a las empresas de redes sociales y a otros proveedores de servicios de Internet un margen de maniobra mucho mayor. Pero esos casos fueron anteriores a Moody y, por lo tanto, anteriores a su declaración clara de que la curación algorítmica es expresiva. Y si la curación algorítmica es expresiva, ¿por qué TikTok no debería enfrentarse al mismo tipo de responsabilidad que cualquier otro orador en la esfera pública?

El caso de Nylah no es un caso aislado. A fines de 2022, Bloomberg informó que el desafío del apagón estaba vinculado a 15 muertes de niños de 12 años o menos en un solo período de 18 meses. Es difícil siquiera imaginar la profundidad del dolor de los padres. No perjudica la causa de la libertad de expresión imponer a las empresas de redes sociales la misma responsabilidad que impondríamos a cualquier otra persona en circunstancias similares. Las empresas de redes sociales no deberían ser consideradas responsables del discurso de otras personas, pero cuando hablan, son responsables de ese discurso.

© The New York Times 2024.