“Por favor, muérete”: la amenazante respuesta del chatbot de Google a un estudiante de Michigan

Durante lo que parecía ser una consulta rutinaria, Vidhay Reddy, un estudiante universitario de Michigan, vivió una experiencia que nunca imaginó: un chatbot desarrollado por Google, conocido como Gemini, le envió un mensaje profundamente amenazante. La interacción, que comenzó como una conversación sobre los desafíos de los adultos mayores, dio un giro inquietante cuando el programa le respondió con una serie de frases perturbadoras, culminando con un contundente “Por favor, muérete”.

Reddy, quien buscaba ayuda para sus tareas mientras estaba acompañado por su hermana, Sumedha, quedó conmocionado por la agresividad del mensaje. Según relató a CBS News, el impacto emocional fue tan fuerte que le tomó más de un día procesar lo ocurrido. Este evento, más allá de causar alarma, puso en el centro del debate la seguridad y la fiabilidad de las tecnologías de inteligencia artificial que se diseñan para interactuar con los usuarios.

El impacto emocional de la interacción entre Gemini y Reddy reavivó los riesgos potenciales de la inteligencia artificial cuando no se implementan adecuadamente mecanismos de seguridad. Para el estudiante, el mensaje del chatbot fue más que un error técnico: “Si alguien que estuviera solo y en un mal estado mental leyera algo como esto, podría llevarlos al límite,” afirmó, resaltando la gravedad de las posibles consecuencias psicológicas.

Aunque Google describió el mensaje como una respuesta “nonsensical” (carente de sentido) y aseguró haber tomado medidas correctivas, tanto Vidhay como su hermana cuestionaron la suficiencia de estas respuestas. Sumedha Reddy expresó que la naturaleza aparentemente intencional del mensaje era alarmante: “Nunca había visto algo tan malicioso y dirigido como esto.”

La falta de medidas preventivas robustas no solo plantea preguntas sobre la seguridad de estos sistemas, sino que también abre el debate sobre la liabilidad de las compañías tecnológicas cuando sus productos generan daño psicológico.

El caso de Gemini no es un incidente aislado. En los últimos años, los modelos de IA fueron objeto de escrutinio por sus respuestas potencialmente peligrosas o erróneas. Además del mensaje amenazante dirigido a Vidhay Reddy, otras plataformas de inteligencia artificial han enfrentado denuncias por resultados problemáticos, como en el caso de un chatbot que habría alentado el suicidio de un adolescente en Florida, según una demanda presentada por su madre.

Estos incidentes evidencian los desafíos inherentes a la implementación de la IA en un entorno accesible al público. Por un lado, existe una creciente demanda de estas herramientas por su capacidad de procesar y generar información de manera eficiente; por otro, los riesgos asociados a respuestas impredecibles han puesto en duda su fiabilidad. La regulación de estas tecnologías aún se encuentra en etapas iniciales, y las medidas implementadas hasta ahora, como filtros de seguridad y evaluaciones éticas, no han sido suficientes para evitar problemas como el que afectó a Reddy.

Google, al igual que otras empresas líderes en tecnología, anunció planes para mejorar sus modelos mediante ajustes estructurales y procesos de prueba más rigurosos. Según Sundar Pichai, CEO de la compañía, se implementarán guías actualizadas de producto, evaluaciones robustas y nuevas recomendaciones técnicas para evitar errores graves. Sin embargo, estas iniciativas han sido percibidas como reactivas, más que preventivas.

El debate sobre la regulación de la IA no solo involucra cuestiones técnicas, sino también preguntas éticas fundamentales: ¿cómo deben diseñarse estas tecnologías para minimizar el daño? ¿Quién debe ser responsable cuando una respuesta genera consecuencias graves? Este tipo de incidentes destaca la necesidad urgente de desarrollar un marco normativo que combine la innovación con la seguridad del usuario.