ChatGPT está alucinando y sus respuestas pueden tener información falsa, por qué razón

Chatbots como ChatGPT y Bard han causado mayor impacto en la llegada masiva de la inteligencia artificial. Aunque las alucinaciones han sido el problema más repetitivo que aún no han podido resolver los expertos y, al parecer, jamás se irán.

Este tipo de fallos implica que la IA empieza a generar contenido falso o agrega información que no es correcta a un contexto que sí es real, como pueden ser datos históricos o afirmaciones que nunca se hicieron.

Emily Bender, profesora del Laboratorio de Lingüística Computacional de la Universidad de Washington, advierte que las alucinaciones en los chatbots no tienen una solución fácil e inmediata.

La experta explica que esto es por la falta de coincidencia entre la tecnología y los casos de uso. Es decir, los chatbots diseñados para “inventar cosas” están predispuestos a generar información falsa interpretada como correcta de manera ocasional.

En el ámbito de la generación de texto, especialmente en las noticias donde la precisión es necesaria, estas alucinaciones pueden tener consecuencias graves porque se puede presentar que la IA cree un hecho que nunca sucedió o genere declaraciones que alguien no dijo.

“Incluso si se pueden ajustar para que sean correctos la mayor parte del tiempo, seguirán teniendo modos de falla, y es probable que las fallas se den en los casos en los que es más difícil que una persona que lee el texto se dé cuenta, porque son más oscuros”, aseguró, en declaraciones a Los Ángeles Times.

La raíz de todo esto está en que los modelos de lenguaje, los que hacen posible que ChatGPT funcione, están diseñados “para inventar cosas, eso es todo lo que hacen”, por lo que es inevitable que en un punto el camino se desvíe.

“No creo que haya un modelo hoy en día que no sufra alguna alucinación”, aseguró Daniela Amodei, cofundadora y presidenta de Anthropic, desarrollador del chatbot Claude 2.

“En realidad simplemente están diseñados para predecir la siguiente palabra. Así que habrá una cierta tasa en la que el modelo lo haga de manera errónea”, explicó.

Un problema adicional en el desarrollo de la inteligencia artificial es la falta de transparencia. Muchas empresas dan información sobre cómo entrenan a sus modelos, lo que crea una “caja negra” en la que los usuarios no pueden comprender cómo se toman las decisiones y se generan los resultados.

Esta falta de transparencia solo agrega un nivel más de incertidumbre a la confianza en los chatbots y aumenta la preocupación sobre el contenido creado.

El desarrollo de la IA presenta el desafío de equilibrar la creatividad con la precisión y responsabilidad. Implementar una técnica conocida como “generación condicionada” podría ayudar a abordar las alucinaciones.

Al proporcionar información adicional o restricciones específicas al generar contenido, se puede reducir la probabilidad de que los chatbots generen información inexacta o engañosa. Esta técnica puede ser útil, todavía no es una solución completa.

Aunque los desarrolladores puedan ajustar y mejorar los modelos de lenguaje para minimizar las alucinaciones, siempre habrá un riesgo inherente. Además, las alucinaciones pueden surgir en los casos más oscuros y sutiles, donde es difícil para una persona que lee el texto darse cuenta del error.

Por eso, una de las claves, es ser prudentes con el uso de los chatbots y modelos de lenguaje. Es esencial comprender las limitaciones de esta tecnología y ser conscientes de los riesgos asociados con las alucinaciones.

Los chatbots pueden ser herramientas de gran ayuda si se utilizan adecuadamente, pero la responsabilidad y la precisión deben ser prioridad.