OpenAI valora el lanzamiento de una herramienta que detecta textos generados con ChatGPT en el 99,9% de los casos

OpenAI ha desarollado una marca de agua para textos generados por ChatGPT que es efectiva en el 99,9 por ciento de los casos, aunque está valorando su lanzamiento debido a que presenta "complejidades" y su impacto podría ir "más allá" del ecosistema de la marca. Fuentes cercanas a la compañía han avanzado a The Wall Street Journal que el proyecto ha estado sumido en un debate inferno durante "aproximadamente dos años" y que llevan alrededor de uno planteándose ponerlo a disposición de los usuarios. En concreto, habría desarrollado un "método técnicamente prometedor" para detectar texto generado con ChatGPT, aunque considera que éste "tiene riesgos importantes" que están sopesando mientras investigan otras alternativas. Este periódico ha recordado que ChatGPT funciona con un sistema de Inteligencia Artificial (IA) que predice qué palabra o fragmento de palabra, conocido como token, debe ser el siguiente en una oración. Esto significa que la herramienta antitrampas cambiaría la forma en la que otras solucioens de detección seleccionan los token, unos cambios que introducirían un patrón de marca de agua imperceptibles para el ojo humano, pero sí detectables por la tecnología de OpenAI. Este herramienta, que tiene una efectividad del 99,9 por ciento cuando ChatGPT ha creado suficiente texto nuevo, está generando dudas a la compañía, que actualmente valora su lanzamiento debido a una serie de complejidades que presenta su uso. Esto, porque las marcas de agua se pueden borrar mediante técnicas simples, como hacer que Google traduzca el texto a otro idioma y después se vuelva a traducir al idioma original o que el 'chatbot' añade emojis al texto y después los elimine mensualmente, según un empleado de la firma. Debido a estas complejidades, la empresa cree que determinar quién puede usar esta herramienta de detección sería un desafío, porque si tuvieran acceso a ella pocas personas no tendría ninguna utilidad, pero si se le ofrece a muchas, los actores maliciosos podrían descifrar la técnica de marca de agua de OpenAI. De esa manera, se ha valorado la posibilidad de proporcionar el detector directamente a educadores o empresas externas que ayuden a las escuelas a identificar artículos escritos por IA y trabajos plagiados. Antes de tomar una decisión, OpenAI ha hecho un sondeo entre los usuarios de ChatGPT para conocer su opinión sobre este detector y ha descubierto que el 69 por ciento de ellos considera que esta tecnología daría lugar a acusaciones falsas de uso de IA. De hecho, casi el 30 por ciento dijo que usarían menos su 'chatbot' si se implementaran estos cambios. A la compañía también le preocupa que esta herramienta pueda dañar la calidad del texto generado por ChatGPT, a pesar de que a principios de este año hizo una prueba en la que descubrió que las marcas de agua no afectaban el rendimiento deL 'chatbot'. La compañía ha publicado una actualización en su blog en el que indica que se encuentra investigando soluciones de texto y que sus equipos han desarrollado un método de marca de agua "muy preciso y eficaz" contra la manipulación de estos contenidos. También ha comentado que este sistema "es menos robusto contra la manipulación globalizada" y que "tiene el potencial de afectar desproporcionadamente a algunos grupos". Por ejemplo, podría estigmatizar el uso de la IA como una herramienta de escritura útil para hablantes no nativos de inglés.