ChatGPT no reemplazará a pediatras: la IA tiene baja precisión en diagnósticos infantiles

Un estudio reciente publicado en JAMA Pediatrics señala que el uso de chatbots de inteligencia artificial, como ChatGPT, para diagnosticar condiciones médicas en niños, es poco confiable.

La investigación mostró que este sistema de IA tiene apenas un 17% de acierto en el diagnóstico de enfermedades infantiles, una cifra considerablemente baja.

De acuerdo con la investigación, esto pone de manifiesto que la experiencia de los pediatras sigue siendo irremplazable y resalta la importancia de su conocimiento clínico. A pesar de ello, muchos especialistas en el campo de la salud reconocen que la integración de la IA en la asistencia médica es probablemente inminente.

La inteligencia artificial en el sector salud está avanzando rápidamente y se utiliza para una amplia gama de aplicaciones.

Estas incluyen el análisis de grandes volúmenes de datos médicos para identificar patrones que ayuden en la prevención y tratamiento de enfermedades, el desarrollo de algoritmos para diagnósticos más precisos, la personalización de tratamientos para pacientes, y la automatización de tareas administrativas para mejorar la eficiencia de los servicios de salud.

Sin embargo, el estudio reciente hecho en el Centro Médico Infantil Cohen en Nueva York encontró que la versión más nueva de ChatGPT todavía no está lista para diagnosticar enfermedades de niños. Los niños son diferentes a los adultos porque cambian mucho con la edad y ni siquiera pueden decir bien lo que les pasa.

En el experimento con ChatGPT, los científicos usaron los textos de 100 casos reales de salud de niños y le pidieron al sistema que intentara decir qué enfermedad tenían. Dos doctores especialistas luego vieron si las respuestas de la inteligencia artificial estaban bien, mal o más o menos.

A veces, ChatGPT decía una enfermedad que tenía que ver, pero no era la correcta porque era muy general. Por ejemplo, ChatGPT pensó que un niño tenía un tipo de bulto en el cuello, pero en realidad tenía una enfermedad genética que también afecta a los oídos y a los riñones, y que puede hacer que salgan esos bultos.

De los 100 casos que probaron, ChatGPT sólo acertó en 17. No dio con la respuesta completa en 11 casos, y se equivocó completamente en 72. Además, de las 83 veces que no acertó, en 47 ocasiones la enfermedad que dijo tenía que ver con la parte del cuerpo correcta, pero aun así estaba mal el diagnóstico.

Los investigadores notaron que la IA no era muy buena para darse cuenta de cosas que los doctores con experiencia sí saben. Por ejemplo, no conectó que un niño con autismo podría tener escorbuto porque no come suficiente vitamina C.

Eso puede pasar porque a veces las personas con autismo comen pocas cosas diferentes y les faltan vitaminas. Los doctores saben que tienen que prestar atención a estos problemas de vitaminas en niños en países donde normalmente se come bien. Pero el chatbot no lo vio y pensó que el niño tenía otra enfermedad mucho menos común.

El chatbot no acertó mucho en esta prueba, pero los investigadores dijeron que podría mejorar si se le entrenara mejor con libros de medicina especializados en vez de hacerlo con información de internet que a veces está mal.

Agregaron que si el chatbot pudiera usar datos médicos actualizados, haría mejores diagnósticos. A esto lo llaman “ajustar” el sistema para que funcione de forma mucho más optimizada.

“Esto presenta una oportunidad para que los investigadores comprueben si el entrenamiento y el ajuste concretos de los datos médicos sirven para mejorar la precisión de diagnóstico de los chatbots con base en grandes modelos de lenguaje”, concluyen los médicos autores de la investigación.