Expertos afirman que ChatGPT está generando respuestas erróneas en temas de programación

Uno de los factores por los cuales ChatGPT se ha popularizado es por su habilidad para realizar tareas relacionadas con la programación. Min Choi es un empresario y educador en inteligencia artificial según su biografía en X (antes Twitter), red social en la que compartió un video codificando un juego con ayuda del chatbot de OpenAI. Alcanzó 1.3 millones de vistas.

En YouTube también hay cientos de tutoriales similares. Se encuentran títulos así: “Cómo usar ChatGPPT como una herramienta poderosa para programar” de Corey Schafer, “Cómo aprender a codificar rápido con ChatGPT” de Tina Huang.

No obstante, un estudio de la Universidad de Purdue señala que ChatGPT no sería el mejor tutor de programación ya que responde preguntas de programación de forma incorrecta el 52 % del tiempo.

El estudio de la Universidad Purdue se presentó en la Conferencia sobre Interacción Computadora-Humano en Hawái, y examinó 517 preguntas de programación en Stack Overflow que posteriormente fueron enviadas a ChatGPT.

Stack Overflow es una plataforma en línea donde programadores y desarrolladores pueden hacer preguntas y recibir respuestas sobre temas relacionados con la programación.

Los investigadores de Purdue tomaron preguntas relacionadas con los siguientes tópicos y luego consultaron a ChatGPT-3.5:

• Conceptuales: Relacionado con la comprensión de ideas, teorías o principios generales detrás de un tema o problema.
• Indicaciones: Instrucciones detalladas y prácticas sobre cómo realizar una tarea específica o resolver un problema.
• Debugging: El proceso de identificar, analizar y corregir errores o fallos en el código de un programa.

Purdue reveló varias características de las respuestas generadas por ChatGPT en el campo de la programación. Más de la mitad de las respuestas de ChatGPT contienen información incorrecta. Además, el 77% de estas respuestas son verbosas (usa más palabras de las necesarias), y el 78% presentan inconsistencias en comparación con las respuestas humanas.

No obstante, las respuestas de ChatGPT son exhaustivas y abordan diferentes aspectos de las preguntas y respuestas. Muchas inexactitudes en las respuestas se deben a la incapacidad de ChatGPT para entender el contexto de las preguntas formuladas.

En el ámbito del código, ChatGPT rara vez comete errores de sintaxis. La mayoría de las equivocaciones en el código se deben a la aplicación de lógica incorrecta o la implementación de APIs, bibliotecas o funciones inexistentes o equivocadas.

Aunque es solo un estudio y no establece una verdad absoluta, los hallazgos de la Universidad de Purdue ofrecen indicios sobre la eficiencia de la IA, como ChatGPT, en apoyar a los programadores, especialmente a los que están comenzando su carrera.

La investigación destaca la importancia de validar y corroborar la información proporcionada por la IA para evitar errores conceptuales y lógicos.

ChatGPT es una herramienta útil para programadores, pero requiere verificación y comprensión adecuada para maximizar su efectividad y evitar errores. Ten en cuenta estos consejos:

• Verificar la información: Siempre revisa y valida las respuestas proporcionadas por ChatGPT antes de implementarlas. Asegúrate de que el código y las explicaciones sean correctos y precisos.
• Entender el contexto: Asegúrate de proporcionar un contexto claro y completo en tus preguntas. ChatGPT funciona mejor con descripciones detalladas y específicas del problema.
• Corrección de errores: Aunque ChatGPT es útil para identificar errores de sintaxis, no siempre detecta problemas lógicos.
• Consultar documentación: Usa a la IA como una herramienta complementaria y no como tu única fuente de información.
• Feedback y refinamiento: Si una respuesta no es útil, intenta reformular tu pregunta o proporcionar más detalles. La interacción continua puede mejorar la calidad de las respuestas.
• Explorar múltiples enfoques: Pide a ChatGPT diferentes soluciones para un mismo problema. Esto puede ayudarte a entender diversas maneras de abordar un desafío de programación.