¿Puede GPT4 identificar modelos mentales erróneos?

• Autores: Francisco J. Gallego Durán, Patricia Compañ Rosique, Carlos-José Villagrá Arnedo
• Localización: Actas de las Jornadas sobre la Enseñanza Universitaria de la Informática (JENUI), ISSN 2531-0607, Nº. 9 (Actas de las XXX Jornadas sobre Enseñanza Universitaria de la Informática (La Coruña, 19, 20 y 21 de), 2024, págs. 25-33
• Idioma: español
• Enlaces
  • Texto completo
• Resumen
  • español

    En este trabajo se explora GPT4 para evaluar modelos mentales erróneos en estudiantes de programación en C++, comparándolo con las evaluaciones del profesorado. Pese a los retos para optimizar el consumo de tokens y minimizar costos, se descubrió que GPT4 tendía a identificar más modelos erróneos que el equipo docente. Sin embargo, un análisis más profundo indicó una coincidencia significativa entre GPT4 y las evaluaciones del profesorado en varios casos, sugiriendo su potencial utilidad en este contexto. Durante la investigación se ha detectado que un error específico en el tratamiento de las respuestas llevó a GPT4 a interpretaciones incorrectas debido a imprecisiones en los datos de entrada. Este hallazgo resalta la importancia de la precisión y el detalle en la preparación de los datos para análisis por IA. Al revisar las evaluaciones discrepantes entre GPT4 y el profesorado se concluyó que, en la mitad de ellas aproximadamente, las conclusiones de GPT4 eran más acertadas. Esto muestra que GPT4 puede usarse para enriquecer la comprensión y evaluación de los modelos mentales de los estudiantes por parte del equipo docente. Se concluye que GPT4 puede ser una herramienta valiosa para asistir en la evaluación de modelos mentales erróneos en estudiantes de programación, siempre que se maneje con cuidado el diseño del experimento y la calidad de los datos. Este enfoque permite no solo mejorar la eficiencia en el proceso evaluativo sino también repensar los propios criterios del profesorado, aprovechando la inteligencia artificial para complementar y enriquecer la enseñanza y evaluación

  • English

    This paper explores the use of GPT4 to evaluate erroneous mental models in C++ programming students, comparing it with faculty evaluations. Despite the challenges of optimizing token consumption and minimizing costs, it was found that GPT4 tended to identify more erroneous models than the teaching staff. However, a deeper analysis indicated a significant match between GPT4 and faculty evaluations in several cases, suggesting its potential utility in this context. During the research, it was discovered that a specific error in the handling of responses led to incorrect interpretations by GPT4 due to inaccuracies in the input data. This finding highlights the importance of precision and detail in data preparation for AI analysis. Upon reviewing the discrepancies between GPT4 and the faculty evaluations, it was concluded that in about half of them, GPT4’s conclusions were more accurate. This demonstrates that GPT4 can be used to enhance the understanding and evaluation of students’ mental models by the teaching staff. It is concluded that GPT4 can be a valuable tool to assist in the evaluation of erroneous mental models in programming students, provided that the experiment design and data quality are carefully managed. This approach not only improves the efficiency of the evaluative process but also allows for a rethinking of the faculty’s own criteria, leveraging artificial intelligence to complement and enrich teaching and evaluation.