Guiando la intervención del profesorado en la evaluación por pares explotando un modelo gráfico probabilístico

• Jerónimo Hernández-González ^[1] ; Pedro Javier Herrera ^[2]
  1. [1] Universitat de Barcelona

     Universitat de Barcelona

     Barcelona, España

     
  2. [2] Universidad Nacional de Educación a Distancia

     Universidad Nacional de Educación a Distancia

     Madrid, España

     
• Localización: Actas de las Jornadas sobre la Enseñanza Universitaria de la Informática (JENUI), ISSN 2531-0607, Nº. 7, 2022, págs. 199-206
• Idioma: español
• Enlaces
  • Texto completo (pdf)
• Resumen
  • español

    Entre las metodologías activas de enseñanzaaprendizaje, la evaluación por pares, donde los estudiantes se valoran mutuamente, destaca como técnica de evaluación formativa. Aunque también podría usarse para calificar al propio estudiante, existen dudas sobre la fiabilidad de las calificaciones obtenidas de los pares. Bajo la hipótesis de que se puede modelar la evaluación por pares para guiar eficientemente al profesorado en la elección de qué actividades revisar, el objetivo es obtener una estimación fiable de la calificación de las actividades que el docente no ha revisado. Se usa un modelo gráfico probabilístico para el modelado, y un método de aprendizaje automático con aproximación Bayesiana que se ajusta con las calificaciones de los pares y el profesorado. Se propone un procedimiento que sugiere, uno a uno, qué trabajo debería calificar el docente para reducir la incertidumbre en el modelo. El docente decide cuántos trabajos calificar según su propio criterio de incertidumbre tolerable. Esta propuesta, validada en datos reales, muestra resultados prometedores.

    Tiene el potencial impacto de ayudar a extender la evaluación por pares como técnica de evaluación y calificación, reduciendo las dudas entre el profesorado acerca de la fiabilidad de las calificaciones obtenidas.

  • English

    Among the active teaching-learning methodologies, formative assessment technique of peer assessment, where students assess each other, stands out. Although this technique could be used to grade students too, there are doubts about the reliability of the ratings given by peers. Under the hypothesis that peer assessment can be modeled to efficiently guide teachers in choosing which activities to correct, the objective is to obtain a reliable estimate of the grade of the tests that the teacher has not reviewed. Probabilistic graphical models are used for modeling, together with a Bayesian machine learning method that adjusts to peer and teacher ratings. A procedure is proposed that suggests, one by one, which work the teacher should grade next to reduce the uncertainty in the model. The teacher decides how many activities to grade based on their own criterion of tolerable uncertainty. This proposal, validated in real data, shows promising results and has the potential impact of helping to extend peer evaluation as an evaluation and grading technique, reducing doubts among teachers about the reliability of the grade estimates.