Resumen de Efectos del corrector en las evaluaciones educativas de alto impacto

Pamela Woitschach, Carlota Díaz Pérez, Daniel Fernández Argüelles, Jaime Fernández, Alba Fernández Castillo, Lara Fernández Rodríguez, María Cristina González Canal, Iris López Marqués, David Martín Espinosa, Rubén Navarro Cabrero, Lara Osendi Cadenas, Diego Riesgo Fernández, Zara Suárez García, Rubén Fernández Alonso

• español

  Antecedentes: Los ítems de ejecución que son calificados por diferentes jueces mediante rúbricas es uno de los mayores desafíos en la evaluación educativa a gran escala y de alto impacto. Es conocido que los efectos del corrector afectan a los resultados de la evaluación. En este contexto, el presente estudio analiza la fiabilidad entre-correctores en la evaluación de la expresión escrita. Método: un grupo de 13 correctores calificaron 375 escritos de estudiantes de 6º curso, siguiendo una rúbrica analítica compuesta de 8 criterios de corrección. Los correctores se asignaron a 13 tribunales siguiendo un diseño de bloques incompletos balanceado. Los análisis realizados buscaron, en primer lugar, confirmar la estructura unidimensional de la rúbrica. A continuación se emplearon diferentes métodos clásicos para estudiar los efectos del corrector, la consistencia intra-juez y el acuerdo entre jueces. Resultados: se encontraron efectos diferenciales entre los correctores. Estas diferencias son importantes cuando se compara el grado de severidad de los jueces. También se encuentran diferencias en la consistencia interna de cada juez y en el acuerdo entre correctores. Este último efecto es especialmente significativo en algunos tribunales. Conclusiones: las diferencias entre correctores pueden tener diferentes fuentes, como son la experiencia, familiaridad con la tarea y grado de entrenamiento con las rúbricas; la naturaleza de la tarea a evaluar o el propio diseño de la rúbrica empleada.

• English

  Antecedents: the constructed response test items that are qualified by different correctors with rubrics are one of the biggest challenges for Rater effects in high-impact educational assessments and are applied to large sample groups. It is known that rater bias affects the results of the evaluation. In this context, the present study analyzes the raters’ effects of the corrector on written expression. Method: a group of 13 raters rated 375 written productions of 6th-grade students, following an analytical rubric composed of 8 correction criteria. The raters were assigned to 13 groups of correction following a balanced incomplete block design. The first step of the analysis carried out was to confirm the one-dimensional structure of the rubric. The next and final step used different classical methods to study the raters’ effects, the intra-rater consistency and the agreement between judges. Results: differential effects were found among the raters. These differences are important when the raters’ severity is compared. There are also differences in the internal consistency of each judge and in the agreement between correctors. This last effect is especially significant in some raters’ groups. Discussion: differences between raters may have different sources, such as experience and familiarity with the task; the degree of training with the rubrics; the nature of the test; and the design of the rubric used