Resumen de Ítems contextualizados de PISA Ciencias: La conexión entre las demandas cognitivas y las características de contexto de los ítems

Maria Araceli Ruiz Primo, Min Li

• español

  El uso frecuente de contextos en los ítems de la prueba se basa en la premisa de que la contextualización de ítems es una estrategia eficaz para comprobar si los estudiantes pueden aplicar o transferir sus conocimientos. En este trabajo, seguimos una línea de investigación que se centra en probar esta premisa. Se presenta un estudio de las características del contexto en una muestra de ítems de PISA ciencias de 2006 y 2009 y cómo estas características, así como el rendimiento del estudiante puede estar relacionado con las demandas cognitivas en los ítems. El estudio se basa en dos preguntas de investigación: (1) ¿Cuáles son las demandas cognitivas de los ítems contextualizados en la muestra PISA y cuál es el rendimiento de los estudiantes vinculados a estos ítems? (2) ¿Están las demandas cognitivas de los ítems asociadas con ciertas características de los contextos de los elementos que han demostrado estar en relación con el rendimiento de los estudiantes? Usando 52 ítems liberados de PISA, encontramos información sobre tres dimensiones del contexto de los ítems, nivel de abstracción, los recursos y la naturaleza del contexto y las demandas cognitivas de los ítems. Una regresión logística multinomial con la demanda cognitiva como variable de resultado, las características contextuales como los predictores, y el porcentaje de respuestas correctas como la covariante indicó que ciertas características del contexto están vinculados a las demandas cognitivas de los ítems. Por ejemplo, se encontró que los contextos de los ítems en los que sólo suponen ideas concretas se asocian a elementos con bajas demandas cognitivas; estos elementos son poco probables que requieran el conocimiento del contenido para ser respondido. También se encontró que el tipo de recurso (por ejemplo, tablas, gráficos) se asocia con las demandas cognitivas de los ítems: representaciones esquemáticas parecen estar vinculadas a temas afectando el conocimiento procedimental y no a temas que afectan el conocimiento declarativo o esquemático. Llegamos a la conclusión de que se necesita más investigación para comprender mejor la influencia que tienen las características de contexto en los procesos cognitivos, en la cual se pida a los estudiantes a participar en su desarrollo.

• English

  The ubiquitous use of contexts in test items is based on the premise that contextualizing items is an effective strategy to test whether students can apply or transfer their knowledge. In this paper, we continue a research agenda focusing on testing this premise. We present a study of the context characteristics in a sample of 2006 and 2009 PISA science items and how these characteristics as well as student performance may be related to the cognitive demands of the items. The study was guided by two research questions: (1) What are the cognitive demands of the sampled PISA contextualized items and what is the students’ performance linked to these items? (2)  Are the items’ cognitive demands associated with certain characteristics of the contexts of the items that proved to be linked to students’ performance? Using 52 released and secured PISA science items, we captured information about three context dimensions of items, level of abstraction, resources, and nature of the context, and the cognitive demands of the items. A multinomial logistic regression with cognitive demand as the outcome variable, context characteristics as the predictors, and percent of correct responses as the covariant indicated that certain context characteristics are linked to the cognitive demands of items. For example, we found that items in which contexts involve only concrete ideas were associated with items with low cognitive demands; these items are unlikely to require content knowledge to be responded. We also found that the type of resource (e.g., tables, graphs) was associated with the cognitive demands of the items: schematic representations seem to be linked to items tapping procedural knowledge rather than to items tapping declarative or schematic knowledge. We concluded that further research is needed to better understand the influence that context characteristics have on the cognitive processes in which students are asked to engage and in their performance. Key-words: PISA, science items, context characteristics of the Items, cognitive demands, validity.