Teoria de Resposta ao Item: Representação e utilidade do modelo logístico de traço latente na psicometria actual

• Autores: José Pacheco Miguel
• Directores de la Tesis: José Manuel Tomás da Silva (dir. tes.), Gerardo Prieto Adánez (codir. tes.)
• Lectura: En la Universidade de Coimbra ( Portugal ) en 2013
• Idioma: portugués
• Enlaces
  • Tesis en acceso abierto en: hdl.handle.net
• Resumen
  • English

    Framework Rasch model is the simplest Item Response Theory (ITR) model and constitutes a potentially useful approach at both the construction and refinement psychometric levels of psychological assessment instruments. It is an ITR one parameter logistic model in which the quantity of the latent trait existing in the person and the quantity of the same latent trait reflected in the various items of the instrument can be independently estimated and compared, because both items and subjects are measured using the same common metric, the logit scale. This scale, defined in logarithmic probabilities units, is an interval scale, in which the interval units between the response categories have a consistent value or significance. The goal of this dissertation is focused on the presentation of the Rasch model potentiality as compared with the classical test theory (CTT) approach when applied to the specific case of psychological assessment instruments that recur to polytomous items to which the subjects respond using a Likert type rating scale - the Rating Scale Model (RSM).

    Methodology In order to achieve this goal, related to the application of the Rasch RSM, four psychometric studies were carried out with independent samples of students attending secondary education. The first study, with a sample of 12th grade students (N = 265), was carried out using the Career Decision Self-Efficacy Scale — Short Form (CDSE-SF). In the second and third studies, comprising students attending respectively the 10th, 11th and 12th grades, we ran an analysis of the Positive and Negative Affect Schedule (PANAS), using both exploratory/confirmatory factor analysis (EFA/ CFA), and Rasch modeling (N = 519), respectively. Finally, in the fourth and last study, also comprising 10th, 11th and 12th grade students (N = 508), a Rasch analysis of the Rosenberg Self-Esteem Scale (RSES) was made. In each of these four studies, in addition to the items’ measurements, data needed for the sociodemographic characterization of the samples were collected.

    Results From the results obtained we highlight those that are more relevant to the goals previously stated. Within the three studies carried out with the RSM the results obtained gathered psychometric evidence that confirms, concerning the CDSESF, the PANAS and the RSES, their respective: 1) content validity (i.e. the good adjustment of the data to the model allowed both the parameterization of the subjects and the calibration of the items to be made with high precision); 2) structural validity (i.e. unidimensionality and lack of DIF) and; 3) substantive validity (i.e. the categories of the response scale function adequately). The results of the only study which was based on CTT, and in which the PANAS was used, revealed some adjustment difficulties of the model to the data, which only partially replicated the original factorial structure of the instrument.

    Conclusions The results suggest that the RSM provides a reference framework useful for the psychometric refinement of psychological assessment instruments. In fact, from its application it can be concluded that, in the specific case of the Portuguese versions of the CDSE-SF, the PANAS and the RSES, their respective items are representative and relevant for the domains of the constructs under assessment (e.g. content validity), have correspondence with the constructs defined in each of the instruments (e.g. structural validity), and are assessed using response scales whose diagnostic to the empirical functioning of their respective categories revealed their adequacy (e.g.

    substantive validity).

  • português

    Enquadramento O modelo de Rasch é o modelo mais simples da teoria de resposta ao item (TRI) e constitui uma abordagem potencialmente útil ao nível da construção e refinamento psicométrico de instrumentos de avaliação psicológica. Trata-se de um modelo logístico de um parâmetro da TRI no qual a quantidade de traço latente existente na pessoa e a quantidade do mesmo traço latente reflectido nos vários itens do instrumento podem ser estimados de forma independente e comparados directamente entre si, uma vez que sujeitos e itens foram medidos numa mesma métrica comum, a escala logit. Esta, definida em unidades de probabilidades logarítmicas, é uma escala intervalar na qual a unidade dos intervalos entre as localizações conjuntas pessoas-itens têm um valor ou um significado consistente. O objectivo da presente dissertação visou a apresentação das potencialidades do modelo de Rasch, comparativamente à abordagem da teoria clássica dos testes (TCT), quando aplicado ao caso específico de instrumentos de avaliação psicológica que recorrem a itens politómicos aos quais os sujeitos respondem numa escala do tipo de Likert, designado Rating Scale Model (RSM).

    Metodologia Para concretizar este objectivo, relativo à aplicação do Rasch RSM, foram conduzidos quatro estudos psicométricos com amostras independentes de alunos do ensino secundário. O primeiro estudo, com alunos do 12º ano de escolaridade (N = 265), foi realizado com a Career Decision Self-Efficacy Scale — Short Form (CDSESF). No segundo e terceiro estudos, com alunos dos 10º, 11º e 12º anos de escolaridade, procedeu-se à análise da Positive and Negative Affect Schedule (PANAS), numa abordagem TCT com recurso à análise factorial exploratória/confirmatória (AFE/AFC) (N = 528) e à modelação Rasch (N = 519), respectivamente. Finalmente, no quarto e último estudo, também com alunos dos 10º, 11º e 12º anos de escolaridade (N = 508), fez-se a análise Rasch da Rosenberg Self-Esteem Scale (RSES). Em cada um dos estudos, para além das medidas dos itens, foram ainda recolhidos dados para caracterização sociodemográfica das amostras.

    Resultados Dos resultados obtidos, salientam-se aqueles que se revestem de maior importância para os objectivos estipulados. No âmbito dos três estudos realizados com o Rasch RSM, os resultados alcançados permitiram reunir evidência psicométrica que corrobora, para a CDSE-SF, a PANAS e a RSES a respectiva: (1) validade de conteúdo (i.e., o bom ajustamento dos dados ao modelo permitiu que a parametrização dos sujeitos e a calibração dos itens tenha sido feita com elevada precisão na); (2) validade estrutural (i.e., unidimensionalidade e ausência de DIF), e (3) validade substantiva (i.e., as categorias da escala de resposta funcionam de forma adequada). Os resultados do único estudo baseado na TCT, com a PANAS, revelaram dificuldade de ajustamento do modelo aos dados que só parcialmente conseguiram replicar a estrutura factorial original do instrumento.

    Conclusões Os resultados sugerem que o RSM proporciona um quadro de referência útil para o refinamento psicométrico dos instrumentos de avaliação psicológica. Da sua aplicação resulta que, no caso específico das versões Portuguesas da CDSE-SF, da PANAS e da RSES, os seus respectivos itens são representativos e relevantes para os domínios dos construtos avaliados (e.g., validade de conteúdo), têm correspondência com os construtos definidos em cada um dos instrumentos (e.g., validade estrutural) e são avaliados através de escalas de resposta cujo diagnóstico ao funcionamento empírico das respectivas categorias revelou adequação das mesmas (e.g., validade substantiva).