Resumen de Evaluation of the Quality of Multiple-Choice Questions Used in Cardiology Certification and Recertification Exams

Amanda Galli, Héctor G. Roiter, Daniela P. De Mollein, Sandra Swieskowski, Nicolás Atamañuk, Andrés Ahuad Guerrero, Hugo Grancelli, Carlos Barrero

• español

  La Sociedad Argentina de Cardiología, en los procesos de  rertificación y Recertificación de Especialistas, implementa exámenes escritos de selección múltiple. Dos observadores independientes revisaron las 200 preguntas utilizadas en dos exámenes (A y B) realizados durante 2009. Se usó el Índice de Calidad de Galofré; este instrumento toma en cuenta 10 criterios que se deben considerar en la redacción de las preguntas de selección múltiple y establece una escala de 1 a 5 puntos según la cantidad de defectos de construcción que tenga la pregunta. El valor máximo de calidad posible es 5. La media aritmética de los valores de calidad de las preguntas expresa el Índice de Calidad del examen en su  totalidad. Se encontró que el 30% de las preguntas tenían muy buena calidad técnica (valores de calidad 4 y 5); cerca del 40% eran preguntas aceptables (valor de calidad 3) que se deberían mejorar y el 30% eran inaceptables (valor de calidad 1 y 2). El examen A tiene un Índice de Calidad de 2,15 y el examen B, de 3,21. En ambos exámenes se encontró que los defectos más frecuentes en la redacción de las preguntas eran la falta de viñeta (caso clínico o problema) y la exploración de conocimientos sólo a nivel de memoria o recordación de datos aislados. Se concluyó que sería conveniente constituir en la Sociedad Argentina de Cardiología un grupo de trabajo permanente para revisar y mejorar las preguntas y armar un banco de ítems.

• English

  The Argentine Society of Cardiology uses multiple-choice questions for Cardiology Certification and Recertification exams. Two independent observers revised 200 questions used in two examination tests (A and B) during 2009. We used the Galofré Quality Index, which considers 10 criteria for writing multiple-choice questions and establishes a scale ranging from 1 to 5 points according to the number of construction defects the question has. The maximum value of quality is 5. Mean value of the quality of questions represents the Quality Index of the whole test. We found that 30% of the questions had a very good technical quality (quality value 4 and 5); about 40% were acceptable questions (quality value 3) that should be improved, and 30% were unacceptable (quality value 1 and 2). The Quality Index of test A was 2.15 and of test B was 3.21. The most frequent writing defects in both exams were the lack of bullet points (case report or problem) and exploring knowledge only in terms of memory or recalling isolated information. In  conclusion, it would be convenient to constitute a permanent work group in the Argentine Society of Cardiology to revise and improve the questions and create a bank of items.