El método para establecer el punto de corte en el examen clínico objetivo estructurado define el desempeño de los candidatos a la certificación como reumatólogo

• Autores: Virginia Pascual Ramos, Ana Guilaisne Bernard Medina, Diana Elsa Flores Alvarado, Margarita Portela Hernández, María del Rocío Maldonado Velázquez, Luis Javier Jara Quezada, Luis Manuel Amezcua Guerra, Nadina E. Rubio, Everardo Álvarez Hernández, Miguel Angel Saavedra Salinas, César Alejandro Arce Salinas
• Localización: Reumatología clínica, ISSN 1699-258X, Vol. 14, Nº. 3, 2018, págs. 137-141
• Idioma: español
• Títulos paralelos:
  • The method used to set the pass mark in an objective structured clinical examination defines the performance of candidates for certification as rheumatologists
• Texto completo no disponible (Saber más ...)
• Resumen
  • español

    Antecedentes El Consejo Mexicano de Reumatología certifica candidatos mediante una evaluación teórica (ET) y un examen clínico objetivo estructurado (ECOE). En 2013 y 2014, el punto de corte para acreditar el ECOE se estableció por criterio (PC ≥6); a partir del 2015, también se estableció por el método del desempeño limítrofe (PDL). Se comparó el desempeño de los candidatos con ambos puntos de corte y examinó su impacto en la correlación entre la ET y el ECOE.

    Material y métodos En 2015 y 2016, respectivamente, 43 y 37 candidatos aplicaron; ambos ECOE se integraron con 15 estaciones; un evaluador por estación calificó la lista de cotejo y el desempeño global del candidato mediante una escala de Likert (inferior, limítrofe y superior). A cada candidato se le asignó una calificación global del ECOE.

    Resultados El promedio (±DE) de la ET fue de 6,6 (±0,6) en el 2015 y de 6,4 (±0,6) en el 2016; 5 candidatos/año no acreditaron. El promedio (±DE) del ECOE fue de 7,4 (±0,6) y 7,3 (±0,6), respectivamente; todos acreditaron de acuerdo con el PC, mientras que 21 (49%) y 19 (51%) no lo hicieron de acuerdo con el PDL (7,3 en 2015 y 7,4 en 2016). Los PDL para cada estación variaron.

    La ET correlacionó con el ECOE. Los candidatos con ECOE acreditado (por PDL) calificaron mejor en la ET que su contraparte.

    Conclusiones El método para establecer el punto de corte del ECOE afecta al desempeño de los candidatos a una certificación, pero no impacta a la correlación entre la ET y el ECOE.

  • English

    Background The Mexican Accreditation Council for Rheumatology certifies trainees (TR) on an annual basis using both a multiple-choice question (MCQ) test and an objective structured clinical examination (OSCE). For 2013 and 2014, the OSCE pass mark (PM) was set by criterion referencing as ≥6 (CPM), whereas overall rating of borderline performance method (BPM) was added for 2015 and 2016 accreditations. We compared OSCE TR performance according to CPM and BPM, and examined whether correlations between MCQ and OSCE were affected by PM.

    Methods Forty-three (2015) and 37 (2016) candidates underwent both tests. Altogether, OSCE were integrated by 15 validated stations; one evaluator per station scored TR performance according to a station-tailored check-list and a Likert scale (fail, borderline, above range) of overall performance. A composite OSCE score was derived for each candidate. Appropriate statistics were used.

    Results Mean (±standard derivation [SD]) MCQ test scores were 6.6 ± 0.6 (2015) and 6.4 ± 0.6 (2016) with 5 candidates receiving a failing score each year. Mean (±SD) OSCE scores were 7.4 ± 0.6 (2015) and 7.3 ± 0.6 (2016); no candidate received a failing CPM score in either 2015 or 2016 OSCE, although 21 (49%) and 19 (51%) TR, respectively, received a failing BPM score (calculated as 7.3 and 7.4, respectively). Stations for BPM ranged from 4.5 to 9.5; overall, candidates showed better performance in CPM.

    In all, MCQ correlated with composite OSCE, r = 0.67 (2015) and r = 0.53 (2016); P≤.001. Trainees with a passing BPM score in OSCE had higher MCQ scores than those with a failing score.

    Conclusions Overall, OSCE-PM selection impacted candidates’ performance but had a limited affect on correlation between clinical and practical examinations.