Predictive validity of academy mock tests against MIRexam: a retrospective multicohort observational concordance study.

Campos Pavón,  Jaime; Carazo Casas, Carlos; González Castro, Pablo

Predictive validity of academy mock tests against MIRexam: a retrospective multicohort observational concordance study.

Files

Article+AMIR+corregido+después+publicado.pdf(404.63 KB)

Date

2025-10-16

Authors

Campos Pavón, Jaime

Carazo Casas, Carlos

González Castro, Pablo

Publisher

Universidad de Murcia, Servicio de Publicaciones

Abstract

Introducción: El examen MIR es un requerimiento para acceder al sistema público deformación sanitaria especializada en España. Este estudio evalúa, a lo largo de cinco años, laconcordancia entre los simulacros administrados por una academia preparatoria del MIR y losresultados oficiales del MIR. Métodos: Los registros de candidatos se vincularon; sobre laintersección emparejada se calcularon la R de Pearson y la ρ de Spearman (percentiles ypuntuaciones netas), el sesgo (simulacro−oficial) y el RMSE. Los indicadores clave anuales (KPI) seponderaron por pares y los análisis se estratificaron por cohortes de percentil (≤27, 28–73, >73); losmapas de calor resumen las correlaciones en percentiles. Resultados: A lo largo de los años, lascorrelaciones ponderadas en percentiles se situaron habitualmente entre 0,71 y 0,76, con sesgopromedio pequeño y RMSE moderado. Los análisis por cohortes mostraron errores mayores en lospercentiles extremos en algunos años. El sesgo en la puntuación neta ponderado por pares fueglobalmente cercano a cero, con variabilidad interanual. Conclusiones: Los simulacros de academiaproporcionan una señal de clasificación en gran medida consistente con respecto a los resultadosoficiales del MIR. El sesgo residual y la dispersión sugieren un margen de mejora mediantecalibración —especialmente en los extremos de las cohortes— y motivan la monitorización rutinariade los KPI de concordancia en futuras promociones.
Introduction: MIR examination is a requirement to access Spain’s public specialisttraining system. This study evaluates, across five years, the concordance between mock examsadministered by a MIR preparatory academy and the official MIR results. Methods: Candidaterecords were linked; on the matched intersection we computed Pearson’s R and Spearman’s ρ(percentiles, net scores), bias (simulation−official), and RMSE. Annual key performance indicators(KPIs)were pair-weighted and analyses stratified by percentile cohorts (≤27, 28–73, >73); heatmapsummarize percentile correlations. Results: Across years, weighted percentile correlations typicallyfell in the 0.71–0.76 range, with small average bias and moderate RMSE. Cohort analyses indicatedlarger errors at extreme percentiles in some years. Net-score bias weighted by pairs was near zerooverall, with year-to-year variability. Conclusions: Academy mock tests provide a broadlyconsistent ranking signal relative to official MIR outcomes. Residual bias and dispersion suggestpotential gains from calibration—particularly at cohort extremes—and motivate routine monitoringof concordance KPIs in future cohorts.

Keywords

Mock examinations , Predictive validity , Concordance , Pearson correlation , Spearman correlation , RMSE , Bias , Simulacros , Validez predictive , Concordancia , Correlación de Pearson , Correlación de Spearman , Sesgo , MIR

Citation

González Castro, P., Campos Pavón, J., & Carazo Casas, C. (2025). Validez predictiva de los simulacros de academia frente al examen MIR: un estudio observacional retrospectivo multicohorte de concordancia. Revista Española De Educación Médica, 6(6).