Dr. Melchor Sánchez-Mendiola:

En una reciente evaluación del aprendizaje en entornos de simulación¹, mediante un diseño pretest-postest, sus resultados respaldan el efecto adaptativo de la exposición a escenarios de simulación clínica. Sin embargo, su diseño analítico únicamente enfatizó la significación estadística como evidencia de sus conclusiones, y esta puede ponerse en cuestionamiento. Efectivamente, en diseños pretest-postest, la prueba t de Student para muestras dependientes es la opción más habitual², pero su resultado solo se centra en la prueba de significación respecto a la hipótesis nula. Este resultado no es suficiente para comprender y describir apropiadamente el cambio de los puntajes, pues es más importante obtener una medida de la magnitud de la diferencia^{3 4 5}. Esta es una medida directa del parámetro que se investiga (en este caso, la diferencia entre puntajes), mientras que la significación estadística (p < 0.05) se relaciona con la fortaleza de rechazar de la hipótesis nula^{3 5}.

Para reanalizar los resultados de Fernández-Ayus¹, se usaron dos indicadores: la diferencia estandarizada d _av ⁶, definida como la diferencia entre las medias en el pretest y postest (M_pre y M_post, respectivamente), y dividido sobre el promedio de la desviación estándar de cada grupo (DE_pre y DE_post); y la respuesta media estandarizada (standardized mean response -SRM7-)^{2 7 8 9}. La información para calcular este indicador se halla en la tabla 2 del artículo de Fernández-Ayus. Otros enfoques requieren la correlación entre los puntajes pretest y postest^{2 7 8 9} y pueden dar información más precisa; pero los resultados correlacionales no se reportan en Fernández-Ayus, y por lo tanto no pueden calcularse. Los resultados de este reanálisis aparecen en nuestra tabla 1.

Se calcularon dos métodos (d_av y SRM) pues sus estimaciones pueden discrepar de acuerdo a su formulación estadística². Se observa que, en las diferencias identificadas como estadísticamente significativas (antes-después, caso 1 de su tabla 1 y 2; Fernández-Ayus), la magnitud de la diferencia entre ambos puede considerarse moderada^{10 11}. Este grado de diferencia entre las dos condiciones no parecen impresionantes, si se compara con la idea que puede transmitir la afirmación que las diferencias son «significativas», y con la eficacia ideal de un tratamiento. En el contexto del estudio realizado, no obstante, la magnitud de las diferencias debe ser evaluada por la magnitud modal de estas diferencias que se reportan en similares diseños, objetivos y participantes de investigación. Es posible que esta diferencia hallada sea grande en este específico contexto, pero en cualquier situación, esta será mejor evaluada con la magnitud práctica de las diferencias y no con la significación estadística.