Antecedentes

El objetivo de los exámenes de certificación en las especialidades médicas es identificar a los examinados que poseen los conocimientos mínimos necesarios para ejercer la especialidad correspondiente dentro de los estándares de calidad y seguridad para el paciente.

En México, el Comité Normativo Nacional de Consejos de Especialidades Médicas (CONACEM), constituido por la Academia Nacional de Medicina, la Academia Mexicana de Cirugía y los consejos de especialidades miembros, tiene la naturaleza de organismo auxiliar de la administración pública federal a efecto de supervisar los procesos de certificación y recertificación de los diferentes especialistas de la medicina a través de los consejos de especialidades médicas (el CONACEM es la instancia encargada de otorgar la declaratoria de idoneidad a los consejos de especialidades médicas, y los consejos integrantes del CONACEM son los únicos acreditados para la expedición de los certificados de especialidad). Lo anterior ha quedado establecido en el artículo 81 de la Ley General de Salud.¹

El CONACEM se ha dado a la tarea de identificar áreas de oportunidad para la mejora de la calidad en los procesos de certificación y recertificación por examen que aplican los consejos de especialidades médicas; una de esas áreas de oportunidad corresponde a la utilización de casos clínicos seriados en los exámenes y sus problemas asociados.

El objetivo de este ensayo es analizar, desde un punto de vista teórico, las desventajas que implica realizar exámenes de certificación mediante casos clínicos seriados en las especialidades médicas, particularmente cuando se trata de exámenes de altas consecuencias, tales como la certificación y recertificación en una especialidad. La idea primigenia de este trabajo apareció en 2019, cuando se presentaron resultados preliminares en el 2° Congreso de Evaluación: Competencias e Innovación en Evaluación,² en la Facultad de Medicina de la Universidad Nacional Autónoma de México.

Casos clínicos seriados

Las pruebas que se elaboran con base en casos clínicos seriados generan grupos de preguntas a partir de una viñeta clínica; es decir, son preguntas de opción múltiple asociadas a un caso. Habitualmente, constan de una breve presentación de un caso, seguida de varias preguntas de opción múltiple (generalmente cinco). En teoría, cada pregunta se refiere a un aspecto distinto del caso, ya que se considera la situación clínica desde diferentes perspectivas; sin embargo, en la realidad pocas veces sucede de esta forma.

En 1987, Wainer y Kiely propusieron el nombre testled para este tipo de pruebas, y señalaron que el examen incluye diversos elementos al interior de un subconjunto que comparten un solo estímulo de contenido;³ es decir, se conforma un miniexamen dentro de un macroexamen. Los ítems que comparten el mismo estímulo se agrupan en una unidad y se les denomina testlet o preguntas seriadas. Dicho de otro modo, el conjunto de ítems (testlet), o preguntas seriadas, corresponde a una subunidad de puntuación dentro de una prueba mayor. Una muestra de un caso clínico seriado se presenta en la Tabla 1.

Cuando los casos clínicos seriados están bien elaborados y apegados a las tablas de especificaciones⁴ presentan ventajas y desventajas.

Ventajas de los casos clínicos seriados

Desventajas de los casos clínicos seriados

Métodos fundamentales para el análisis psicométrico de una prueba

Los métodos para analizar los reactivos varían de acuerdo con las necesidades de la evaluación, las características del estudio y las capacidades para generar el análisis. Las dos corrientes principales para el análisis psicométrico de las pruebas son la TCT y la TRI.⁷

La TCT es, probablemente, el modelo de análisis más conocido en la psicometría. Este modelo clásico fue introducido por el psicólogo británico Charles Spearman, quien, a principios del siglo XX, publicó una serie de argumentos matemáticos en los que expuso que las calificaciones de una prueba son medidas poco precisas de los rasgos humanos. A lo largo del tiempo, la TCT ha avanzado y se ha adaptado a las necesidades del momento; sin embargo, sus principios básicos se siguen manteniendo como la forma de análisis más popular de la evaluación educativa moderna, lo cual no necesariamente implica que sea la mejor o la más adecuada en todos los casos.⁸

La TRI es un conjunto de modelos matemáticos que describen el desempeño de los ítems. A diferencia de la TCT, esta teoría se enfoca en el reactivo propiamente dicho y no en la prueba. Los modelos de la TRI intentan descubrir la relación entre la habilidad del examinado y la probabilidad de responder correctamente el ítem, y describir dicha relación con base en un modelo matemático.⁹

La razón por la cual se emplea con frecuencia la TCT (y probablemente el único método que conocen algunos evaluadores) es la facilidad para conseguir sus índices (dificultad y discriminación); sin embargo, el uso indiscriminado de cualquier modelo matemático puede conducir al desarrollo de sesgos al tratar de analizar algo con un modelo que no es el adecuado. Precisamente eso sucede cuando se pretende analizar los casos clínicos seriados con el modelo de la TCT.

TCT versus TRI

En esta sección se indican algunas ventajas conceptuales y prácticas de los modelos TRI sobre los modelos TCT con respecto a la construcción y el desarrollo de pruebas o escalas. El objetivo principal es señalar que los modelos TRI tienen características únicas que complementan las medidas basadas en TCT en lugar de comparar exhaustivamente los dos enfoques.

En primer lugar, una limitación del TCT estriba en que no son distinguibles las características del ítem y de la persona, como los parámetros de dificultad del ítem y las puntuaciones de la persona. Dependiendo de la subpoblación en cuestión, las características de los reactivos pueden cambiar. Si se considera una subpoblación de alta capacidad para la seriación de reactivos, todos los ítems de la prueba parecerían fáciles. Pero cuando se considera una subpoblación con baja capacidad para la seriación, el mismo conjunto de ítems sería difícil. Esta limitación dificulta la evaluación de las capacidades de los individuos mediante el uso de diferentes versiones de las pruebas. En la TRI, las características de los ítems y las habilidades personales se formulan mediante parámetros distintivos. Una vez calibrados los ítems para una población, las puntuaciones de los sujetos de esa población se pueden comparar directamente, incluso si responden a diferentes subconjuntos de ítems. Algunos investigadores se refieren a esta cualidad como la propiedad invariante de los modelos TRI.¹⁰

En segundo lugar, la definición de confiabilidad en la TCT se basa en pruebas paralelas, difíciles de lograr en la práctica. La precisión de la medición es la misma para todas las puntuaciones de una muestra particular. En la TCT, las pruebas más largas suelen ser más fiables que las pruebas más cortas. Sin embargo, la confiabilidad en la TRI se define como una función condicionada a las puntuaciones del constructo latente medido. La precisión de la medición difiere a lo largo del continuo del constructo latente y puede generalizarse a toda la población objetivo. En la TRI, la precisión de las mediciones suele representarse mediante curvas de información. Estas curvas pueden tratarse como una función del factor latente condicionado a los parámetros del ítem, y se pueden calcular para un ítem individual (curva de información del ítem) o para toda la prueba (curva de información de la prueba). La curva de información de la prueba se puede utilizar para evaluar el desempeño de la prueba.¹⁰

Múltiples resultados de las pruebas

Al planificar cualquier prueba para evaluar los conocimientos de una persona, es fundamental recordar que solo se va a obtener lo que la prueba permite observar. Para conocer la puntuación verdadera o la habilidad del examinado se deberán tomar en consideración otros aspectos (Figura 1):

Figura 1 Los múltiples resultados de las pruebas. 

Relación entre los resultados de la prueba y las puntuaciones

La habilidad es relativamente constante o invariante y solo cambia gradualmente con el aprendizaje y la enseñanza (prueba independiente).

Por su parte, la puntuación real varía según la dificultad de los ítems seleccionados en la prueba (prueba dependiente).

Las puntuaciones observadas varían según la calidad de los ítems y su precisión en la medición del constructo (prueba dependiente)

Teoría clásica del test (TCT)

El problema del resultado de las pruebas

Con la finalidad de exponer la problemática al realizar el análisis psicométrico de las pruebas y cómo interpretar sus resultados, a continuación se presenta un ejemplo hipotético.

Ejemplo: Los examinados A, B y C sustentan el mismo examen. La prueba consta de 10 reactivos de opción múltiple con una sola respuesta correcta para cada reactivo. Los tres sustentantes responden seis respuestas correctas de las 10 preguntas planteadas. ¿Qué conclusión podemos extraer?

Resultados bajo la perspectiva de la TCT

Véase la Figura 2. Bajo la TCT, se considera que cada ítem es igual de difícil y tiene el mismo peso en la puntuación total. La puntuación total basada en la suma de los reactivos correctos es una buena estimación de la habilidad real, por lo que podría inferirse que los estudiantes con igual puntuación son igualmente capaces. Sin embargo, ¿qué sucede si los reactivos no tienen el mismo grado de dificultad? Ante este hecho, las cosas se complican en virtud de que el enfoque clásico implica que los ítems tienen el mismo peso en la composición de las estadísticas y puntuaciones.

Figura 2 Resultados de un examen bajo la perspectiva de la Teoría Clásica de los Test. 

Los ítems de la prueba son como ladrillos en una pared. Los reactivos solo significan algo en el contexto de la prueba en la que están y deben ser una muestra aleatoria del dominio que se está evaluando (Figura 3).

Figura 3 Prueba con enfoque de la Teoría Clásica de los Test. 

Los estadísticos básicos son el promedio de la prueba (media), la dispersión de las puntuaciones (desviación estándar) y la distribución de los ítems hacia las personas (discriminación).

Dificultades

Las medidas estadísticas de personas e ítems son dependientes de la muestra. La puntuación total es simplemente la suma del número de ítems contestados correctamente

Si se analiza una prueba construida con casos clínicos seriados (Figura 4), con la TCT se incurre en múltiples fallos a los supuestos que sustentan esta teoría, entre ellos:

Figura 4 Prueba con casos clínicos seriados. 

Discusión

Con la finalidad de percibir el problema de los casos clínicos seriados, podría realizarse el ejercicio de imaginar una prueba con dos casos clínicos seriados (Figura 5), de cada uno de los cuales se desprenden cinco preguntas. El caso clínico 1 corresponde a un enfermo con rinofaringitis, respecto al cual se exploran aspectos relacionados con el diagnóstico, fisiopatología, tratamiento, prevención y pronóstico. Dado que la rinofaringitis es una enfermedad con una prevalencia elevada y ubicua, los examinados estarán más familiarizados con esta patología, las preguntas les resultarán familiares y, por lo tanto, más fáciles de responder correctamente. El caso clínico 2 corresponde a dengue hemorrágico, del que se exploran las áreas de diagnóstico, morfología, fisiopatología, tratamiento y complicaciones. Puesto que el dengue hemorrágico es endémico, su incidencia en algunas zonas es muy baja o, incluso, nula, lo que genera que las preguntas resulten con mayor grado de dificultad para los examinados que no habitan en zonas donde se presenta, y viceversa.

Figura 5 Caso hipotético de una prueba con dos casos clínicos seriados. 

Al comparar el comportamiento de tres sujetos examinados, el examinado A respondió acertadamente a todas las preguntas acerca de la rinofaringitis; sin embargo, con relación al dengue únicamente contestó bien la pregunta sobre diagnóstico. Por otro lado, el sujeto C contestó correctamente las preguntas referentes al tratamiento y al pronóstico de la rinofaringitis; mientras que respecto al dengue hemorrágico, la única errónea fue la relativa al diagnóstico.

Reflexionemos un poco sobre el sujeto C. No resulta lógico que alguien desconozca el diagnóstico de una patología y pueda saber sobre morfología, tratamiento, fisiopatología, pronóstico y complicaciones. Resulta ilógico porque todo gira en torno a saber, de primera instancia, cuál es el diagnóstico. Con base en ello, la única explicación de esta situación es que el examinado C acertó a causa del azar. Por lo tanto, sustentar el análisis psicométrico de esta prueba bajo el modelo de la TCT conducirá irremediablemente a múltiples sesgos y fallos al intentar obtener los índices de dificultad, discriminación, análisis de distractores y confiabilidad.

Conclusiones

Bajo un planteamiento teórico, analizar las pruebas construidas con casos clínicos seriados mediante la TCT viola los supuestos fundamentales de la esta teoría y de la TRI, lo que podría conducir a sesgos o a malas interpretaciones de los resultados. Por tanto, es recomendable utilizar otros modelos estadísticos para el análisis de este tipo de pruebas, tales como los siguientes:

Si no es factible usar la prueba estadística adecuada, lo mejor es evitar construir pruebas de altas consecuencias (como la certificación de especialistas) con base en casos clínicos seriados.