nueva página del texto (beta)
Español (pdf)
Artículo en XML
Referencias del artículo
Traducción automática
Enviar artículo por email
Citado por SciELO 
Similares en
SciELO 
Permalink
INTRODUCCIÓN
La evaluación es inherente al acto educativo que implica un proceso sistemático y resulta en un juicio de valor para tomar decisiones mediante su análisi1. Esta se puede clasificar como a) diagnóstica que tiene la finalidad de determinar el nivel de conocimiento, b) formativa, con el principal objetivo de obtener realimentación, y c) sumativa, que determina el grado de conocimiento adquirido y aporta información para la toma decisiones con el resultado obtenido2. Las herramientas y técnicas que se emplean para medir un constructo se conocen como instrumento. Los instrumentos se presentan en diferentes formatos y tienen ventajas y desventajas particulares3,4.
La educación basada en competencias permeó la educación médica con cambios en los paradigmas educativos propuestos por la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO), por lo que su evaluación ha sido un reto5. Una competencia se puede definir como el conjunto de habilidades, aptitudes, actitudes y conocimientos que son aplicados para la solución de problemas en una profesión5-7. La evaluación de las competencias es compleja y requiere el uso de múltiples instrumentos para realizar interpretaciones adecuadas de su desempeño y desarrollo8,9. Se sugiere que el estudiante se enfrente a una problemática en donde emplee la competencia a evaluar10. Por lo tanto, es necesario conocer los instrumentos empleados para la evaluación de competencias específicas para su aplicación. Entre los instrumentos que se utilizan para realizar inferencias sobre el desarrollo de la competencia clínica se encuentran los instrumentos de observación directa (IOD) como el mini-CEX o herramientas como rúbricas, escenarios de simulación11. Los IOD se emplean en diferentes contextos y situaciones clínicas lo que permite realizar evaluaciones más apegadas a la realidad12. La competencia clínica se conforma de atributos tales como habilidades clínicas, conocimientos y comprensión, características interpersonales, solución de problemas y juicio clínico y habilidades técnicas8. En este texto abordaremos el tema de la evaluación de la competencia clínica a través de la implementación del mini-CEX en el pregrado médico para la evaluación formativa de los estudiantes utilizando la simulación con pacientes estandarizados.
MINI-CEX
El mini-CEX es un IOD que permite hacer inferencias sobre la competencia clínica en estudiantes de pre y posgrado12,13. Fue empleado por primera vez en por el Consejo Americano de Medicina Interna (ABIM por sus siglas en inglés) en 1995 en la evaluación de la competencia clínica de los residentes14. Desde entonces, se ha empleado en diferentes contextos y tiene evidencias de validez, confiabilidad, aceptabilidad entre usuarios, impacto en la educación, costo y factibilidad13. Por su estructura permite realizar evaluaciones rápidas, acompañadas de realimentación y que proporcionan información relevante del desarrollo de la competencia clínica15. Por estas características el mini-CEX se ha empleado en la evaluación formativa y sumativa de estudiantes16. El uso de este instrumento se ha extendido ampliamente en distintas profesiones en hospitales, escuelas y centros de entrenamiento con simulación17. El desarrollo de la competencia clínica es vital para el desempeño de la profesión médica y la atención al paciente por lo que es necesario evaluar su desarrollo en los estudiantes de pregrado.
ESTRUCTURA Y DIMENSIONES
El mini-CEX se conforma por tres grandes apartados: la ficha de identificación, las dimensiones del instrumento y los datos finales. En la ficha de identificación se incluyen datos del estudiante y del evaluador acordes con las necesidades del lugar en donde se emplee el instrumento. El ABIM incluye en su versión original del instrumento nombre del evaluador, fecha de evaluación, nombre y rango del estudiante, diagnóstico del paciente, sitio de evaluación, edad y sexo del paciente, nivel de complejidad y apartados evaluados del mini-CEX. En el apartado de las dimensiones se evalúan la anamnesis, exploración física, profesionalismo, juicio clínico, habilidades comunicativas, organización/eficiencia y valoración general. Cada dimensión cuenta con un descriptor específico que el estudiante debe demostrar. Estas dimensiones son valoradas en una escala del 1 al 9. La valoración de 1 a 3 se considera como insatisfactorio, de 4 a 6 como satisfactorio y de 7 a 9 como superior. La valoración de cuatro se considera como marginal por lo que se recomienda una remediación. A su vez cuenta con una opción para marcar la ausencia de observación de la conducta a evaluar. El mini-CEX cuenta con un apartado específico para realimentar al estudiante en cada dimensión. Por último, en los datos finales se considera el tiempo empleado para el evento, para la realimentación y la satisfacción de los usuarios (docente y estudiante). El formato original del mini-CEX propuesto por el ABIM se encuentra disponible en la siguiente dirección electrónica: https://www.abim.org/Media/qlvp1fhb/mini-cex.pdf 18. En la tabla 1 se encuentran las dimensiones y el descriptor que le corresponde traducido por Norcini15.
Tabla 1 Descriptores de las dimensiones del mini-CEX (tomado de Fornells-Vellés)
| Descriptores de las dimensiones del mini-CEX | |
|---|---|
| Dimensión | Descriptores asociados |
| Anamnesis | Facilita las explicaciones del paciente |
| Estructurada y exhaustiva | |
| Hace preguntas adecuadas para obtener información del paciente | |
| Responde adecuadamente a expresiones claves verbales y no verbales del paciente | |
| Exploración física | Exploración apropiada a la clínica |
| Sigue una secuencia lógica y es sistemática | |
| Explicación al paciente del proceso de exploración | |
| Sensible a la comodidad y privacidad del paciente | |
| Profesionalismo | Presentación del médico |
| Muestra respeto y crea un clima de confianza | |
| Empático | |
| Se comporta de forma ética y considera los aspectos legales relevantes al caso | |
| Atento a las necesidades del paciente en términos de confort, confidencialidad y respeto | |
| Profesionalismo | Presentación del médico |
| Muestra respeto y crea un clima de confianza | |
| Se comporta de forma ética y considera los aspectos legales relevantes al caso | |
| Atento a las necesidades del paciente en términos de confort, confidencialidad y respeto | |
| Juicio clínico | Realiza una orientación diagnóstica adecuada con un diagnóstico diferencial |
| Formula un plan de manejo coherente con el diagnóstico | |
| Hace/indica los estudios diagnósticos considerando riesgos, beneficios y costos | |
| Habilidades comunicativas | Utiliza un lenguaje comprensible y empático para el paciente |
| Franco y honesto | |
| Explora las perspectivas del paciente y la familia | |
| Informa y consensa el plan de manejo/tratamiento con el paciente | |
| Valoración general | Demuestra satisfactoriamente juicio clínico, capacidad de síntesis y de resolución, y tiene en cuenta los aspectos de eficiencia, valorando riesgos y beneficios en el plan de manejo. |
UNA EXPERIENCIA DE USO EN EL PREGRADO MÉDICO
Para el uso del mini-CEX en el pregrado médico se emplearon los siguientes pasos: búsqueda, planeación, integración y aplicación. En cada uno de estos pasos se realizaron acciones específicas que permitieron la implementación del mini-CEX durante el primer semestre del 2023. A continuación, se describen los pasos, acciones y procesos que se siguieron para su implementación.
BÚSQUEDA
La aplicación de instrumentos de evaluación de la competencia debe seguir un proceso riguroso desde su elección hasta el análisis de resultados. Para definir el sistema de evaluación a seguir, hay que responder las preguntas: ¿Qué evaluar?, ¿cómo evaluar?, ¿quién evalúa?, ¿con qué evalúa?, ¿cuándo evalúa? y, ¿para qué evaluar?19. En el caso de la evaluación de la competencia clínica en el pregrado médico se dio respuesta a estas preguntas de la siguiente forma:
¿Qué evaluar?
En el plan de estudios de la Facultad de Medicina de la Universidad Nacional Autónoma de México se cuenta con un plan de estudios por asignaturas, basado en competencias. Dentro de estas competencias se encuentra la competencia clínica. En el Departamento de Integración de Ciencias Médicas (DICiM) se promueve el desarrollo de esta competencia a través del aprendizaje basado en problemas y el aprendizaje basado en simulación. La evaluación de la competencia clínica no se ha realizado mediante un instrumento específico, por lo que es importante conocer cómo estas estrategias promueven su desarrollo específicamente en los estudiantes que cursan sus rotaciones clínicas (tercer y cuarto año).
¿Cómo evaluar?
La evaluación de la gran cantidad de estudiantes con los que cuenta la Facultad de Medicina hace difícil la evaluación cualitativa de la competencia clínica. La evaluación cuantitativa representa la mejor opción para realizar la evaluación y por lo tanto se requeriría de un instrumento que proporcione este tipo de resultados.
¿Quién evalúa?
La evaluación según los estándares de este instrumento se tendría que realizar por expertos en el actuar clínico por lo que los docentes del DICiM resultarían las personas ideales para realizar esta evaluación.
¿Con qué evalúa?
Al no contar con instrumentos propios se realizó una búsqueda intencionada con el objetivo de encontrar instrumentos para la evaluación de la competencia clínica. El resultado de esta búsqueda fueron IOD de entre los que destacaba el mini-CEX por la gran cantidad de evidencias que existían de su uso.
¿Cuándo evalúa?
El momento de evaluación elegido fue durante las actividades con simulación que realizan los estudiantes en consultorios con paciente estandarizado en donde tienen la oportunidad de desempeñar la competencia clínica en una consulta médica. Estas evaluaciones se realizaron de forma continua durante cinco diferentes escenarios que los estudiantes llevaron a cabo durante su año académico y al finalizar el mismo.
¿Para qué evaluar?
La finalidad de esta evaluación fue recabar información sobre el desempeño de los estudiantes durante las consultas simuladas y de esta forma dar cuenta del desarrollo de la competencia clínica en los estudiantes del pregrado médico. La evaluación de la competencia con el mini-CEX tuvo un fin formativo durante el año académico y uno sumativo al finalizar el mismo.
PLANEACIÓN
Una vez resueltas las preguntas planteadas se procedió a estructurar la evaluación con la siguiente estructura: competencia, aprendizaje esperado, indicadores del desempeño, procedimiento de evaluación y criterios de acreditación20. En la figura 1 se muestra el resultado de la planeación de la implementación del mini-CEX con el empleo de la estructura previa. Esto apoyó a que la línea de evaluación del instrumento estuviera acorde con las necesidades de los estudiantes y de la institución, al dar seguimiento a las preguntas resueltas previamente.
INTEGRACIÓN
A través de la estructura de la planeación se definió cuáles eran las características principales de la evaluación que se realizaría con el mini-CEX. Posterior a la definición del modelo conceptual se adaptó al contexto educativo en donde se aplicará, para disminuir el sesgo del evaluador y apoyar el constructo que se evalúa. La adaptación se realizó mediante la opinión de los docentes que el instrumento sería suficiente, claro, coherente y relevante para su uso en sus diferentes dimensiones y descriptores por lo que podría ser usado en las consultas simuladas.
Por otra parte, se desarrollaron tablas de contenido que apoyaban al constructo y que estaban basadas en los resultados de aprendizaje dispuestos en el programa académico y que se relacionaban directamente con los atributos en la competencia. Estas tablas de contenido formaban parte del material del evaluador para tomar en cuenta durante la evaluación de los estudiantes en su desempeño en las consultas simuladas.
La capacitación de los evaluadores se realizó mediante una plataforma digital en donde los docentes del departamento fueron expuestos a videos con estudiantes reales, las tablas de especificaciones y el instrumento en formato digital para su uso. Este curso tenía un formato abierto y los docentes podrían realizarlo en el momento que mejor les pareciera y las veces que fueran necesarias.
Para que los escenarios de simulación con paciente estandarizado fueran congruentes con la tabla de especificaciones se ajustaron las actividades para cumplir con los objetivos planteados por el instrumento de evaluación. Para eso se incluyeron entrenadores de tareas para la exploración física de los pacientes, se realizó un curso de estandarización de los pacientes que participarían en las actividades con simulación y se realizó la revisión de los escenarios por expertos en simulación y clínicos. En la figura 2 se muestra una captura de pantalla del curso para los docentes del DICiM con la tabla de especificaciones correspondiente al caso.
| Atributo de la competencia | Resultado de aprendizaje |
|---|---|
| Anamnesis | Realiza el interrogatorio dirigido a patologías respiratorias superiores e inferiores |
| Exploración física | Realiza la exploración física dirigida a un paciente con patologías respiratorias superiores e inferiores. Reconoce los hallazgos patológicos en la exploración física de un paciente con patologías respiratorias |
| Profesionalismo | Presentación del médico Muestra respeto y crea un clima de respeto Empático Se comporta de forma ética y considera los aspectos legales relevantes al caso Atento a las necesidades del paciente en términos de confort, confidencialidad y respeto |
| Juicio clínico | Indica los estudios complementarios para el diagnóstico de las enfermedades que generan patologías respiratorias Interpreta los datos patológicos de los estudios diagnósticos complementarios de las patologías respiratorias Integra los datos clínicos para el diagnóstico diferencial de patologías respiratorias Indica el tratamiento patológico del paciente con patología respiratoria Identifica los criterios para referir a un paciente con patología respiratoria |
| Habilidades comunicativas | Emplea lenguaje no médico para explicar al paciente el diagnóstico, tratamiento y pronóstico de la patología respiratoria |
| Organización/eficiencia | Realiza receta médica |
APLICACIÓN
Durante la aplicación del mini-CEX en las consultas simuladas se proporcionó al docente un código QR lo direccionaba al instrumento en un formulario de GoogleForms™. Por medio de este formulario, se recopilaron las respuestas y los docentes las recibían en su correo electrónico de manera inmediata para su posterior entrega al estudiante con el objetivo de recibir realimentación escrita y oral de su desempeño durante las consultas. En la figura 3 se muestra un paciente estandarizado, un estudiante desde la perspectiva del evaluador durante el interrogatorio de la consulta simulada.
CONSEJOS PARA SU APLICACIÓN
Además de aconsejar al lector seguir los pasos previos, se recomienda tener en cuenta los siguientes puntos:
1. Elegir el instrumento adecuado para la población adecuada
Elegir el instrumento de evaluación necesario para la evaluación de la competencia seleccionada es un paso crucial. Si el instrumento seleccionado no coincide con las características de la población, las necesidades de evaluación y se tienen dificultades para su implementación, es muy probable que el instrumento sea descartado y no se obtengan los resultados deseados.
2. Capacitación de los usuarios
La capacitación de los usuarios del instrumento (evaluadores y estudiantes) permite que la inserción del instrumento en las actividades académicas cotidianas resulte más sencilla. Al conocer el instrumento se comprenderán los alcances, limitaciones y características que éste posee. Con esta información el evaluador podrá hacer uso del instrumento con más claridad y asignar los puntajes con mayor precisión; en cambio, el estudiante comprenderá que es lo que se espera de su desempeño, como lograr un mejor puntaje y permitirá entender una mejora de su entrenamiento.
3. Facilitar su uso
Los IOD tienen la desventaja de requerir la supervisión directa e inmediata para su uso. En muchas ocasiones el instrumento no es empleado ya que la forma en la que se dispone no es la más apropiada o conlleva limitaciones. Evaluar la forma más sencilla y adaptable de distribución puede contribuir a su aplicación y aceptación.
4. Proporcionar entornos apropiados para su aplicación
El tener un lugar seguro en donde el evaluador y el estudiante puedan desempeñarse en su mejor potencial permite tener una evaluación más certera del constructo a evaluar. En el caso de la competencia clínica se torna un poco más complicado debido a la diversidad de entornos clínicos a los que se enfrentan los estudiantes. Estos entornos en muchas ocasiones no son los adecuados para el desempeño clínico o la evaluación. La simulación clínica ofrece un entorno seguro en donde los estudiantes se pueden desenvolver con características similares a las reales.
5. Realimentación inmediata
Es necesario proporcionar realimentación de forma constante. La realimentación de los evaluadores permite tener un mayor control de calidad de las evaluaciones que se realicen y tendrán efectos directos sobre las consecuencias de las evaluaciones y el desempeño clínico del estudiante. La realimentación es importante para el uso de instrumentos y la mejora continua de los estudiantes. Los autores de este texto recomiendan el uso de modelos de realimentación de uso sencillo para brindarla.
CONCLUSIONES
La evaluación de la competencia clínica es de suma importancia para la mejora continua y permanente de los estudiantes de pre y posgrado. La sistematización de la evaluación permite obtener información del desempeño de los estudiantes. Esta sistematización debe estar alineada a los objetivos que la evaluación pretende y de las necesidades de evaluación de la institución educativa. A través de esta sistematización, la evaluación se orienta al cumplimiento de objetivos específicos y facilitan la obtención de datos precisos de la competencia a evaluar. En el caso de la implementación del mini-CEX en consultas simuladas se ajustaron los resultados de aprendizaje de las actividades con simulación, las tablas de especificaciones que orientan a los docentes durante la evaluación y la facilidad de aplicación del instrumento y su corta duración.
Al implementar un instrumento de evaluación nuevo se tienen sesgos como: la resistencia de su uso, la falta de capacitación de los usuarios, la desconfianza que se tiene de su utilidad, veracidad y facilidad de aplicación. Se pretende que, al realizar una capacitación previa del instrumento esta incertidumbre sea reducida y los usuarios se adapten mejor a su aplicación.
Una desventaja de los instrumentos de observación directa es la necesidad de múltiples observaciones por diferentes expertos para dar una visión general de la competencia de los estudiantes. Esta desventaja se hizo presente de forma constante al ser los mismos docentes los que evaluaron a los estudiantes y que no había un cambio de observador; sin embargo, si existían modificaciones en los puntajes obtenidos por los estudiantes en los diferentes escenarios que se realizaron durante el semestre.
El seguir una secuencia de pasos para estructurar y sistematizar la implementación de un nuevo instrumento de evaluación es de utilidad para conocer los alcances, limitaciones y sesgos que se tendrán al momento de su aplicación. Así mismo, permite que los resultados sean lo más apegados al desempeño de los estudiantes y que a través de su análisis se hagan inferencias adecuadas del desempeño del estudiante. La serie de pasos propuesta permitió la implementación exitosa del mini-CEX en un pregrado de la licenciatura de médico cirujano, permitiendo la evaluación de una gran cantidad de estudiantes y la capacitación de los docentes en el proceso.
