nueva página del texto (beta)
Español (pdf)
Artículo en XML
Referencias del artículo
Traducción automática
Enviar artículo por email
Citado por SciELO 
Similares en
SciELO 
Permalink
INTRODUCCIÓN
Las Instituciones de Educación Superior tienen la responsabilidad de formar profesionales de la salud con un adecuado nivel de conocimientos, de práctica y de actitudes con la capacidad de proporcionar atención integral con calidad y humanismo en los distintos campos de conocimiento de las ciencias de la salud. Es por ello que tanto la planeación el proceso educativo y la evaluación son fundamentales en la formación de los profesionales.
Las profesiones de las ciencias de la salud tienen aspectos prácticos que generalmente no se evalúan en nuestro medio de forma sistemática y metódica, por lo que se dificulta la identificación de las deficiencias para superarlas. En nuestros días la sociedad demanda profesionales de la salud con altos niveles de competencia, para satisfacer sus necesidades, expectativas y exigencias.
Esto es más contundente en el caso de la profesión médica, dado el constante y acelerado avance de la tecnología y del conocimiento científico relevante a esta práctica; por lo que las universidades, en coordinación con el sistema de salud, son las indicadas para formar profesionales con un estándar aceptable de competencia clínica y dar respuesta a esa demanda.
La evaluación es un término genérico que incluye un rango de procedimientos para adquirir información sobre el aprendizaje del estudiante y la formación de juicios de valor respecto a dicho proceso1, otros autores definen la evaluación como el enjuiciamiento sistemático del valor y el mérito de un objeto2, lo cual implica un proceso sistemático de recolección y análisis de información válida y confiable, con la finalidad de tomar decisiones y provocar cambios para la mejora del objeto evaluado.
En el contexto de la educación médica, la evaluación tiene una importancia central para determinar si los médicos en formación alcanzaron la competencia clínica contenida en sus planes de estudios y si la enseñanza y el programa educativo fueron eficaces. La evaluación también es una poderosa herramienta de aprendizaje que utilizada adecuadamente puede mejorar la competencia clínica, aspecto esencial y nada fácil de desarrollar en la formación del médico.
El Examen Clínico Objetivo Estructurado (ECOE) es un método de evaluación donde se simula un encuentro clínico mediante la representación ficticia de un paciente con un padecimiento predeterminado en un caso clínico3. El ECOE ha cobrado una gradual importancia y relevancia hasta convertirse en el examen más objetivo para valorar la competencia clínica, entendida como el “el uso habitual y juicioso de comunicación, conocimiento, habilidades técnicas, razonamiento clínico, emociones, valores y reflexión en la práctica diaria para el beneficio de los individuos y las comunidades a las que se les brinda un servicio”4.
El ECOE, con una planeación, elaboración, aplicación y análisis adecuados, permite contar con información válida, confiable y pertinente que fundamenta la toma de decisiones basadas en la evidencia. Puede ser formativo cuando el estudiante recibe realimentación del desarrollo de su competencia y le ayuda a conocer las fortalezas y debilidades durante el proceso de formación5.
El ECOE también puede ser sumativo cuando permite establecer si los estudiantes alcanzaron un estándar aceptable de competencia clínica para avanzar por las diferentes etapas de su proceso formativo y diagnóstico, cuando al identificar las fortalezas y debilidades de los estudiantes al inicio de un nivel educativo se puede adecuar la enseñanza y el aprendizaje6.
Se debe destacar que la evaluación de la competencia clínica mediante el ECOE requiere adecuarse al nivel de formación de los estudiantes, por lo que los casos son diferentes para un estudiante al término de segundo año, que para otro al término de cuarto año, ya que conforme avanzan en sus estudios profesionales es claro el incremento de competencia clínica que exhiben en las evaluaciones formativas realizadas7,8; así pues, a partir del tercer año, su contacto con pacientes se incrementa hasta llegar al internado médico, en donde consolidan su competencia clínica de cara al contexto profesional real.
En consecuencia, este trabajo tiene como propósito describir cómo realizar un ECOE para valorar el nivel de competencia clínica que tienen los estudiantes de medicina, para ello tomaremos como referente teórico los pasos para la elaboración de un examen propuestos por Downing9. Se va a ejemplificar con estudiantes que han terminado el internado médico de pregrado, que generalmente se realiza en el quinto año de la carrera y es semejante en la mayoría de las escuelas de medicina.
Para planear y dirigir el ECOE se debe conformar un comité del ECOE donde participen seis médicos familiares, que sean apoyados por un médico internista, un pediatra, un ginecoobstetra, un cirujano general y un urgenciólogo con al menos 10 años de experiencia clínica, capacitados en el ECOE y que hayan participado en al menos tres experiencias de evaluación con esta estrategia como evaluadores y en la elaboración de las estaciones al nivel de solución de problemas más frecuentes para el médico general (figura 1).
Figura 1 Comité del ECOE. Adaptada de Downing SM. Twelve steps for effective test development. In: Downing SM, Haladyna TM. Handbook of Test Development. Eds. Mahwah (NJ): Lawrence Erlbaum Associates. 2006.
PASO 1. PLANEACIÓN GENERAL DEL EXAMEN
El comité del ECOE tiene varias responsabilidades:
Planear y coordinar el diseño de estaciones considerando a quién va dirigida, qué se va a evaluar, para qué se evalúa, cómo se evalúa y cuál es el nivel que se requiere, es decir, establecer sus características: tiempo, número de estaciones, contenidos de cada una de las estaciones.
Recopilar y revisar las estaciones que son elaboradas por profesores clínicos para identificar desviaciones y corregirlas para su aplicación en un examen formal.
Seleccionar y capacitar a los profesores que participarán como evaluadores mediante cursos; así como capacitar a los pacientes estandarizados que participarán en los exámenes.
Generar y gestionar un banco de estaciones mediante la realización de pruebas piloto. Incluye recolectar las fuentes principales de evidencia de validez del ECOE.
La seguridad y el control de calidad de los casos clínicos, se realiza bajo la supervisión de todos los pasos por el Comité del ECOE.
Propósito
El propósito del examen es evaluar la competencia clínica de los estudiantes al término del internado mediante el ECOE, con base en el programa académico del internado médico. El constructo a evaluar es la competencia clínica de los médicos internos ya definida anteriormente y considerada como un conjunto de atributos multidimensionales.
Tipo de examen
El ECOE será sumativo con un circuito de estaciones por las que los estudiantes rotan para mostrar su competencia clínica frente a un paciente. Las estaciones deben considerar: casos clínicos, pacientes estandarizados y sus libretos, instrucciones para los estudiantes, la guía del evaluador y rúbricas para ser utilizadas en cada estación. Más adelante se describe cada uno de estos elementos.
Interpretación
Será un examen de tipo sumativo y el resultado reflejará el grado de competencia clínica alcanzado al término del internado por el estudiante de pregrado que permitirá o no continuar con el Servicio Social de medicina.
PASO 2. DEFINICIÓN DE CONTENIDO
El contenido de cada estación se define con base en el perfil de referencia del programa académico del internado médico de pregrado, por lo que se realizará una tabla de especificaciones donde se enlistan las enfermedades más frecuentes y la descripción de las dimensiones de la competencia clínica que el estudiante debe demostrar para solucionar los problemas de salud más frecuentes que padece la población mexicana y, por consenso del Comité del ECOE, se determinan los casos clínicos que se incluirán en el ECOE.
Algunas de las dimensiones de la competencia clínica que se evalúan con el ECOE, son el interrogatorio, la exploración física, la interpretación de los estudios de laboratorio y gabinete, el diagnóstico y plan de manejo, la comunicación en la relación médico-paciente y la nota médica10,11.
PASO 3. ESPECIFICACIONES DE LA PRUEBA E INSTRUMENTO DE EVALUACIÓN
El ECOE consistirá de 9 estaciones, con duración de 15 minutos cada una; serán dinámicas, por lo que se utilizarán pacientes simulados estandarizados y modelos anatómicos. Se considerarán las seis áreas generales de Internado Médico: Cirugía, Ginecoobstetricia, Medicina Familiar, Medicina Interna, Pediatría y Urgencias. Se realiza una tabla de especificaciones que considera, además del programa del internado, la morbilidad y mortalidad más frecuente a la que se enfrenta el médico general, que son características deseables de los casos. Cada caso clínico de cada estación seleccionada, contiene una presentación en un escenario clínico y un formato con instrucciones para que el alumno se enfoque en el problema y siga las indicaciones que se le otorgan.
La estación
Es el escenario de evaluación, que puede ser en la consulta externa, el área de urgencias, la tocoquirúrgica de un hospital, entre otros, para hacerlo más semejante con la realidad.
Capacitación del evaluador
Se debe capacitar a los profesores clínicos para la elaboración de casos clínicos y en la evaluación de la competencia clínica, mediante cursos; en éstos, los evaluadores elaboran casos clínicos del área en la que trabajan, deberá ser un caso real que se plasma en un libreto que describe la historia clínica de un paciente. Estos casos son revisados y mejorados para su aplicación en pruebas piloto. Cada caso clínico de cada estación contiene: la guía del evaluador, la rúbrica, los estudios de laboratorio y gabinete.
Guía del evaluador
Se desarrolla en escenarios clínicos en los que se describen las acciones más importantes y detalladas que debe realizar el examinado, considerando las dimensiones de la competencia que se va a evaluar.
La ponderación relativa de las dimensiones de la competencia de los casos clínicos se realiza basada en el consenso de expertos.
Ejemplo de ponderación de las dimensiones a evaluar:
Habilidades en el interrogatorio 25%
Habilidades en la exploración física 10%
Estudios de laboratorio y gabinete 10%
Habilidades diagnósticas 15%
Plan preventivo-terapéutico (médico y/o quirúrgico) 10%
Habilidades de comunicación 10%
Evaluación por el paciente 5%
Nota médica 15% TOTAL 100%
Valoración global de los conocimientos y habilidades
La rúbrica
La herramienta de evaluación que utilizará el evaluador, en este caso, será la rúbrica con escalas globales, contenida en la tableta electrónica, para registrar el desempeño clínico de los estudiantes en cada una de las estaciones, la cual fue elaborada por consenso de expertos y con base en la literatura. La rúbrica se elabora con enunciados relacionados a la actividad que tienen que realizar los estudiantes y su nivel de desempeño con el fin de estandarizar a los evaluadores12(anexo 1).
La rúbrica desarrollada incluye 9 dimensiones para evaluar la competencia clínica con 4 niveles de desempeño: insuficiente, suficiente, bueno y excelente. El nivel de desempeño insuficiente y excelente tiene sus correspondientes descriptores para cada una de las dimensiones de la competencia clínica que ayuda a calibrar a los evaluadores como sugieren Hodges et al 13.
En cada estación se evalúa, con el apoyo de la rúbrica, la capacidad del estudiante para interrogar, explorar, interpretar exámenes de laboratorio y gabinete, formular diagnósticos, la capacidad para instalar un plan de manejo integral y la elaboración de una nota médica.
Además, en la rúbrica se otorgan dos valoraciones adicionales: primero los pacientes dan una calificación del trato recibido por los estudiantes y los profesores lo anotan en la rúbrica.
Y el otro por parte del evaluador, que emite una valoración global de la competencia clínica mostrada por el estudiante, que no tiene un peso en la calificación, pero sirve como un estándar de pase para cada estación.
Capacitación del paciente
Es la persona que se conoce como paciente estandarizado, porque representa el caso clínico en repetidas ocasiones de manera consistente para ofrecerles similar nivel de complejidad a los diferentes estudiantes evaluados.
Se les capacita a través de un curso para representar un problema médico para ello se utiliza un libreto con las posibles preguntas y respuestas durante la consulta médica, las respuestas al examen físico y el perfil de personalidad del paciente, para que acudan a ella con la caracterización física apropiada al padecimiento simulado el día de la evaluación, de forma que su representación sea consistente como pacientes estandarizados14,15,16. Se utilizan también modelos anatómicos o maniquíes dependiendo de la competencia clínica a evaluar17.
Asimismo, se deben considerar los materiales adicionales que se requieren en cada estación como batas, sábanas, cintas métricas, radiografías, electrocardiogramas, resultados de exámenes de laboratorio, guantes, portaagujas, suturas, entre otros.
Estudiante
Recibe instrucciones para que se enfoque en el problema y siga las indicaciones que se le dan; estas se encuentran en cada consultorio a la vista del estudiante para que las lea y comprenda, antes de realizar cualquier actividad con el paciente.
Prueba piloto
Se realiza una prueba piloto a una población similar académicamente a la que se evaluará, con el fin de mejorar la claridad y relevancia de las 9 estaciones elaboradas con todos sus elementos. Se solicita a los profesores que participan como evaluadores, información relativa a los aspectos del caso clínico, en un formato específico, que permita afinar todos los detalles del material del alumno, de las guías del evaluador, de los libretos y del desempeño de los pacientes para mejorar los casos, de manera que sea posible evaluar en los quince minutos de duración de cada estación, así como probar las tabletas electrónicas por parte de los evaluadores.
Se recomienda que los escenarios sean los consultorios de las unidades del primer nivel de atención médica.
El Comité del ECOE realiza una revisión final a todos los documentos de las estaciones para afinar detalles y corregirlos y así estar preparados, con el fin de que el ECOE se aplique en condiciones estandarizadas de evaluadores, pacientes, tiempo, sede, tabletas electrónicas con rúbricas. El ECOE está conformado por 9 estaciones, de 15 minutos de duración cada una y una duración total de 2 horas y 15 minutos.
Diseño y producción
Después de conformar el ECOE, con las estaciones probadas y editadas, se revisan todos los formatos y se verifica que todos los materiales y recursos necesarios estén disponibles para el desarrollo del examen en el día de la prueba y se imprimen los materiales con medidas de seguridad asociadas.
Se realiza una clasificación de los materiales en cajas. Cada caja contiene en carpetas todo el material de cada estación: material del estudiante, guía del evaluador, tabletas electrónicas con acceso a las rúbricas, formato de realimentación de la estación y material complementario (radiografías, ultrasonografías, resultados de estudios de laboratorio).
Solo aquellos con responsabilidad directa para la seguridad de los exámenes tienen acceso al mismo. A los escritores de casos clínicos y a los revisores se les pide que firmen una cláusula de confidencialidad. Posteriormente se resguarda el ECOE y, en su momento, se realiza la distribución del material a la(s) clínica(s) por el Comité de Evaluación.
PASO 7. APLICACIÓN DEL EXAMEN
Las condiciones para la estandarización del examen están relacionadas con la calidad de la aplicación del mismo. Es indispensable llevar un adecuado control de todas las variables relevantes durante la aplicación del examen para poder interpretar las puntuaciones de los examinados de manera uniforme, significativa y justa. Esta es la esencia de las consideraciones del tópico de validez en la administración del examen.
El examen se aplica en los consultorios de una o varias unidades médicas del primer nivel de atención médica, dependiendo del número de estudiantes a evaluar. Se indica a los estudiantes el lugar, día y hora en que deberán presentarse.
El 100% de los profesores evaluadores deben tener experiencia en este tipo de examen. Se realiza una reunión general con todos los profesores para asegurar la estandarización en la aplicación del examen y conducir el proceso con altas medidas de seguridad.
Admisión al examen
Los estudiantes llegarán a la sede, una hora antes del inicio del examen. Al llegar se identificarán con la credencial oficial con fotografía que se les da cuando realizan los trámites del ECOE. No se permite el ingreso con celulares u otros dispositivos electrónicos, los cuales se resguardan.
Se dará un tiempo de 15 minutos para cada estación; en la media hora previa al examen, se les conducirá al aula de la clínica donde el coordinador les otorgará la información de la dinámica del examen para un correcto desarrollo de sus acciones a lo largo de cada una de las estaciones y hacer que las condiciones sean uniformes y similares para todos los examinados.
El coordinador operativo hará un recorrido de las estaciones con todos los examinados en grupo y, posteriormente, se ubicará a cada uno de ellos frente al consultorio o estación donde debe iniciar el examen según el gafete asignado.
A los evaluadores se les solicitará llegar al examen con una hora de anticipación, y se les hará la entrega del material necesario para el desarrollo adecuado de la estación asignada a cada uno. Al pasar cada uno de los sustentantes, el evaluador lo identificará y evaluará en la rúbrica cada una de las dimensiones de la competencia clínica correspondiente al nivel del desempeño realizado por el estudiante en cada estación.
El coordinador de sede deberá estar atento para resolver cualquier duda de los evaluadores y solucionar los incidentes que se presenten.
Durante el examen, el coordinador de la sede y dos personas de apoyo logístico se encargarán de vigilar los cambios de estación para evitar la comunicación entre los estudiantes durante el mismo, y para evitar que estos se equivoquen de estación.
Los coordinadores verificarán que los evaluadores entreguen las tabletas electrónicas con los resultados de todos los alumnos evaluados. Al mismo tiempo, se va generando automáticamente la base de datos con las respuestas de los estudiantes.
Al finalizar el examen, los coordinadores recolectarán todo el material y lo entregarán al Comité del ECOE.
Regulaciones del examen y reglas de conducta
Los profesores y personal de apoyo logístico, monitorean a los sustentantes a lo largo del examen para asegurar que no haya conductas irregulares. Se les pide a los estudiantes seguir las indicaciones de los coordinadores. El no hacerlo puede resultar en la suspensión del examen.
Todos los materiales del examen pertenecen a la Facultad o Escuela de Medicina y deberán mantener la confidencialidad de los mismos.
Inicio y término del examen
Una vez que comienza el examen, este tendrá una duración total de 150 minutos, 15 minutos por estación, y todos los sustentantes tendrán un descanso para ingerir líquidos, tomar un dulce o ir al baño.
Durante cada estación, una persona con un megáfono avisa, a los 9 min, que queda un min; y a los 10 min inicia la nota médica; a los 14 min se avisa que queda un min; y a los 15 min se les avisa cambio de estación. La duración total del examen es de 150 min.
PASO 8. CALIFICACIÓN DEL EXAMEN Y ANÁLISIS ESTADÍSTICO
Se deberán obtener medidas de tendencia central y de dispersión y realizar la prueba alfa de Cronbach para obtener la confiabilidad del examen, aunque es más recomendable utilizar la Teoría G que analiza las diferentes fuentes de error18,19. También se debe analizar la estructura interna del examen a través de la Teoría de Respuesta al Ítem.
Es conveniente que haya dos profesionales estadísticos de apoyo que se encarguen del proceso de análisis de los datos, uno con el programa SPSS y otro con SAS, de los cuales se obtendrán resultados similares lo que da una mayor confiabilidad a los resultados.
Deberán contar con la ponderación de las dimensiones de la competencia clínica descritas en el paso 4, para que realicen los cálculos con los programas antes señalados.
Interpretación de la calificación
De acuerdo al propósito del examen, la interpretación de sus resultados reflejará el nivel de competencia clínica por dominios y en forma global de los examinados para desempeñarse como médicos generales.
Si el examinado alcanza una calificación arriba del nivel de pase, será aprobado y podrá ir al Servicio Social, en caso contrario será suspendido.
PASO 9. ESTÁNDAR DE PASE
Decidiendo el tipo de estándar
Con la ponderación se otorga una calificación de los alumnos para cada estación. La calificación de cada estación es la expresión de la sumatoria de cada una de las dimensiones de la competencia de cada estación. Se debe establecer el nivel o estándar de pase que identifica al estudiante que obtiene un resultado de aprobado del que no lo obtiene. Su puntuación se compara con la puntuación media obtenida por el grupo para cada dimensión y competencia global, en el caso de evaluación con referencia a la norma6. O bien puede haber otros métodos de establecimiento del estándar de pase como una evaluación con referencia a criterio donde se compara la puntuación del estudiante con los dominios de la competencia clínica, esta última es más recomendable20.
PASO 10. REPORTE DE LOS RESULTADOS
El reporte de calificaciones incluye la calificación de cada estudiante (medidas de tendencia central, medias, medianas, moda) y medidas de dispersión tales como la desviación estándar y el error estándar de la medición. Esta información individual da al estudiante los datos que reflejan su desempeño en el examen y dónde se encuentra, él o ella, en comparación con el grupo, si la evaluación fue con base en la norma. También debe elaborarse un reporte global con los principales resultados del ECOE, para ser analizados por el Comité del ECOE, los evaluadores y las autoridades académicas.
La calificación final del examen se les debe entregar dentro de los siguientes cuatro días del mismo a los sustentantes y serán reportadas en una página institucional, como aprobado o suspendido.
PASO 11. BANCO DE CASOS PARA ESTACIONES
Es conveniente desarrollar un sistema de banco de casos clínicos para estaciones, con los siguientes apartados: a) preparación de casos nuevos, b) almacén de casos, y c) mantenimiento histórico de los casos.
Las variables relevantes que serán guardadas con cada caso clínico y guías del evaluador, son: los casos en sí, un código de identificación de casos, clasificación del caso, categorías de contenido de acuerdo a la tabla de especificaciones, proceso cognitivo muestreado en cada caso, uso del caso a través del tiempo, (cuándo y cuántas veces se ha usado) datos del análisis del caso (dificultad del caso) autores del caso, fuentes del caso, revisores del caso. Los casos seleccionados para el banco serán responsabilidad del Comité del ECOE.
PASO 12. REPORTE TÉCNICO DEL EXAMEN
En el reporte se describe el ECOE en cada uno de los pasos que se han abordado en este artículo, incluyendo el análisis psicométrico de los casos, con el fin de resguardar todas las evidencias documentales de este examen.
En conclusión, realizar metodológica y sistemáticamente el ECOE en cada uno de los pasos aquí descritos, nos permite recolectar distintas fuentes de evidencia de validez suficientes para apoyar o refutar la interpretación de los resultados del examen21, así como de la confiabilidad18 para evaluar el nivel de competencia clínica que tienen los estudiantes del internado médico22 de la manera más objetiva y justa posible, todo ello para la seguridad y beneficio de los pacientes
