nueva página del texto (beta)
Español (pdf)
Artículo en XML
Referencias del artículo
Traducción automática
Enviar artículo por email
Citado por SciELO 
Similares en
SciELO 
Permalink
INTRODUCCIÓN
La pandemia mundial ocasionada por el SARS-CoV-2 ha modificado el proceso enseñanza/aprendizaje en medicina y en las áreas clínicas ha repercutido con la suspensión total o parcial de las rotaciones por diferentes servicios, lo que interrumpe el desarrollo de las competencias de los alumnos. Esta situación ha generado que se implementen acciones de educación a distancia, como son las modificaciones a las rotaciones clínicas y adecuaciones a la evaluación del aprendizaje, utilizando en la mayoría de los casos herramientas tecnológicas. Las áreas educativas han iniciado una serie de estrategias para no interrumpir el proceso de aprendizaje de los estudiantes en la educación a distancia, como las entrevistas médicas, el pase de visita y sesiones académicas en formatos virtuales para conservar el sentimiento de pertenecer a una comunidad que avanza y aprende.1
Otra estrategia ha sido el desarrollo de entrevistas clínicas de seguimiento a pacientes, a través de Zoom y los resultados han sido positivos para los alumnos ya que se comprometieron con la atención brindada a los pacientes, los profesores percibieron que seguían colaborando en actividades de enseñanza y los pacientes agradecieron el seguimiento después de haberse contagiado con el virus COVID.2
También hay estrategias sobre la evaluación del aprendizaje en modalidad a distancia a través de la telemedicina, en tres áreas: conocimiento clínico, uso de la tecnología centrado en el paciente y la comprensión de realidades geográficas.3,4 Una de las principales estrategias de evaluación del aprendizaje es el Examen Clínico Objetivo Estructurado (ECOE) que permite valorar a los alumnos en el desempeño de sus competencias clínicas. Se reporta un ECOE a través de la aplicación de Zoom en Estados Unidos5, que valoró las habilidades de integración de la historia clínica, razonamiento clínico, interpretación de pruebas clínicas, elaboración de documentación diagnóstica y habilidades de comunicación. El ECOE se considera fundamental para valorar la competencia clínica.6,7
La Subdivisión de Medicina Familiar de la División de Estudios de Posgrado de la Universidad Nacional Autónoma de México decidió realizar como alternativa de evaluación formativa de la competencia clínica de los médicos residentes de primer año de la especialidad un Web-ECOE, como un estudio piloto. El objetivo fue evaluar el grado de competencia clínica de los médicos residentes de primer año de la especialidad de medicina familiar a través de un Web-ECOE comparando la procedencia de ingreso (ENARM vs ECA) y acorde con los resultados poder implementar esta evaluación a distancia. La Subdivisión tiene dos vías de ingreso a la especialidad, los médicos que provienen del Examen Nacional de Especialidades Médicas (ENARM), donde la mayoría cuentan con menos años de experiencia clínica, a diferencia de los médicos generales que laboran en una institución de salud, que ingresan a través de un Examen de Competencia Académica (ECA) y que llevan más años de ejercicio clínico; el programa académico para ambas modalidades es el mismo del PUEM en medicina familiar.
MÉTODO
Estudio observacional comparativo de la prueba ECOE realizada en línea (Web-ECOE). El examen fue diseñado por un comité académico que se integró por varios especialistas en Medicina Familiar.8-10. El comité conformó la tabla de especificaciones, las estaciones y materiales que integraron el examen y se adecuó para utilizarlos en la evaluación a distancia.5
Las estaciones se centraron en evaluar las habilidades clínicas de interrogatorio, interpretación de exámenes de laboratorio, diagnóstico, terapéutica y comunicación; para evaluar la exploración física se retomó la propuesta que consistió en realizar un examen físico narrativo y se capacitó a los participantes.1
La muestra de estudio se conformó por 20 residentes de primer año de Medicina Familiar, de 10 sedes académicas que rotaron por un circuito de 4 estaciones. Participaron 4 pacientes estandarizados y 4 evaluadores.
Los evaluadores, con experiencia previa en aplicación de ECOE, se capacitaron para realizar un Web-ECOE, manejo técnico de Zoom, comprensión de las cédulas de evaluación y dado que fue un examen formativo, en la realimentación efectiva a los residentes.
Los pacientes estandarizados fueron seleccionados con base en las características de los casos, se les capacitó para utilizar Zoom y la entrevista médica fue con base en el guion establecido por el comité académico.
Para Zoom se utilizó una licencia educativa proporcionada por la UNAM, con la finalidad de no tener restricciones de tiempo durante el examen. La distribución por estación fue la siguiente forma: 20 minutos entrevista alumno-paciente, 2 minutos realimentación paciente-alumno, 3 minutos realimentación evaluador-alumno y 5 minutos cambio de estación, cuatro alumnos por circuito.
Para la asignación de las estaciones se utilizó el recurso: sesión de grupos pequeños, se programaron acorde al tiempo de duración para cada estación y se asignó un nombre. Se grabo cada estación por el evaluador, como evidencia del trabajo realizado.
Se solicitó a los participantes que informaran con que dispositivo, sistema operativo y navegador se conectarían a Zoom para que identificaran dónde se localizan los comandos (micrófono, cámara, chat, sección de grupos) y cómo utilizarlos, ya que la interfaz de Zoom varía dependiendo del software y hardware que se utiliza. También se pidió que verificaran la calidad de conexión a internet, que fuera estable y que el ancho de banda soportará las sesiones síncronas de video.
Como recurso de comunicación se utilizó WhatsApp, para el envío de las instrucciones a los alumnos para cada estación. Esta herramienta es rápida, la información llega en tiempo real y también se pueden resolver incidentes personales no previstos en el examen como problemas de conectividad, de comprensión de instrucciones u otros que pudieran afectar el desarrollo de la evaluación.
El grupo de aplicación del Web-ECOE se integró por un coordinador académico, un coordinador técnico, evaluadores y observadores.
Las funciones del coordinador académico fueron:
Diseñar e integrar el examen
Organizar la logística del examen (fechas, asignación del tiempo, integración del comité de expertos, elaboración de materiales e instrucciones, dirigir los ensayos, convocar y capacitar a los evaluadores, pacientes y residentes)
Aplicar el examen
Las funciones del coordinador técnico fueron:
Programar y gestionar la sesión de Zoom
Abrir las sesiones de grupos pequeños, asignar a los participantes por los circuitos de las estaciones
Otorgar los permisos de grabación de las sesiones de grupos pequeños y recabarlas
Controlar el tiempo de cada estación y coordinar el enlace de todos los participantes
Las funciones de los evaluadores fueron:
Dar la bienvenida a los estudiantes a la estación e iniciar el examen
Observar y registrar en la cédula de evaluación el desempeño del estudiante en cada estación
Grabar la sesión y enviarlas al coordinador académico
Solicitar al paciente brindar realimentación al residente
Brindar realimentación al residente al finalizar la intervención del paciente
Aclarar dudas de los participantes y regresar a la sala general
Las funciones de los observadores fueron:
Dentro del proceso de capacitación de los participantes sobre el manejo técnico de Zoom, se realizaron reuniones de ensayo donde se ejemplificó la dinámica del examen, esto sirvió para resolver dudas e inquietudes de los participantes.
La capacitación de los residentes se centró en conocer el procedimiento para participar en las sesiones de grupos pequeños y se hizo énfasis en la importancia de que al conectarse colocaran su nombre de usuario correctamente.
La capacitación de los evaluadores se enfocó en que lograran cumplir con la función de grabar las sesiones de grupos pequeños, descargar el video a su equipo al finalizar el examen y después compartirlo en una carpeta de Google Drive, esto era indispensable para recabar las evidencias de aplicación del web-ECOE de cada uno de los residentes.
La capacitación de los pacientes consistió en que lograran manejar Zoom en sus funciones básicas: ingreso a la sesión, manejo del micrófono, del video y el ingreso a grupos pequeños.
El Web-ECOE se desarrolló en seis etapas:
Bienvenida al examen en la sesión principal a todos los participantes y exposición breve de la dinámica.
Distribución de los participantes a las estaciones en grupos pequeños y envío de las instrucciones y material a cada alumno a través de WhatsApp.
Bienvenida al residente a la estación por parte del evaluador, quien explicó brevemente la instrucción, así como el tiempo para llevar a cabo la entrevista, posteriormente apagó su cámara y micrófono.
Desarrollo del examen, en cada estación el residente inició el proceso de comunicación con el paciente, se presentó y comenzó la entrevista, al finalizar su intervención notificó al paciente que ha concluido, en ese momento el evaluador solicito al paciente que realice su realimentación; finalmente el evaluador brindo la realimentación al residente.
Cierre de la sesión de grupos pequeños, una vez finalizado el tiempo programado todos los participantes regresaron a la sesión principal, aquí se les dio un pequeño descanso, se realizaron los cambios de estación y se comunicó el ingreso a la siguiente estación.
Cierre del examen, al finalizar todos los circuitos, los participantes regresaron a la sesión principal, se agradeció su participación y se finalizó la sesión.
En cada estación se evaluaron ocho dimensiones, sin embargo, debido a las circunstancias, solamente se evaluaron siete rubros en diabetes e hipertensión, los ocho en obesidad y solo seis en Depresión. Se utilizó como instrumento de evaluación una rúbrica que tiene evidencia de validez .10 La escala de medición fue ordinal: (1 = insuficiente, 2= suficiente, 3 = bueno y 4 = excelente); la evaluación total de cada enfermedad fue la sumatoria aritmética de los criterios evaluados, lo que produjo las puntuaciones mínimas y máximas posibles: Diabetes e hipertensión de 7 a 28 puntos, obesidad de 8 a 32 y depresión de 6 a 24. Esto fue importante señalarlo, dado que los aspectos no evaluados implicaban la categoría de exploración física que fue evaluada solo con la narrativa expresada por el residente, dado que no era posible evaluar físicamente.
Consideraciones éticas
El protocolo fue aprobado por el Comité de Investigación y Ética del Programa de Maestría y Doctorado en Ciencia Médicas, Odontológicas y de la Salud, UNAM. Se solicitó firma de consentimiento informado por parte de los alumnos y pacientes y se mantendrá en confidencialidad el nombre de los participantes.
Análisis estadístico
Se utilizaron medidas de estadística descriptiva y para las comparaciones de las evaluaciones obtenidas según plan de estudio y sexo se utilizó estadística inferencial con la prueba U de Mann Whitney para grupos independientes. Para contrastar la normalidad de los datos se utilizó la prueba de Shapiro-Wilk.
RESULTADOS
Se aplicó un examen Web ECOE a 20 residentes de medicina familiar del IMSS, ISSSTE y Secretaría de Salud, a través de Zoom, en el mes de agosto-septiembre de 2020. Fueron 50% hombres y 50% mujeres provenientes en el mismo porcentaje del ENARM y ECA, con una edad promedio de 34 años y una experiencia clínica como médico general de 8 años (Tabla 1).
Tabla 1 Estadísticos descriptivos
| Mínimo | Máximo | Media | Desviación estándar | |
| Edad | 25 | 52 | 34.00 | 7.62 |
| promedio general en la carrera | 7.30 | 9.10 | 8.36 | 0.57 |
| años de experiencia profesional | 0 | 22 | 8.05 | 7.36 |
n = 20
Fuente: elaboración propia.
Las puntuaciones totales obtenidas por los alumnos en las cuatro evaluaciones en esta modalidad del ECOE se muestran en la Tabla 2.
Tabla 2 Puntuaciones totales promedio obtenidas por los alumnos según estación evaluada
| Estación evaluada | Mínimo | Máximo | Media | Desviación estándar | Rango de puntuación teórica |
| Diabetes | 13 | 28 | 20.80 | 5.13 | 7 - 28 |
| Hipertensión | 22 | 28 | 25.55 | 1.84 | 7 - 28 |
| Obesidad | 9 | 32 | 25.05 | 7.26 | 8 - 32 |
| Depresión | 12 | 24 | 20.75 | 2.95 | 6 - 24 |
n = 20
Fuente: elaboración propia.
La prueba de Shapiro-Wilk mostró que la puntuación obtenida por los alumnos fue de normalidad en diabetes e hipertensión y no normal en obesidad y depresión.
Se obtuvieron las puntuaciones totales según la procedencia de ingreso a la residencia (ECA y ENARM) de los alumnos; los estadísticos descriptivos se observan en la Tabla 3.
Tabla 3 Puntuaciones promedio según estación evaluada y vía de ingreso a la residencia
| EstaciónRango | ECA‡ n= 10 | ENARM† n= 10 | |||
| Rango min. - máx. |
Media ± DE | Rango min. - máx. |
Media ± DE | p§ | |
| Diabetes | 13 - 26 | 18.3 ± 5.2 | 17 - 28 | 23.3 ± 3.7 | 0.023 |
| Hipertensión | 22 - 28 | 25.1 ± 2.1 | 24 - 28 | 26.0 ± 1.41 | 0-393 |
| Obesidad | 9 - 29 | 22.1 ± 7.1 | 11 - 32 | 28.0 ± 6.3 | 0.015 |
| Depresión | 12 - 24 | 20.3 ± 3.9 | 18 - 23 | 21.2 ± 1.6 | 0.971 |
‡ ECA: vía de ingreso Examen de Competencia Académica.
† ENARM: vía de ingreso Examen Nacional de Aspirantes a Residencias Médicas.
§ Prueba U de Mann-Whitney.
Fuente: elaboración propia.
Los alumnos del ENARM resultaron mejor evaluados que los del ECA en dos de las cuatro estaciones. Las diferencias obtenidas en las puntuaciones totales de los alumnos según enfermedad, entre los alumnos del ECA y del ENARM fueron estadísticamente significativas solamente en diabetes (p = 0.023) y obesidad (p= 0.015) en favor de los alumnos del ENARM. En contraste, no hubo diferencias significativas en hipertensión (p = 0.393 y depresión (p= 0.971).
Según el sexo de los alumnos, los resultados de las puntuaciones totales mostraron diferencias significativas solamente en la diabetes (p = 0.009) en favor de las mujeres y no hubo diferencias en hipertensión (p = 0.353), obesidad (p = 0.247) y depresión (p = 0.631) entre ambos sexos.
De acuerdo con la edad, el promedio fue de 34 años; la muestra de estudio se dividió en dos grupos: Grupo 1 conformado por el más joven de los alumnos hasta 33 años (n = 9); Grupo 2 alumnos desde 34 años hasta el mayor (n=11).
La evaluación de los alumnos en las cuatro enfermedades según grupo de edad mostró diferencias estadísticamente significativas en los alumnos más jóvenes en Diabetes (p = 0.038) y Obesidad (p = 0.006), por lo que se refiere a la hipertensión y a la depresión no se encontraron diferencias estadísticamente significativas (p = 0.295) y (p = 0.882)) respectivamente.
DISCUSIÓN
Tradicionalmente la competencia clínica se evalúa con pacientes en consulta externa y hospitalización con diferentes herramientas y estrategias, como exámenes escritos hasta evaluaciones de 360º, sin embargo, no siempre se evalúan la totalidad de estas competencias.11. El ECOE es el estándar de oro que permite evaluar la competencia clínica en sus diferentes dimensiones como el interrogatorio, interpretación de exámenes, comunicación, relación médico-paciente, entre otras.12,13. En EE. UU. y Canadá, existe suficiente información de que el ECOE es un método que permite evaluar la competencia clínica de forma global y confiable y permite obtener información del aprendizaje teórico y su aplicación en la práctica clínica. 14-16.
El Web-ECOE no ha sido aún desarrollado en los diferentes niveles de la educación médica, por lo que desarrollar una prueba piloto, permitió comparar los niveles de competencia clínica de dos muestras de residentes provenientes de dos vías de ingreso a la residencia. En este estudio se aprecian diferencias significativas entre las puntuaciones obtenidas en las dimensiones de la competencia clínica, se observó que la edad de los alumnos solo fue diferente estadísticamente en dos de las estaciones evaluadas. Cabe destacar que la mayor diferencia fue para las estaciones de diabetes y obesidad, esto podría explicarse porque los residentes provenientes del ENARM tuvieron que prepararse para esta vía de ingreso y probablemente se encuentran con información más actualizada lo que favorece la recuperación de información recientemente estudiada.
La exploración física fue la competencia con menor puntuación debido a las características de esta modalidad. Sin embargo, se reporta un estudio donde se realizó un ECOE presencial en medicina familiar con puntuaciones promedio por debajo del límite del pase, lo que contrasta con nuestro estudio que a pesar de las limitaciones de la exploración física las puntuaciones fueron superiores.17
Las competencias evaluadas con puntuaciones de mayor normalidad fueron diabetes mellitus e hipertensión arterial, en ambos grupos de procedencia, y esto es probable que se deba a que son dos padecimientos que se encuentran dentro de las primeras cinco causas de consulta del primer nivel de atención y la capacitación es mayor en estos padecimientos por parte de las Instituciones de Salud.18
En la Universidad de Navarra, España se evaluó a 17 residentes de especialidades médicas troncales, a través de un ECOE, donde la puntuación de pase fue de 7.0, y su media de puntuación fue de 7.4, llegando a la conclusión de que se plantea la necesidad de mejorar las competencias básicas en Medicina Interna, comparado con nuestro estudio las recomendaciones que se pueden asociar es reforzar las áreas de conocimiento de obesidad y depresión en el adulto mayor.19
Como se evidencia en este estudio existe una oportunidad para mejorar la formación de la competencia clínica de los médicos residentes de nuestra Universidad a través de la evaluación con Web-ECOE; tanto en España como en México, los ECOEs se han utilizado para evaluar la formación de recursos humanos en atención primaria con un fin sumativo de comprobación de competencias adquiridas y en algunos casos en residentes de otras especialidades al finalizar su programa de formación.8,9,20,21
El web-ECOE realizado fue formativo, la realimentación permitió encontrar áreas de oportunidad de mejora, lo que es semejante a lo reportado por otros autores.22-23. Esta evaluación a distancia requirió de la coordinación de múltiples áreas, desde la elección de las estaciones hasta conformar el equipo que participó.
Esta experiencia es un primer acercamiento al uso de la evaluación a distancia a través de un Web-ECOE y puede servir como referente para futuras evaluaciones de la competencia clínica sin que se pierda la objetividad del proceso y la calidad de la educación médica.
CONCLUSIONES
Los residentes provenientes del ENARM tuvieron mejores puntuaciones en las competencias clínicas que los residentes del ECA. Se sugiere continuar con esta línea de investigación para ampliar el tamaño de la muestra y de obtener resultados semejantes realizar intervenciones pertinentes con los residentes provenientes del ECA con el fin de mejorar su nivel de competencia clínica.
Realizar un Web-ECOE permitió evaluar la competencia clínica de los residentes, gracias a que se contó con un equipo de trabajo multidisciplinario y capacitado en la evaluación. Se recomienda continuar con el uso del Web-ECOE con un enfoque eminentemente formativo en los programas de posgrado para evaluar la competencia clínica en forma más integral.
CONTRIBUCIÓN INDIVIDUAL
CARL: Diseño del estudio, desarrollo de la investigación, análisis estadístico, redacción y revisión del manuscrito.
MFVR: Diseño del estudio, revisión del manuscrito.
KYC: Diseño del estudio, revisión del manuscrito.
IJG: Diseño del estudio, revisión del manuscrito.
REPR: Análisis estadístico, revisión del manuscrito.
AAMG: Diseño del estudio, desarrollo de la investigación, análisis estadístico, redacción y revisión del manuscrito.
PRESENTACIONES PREVIAS
Ninguna.
FINANCIAMIENTO
Ninguno.
CONFLICTO DE INTERESES
Ninguno.
