Introducción

El examen profesional es una evaluación sumativa de altas consecuencias a través de la cual las escuelas y facultades de medicina aseguran que sus estudiantes posean las competencias necesarias para el ejercicio de la profesión¹. De forma general, un examen profesional en medicina está integrado por una fase teórica y otra práctica; la primera consta de reactivos de opción múltiple; y la segunda puede realizarse a través de diversas estrategias como exámenes ante pacientes reales, exámenes clínicos y objetivos estructurados, entre otras.

Debido a las medidas de distanciamiento social derivadas de la pandemia por la COVID-19 se suspendieron las actividades presenciales (clases, rotaciones clínicas, evaluaciones, etc.) de los estudiantes de pregrado en las escuelas y facultades de medicina^2,3. Esta situación desencadenó un incremento en el uso de las tecnologías del aprendizaje y el conocimiento, ya que muchas de las actividades educativas y de evaluación fueron migradas al entorno digital en primera instancia como una medida de emergencia^3-6.

La telesimulación es una estrategia de enseñanza donde se utilizan las telecomunicaciones (teléfonos inteligentes, tabletas electrónicas, computadoras, cámaras de video, micrófonos, conexión a Internet, softwares especializados, entre otros) y los recursos de un centro de simulación (bibliotecas de imágenes y sonidos, instructores de tareas, simuladores, pacientes estandarizados, etc.) con la finalidad de brindar entornos para el aprendizaje y la evaluación en un sitio distante al centro de simulación^7,8.

Esta estrategia fue descrita por primera vez hace aproximadamente una década y desde entonces, ha sido usada principalmente en países con recursos limitados para desarrollar y evaluar habilidades cognitivas, procedimentales y afectivas en diferentes áreas del conocimiento como la anestesiología, cirugía, medicina de urgencias y pediatría^9-11.

Ante el panorama educativo derivado de la pandemia por la COVID-19, en una universidad de la Ciudad de México se diseñó y aplicó un examen profesional práctico a través de telesimulación para evaluar competencias clínicas en estudiantes de medicina; sin embargo, a pesar de que la telesimulación ha sido usada previamente con fines de evaluación, actualmente se desconoce la relación que existe entre los resultados de las evaluaciones teóricas y las evaluaciones realizadas mediante telesimulación en exámenes de altas consecuencias.

Objetivo

El objetivo de este estudio fue determinar la asociación que existe entre los resultados de la fase práctica de un examen profesional realizada a través de telesimulación y los resultados de la fase teórica de un examen profesional aplicada en línea con reactivos de opción múltiple.

Método

Contexto: En México, los exámenes profesionales de medicina se realizan después de haber cubierto el 100% de los créditos (al término del internado médico de pregrado) y tienen dos fases: una teórica y otra práctica.

En la mayoría de las instituciones educativas de nuestro país, la fase teórica del examen profesional es realizada y aplicada por el Centro Nacional de Evaluación para la Educación Superior (CENEVAL), una asociación civil sin fines de lucro externa a las universidades que, entre otras actividades, se encarga de verificar que los egresados de la licenciatura en medicina general posean los conocimientos necesarios para iniciar el ejercicio profesional¹².

Una vez que los estudiantes acreditan la fase teórica, las universidades se encargan de verificar que sus estudiantes posean las competencias clínicas necesarias para ejercer la medicina a través de la aplicación de la fase práctica del examen profesional.

Descripción general del estudio: Se realizó un estudio descriptivo, transversal y correlacional. Se incluyó a todos los estudiantes inscritos al ciclo escolar 2020-I y 2020-II que aceptaron participar en el estudio, aprobaron el Examen General para el Egreso de la Licenciatura en Medicina General (EGEL-MEDI) realizado por el CENEVAL, y sustentaron la fase práctica del examen profesional realizada por nuestra institución a través de telesimulación. La participación de los estudiantes fue voluntaria y anónima.

Fase teórica: Los participantes del estudio sustentaron y aprobaron el EGEL-MEDI, el cual es un examen de cobertura nacional diseñado y aplicado por el CENEVAL que evalúa el nivel de conocimientos teóricos en medicina general.

Esta evaluación es aplicada en línea y consta de 193 reactivos de opción múltiple que evalúan cuatro áreas del conocimiento: promoción de la salud y prevención de riesgos; diagnóstico médico; tratamiento y evolución; y sociomedicina. Los resultados de cada una de las áreas del conocimiento se expresan en una escala de 700 a 1,300. El puntaje mínimo para aprobar cada área es de 1,000 puntos (dominio satisfactorio). Para obtener un resultado aprobatorio es necesario tener un dominio satisfactorio o sobresaliente (mayor de 1,150 puntos) en al menos tres de las cuatro categorías exploradas¹².

Fase práctica: Inicialmente, mediante un consenso de expertos se diseñaron casos clínicos cuyo contenido fue basado en los problemas de salud más frecuentes en México, que se presentan en el primer nivel de atención médica. Se cuidó el realismo, la congruencia con la literatura actual y la factibilidad de ser representado por un paciente virtual estandarizado.

Tanto estudiantes como sinodales contaron con todos los requerimientos tecnológicos para una sesión de videoconferencia (banda ancha, equipo de cómputo, audio, video, entre otros).

A cada estudiante se le solicitó: conectarse por videoconferencia, mantener su cámara encendida, ubicarse en un espacio apto para brindar la atención a un paciente, equipo de exploración física (lámpara, estetoscopio, baumanómetro, etc.) y contar con modelo humano (familiar, amigo, voluntario, etc.).

Al inicio de la evaluación, el estudiante realizó el interrogatorio a un paciente virtual estandarizado que representó uno de los casos clínicos previamente diseñados. Después de concluir el interrogatorio, se le solicitó al estudiante realizar las maniobras de exploración física en su modelo anatómico, y los hallazgos clínicos correspondientes fueron compartidos mediante telemedicina con los recursos audiovisuales de la biblioteca de imágenes y sonidos del centro de simulación de nuestra institución. Posteriormente, el estudiante solicitó e interpretó los estudios diagnósticos correspondientes y comunicó al paciente virtual estandarizado tanto el diagnóstico como las medidas preventivas, terapéuticas y de rehabilitación de acuerdo al caso clínico planteado. Finalmente, el estudiante tuvo un periodo de discusión del caso clínico y realimentación de los evaluadores.

La fase práctica tuvo una duración aproximada de 70 minutos y para la evaluación se utilizó una adaptación del instrumento propuesto por Martínez-González¹³. La estructura interna del instrumento original presenta un Alpha de Cronbach de 0.94 y un coeficiente G de 0.80, valores obtenidos de una aplicación a 93 estudiantes de 3 escuelas de medicina¹⁴.

La rúbrica que se utilizó en este estudio evalúa la competencia clínica en una escala de 0 a 100. Abarca 8 dimensiones (habilidades en: el interrogatorio, la exploración física, la solicitud e interpretación de estudios de laboratorio y gabinete, el diagnóstico, el plan preventivo y terapéutico, la comunicación, la valoración global de los conocimientos y la elaboración de una nota médica) y las evalúa en 5 niveles de desempeño (no evaluable, insuficiente, suficiente, bueno y excelente).

Muestreo y análisis estadístico: Se realizó un muestreo no probabilístico por conveniencia en el cual se incluyó a todos los estudiantes que concluyeron el internado médico de pregrado durante el ciclo escolar 2020-I y 2020-II y sustentaron las dos fases del examen profesional (teórica y práctica).

Se excluyó a los estudiantes que no aprobaron la fase teórica y a quienes no tuvieron los requerimientos tecnológicos necesarios para sustentar la fase práctica del examen por telesimulación.

El manejo de los datos fue con la versión 25 del software Statistical Package for Social Sciences para Microsoft Windows. Para analizar los datos se utilizaron estadísticos descriptivos (frecuencia, percentiles, media y desviación estándar). Se realizaron pruebas de normalidad a las variables cuantitativas (Kolmogorov-Smirnov). Se utilizó el coeficiente de correlación de Pearson o Spearman según la distribución de las variables y un análisis de regresión lineal simple. La comparación entre grupos fue con estadísticos inferenciales. Se consideró como significativo a un valor de p ≤ 0.05 en todas las variables^15-17.

Consideraciones éticas

Este estudio siguió las recomendaciones para la investigación en seres humanos de la Declaración de Helsinki de la Asociación Médica Mundial; además, cuenta con la aprobación del comité local de investigación (UW/FM/IE/CCC/2021/FEB/01) y, para evitar daño potencial a los estudiantes, su participación fue voluntaria y anónima.

Resultados

Un total de 75 estudiantes participaron en el estudio, el 59% mujeres (n = 44) y el 41% hombres (n = 31). La media de la edad fue de 24.18 ± 2.07 años. El 28% (n = 21) fue de la generación 2020-I y el 72% (n = 54) de la generación 2020-II.

En una escala de 700 a 1,300, la media de la calificación del examen teórico fue de 1,014.62 ± 26.38. En una escala de 0 a 100, la media de la calificación del examen práctico fue 69.18 ± 13.93.

En el examen teórico, las mujeres obtuvieron una calificación de 1,014.61 ± 25.91 y los hombres 1,014.62 ± 27.45, p 0.49. En el examen práctico, las mujeres obtuvieron una calificación de 68.37 ± 14.05 y los hombres 70.33 ± 13.89, p 0.74.

La comparación entre grupos por generación no evidenció diferencias estadísticamente significativas. La generación 2020-I obtuvo una calificación de 1,014.69 ± 27.37 en el examen teórico y 71.99 ± 13.61 en el examen práctico. La generación 2020-II obtuvo una calificación de 1,014.58 ± 26.4 en el examen teórico y 68.09 ± 14.01 en el examen práctico.

El coeficiente de correlación entre los resultados globales del examen teórico y práctico fue de 0.70, p ≤ 0.01 (Figura 1). La correlación entre el resultado de las habilidades para el diagnóstico fue de 0.59, p ≤ 0.01, y de las habilidades para el tratamiento fue de 0.63, p ≤ 0.01 (Tabla 1). El análisis de regresión lineal mostró la existencia de una asociación positiva entre el resultado de la fase teórica y práctica del examen profesional explicada por la ecuación X= (-177.91) + (0.25Y), donde X es la calificación del examen práctico y Y la calificación del examen teórico, R² 0.43, p ≤ 0.01.

Figura 1 Resultados de la fase teórica y práctica del examen profesional 

Discusión

En este estudio, de manera sincrónica a través de videoconferencia y con el uso de la telesimulación, se evaluaron algunas competencias clínicas durante la fase práctica del examen profesional.

Durante la contingencia sanitaria derivada de la COVID-19 se evidenció más la necesidad del egreso ininterrumpido de profesionales de la salud y, ante este panorama, el uso de la simulación en conjunto con las tecnologías del aprendizaje y el conocimiento ha eliminado algunas de las barreras derivadas del distanciamiento social; con ello, ha sido posible evaluar competencias clínicas en estudiantes de medicina al final de su formación. Sin esta alternativa, los estudiantes que concluyeron sus estudios al inicio de esta pandemia, no habrían egresado por ser privados de la posibilidad de sustentar su examen profesional o habrían egresado sin confirmar que poseen las competencias clínicas necesarias para ejercer la medicina^18-20.

Antes de la COVID-19, al final de la formación médica, las competencias clínicas eran evaluadas a través de diferentes herramientas como exámenes ante pacientes reales, exámenes clínicos objetivos estructurados, entre otras; sin embargo, estas modalidades de evaluación requieren de la interacción entre personas, por ende, fueron suspendidas temporalmente en diversas instituciones educativas. En este sentido, las tecnologías del aprendizaje y el conocimiento han demostrado ser una herramienta valiosa para hacer frente al panorama educativo derivado del contexto epidemiológico actual^18,21.

En general, se entiende por competencia clínica al conjunto de conocimientos, habilidades, actitudes y aptitudes que, entre otras cosas, permiten a los médicos comunicarse efectivamente con los enfermos y otros profesionales de la salud, obtener información relevante a través del interrogatorio, identificar signos físicos, solicitar e interpretar pruebas diagnósticas, integrar diagnósticos, elaborar documentos y realizar las intervenciones preventivas, terapéuticas y de rehabilitación necesarias^22,23.

Se reconoce que el uso de la telesimulación como estrategia única de evaluación no es suficiente para medir en su totalidad a la competencia clínica de los estudiantes al final de su formación; sin embargo, las evaluaciones virtuales sí pueden aportar información valiosa sobre algunos componentes de la competencia clínica, como las habilidades de integración clínica, razonamiento clínico, interpretación de pruebas diagnósticas, elaboración de documentación y comunicación¹⁹.

Existe literatura que apoya el uso de la telesimulación para desarrollar y evaluar habilidades clínicas^7-11; sin embargo, es necesario reconocer que las herramientas tecnológicas actualmente disponibles no permiten incluir de forma adecuada algunos componentes de la valoración clínica, como el olor del paciente, hallazgos clínicos obtenidos a través del tacto o de una técnica diagnóstica específica, entre otros^22,24-27. Es posible que las barreras de la telemedicina y la telesimulación derivadas de la brecha tecnológica tengan cierta repercusión en el desarrollo y evaluación de la competencia clínica y, dicho impacto deberá ser evaluado en un futuro cercano.

Según Hopwood, una forma de disminuir las barreras tecnológicas de la telesimulación consiste en solicitar al estudiante que describa paso a paso la técnica a desarrollar, lo cual puede ayudar a evaluar sus habilidades para la exploración física²³; sin embargo, verbalizar no es totalmente equiparable a explorar, ya que incluso, tanto en entornos presenciales como en los virtuales, resulta complicado enseñar, aprender y evaluar ciertas habilidades para la exploración física²⁸.

Los principales retos que se enfrentaron durante la aplicación del examen profesional práctico en este estudio fueron de tipo tecnológico; por ejemplo, el desfase de audio ocasionado por mala conectividad de internet en algunos participantes, situación que ocasionó dificultades con la comunicación durante la evaluación. Al respecto, Mills y cols. aseguran que algunas de las limitantes de la telesimulación están principalmente relacionadas con la comunicación y la calidad de los datos que se transmiten (imágenes, sonidos, etc.)²⁹.

Contrario a las dificultades expuestas, la principal ventaja observada de la evaluación de competencias clínicas a través de telesimulación fue que se evitó el traslado de los estudiantes, pacientes y evaluadores al lugar del examen; por lo tanto, se disminuyó la interacción social y el riesgo de contagio por SARS-CoV-2. Además, la literatura disponible asegura que la evaluación clínica virtual disminuye tiempos de evaluación, tiene costos relativamente bajos y aumenta la satisfacción de los estudiantes, ya que a pesar del contexto educativo actual pudieron concluir su formación médica^19,23,29,30.

Durante la fase práctica por telesimulación fue posible explorar varios componentes de la competencia clínica; por ejemplo, cuando los estudiantes realizaron el interrogatorio, los evaluadores pudieron constatar aspectos como su organización, estructura, relación con el padecimiento actual y el profesionalismo. Además, por observación directa, se evaluó la habilidad de los estudiantes para ejecutar algunas maniobras de exploración física con el modelo humano y se pudo determinar si se llevaron a cabo de manera completa, sistemática y orientada al padecimiento actual. Las habilidades para solicitar e interpretar pruebas diagnósticas fueron evaluadas sin ningún obstáculo. Finalmente, las habilidades para la elaboración de documentos, tratamiento y comunicación fueron exploradas satisfactoriamente cuando se les solicitó a los estudiantes realizar una nota médica, la receta, brindar el informe médico y las medidas de prevención, tratamiento y rehabilitación al paciente virtual estandarizado.

Por otra parte, dada la necesidad de responder rápida y eficazmente a las necesidades de evaluación derivadas de la emergencia por la pandemia por la COVID-19, en la fase práctica los estudiantes solo tuvieron la oportunidad de resolver uno de los casos clínicos diseñados, lo cual podría no representar totalmente el nivel de desempeño de sus competencias clínicas. Es deseable que mientras permanezca la necesidad del distanciamiento social, para obtener una evaluación más objetiva se realicen los esfuerzos necesarios para que las evaluaciones de competencias clínicas se lleven a cabo mediante Exámenes Clínicos Objetivos Estructurados Virtuales (Web-ECOE)¹⁹.

Durante el diseño y la aplicación de la fase práctica se cuidaron los aspectos académicos, logísticos y tecnológicos para asegurar una evaluación objetiva. Al respecto, Hopwood describe 12 pasos para elaborar un Web-ECOE de manera exitosa; en ellos aconseja que las evaluaciones clínicas virtuales incluyan una planeación estructurada, tomen en cuenta la infraestructura institucional (centro de simulación, equipo de computación, plataformas para videoconferencias, softwares para la gestión del aprendizaje, entre otros), los recursos de los participantes (disponibilidad de teléfonos móviles, tabletas electrónicas, computadoras, conectividad a internet, etc.) y se garantice una comunicación efectiva antes, durante y después de la evaluación para favorecer un proceso objetivo, eficiente y eficaz²³.

El coeficiente de correlación encontrado indica una asociación positiva moderadamente alta entre el resultado de la fase teórica y el de la fase práctica; al respecto, es importante resaltar que la planeación y aplicación de ambas evaluaciones fueron totalmente independientes puesto que la fase teórica fue realizada por una asociación civil externa a nuestra institución, y la práctica fue realizada por nuestra universidad. Esta situación aporta evidencia de validez a la evaluación de competencias clínicas mediante telesimulación; ya que en general, los estudiantes que obtuvieron resultados altos en la evaluación teórica, también evidenciaron un buen desempeño en la fase práctica.

Por otra parte, al realizar el análisis independiente por cada una de las habilidades exploradas en ambas evaluaciones, se identificó una asociación moderada, pero estadísticamente significativa, entre los resultados que exploraron las habilidades para el diagnóstico y el tratamiento. De este hallazgo se puede inferir que la telesimulación es una herramienta útil para evaluar algunos componentes de la competencia clínica, necesarios para integrar diagnósticos y brindar tratamientos (comunicación, pensamiento crítico, interpretación de pruebas diagnósticas, razonamiento clínico, toma de decisiones, profesionalismo, etc.). Esta aseveración concuerda con Díaz y Walsh, quienes afirman que la telesimulación permite evaluar de manera profunda las habilidades cognitivas de los estudiantes a través de discusiones sobre el reconocimiento de la enfermedad e incluso ayuda a explorar su toma de decisiones ante el paciente²⁷.

La comparación entre los resultados que exploraron las habilidades sociomédicas fue prácticamente nula. Al respecto, vale la pena aclarar que el diseño de nuestra rúbrica de evaluación se realizó con el objetivo de evaluar las competencias clínicas declaradas en el plan de estudios de nuestra institución; por ello, el rubro dedicado a las habilidades sociomédicas se enfocó principalmente en explorar la competencia para la comunicación y el profesionalismo con el paciente y, en la fase teórica, la categoría de habilidades sociomédicas exploró acciones médico-legales, vigilancia epidemiológica, funcionamiento del sistema nacional de salud y educación e investigación en salud¹².

El análisis de regresión lineal simple evidenció que, en el modelo planteado, el resultado del examen práctico mediante telesimulación está determinado solo en un 43% por el resultado de la fase teórica. Este resultado apoya la necesidad de realizar evaluaciones complementarias a los exámenes teóricos, como las realizadas en este estudio u otras (como el Web-ECOE) para garantizar que al egreso de la licenciatura los estudiantes poseen las competencias necesarias para ejercer la medicina con calidad³¹.

Conclusiones

Este estudio mostró que existe un coeficiente de correlación moderadamente alto entre los resultados de una evaluación teórica en línea y los de una evaluación práctica a través de telesimulación clínica.

La telesimulación es una herramienta útil para evaluar algunas dimensiones de la competencia clínica y, dado que favorece las medidas para contener la pandemia de la COVID-19, en el contexto educativo actual puede ser usada en exámenes de altas consecuencias al final de la formación médica.