Introducción
La educación médica conjunta espacios educativos y laborales en un contexto asistencial, el cual tiene características específicas que responden a las necesidades del entorno social. Uno de los mayores retos de las universidades formadoras de médicos es repensar, investigar y adaptar las tecnologías para el aprendizaje y el conocimiento (TAC) a procesos de comunicación empática, intercambio social, cultural, profesional y de armonía emocional para los actores universitarios, y con ello, generar medios de comunicación y entornos virtuales de aprendizaje eficaces que contribuyan al progreso personal y profesional de los agentes en formación1.
El propósito de este artículo es describir una aplicación electrónica como posible recurso tecnológico para la evaluación formativa por medio de Actividades Profesionales Confiables en el internado médico (IM) de la Licenciatura de Médico Cirujano de la Facultad de Medicina de la Universidad Nacional Autónoma de México. Se relatan las necesidades, ventajas y limitaciones de migrar del papel hacia los formatos electrónicos para mejorar y hacer más eficiente la evaluación del desempeño de las competencias de los estudiantes.
La tecnología en la enseñanza y evaluación de las competencias médicas
Con la tecnología móvil se han superado las restricciones de costo y portabilidad de diversos recursos educativos y se han creado múltiples aplicaciones para la enseñanza, el aprendizaje, la evaluación de los estudiantes de medicina y para la atención de los pacientes. A las facultades y escuelas de medicina se les demanda hacer esfuerzos para integrar las herramientas tecnológicas en sus planes de estudio de la formación médica. Al no hacerlo, los educadores médicos se arriesgan a producir una generación de clínicos poco preparados para las cambiantes realidades de la práctica médica2.
La evaluación del nivel de logro de las competencias que los médicos requieren alcanzar es una tarea fundamental en el proceso de formación de los mismos. Los celulares y tabletas electrónicas, presentan un gran número de posibilidades para incorporar nuevas formas de evaluación y registro de información durante el desarrollo de las competencias de los estudiantes3.
En el marco de las evaluaciones por medio de las Actividades Profesionales Confiables (APROC), entendidas éstas como una práctica profesional que puede confiarse completamente a un aprendiz, en cuanto este haya demostrado la competencia necesaria para ejecutar esta actividad sin supervisión4 en las residencias médicas, como en pregrado, la implementación de las aplicaciones móviles (App) para capturar los datos y para ofrecer retroalimentación a los evaluados es cada día mayor. Se han realizado estudios para identificar los aciertos y las barreras en la incorporación de las App para evaluar las APROC. En cuanto a los puntos positivos se encontró que tanto profesores como residentes consideraron a las App como fáciles de usar y efectivas para facilitar la retroalimentación inmediata y detallada después del encuentro con el paciente; que la tecnología móvil permite enfoques oportunos y eficientes para la formación y evaluación longitudinal basada en el lugar de trabajo. Reportaron que favoreció la logística de las evaluaciones e impactó de manera positiva en la capacidad de los evaluadores para proporcionar retroalimentación. Lo anterior, mejoró los puntajes en las evaluaciones de los estudiantes conforme adquirían experiencia y avanzaban en su práctica. El uso de la tecnología móvil actuó como un “rompehielos”, alentó el compromiso y facilitó una oportunidad para que el personal y los estudiantes iniciaran un diálogo sobre su rendimiento2,3,5,6.
Las principales barreras en su uso fueron una desigual adopción de la App (en primer lugar, por una diferencia en las habilidades en el uso de la tecnología), la necesidad que tanto estudiantes y profesores encontraron de completar la retroalimentación con una herramienta que genere comentarios más sistemáticos, matizados y completos. Así como la falta de comprensión del profesorado de la escala de las APROC; en este sentido, se ha reportado que la capacitación es esencial para todos los usuarios y debe proporcionarse en una variedad de formatos (presencial y en línea)2,3,5.
Experiencia de la creación de la app “MEDAPPROC” en el internado médico de la facultad de medicina de la UNAM
El Modelo Educativo para Desarrollar Actividades Profesionales Confiables (MEDAPROC) surgió en el año 2012 en respuesta a las necesidades derivadas de la implementación del Plan de Estudios 2010 de la Facultad de Medicina de la UNAM (FM). El equipo multidisciplinario del MEDAPROC, con base en la propuesta de la Association of American Medical Colleges (AAMC), la cual presenta 13 actividades que el médico realiza en su quehacer cotidiano y permiten desarrollar las competencias7, naturalizó las EPA en la FM como Actividades Profesionales Confiables (APROC) al añadirles características propias del contexto médico nacional. MEDAPROC generó dos tipos de APROC, transversales y específicas, las primeras con base en las 13 actividades de la AAMC, y las segundas fueron creadas para cada una de las seis rotaciones del IM (cirugía, ginecología y obstetricia, medicina familiar, medicina interna, pediatría y urgencias). Una vez definidas las 78 APROC específicas (Tabla 1) y las 13 transversales, se integraron 2 dominios: comunicación y profesionalismo (Tabla 2), dando un total de 93 APROC.
Las APROC permitieron realizar una evaluación para el aprendizaje en los estudiantes del IM de la Facultad de Medicina de la UNAM, de la generación 2016. Este tipo de evaluación se realiza durante el proceso de aprendizaje, es interactiva porque permite una relación más estrecha entre profesores y alumnos, así como la selección de las mejores estrategias de enseñanza para el contexto donde se lleva a cabo el proceso educativo. Lo anterior permite que el profesor ajuste sus acciones a las dificultades que observa en los alumnos para emitir una realimentación a cada estudiante, que le ayude a realizar modificaciones que abran nuevas oportunidades de aprendizaje8.
Por cada APROC se crearon registros con los descriptores narrativos y con tres niveles de desempeño para su evaluación y autoevaluación. En cada una de ellas existía el espacio para que el estudiante se autoevaluara y para ser evaluado por residentes, médicos adscritos y coordinadores de la rotación. En su primer momento de implementación se utilizaron las primeras APROC que se desarrollaron: cirugía, ginecología y obstetricia y medicina familiar. Los registros fueron impresos en papel, tenían un tamaño y dimensiones idénticas, pero con contenidos variados dependiendo de la rotación. Los textos impresos presentaban una estructura, los contenidos debían ser legibles para cada uno de los usuarios, y tomar en cuenta la portabilidad, la producción fue lenta y costosa. Para esta primera aplicación se hizo un gasto aproximado de 2,435 hojas. Al evaluar su implementación, uno de los elementos encontrados para mejorar su uso fue la necesidad de utilizar la tecnología para hacer más eficiente su manejo9.
En el año 2016 se desarrolló “medAPProc”, una aplicación electrónica nativa (desarrolladas con el software que ofrece cada sistema operativo a los programadores, llamado genéricamente software development kit o SDK), para dispositivos móviles con sistema operativo Android. Este sistema operativo integral está basado en Linux, y utiliza como base el lenguaje de programación Java, Android incluye un conjunto amplio y extensible de vistas con la cual se crean las vistas de interfaz de usuario, que pueden contener, cuadros de texto, botones, listas desplegables, entre otros. Incluye un conjunto de proveedores de contenido, a través de los cuales accede a datos o comparte sus propios datos. En el año 2017 fue notoria la necesidad de abarcar las plataformas Apple, así como un sistema web. La aplicación fue destinada para llevar a cabo la evaluación formativa en los estudiantes del IM por medio de las APROC transversales y específicas en formato digital para sistemas Android. Este tipo de App permitió aprovechar las posibilidades tecnológicas de los dispositivos móviles en los que son instaladas, se caracterizan por su economía y por el diseño de su interfaz. Se crean para cumplir funciones concretas, el diseño es intuitivo y natural, y también responden a los requisitos de rapidez, gestión, transferencia y funcionalidad10. En el año 2018, todas las APROC de las seis rotaciones del IM, se encontraron disponible en la aplicación “medAPProc” para 1105 estudiantes que realizaron el IM en 62 sedes y subsedes clínicas de diversas instituciones del Sistema Nacional de Salud.
Se cuidó que el diseño de la aplicación electrónica “medAPProc” fuera atractivo, funcional al plantear una misma secuencia de acciones para evaluar a cada estudiante y la misma terminología en los cuadros de diálogo, menús y ventanas. También se procuró que fuera amigable, esto es, de fácil uso e intuitivo, al contener instrucciones bien formuladas y cuadros de diálogo emergentes que guiaran al usuario para realizar los pasos. Fue desarrollada con la característica de ejecutarse sin acceso a la Internet, almacenar los datos y al momento de tener una red WiFi el usuario los puede enviar, ya que en algunas sedes hospitalarias hay zonas sin red de Internet (Figura 1).
Los datos de los usuarios se llenaban previamente a la distribución de la aplicación. Esto es, la coordinación del IM y la Dirección General de Incorporación y Revalidación de Estudios entregaba a los responsables del proyecto y al Departamento de Informática las listas de los estudiantes y docentes que utilizarían la aplicación “medAPProc”, con dichos datos se creaban los usuarios y contraseñas con los números de cuenta de estudiantes y docentes. Se programaba para que, al momento de abrir la aplicación, el docente tuviera disponible la lista de los estudiantes que le concernía evaluar. En el caso de los estudiantes les aparecía la rotación correspondiente en la cual serían evaluados. Posteriormente a cada estudiante y docente se les enviaba un correo electrónico personalizado con su usuario, su contraseña, el enlace de descarga de la aplicación electrónica y un tutorial para la instalación y uso de la misma. Los datos generados de las evaluaciones se almacenaban en una base de datos interna. En “medAPProc” los docentes y estudiantes tenían acceso a las guías técnicas, que son la versión extendida de las APROC, donde se encuentran los propósitos educativos de las mismas y los recursos bibliográficos (como las guías y normas de práctica clínica, artículos científicos de fuentes confiables y manuales) que orientaron, realimentaron y enriquecieron el aprendizaje de los estudiantes9.
Utilización de la aplicación electrónica “medaAPProc”
Para dar a conocer la herramienta y comenzar la implementación en las 62 sedes y subsedes clínicas de diversas instituciones del Sistema Nacional de Salud, se realizó una estrategia de capacitación para docentes, evaluadores y estudiantes en la cual enfatizaron los siguientes objetivos de la evaluación:
Determinar el avance del estudiante en el desarrollo de la competencia (adquisición de conocimientos, habilidades, actitudes, valores y aptitudes).
Identificar y reforzar las fortalezas y áreas de oportunidad en el aprendizaje de los estudiantes.
Establecer estrategias correctivas y de mejora en el proceso de enseñanza-aprendizaje.
Facilitar la autoevaluación del estudiante.
Se realizaron visitas a cada sede clínica para capacitar a estudiantes y docentes, se crearon dos videos para reforzar dicha capacitación, en los cuales se mostraba su uso en una situación real de evaluación y la realimentación proporcionada por el evaluador al estudiante.
En la programación de la aplicación “medAPProc” se cuidó que el diseño fuera atractivo, funcional, que planteara la misma secuencia de acciones para evaluar a cada estudiante y la misma terminología en los cuadros de diálogo, menús y ventanas. También se procuró que fuera fácil de usar, al contener instrucciones bien formuladas y cuadros de diálogo emergentes que guiaron al usuario en todo momento.
Los pasos que un evaluador requirió seguir para ingresar al sistema de evaluación fueron:
Ingresar por medio de una liga proporcionada que contenía un tutorial para instalar “medAPProc” en el teléfono móvil.
Introducir un usuario y contraseña previamente asignado.
Seleccionar a al estudiante a evaluar, automáticamente se desplegaban las APROC para la rotación que cursaba el alumno. De la misma manera que un profesor ingresaba, se llevaban a cabo las autoevaluaciones por parte de los estudiantes.
Experiencia en su utilización
En el año 2018, durante las rotaciones de IM y con base en las oportunidades de supervisión, el estudiante y el docente acordaban la APROC a evaluar. Esto es, si se encontraban en la rotación de cirugía general y un paciente con hernia de pared abdominal solicitaba atención médica, el docente y/o el estudiante señalaban la oportunidad de desarrollar la APROC CG 5 “Proporcionar atención al apaciente con hernia de pared abdominal” (Tabla 1). El docente con base en el descriptor de la APROC observaba la ejecución del estudiante y determinaba su nivel de desempeño y proporcionaba la realimentación necesaria para que éste accediera al siguiente nivel.
Una vez que se registraban las evaluaciones por estudiantes y evaluadores, éstas se enviaban automáticamente al servidor de la Facultad de Medicina, el cual a su vez estaba enlazado a una página web que permitía obtener una base de datos en tiempo real para la generación de los tres tipos de reportes:
Para el estudiante (se le enviaba por correo electrónico y personalizado), que contenían el número de APROC evaluadas, las autoevaluaciones, las heteroevaluaciones, el nivel de desempeño final obtenido por APROC, y la posición que el estudiante ocupaba respecto a su generación.
Para el evaluador (enviado por correo electrónico y personalizado) que incluía el nivel de desempeño final por APROC obtenido por cada estudiante y por grupo (rotación/sede). Así como el grado de concordancia con respecto a otros evaluadores y número de evaluaciones realizadas.
Para los coordinadores (se enviaba por correo electrónico y personalizado) que presentaba el nivel de desempeño final por APROC obtenido por cada estudiante, grupo (rotación/sede) y evaluador. Así como el número de evaluaciones realizadas en total y grado de avance en la implementación del sistema.
Cuando se indagó la experiencia de su uso, los comentarios generales de estudiantes y profesores refirieron que “medAPProc” facilitó el manejo de las evaluaciones de las APROC y trajo los siguientes beneficios:
Portabilidad, se lograba ejecutar en diversas plataformas y de esta manera, los estudiantes y docentes tenía acceso en todo momento del IM a las actividades más relevantes que el estudiante requería desarrollar, ser evaluado y recibir realimentación.
Almacenamiento de los datos de las evaluaciones y autoevaluaciones de manera automática en bases de datos para su posterior análisis.
Acceso inmediato a los resultados de la evaluación y autoevaluación de los estudiantes.
Posibilidad para que el estudiante se autoevaluara y fuera evaluado, las veces que se consideraba necesarias.
Acercamiento a las formas habituales de aprendizaje y comunicación de las generaciones de jóvenes.
Integración de herramientas tecnológicas, a través de software libre.
Estudiantes y profesores dieron muestras de una alta aceptación de “medAPProc”, porque el uso del sistema fue intuitivo y de muy fácil manejo. A raíz de esta experiencia, el sistema web fue desarrollado bajo la necesidad de ampliar los dispositivos a través de los cuales se podría llevar a cabo la evaluación de las APROC, por lo que también tabletas y computadoras pudieron ser utilizadas9.
Las áreas de oportunidad encontradas, coincidentes con la literatura fue la necesidad de una mayor capacitación a los usuarios3, así como mayor seguimiento presencial (por parte del equipo responsable del proyecto), a las sedes para acompañar su implementación. Otra área de mejora fue la falta de un medio de realimentación por medio de la App (en formato escrito o de mensaje de voz), ya que la carga asistencial en las sedes era elevada y en ocasiones el tiempo para realizarla era insuficiente.
Conclusiones
A consecuencia de la pandemia por COVID-19 han surgido y se han perfeccionado los modelos y estrategias pedagógicas con el uso de las tecnologías; ahora más que nunca, se coloca al alumno en el centro de la actividad para fomentar su autonomía11, autoevaluación y capacidad de autoaprendizaje. Las interacciones entre docentes y estudiantes por medio de herramientas tecnológicas han generado roles más horizontales1. Este escenario fomenta la evaluación formativa la cual identifica las necesidades de aprendizaje y proporcionar retroalimentación sobre la diferencia entre el nivel de habilidad actual de un alumno y un estándar dado. Dicho método de evaluación no es un ejercicio neutral e independiente del contexto, sino que se ve afectado por diversos factores, como las interacciones sociales, las tradiciones educativas, los problemas emocionales y formas sutiles de resistencia13. Una implicación importante para los responsables de las instituciones educativas y de atención a la salud será tomar en cuenta los diversos factores que están involucrados para que los métodos de evaluación formativa y las herramientas tecnológicas para llevarla a cabo se implementen correctamente en la clínica.
Las APROC cada vez son más utilizadas con formatos electrónicos para evaluar el logro de las competencias de los estudiantes de medicina. Es recomendable que las instituciones formadoras de médicos, se cuestionen constantemente ¿qué cambios e innovaciones tecnológicas se requieren realizar, tomando en cuenta la realidad del contexto?, ¿qué modificaciones en los instrumentos que utilizan, tanto docentes como estudiantes hay que llevar a cabo para que se incorporen las competencias necesarias para una práctica profesional confiable?, ¿qué mecanismos de capacitación se requieren realizar para que la probable heterogeneidad en las habilidades técnicas en el uso de la tecnología no sea un impedimento?, también ¿cómo formar a los docentes para que los cambios en las interacciones con los estudiantes sean un motor que impulse la evaluación, realimentación y autoevaluación en los alumnos?