nueva página del texto (beta)
Artículo en XML
Referencias del artículo
Traducción automática
Enviar artículo por email
Citado por SciELO 
Similares en
SciELO 
Permalink
Introducción
La misión principal de los planes de estudio en las escuelas de medicina es formar profesionales competentes que satisfagan las necesidades de salud de la sociedad en donde se desempeñan. Actualmente la investigación en educación médica dirige sus esfuerzos para mejorar la evaluación del proceso enseñanza-aprendizaje, con el propósito de asegurar que el alumno desarrolle las competencias para un desempeño óptimo.
De acuerdo con Van der Vleuten1, la competencia clínica está integrada por habilidades cognitivas, psicomotrices y actitudes; por lo tanto requiere información cuantitativa y cualitativa de los componentes de la competencia clínica, que deben ser evaluadas, por un conjunto de procedimientos para obtener información acerca del progreso del aprendizaje del alumno2.
En la literatura se menciona, que la competencia clínica se evalúa de forma subjetiva por el profesor debido a las características de la actividad clínica, ya que la mayoría de los profesores no aplican instrumentos estandarizados de manera sistemática3. O bien, la evaluación de las actividades clínicas se realiza mediante un examen de opción múltiple, aunque es un instrumento muy confiable, solamente evalúa una dimensión de la competencia clínica, es decir, el conocimiento2,3.
Otros componentes importantes de la competencia clínica que no son evaluados de forma objetiva, son las habilidades clínicas, como son: hacer un interrogatorio y un examen físico adecuados, la toma de decisiones para el manejo, el diagnóstico, el tratamiento, y las medidas preventivas3.
Van der Vleuten4 y Morrison5 coinciden en que la utilidad de los métodos de evaluación se fundamenta en su confiabilidad, validez, inversión requerida tanto en el aspecto económico, como en el tiempo que se requiere para su diseño y aplicación, así como recursos humanos necesarios y la aceptabilidad, tanto de los evaluadores como de los evaluados.
Hasta el momento no existe el método ideal para evaluar las habilidades clínicas, sin embargo desde que fue creado por Harden6 et al. en 1975, el ECOE ha sido validado internacionalmente para evaluaciones en el pregrado, como en el posgrado7, particularmente en neurología se han descrito su utilidad y el valor predictivo8. También puede emplearse con distintas finalidades: como evaluación formativa y sumativa9,10, así mismo es útil para evaluar amplias poblaciones de alumnos de manera simultánea, ejemplo de ello, es su uso como sistema nacional de acreditación de los estudiantes de medicina en Canadá y los Estados Unidos10-12.
En la Facultad de Medicina de la UNAM, se utiliza como evaluación formativa al terminar el segundo y el cuarto año (perfil intermedio I y II) y sumativa como parte de la fase práctica del examen profesional13.
Las ventajas del ECOE sobre otras evaluaciones son: versatilidad, objetividad y replicabilidad. Además se evalúa una amplia gama de habilidades clínicas, y estaciones con diferentes grados de dificultad y complejidad6,14,15.
Dentro de los criterios importantes, que se establecen para el examen, es la concordancia entre el programa del curso y su diseño, así también, los estudiantes se evalúan con criterios predeterminados por los profesores en escenarios clínicos similares15.
El ECOE está constituido por una serie de estaciones que forman un circuito que representan un enfoque particular en algún área de la competencia clínica a evaluar. Las estaciones son los espacios donde los alumnos se enfrentan a escenarios con casos clínicos que evalúan la habilidad clínica y desempeños específicos en las tres áreas de dominio: cognitivo, actitudinal y psicomotriz15,16.
Las estaciones pueden ser dinámicas cuando tienen que realizar algún procedimiento con pacientes estandarizados, o estáticas cuando los examinados encuentran indicaciones para realizar alguna tarea como interpretación de imágenes, o estudios de laboratorio, etc.
Ahora bien, los pacientes estandarizados son personas entrenadas para actuar como un paciente que acude a consultar al médico, conoce la historia clínica, así como los aspectos actitudinales del caso clínico que representará16,17. Se les denomina estandarizados porque sus respuestas siempre ofrecen la misma información, reaccionando siempre de la misma manera18. El uso de pacientes estandarizados acerca al alumno a un mundo más real en su desempeño profesional19.
Durante el examen los alumnos rotan de forma sucesiva y simultánea a través de las estaciones, comúnmente son entre 5 a 20 estaciones, con una duración que va entre 6 a 20 min por cada estación. Su diseño requiere una organización y planificación adecuadas de los recursos humanos y materiales, aunque representa cierta desventaja por el costo de su implementación, sin embargo no debe ser una limitante para su uso como estrategia de evaluación clínica20.
Los elementos fundamentales para su diseño según Harden son:
a) Comité del examen, que deberá estar formado por profesionales clínicos de reconocido prestigio (profesores, tutores, miembros de sociedades científicas), en el campo de la docencia y con experiencia en la evaluación clínica. Además deberán ser expertos en el área que será evaluada.
b) Tabla de especificaciones, es el resumen gráfico de la estructura del examen, es el documento fundamental del examen donde se relacionan los casos clínicos, con los instrumentos y con las habilidades clínicas que se evalúan.
c) Diseño de estaciones, en el que se utilizan las listas de cotejo y/o rúbricas, también aquí se especifica el material requerido (silla, mesa, ordenador, instrumentos exploratorios, entrenamiento de paciente simulado, etc.).
d) Logística del examen, que es el ordenamiento sucesivo de las estaciones incluidas en el examen (ya sean situaciones clínicas simuladas, habilidades procedimentales, etc.), así como las características (tiempo, contenido, etc.) y los criterios de evaluación específicos6,16-20.
Con todas las ventajas que el ECOE nos provee y con el propósito de tener mejores herramientas de evaluación de habilidades clínicas neurológicas, se diseñó un ECOE de 18 estaciones para ser aplicado en una prueba piloto a 30 estudiantes del internado de la Facultad de Medicina de la UNAM, ya que son estudiantes que han cursado la asignatura de neurología y se encuentran realizando práctica clínica en ambiente hospitalario, por lo que pueden demostrar las habilidades implicadas en el estudio neurológico del paciente.
Método
Diseño del ECOE
Comité de examen
Se reunió un comité de 12 expertos del área neurológica (neurólogos y neurocirujanos) además de ser docentes, con más de 10 años de experiencia clínica, a quienes se les impartió un taller sobre el ECOE en dos sesiones de 3h cada una, con el propósito de estandarizar sus conocimientos, los temas principales fueron: generalidades del ECOE, elementos básicos para su diseño, especificaciones del examen, áreas de competencia a evaluar y diseño de estaciones6,7.
Tabla de especificaciones
El comité de examen diseñó la tabla de especificaciones tomando en cuenta los objetivos del programa de la asignatura de neurología de la Facultad de Medicina de la UNAM; además seleccionó las situaciones clínicas neurológicas más frecuentes a las que se enfrenta el médico general, y se seleccionaron siete de las diez habilidades clínicas descritas por la Academia Americana de Neurología6,21.
Diseño de estaciones
El comité de examen se dividió en dos grupos para la elaboración de nueve estaciones cada grupo, para un total de 18 estaciones, la validación de contenido y ponderación de la lista de cotejo de cada estación se realizó por juicio de expertos, utilizando el índice de Lawshe22 índice de validez de contenido, para determinar sus características de esencial, útil o complementario16,17.
Una vez elaboradas las estaciones se realizó una segunda validación por 4 profesores expertos en ECOE quienes evaluaron el diseño y la redacción de las listas de cotejo. Con apoyo del Departamento de Evaluación de la Facultad de Medicina se reunió a 18 profesores con experiencia en ECOE, para participar en la aplicación del examen.
Tomando en cuenta la tabla de especificaciones de habilidades clínicas en neurología, diseñada por el comité de examen, los contenidos que integraron las estaciones fueron 14 patologías neurológicas, que incluyeron: enfermedad de Parkinson, trauma craneoencefálico, neuroinfección, enfermedad vascular cerebral, demencia, crisis convulsivas, neurocisticercosis, migraña, síndrome cerebeloso, lumbalgia, neuralgia del trigémino, esclerosis múltiple, miastenia gravis y adenoma hipofisario.
Se evaluaron las siguientes habilidades clínicas: exploración física, interrogatorio, diagnóstico, tratamiento, prevención, interpretación de estudios y toma de decisiones para el manejo. La duración de cada estación fue de 6 min16,17.
Criterios de evaluación
Cada estación fue evaluada en forma dicotómica, como aprobada o no aprobada, de acuerdo al cumplimiento de los criterios de evaluación correspondientes.
Para estaciones con situaciones clínicas simuladas (dinámicas): se utilizaron listas de cotejo con 10 a 18 ítems, en las que se calificó como tarea realizada o no realizada; se consideró tarea no realizada cuando el alumno no la realizó o lo hizo en forma incompleta o incorrecta. La estación se consideró aprobada cuando el alumno obtuvo como mínimo el 60% del total de respuestas correctas6,22.
Para estaciones con resolución de un instrumento escrito (estáticas): se utilizó una lista de cotejo con 5 a 10 ítems. La puntuación de las respuestas se realizó mediante la comparación con las respuestas esperadas, elaboradas previamente por los expertos22.
Pacientes estandarizados
Dos miembros del comité de examen capacitaron a 12 pacientes estandarizados, mediante un taller de seis h, cuyos objetivos fueron: la adecuada comprensión del guión del paciente, la representación del caso clínico, su comportamiento durante el examen, además se incluyeron videos demostrativos de algunos signos clínicos característicos de cada caso, así como el contrato de realidad o de ficción y confidencialidad, este último se refiere a la discreción de las personas y escenarios18-20.
Logística del examen
Una vez diseñado el examen, se convocó a 30 alumnos del internado médico de pregrado de la Facultad de Medicina de la UNAM para participar en la prueba piloto del ECOE, especificando que era para evaluar habilidades neurológicas, en noviembre del 2013. Previo al examen los alumnos que asistieron recibieron información general o instrucciones acerca del mismo (duración de estaciones, tipo, habilidades a evaluar). También firmaron un consentimiento para la prueba piloto y uso de información.
Al finalizar el examen se dio una realimentación a cada alumno sobre su desempeño (dudas acerca del diagnóstico, signos clínicos, etc.)23,24.
Resultados
Con base en los problemas neurológicos más frecuentes a los que se enfrenta el médico general, diseñamos una tabla de especificaciones del examen con siete habilidades clínicas neurológicas para ser evaluadas en un escenario clínico.
Las habilidades clínicas neurológicas evaluadas fueron: exploración física, interrogatorio, diagnóstico, tratamiento, prevención, interpretación de estudios y toma de decisiones del manejo (Tabla 1).
Tabla 1 Tabla de especificaciones de habilidades clínicas neurológicas de un examen clínico objetivo y estructurado
EVC: enfermedad vascular cerebral; FMS: funciones mentales superiores; LCE: líquido cerebroespinal; Sx: síndrome; TCE: traumatismo craneoencefálico.
Luego se elaboraron un total de 18 estaciones, 12 estaciones de procedimientos (dinámicas) donde participaron pacientes estandarizados y 6 de interpretación (estáticas).
De los 30 estudiantes convocados solo acudieron 14, a quienes se aplicó el ECOE.
El promedio global de las estaciones fue de 6.53 con una desviación estándar de±0.62. La estación que obtuvo el promedio más alto fue la de Glasgow con una puntuación de 9.39, desviación estándar de ±1.0 y la que obtuvo el promedio más bajo fue la de interpretación de estudio de líquido cerebroespinal con una puntuación de 5.6 y desviación estándar±0.2. El índice de confiabilidad de alfa de Cronbach global fue de 0.62 (Tabla 2).
Discusión
Continuamente las escuelas de medicina realizan esfuerzos para mejorar la evaluación de los estudiantes durante su formación. Los esfuerzos para evaluar no solo la amplitud y profundidad de sus conocimientos, sino también su capacidad para aplicar este conocimiento en la práctica clínica. Sin embargo, las evaluaciones mediante procedimientos no estandarizados, basadas en percepciones de los profesores, obtenidas durante los encuentros al lado de la cama del paciente durante las rotaciones, o en sesiones de caso clínico, pueden ser subjetivas e influenciadas sustancialmente por la experiencia y temperamento del docente, así como la variabilidad de los casos clínicos disponibles.
El ECOE es una herramienta que evalúa lo que el estudiante es capaz de hacer y ha demostrado ser un método que posee atributos de validez y confiabilidad que permite evaluar múltiples habilidades clínicas3,6,7. Se considera el estándar de oro10 y actualmente es la herramienta que aporta una mayor objetividad en la evaluación de habilidades clínicas en neurología en estudiantes de medicina según Heckmann25.
El proceso del diseño es un componente clave para el logro de los propósitos del examen, de acuerdo a la literatura sus componentes son: el comité de examen, compuesto por profesores expertos en el área clínica, a quienes se les puede capacitar en el ECOE en caso de no tener experiencia previa6,7.
Un segundo punto es la elaboración de la tabla de especificaciones, que comprende las habilidades clínicas a evaluar y los casos clínicos que darán lugar a las estaciones así como las listas de cotejo, por lo que el comité del examen es el responsable del diseño y por lo tanto de la validez de su contenido6,20-22.
En este estudio el ECOE estuvo compuesto por 18 estaciones de 6 min cada una, que está dentro de las recomendaciones del número de estaciones para el examen según Harden6,20. Sin embargo las estaciones realizadas en un ECOE para neurología según la literatura varían de dos a diez estaciones, a diferencia de este estudio con 18 estaciones18,24,25.
Participaron un total de 12 pacientes estandarizados, que representan más de la mitad de las estaciones del ECOE. En este aspecto del diseño se ha reportado el uso de pacientes estandarizados 1 a 93 según Patricio15. La capacitación de los pacientes se llevó a cabo en dos sesiones, tomando en consideración los criterios de Harden: de exactitud, consistencia, replicabilidad y portabilidad en la actuación del paciente6,18,19,26.
El personal involucrado para realizar el diseño y la prueba piloto del estudio se conformó de un total de 44 personas. Este punto es crítico ya que para realizar un examen estándar de 18 estaciones, la coordinación y planeación del examen es muy importante16,17. Además de requerirse personas con una actitud entusiasta y con sentido de responsabilidad y compromiso para mejorar el proceso educativo en medicina.
Hay estudios que reportan el uso del ECOE para evaluar habilidades clínicas en neurología, sin embargo solo se realizan inmediatamente después de la rotación por neurología y no en el internado médico, como este estudio8,23,25.
La prueba mostró una confiabilidad medida con el alfa de Cronbach de 0.62 lo cual coincide con lo reportado con una reciente revisión sistemática donde fue de 0.6515,16.
Un estudio reportado por Luckas8 que realizó un ECOE en neurología con 195 estudiantes de tercer año, pero solo utilizó dos estaciones de 30 min cada una, encontrando una distribución normal en la puntuación de los estudiantes pero no datos de confiabilidad.
En la Tabla 2 de este estudio también se observó una distribución normal y la confiabilidad para cada estación estuvo entre 0.51 y 0.62.
La estadística descriptiva indica que el rendimiento de los estudiantes no fue notoriamente diferente, de un caso a otro, este hallazgo coincide con lo reportado por el National Board Medical Examiners10 y los resultados de un estudio de un ECOE aplicado a la rotación por neurología8,25.
En cuanto a las habilidades clínicas evaluadas en otros exámenes reportados son muy similares aunque el contexto del caso clínico puede variar como resultado de las diferencias epidemiológicas de las enfermedades neurológicas de cada región donde se aplique el ECOE8,25,27.
Una de las recomendación principales de Harden y otros autores para mejorar la validez, confiabilidad y objetividad del examen es tener gran cuidado en su diseño, planificación y administración6,24,25,27. Tomando en cuenta los elementos fundamentales para su diseño, el comité de examen y el uso de la tabla de especificaciones son clave, aunque también se requiere la participación de un número mayor de estudiantes para pilotear el examen.
Conclusiones
A pesar de la limitación en este estudio, consideramos que el diseño de este tipo de exámenes puede contribuir a mejorar la calidad de las evaluaciones clínicas, haciéndolas más objetivas y brindando la oportunidad de realimentar verdaderamente el proceso de enseñanza-aprendizaje.
También reconocemos con esta experiencia, que se debe mejorar la promoción de los exámenes formativos, para aumentar la participación de los alumnos, porque estos exámenes tienen una función muy valiosa en el proceso de enseñanza-aprendizaje que es brindarle al alumno la posibilidad de autoevaluarse, dándole confianza, y disminuyendo su ansiedad, a la hora de realizar una evaluación sumativa.
Responsabilidades éticas
Protección de personas y animales. Los autores declaran que para esta investigación no se han realizado experimentos en seres humanos ni en animales.
Confidencialidad de los datos. Los autores declaran que en este artículo no aparecen datos de pacientes.
Derecho a la privacidad y consentimiento informado. Los autores declaran que en este artículo no aparecen datos de pacientes.
