Artículo original

 

Examen Clínico Objetivo Estructurado como instrumento para evaluar la competencia clínica en Pediatría. Estudio piloto

 

Objective Structured Clinical Examination as an instrument for evaluation of clinical competence in pediatrics. A pilot study

 

Tamara Gamboa-Salcedo,¹ Norma Martínez-Viniegra,⁴ Yolanda Rocío Peña-Alonso,² Aarón Pacheco-Ríos,¹ Rocío García-Durán,⁵ Jerónimo Sánchez-Medina³

 

¹ Dirección de Enseñanza y Desarrollo Académico;

² Departamento de Patología Clínica y Experimental;

³ Subdirección de Atención Ambulatoria, Hospital Infantil de México Federico Gómez

⁴ División de Estudios de Posgrado;

⁵ Secretaría de Educación Médica Facultad de Medicina, Universidad Nacional Autónoma de México México D.F., México

 

Autor de correspondencia:
Dra. Tamara Gamboa Salcedo
Correo electrónico: tamois@hotmail.com

 

Fecha de recepción: 27-07-10
Fecha de aceptación: 07-03-11

 

Resumen

Introducción. La evaluación es un componente esencial del proceso enseñanza-aprendizaje que motiva y dirige al alumno hacia sus objetivos y permite a los docentes conocer si los educandos poseen la destreza y el grado de conocimientos necesarios para una práctica profesional competente. En medicina no existe el método ideal de evaluación, por eso se recomienda el uso de diversos instrumentos como el Examen Clínico Objetivo Estructurado (ECOE) que ha mostrado su utilidad para evaluar las destrezas clínicas. El objetivo de este trabajo fue describir la experiencia de docentes y alumnos en la elaboración y la aplicación de un ECOE en un hospital pediátrico.

Métodos. Se preparó un ECOE de 20 estaciones que se aplicó en un estudio piloto a 20 alumnos (2 residentes de primer año, 7 de segundo y 11 de tercero). Para cada estación se definieron los criterios de evaluación y el punto de corte. Con los datos obtenidos se calcularon los promedios por estación y por año de residencia.

Resultados. El ECOE se llevó a cabo durante 2 horas con 20 minutos. Las estaciones aprobadas por los alumnos, de manera global, fueron doce. El valor promedio de las 20 estaciones fue 6.53, con una desviación estándar (DE) de 0.62 [R1 = 6.13 (DE 0.43), R2 = 6.26 (DE 0.60) y R3 = 6.76 (DE 0.59)].

Conclusiones. El ECOE es un método válido y confiable que permite evaluar la competencia clínica de manera integral. La experiencia de su uso en programas de posgrado ha sido limitada; sin embargo, el presente estudio muestra que es una herramienta factible que puede resultar de gran valor tanto para los pediatras en formación como para sus profesores.

Palabras clave: evaluación, Examen Clínico Objetivo Estructurado, educación médica de posgrado, competencia profesional.

 

Abstract

Background. Assessment is an essential component of the teaching-learning process that stimulates and leads learners towards their goals and allows teachers to ascertain whether the students have acquired the necessary knowledge and clinical skills to be professionally competent. In medicine, the ideal assessment method does not exist; therefore, the use of several assessment instruments is advised; among them, the Objective Structured Clinical Examination (OSCE) has proven its advantage assessing clinical skills. The aim of this work is to describe the experience of teachers and learners developing and applying an OSCE in a children's hospital.

Methods. Twenty OSCE stations were designed and applied in a pilot study. The assessment criteria for each station were defined. Individual marks were recorded and means for each station and year of residency were calculated (two first-year residents, seven second-year residents and 11 third-year residents).

Results. The OSCE lasted 2 h and 20 min. Overall, 12 stations were accredited. The overall mean was 6.53, standard deviation (SD) 0.62; the mean for first-year residents was 6.13 (SD 0.43), for second-year residents 6.26 (SD 0.60) and 6.76 for third-year residents (SD 0.59).

Conclusions. The OSCE isa valid and reliable method that permits an integral evaluation of clinical competence. The experience with this instrument has been limited to assessing postgraduate students. This study, however, shows that it is a useful tool that may be valuable for resident pediatricians and their professors.

Key words: assessment, OSCE, graduate medical education, professional competence.

 

INTRODUCCIÓN

El papel de la Medicina en una sociedad cambiante y las expectativas que los pacientes tienen de sus médicos son factores que influyen en la evolución de los contenidos y la implementación de los planes de estudios de las instituciones formadoras de personal sanitario.¹ La educación médica debe responder al contexto en el que opera y actualmente hay una tendencia a incluir menos conocimientos teóricos y más habilidades y aptitudes en los planes de estudio de la carrera de Medicina y sus especialidades.²

La evaluación es una parte importante del proceso de educación que contribuye a la mejora continua de las instituciones y al desarrollo profesional de todo el personal de las instituciones de salud.³ El binomio aprendizaje-evaluación se debe considerar como un ciclo y no como un proceso separado del aprendizaje;⁴ su principal objetivo es optimizar las capacidades de los educandos, proporcionando motivación y dirección para su futuro aprendizaje y desempeño.⁵ De esta manera, y tomando en consideración que la evaluación forma parte del proceso de formación, ambos deberán abarcar las competencias.⁶ De acuerdo con Van der Vleuten y Schuwirt⁷ la competencia está integrada por habilidades cognitivas, psicomotrices y afectivas y todas ellas deben ser evaluadas, entendiendo por evaluación la gama de procedimientos utilizados para obtener información acerca del aprendizaje de los alumnos y la formación de juicios de valor sobre el progreso de su aprendizaje.⁸ Van der Vleuten⁹ y Morrison³ coinciden en que la utilidad de los métodos de evaluación está dada por su confiabilidad, validez, inversión requerida y aceptabilidad tanto de los evaluadores como de los evaluados. Además, el primer autor sostiene el impacto educativo de la evaluación como criterio de utilidad.⁹ El método de evaluación ideal es utópico debido a que todos tienen fortalezas y defectos^5,7 por lo que se recomienda utilizar diferentes instrumentos si se busca que los resultados obtenidos sean lo más cercanos a la realidad.^3,10,11

El Examen Clínico Objetivo Estructurado (ECOE) fue diseñado en 1975 por Hardeny cols. y consiste en una serie de estaciones de evaluación, que pueden ser dinámicas o estáticas, cada una con un enfoque particular en algún área de competencia.¹² Este método de evaluación se utiliza cada vez con mayor frecuencia en diversas áreas de la salud.¹³ El ECOE forma parte de los sistemas de evaluación de las instituciones de salud, de las escuelas de Medicina y de las sociedades científicas.¹⁴ Entre las ventajas que ofrece destacan las siguientes:

a) Puede emplearse con distintas finalidades: como examen diagnóstico,¹⁵ como evaluación formativa⁶ y como evaluación acreditativa. Como ejemplos están el examen del Royal College of Physicians de Canadá, el examen de evaluación de habilidades clínicas en los Estados Unidos de América (Comisión Educativa para Graduados Extranjeros en Medicina)^6,16 y, en nuestro medio, el examen profesional de Medicina de la Facultad de Medicina de la Universidad Nacional Autónoma de México (UNAM) y el examen del posgrado en Medicina Familiar.¹⁷

b) Permite la evaluación de competencias clínicas sin los sesgos característicos de los métodos convencionales de evaluación de las competencias,⁶ ya que lo hace en el contexto del paciente, con mayor objetividad. Además, la diversidad del contenido permite que se evalúen más áreas en menos tiempo.^18,19 Otra ventaja sobre los métodos habituales es que evalúa situaciones que son difíciles de evaluar por métodos convencionales como la relación médico-paciente, las técnicas de interrogatorio, las habilidades de comunicación y la competencia cultural.^16,20

c) Es factible que se pueda realizar en varios sitios de manera simultánea, lo que permite evaluar a un mayor número de alumnos al mismo tiempo.

Su principal desventaja es el costo que representa su implementación, tanto por el tiempo invertido como por los recursos humanos y materiales que requiere. En el caso de la Pediatría su uso ha sido limitado, posiblemente debido a la dificultad para conseguir pacientes estandarizados en edad pediátrica ya que esto conlleva diversos obstáculos.^6,21

En nuestra institución, la evaluación global de los residentes de Pediatría se lleva a cabo mediante una cédula mensual en la que se evalúa lo siguiente: el desempeño en diferentes servicios, los exámenes periódicos de opción múltiple y una evaluación final oral en la que participan profesores de las diferentes áreas de Pediatría. Además, los residentes tienen que presentar el Examen Departamental de Conocimientos en la Facultad de Medicina de la UNAM.

Con el propósito de contar con un instrumento de evaluación de competencias que pudiera emplearse con fines de evaluación formativa y acumulativa y, al mismo tiempo, brindar a los profesores el adiestramiento en la elaboración de estaciones para evaluar competencias, se elaboró un ECOE en un hospital pediátrico de tercer nivel de atención que se aplicó a 20 residentes en un estudio piloto.

 

MÉTODOS

El presente estudio fue de tipo observacional y el análisis de resultados fue cualitativo y cuantitativo. Para la elaboración y organización del ECOE se llevaron a cabo las cuatro etapas que recomiendan Harden y Gleeson:¹⁶

 

Planeación: diseño de instrumentos, validez de contenido y elaboración del material de apoyo

Con seis meses de anticipación se solicitó a la División de Estudios de Posgrado de la Facultad de Medicina de la UNAM el curso-taller que para tal fin tiene implementado y que tuvo una duración de 24 horas que fueron cubiertas en cuatro sesiones. Este curso-taller fue impartido a 20 especialistas en pediatría, de los cuales 18 eran subespecialistas con más de 10 años de experiencia en su área. Se comenzó con una "lluvia de ideas" sobre los temas más relevantes de cada subespecialidad pediátrica, acorde con el Plan Único de Especializaciones Médicas (PUEM), de donde resultaron 28 temas obtenidos por consenso global. Con ellos se integró una matriz de competencias en la que se describía el tipo de estación, el tema central y los componentes a evaluar. Esta matriz fue trabajada por el grupo de profesores a lo largo de dos sesiones adicionales; luego, los bocetos de cada estación fueron asignados a los profesores de acuerdo con su subespecialidad, para que los afinaran e incluyeran los criterios de evaluación, para el registro específico y preciso de la ejecución de las actividades que debería realizar el médico para incluirlas en las listas de cotejo. De esta forma, las listas de cotejo para cada estación fueron validadas por los conocimientos previos de los profesionales en el área, la capacitación ex profeso para el ECOE, la experiencia de los expertos y la práctica institucional.

Posteriormente, dos de los autores se reunieron con cada profesor para afinar el contenido de las estaciones correspondientes. Una vez terminadas, se eligieron 20 estaciones para la prueba piloto. Para la selección de los temas, mediante el consenso general, se consideró la frecuencia del problema, su importancia dentro de la Pediatría, los componentes a evaluar y la factibilidad de realización de cada estación (Cuadro I). Basados en algunos reportes y dado que la duración de cada estación debe depender de lo que se pretende evaluar en cada una de ellas, se decidió que todas las estaciones tuvieran una duración de cinco minutos y que las listas de cotejo fueran binarias para disminuir la posibilidad de sesgo relacionado con el evaluador.²²

La escala de evaluación que se utilizó fue del 0 al 10 y el punto de corte se estableció en 6.1 por consenso de los expertos de cada área. La aprobación final del estudio fue responsabilidad de los tres primeros autores.

Los expertos seleccionaron los elementos que consideraron relevantes en cada estación: el interrogatorio, la exploración física, la interpretación de estudios paraclínicos, la integración de diagnósticos, el plan de manejo integral y las habilidades para la comunicación interpersonal (Cuadro I).

Se elaboró una relación de los materiales necesarios para cada estación y se designó a dos profesores para que reunieran los recursos necesarios para llevar a cabo la prueba piloto y para que coordinaran a los evaluadores, a los observadores y a los alumnos. Se invitó a participar, como evaluadores, a los profesores que participaron en el curso impartido por la UNAM y, como observadores, a profesores y residentes de quinto año de subespecialidad que no asistieron al curso con el propósito de familiarizarlos con este método de evaluación.

Como se seleccionó el área de consulta externa del hospital para la aplicación del examen éste se programó fuera del horario laboral. Una vez definida la fecha se decidió invitar a los residentes que no hubieran estado de guardia el día anterior a realizar el examen.

Se definió como estación dinámica aquélla que incluyó procedimientos que permiten evaluar la interacción con el paciente o sus familiares y como estación estática aquélla en que sólo se presentaron resúmenes clínicos y material complementario como radiografías, exámenes de laboratorio, gráficas de peso y talla, entre otros.

 

Organización el día previo al examen: preparación del material de apoyo y últimos detalles

Los profesores encargados de coordinar la prueba se reunieron para imprimir la papelería necesaria y organizar el material que se utilizó durante la prueba. Además, se les recordó a todos los participantes que debían presentarse puntualmente en el lugar de reunión.

 

El día del examen: instrucciones para los participantes

Veintiocho profesores se reunieron en un aula donde los docentes del curso les dieron las instrucciones para la dinámica del examen. Veinte fueron evaluadores fijos y ocho, observadores que podían desplazarse entre las estaciones. Se les solicitó no dar realimentación inmediata a los alumnos, ya que se trataba de un piloto y se tenía programada una breve reunión para la realimentación grupal al final de la prueba.

De manera simultánea, en otra aula, se reunió a los veinte residentes participantes (2 residentes de primer año, 7 de segundo y 11 de tercero) donde se les dieron las instrucciones de la dinámica del examen; se enfatizó la importancia de leer cuidadosamente las instrucciones y de responder a las preguntas contenidas en cada estación. Debido a que la mayoría de los residentes no había tenido experiencia con este tipo de evaluación, se les informó que se trataba de un estudio piloto.

Los alumnos fueron distribuidos en veinte consultorios que contaban con un examinador que permaneció en el mismo consultorio durante todo el proceso. Los alumnos rotaron en forma consecutiva en un circuito de 20 estaciones con un tiempo de cinco minutos en cada una; se indicaba el cambio a la siguiente estación con un altavoz.

 

Después del examen: reflexión, evaluación

Al terminar el examen se solicitó a los residentes que llenaran una encuesta de salida; inmediatamente se realizó una reunión en la que se pidió a los participantes que externaran sus opiniones respecto a este método de evaluación, su aplicabilidad, factibilidad y equidad. Además, los observadores entregaron sus comentarios por escrito.

Se solicitó a los profesores ponderar cada ítem de las listas de cotejo de acuerdo con su importancia en la destreza a evaluar, de modo que cada estación sumara 10 puntos.

Las listas de cotejo se calificaron manualmente, se elaboró una base de datos capturando las puntuaciones obtenidas por cada alumno en cada una de las estaciones. Se obtuvieron las calificaciones globales de cada alumno, se calcularon los promedios para cada nivel de residencia en cada estación y el promedio global por año de residencia. El análisis estadístico se realizó con el programa SPSS^® versión 15.0.

Finalmente, de acuerdo con las recomendaciones de Dolmans y cols.,²³ se procedió a analizar los resultados obtenidos no sólo en cada una de las estaciones sino en la experiencia de diseño y aplicación en general del instrumento.

 

RESULTADOS

La duración de las estaciones fue la planeada; en cada cambio de estación se dio un minuto para reordenar los materiales y permitir el desplazamiento de los alumnos. No hubo estaciones intermedias de descanso; sin embargo, algunas de las estaciones requirieron menos de cinco minutos para su resolución. La duración total del examen fue de 2 h con 20 min. Debido a que en Pediatría es difícil contar con pacientes estandarizados para este piloto sólo en una estación se contó con un niño sano de 9 años; en otra estación un médico fungió como enfermera y en una más una residente actuó como la mamá de un niño enfermo; estos participantes fueron adiestrados para aportar los mismos datos a todos los examinados.

Las estaciones aprobadas de manera global fueron doce y las no aprobadas ocho. El promedio global de todas las estaciones fue de 6.53 (DE 0.62). La estación que alcanzó el promedio más alto fue la de Cardiología (No. 10) con una puntuación de 8.90 (DE 1.6) y la que obtuvo el promedio más bajo fue la de Gastroenterología (No. 18) con una puntuación de 3.04 (DE 0.98). Los promedios por año de residencia fueron: R1 = 6.13 (DE 0.43), R2 = 6.26 (DE 0.60) y R3 = 6.76 (DE 0.59) (Cuadro II).

La encuesta de salida aplicada a profesores y alumnos reportó que 60% de los participantes consideró que esta manera de evaluarlos era justa, 65% que era práctica y 65% la consideró útil para su vida profesional. De todos los alumnos 25% consideró que las instrucciones fueron insuficientes y 45% consideró que era una forma recomendable para medir sus conocimientos.

 

DISCUSIÓN

El concepto de la evaluación como fuerza conductora que está detrás del aprendizaje es considerado cada vez más como uno de los principios para la buena práctica del proceso de enseñanza-aprendizaje; es por esto que la importancia del efecto que tiene la evaluación en el aprendizaje adquiere cada vez mayor aceptación y relevancia.⁷

El ECOE es una herramienta que evalúa el tercer escalón de la pirámide de Miller (lo que el estudiante es capaz de hacer) y ha demostrado ser un método válido y confiable que permite evaluar múltiples habilidades clínicas fundamentales de los programas de posgrado que no pueden ser valoradas por métodos tradicionales. Este instrumento favorece la integración de las tres dimensiones de evaluación educativa y permite una evaluación más objetiva de los atributos multidimensionales que constituyen la competencia clínica sin los sesgos característicos de los métodos convencionales de evaluación de las competencias,⁶ ya que lo hace en el contexto del paciente. En este examen todos los evaluados pasan por las mismas estaciones, la complejidad se puede controlar de manera estandarizada,¹⁶ incluye a diferentes evaluadores y emplea listas de cotejo preestablecidas, lo que evita sesgos en la calificación asignada por los profesores.¹⁸ Además, la diversidad del contenido permite que se evalúen más áreas en menos tiempo, su dinámica motiva a los alumnos para el aprendizaje ya que se ha demostrado que éste es más significativo cuando se utiliza un formato interactivo.¹⁸¹⁹

La experiencia con el uso del ECOE en programas de posgrado ha sido limitada, más cuando se trata de programas de Pediatría; sin embargo, existen evidencias de validez concurrente, de contenido y de constructo, así como un alto grado de confiabilidad en este examen.²⁴ Hilliard y Tallett demostraron que la homogeneidad de las tareas a realizar en las estaciones también influye de manera positiva en la confiabilidad.²⁵ Otros factores que favorecen la confiabilidad son el uso de listas de cotejo binarias en lugar de las de escalas, el adiestramiento y estandarización de los pacientes reales y simulados, el tiempo máximo del examen (entre 3 y 4 horas), la introducción de un mayor número de estaciones activas y la variedad de los contenidos.²⁶ La confiabilidad se ve afectada cuando los pacientes no han sido estandarizados correctamente,⁶ cuando se utilizan formas personales de evaluación y, en general, cuando falla la organización del comité encargado de su elaboración y aplicación.²⁷

Con este piloto se cumplió con el objetivo de contar con un método de evaluación de competencias para los alumnos de Pediatría que pudiera utilizarse con fines de evaluación diagnóstica, formativa y acumulativa, ya que los métodos tradicionales carecen de la objetividad que se requiere para estos fines. Se mostró que es factible aplicar un ECOE en un hospital pediátrico. Se logró una buena organización aunque no sin dificultades y, durante todo el proceso, se percibió un ambiente de cooperación mutua y de trabajo en equipo. Una queja constante de profesores y alumnos fue el cansancio al final del examen; sin embargo, se debe considerar que la hora no fue la más adecuada ya que el examen se realizó por la tarde. Para disminuir el cansancio sería conveniente aplicar el examen por la mañana, además de intercalar dos o más estaciones de descanso.

No hay mucha discusión con respecto a las cualidades de los evaluadores o a que si su experiencia o entrenamiento afectan la confiabilidad.¹³ La recomendación principal para mejorar la validez interna del examen es contar con un número adecuado de estaciones distintas.¹⁸ La factibilidad de las mismas y el cansancio de los estudiantes son factores que deben analizarse al diseñar el examen, para decidir el número de estaciones que se incluirán en la evaluación.¹³

No es posible calcular el costo del examen pero es importante señalar que se requiere de un esfuerzo adicional de los profesores y de invertir tiempo para su elaboración y aplicación. En otros estudios se han mencionado como desventajas el tiempo que los médicos adscritos invierten en la evaluación, la complejidad en la organización, el costo y la confidencialidad del examen.^12,13,18,28 Incluso, se ha reportado que se incrementa el estrés entre los estudiantes, lo que podría verse como una ventaja ya que es bajo estrés como se lleva a cabo gran parte de la práctica clínica real.^18,29

En conclusión, la implementación de este estudio piloto permitió la participación colaborativa de profesores y alumnos al tiempo que favoreció la identificación de fortalezas y debilidades de la herramienta, así como los obstáculos que deberán superarse para su futura aplicación. El ECOE es un método válido y reproducible para evaluar la competencia clínica de los residentes de Pediatría cuando se utiliza en conjunto con otras formas de evaluación, ya que provee una forma objetiva de evaluar el progreso de los médicos en formación. Por lo tanto, se deberán realizar investigaciones futuras con respecto a su utilidad como una herramienta de evaluación diagnóstica, formativa y acumulativa en los residentes de Pediatría.

 

Agradecimientos

Los autores agradecen a los siguientes profesores y alumnos que participaron en la elaboración de las estaciones del ECOE y su aplicación: Ma. Fernanda Acosta Martínez, Karla Mariana Aguilar Albavera, Eduardo Benadón Darzón, Ana Elizabeth Buongermini Gotz, Uriel Chávez Flores, Jazmín Chirino Barceló, Rafael Cravioto Melo, Emilio Fernández Portilla, Francisco Javier Flores Ramírez, Constanza García Delgado, Graciela Alejandra Guajardo Martínez, Claudia Gutiérrez Camacho, Solange Heller Rouassant, Luis Enrique Juárez Villegas, Pablo Lezama del Valle, Armando Magaña Cobos, Aurora Medina Sansón, Rosa Arminda Morales Betanzo, Verónica Morán Diazbarroso, Margarita Nava Frías, Hilda Elvira Palafox Vázquez, Erika Ramírez Cortés, Miguel Ángel Rosas Vargas, Esther Santillán Orgás, Adriana Valencia Herrera, Salvador Villalpando Carrión, Dina Villanueva García y Martha Zapata Tarrés.

 

REFERENCIAS

1. Jones R, Higgs R, de Angelis C, Prideaux D. Changing the face of medical curricula. Lancet 2001;357;699-703.         [ Links ]

2. Dent JA, Harden RM. New horizons in medical education. En: Dent JA, Harden RM, eds. A Practical Guide for Medical Teachers. Edinburgh: Elsevier Churchill Livingstone; 2005. pp. 2-6.         [ Links ]

3. Morrison J. ABC of learning and teaching in medicine: evaluation. BMJ 2003;326:385-387.         [ Links ]

4. Friedman BDM. Principles of assessment. En: Dent JA, Harden RM, eds. A Practical Guide for Medical Teachers. Edinburgh: Elsevier Churchill Livingstone; 2005. pp. 282-292.         [ Links ]

5. Epstein RM. Assessment in medical education. N Engl J Med 2007;356:387-396.         [ Links ]

6. Carraccio C, Englander R. The objective structured clinical examination: a step in the direction of competency-based evaluation. Arch Pediatr Adolesc Med 2000; 154:736-741.         [ Links ]

7. Van der Vleuten CPM, Schuwirth LWT. Assessing professional competence: from methods to programmes. Med Educ 2005;39:309-317.         [ Links ]

8. Miller MD, Linn RL, Gronlund NE. Measurement and Assessment in Teaching. Upper Saddle River: Pearson; 2009. pp. 26-29.         [ Links ]

9. Van der Vleuten CPM. The assessment of professional competence: developments, research and practical implications. Adv Health Sci Educ 1996;1:41-67.         [ Links ]

10. Harden RM. Curriculum planning and development. En: Dent JA, Harden RM, eds. A Practical Guide for Medical Teachers. Edinburgh: Elsevier Churchill Livingstone; 2005. pp. 10-18.         [ Links ]

11. McAleer S. Choosing assessment instruments. En: Dent JA, Harden RM, eds. A Practical Guide for Medical Teachers. Edinburgh: Elsevier Churchill Livingstone; 2005. pp. 302-310.         [ Links ]

12. Harden RM, Stevenson M, Downie WW, Wilson GM. Assessment of clinical competence using objective structured examination. BMJ 1975;1:447-451.         [ Links ]

13. Rushforth HE. Objective structured clinical examination (OSCE): review of literature and implications for nursing education. Nurse Educ Today 2007;27:481-490.         [ Links ]

14. Pedregal González M, Molina Fernández E, Prados Castillejo JA, Quesada Jiménez F, Bonal Pitz P, Iglesias Arrabal C. Evaluation of clinical competence in trainers of family and community medicine residents. Aten Primaria 2004;34:68-72.         [ Links ]

15. Watson AR, Houston IB, Close GC. Evaluation of an objective structured clinical examination. Arch Dis Child 1982;57:390-392.         [ Links ]

16. Harden RM, Gleeson FA. Assessment of clinical competence using an objective structured clinical examination (OSCE). Med Educ 1979;13:41-54.         [ Links ]

17. Toledo-García JA, Fernández-Ortega MA, Trejo-Mejía JA, Grijalva MG, Gómez-Clavelina FJ, Ponce-Rosas ER. Evaluación de la competencia clínica en el posgrado de medicina familiar mediante el Examen Clínico Objetivo Estructurado. Aten Primaria 2002;30:435-441.         [ Links ]

18. Bartfay W, Rombough R, Howse E, Leblanc R. Evaluation. The OSCE approach in nursing education. Can Nurse 2004; 100:18-23.         [ Links ]

19. Hergenroeder AC, Chorley JN, Laufman L, Fetterhoff A. Two educational interventions to improve pediatricians' knowledge and skills in performing ankle and knee physical examinations. Arch PediatrAdolesc Med 2002;156:225-229.         [ Links ]

20. Aeder L, Altshuler L, Kachur E, Barrett S, Hilfer A, Koepfer S, et al. The "Culture OSCE"—introducing a formative assessment into a postgraduate program. Educ Health (Abing- 28. don)2007;20:1-11.         [ Links ]

21. Grand'Maison P, Lescop J, Rainsberry P, Brailovsky CA. Large-scale use of an objective structured clinical examination for licensing family physicians. CMAJ 1992;146:1735-1740.         [ Links ]

22. Patricio M, Juliao M, Fareleira F, Young M, Norman G, Vaz Carneiro A. A comprehensive checklist for reporting the use of OSCEs. Med Teach 2009;31:112-124        [ Links ]

23. Dolmans DH, Wolfhagen HA, Scherpbier AJ. From quality assurance to total quality management: how can quality assurance result in continuous improvement in health professions education? Educ Health (Abingdon) 2003; 16:210-217.         [ Links ]

24. Joorabchi B. Objective structured clinical examination in a pediatric residency training program. Am J Dis Child 1991; 145:757-762.         [ Links ]

25. Hilliard RI, Tallett SE. The use of an objective structured clinical examination with postgraduate residents in pediatrics. Arch Pediatr Adolesc Med 1998;152:74-78.         [ Links ]

26. Van der Vleuten CPM, Swanson DB. Assessment of clinical skills with standardized patients: state of the art. Teach Learn Med 1990;2:58-76.         [ Links ]

27. Smee S. Skill based assessment. BMJ 2003;326:703-706.         [ Links ]

28. Barman A. Critiques on the Objective Structured Clinical Examination. Ann Acad Med Singapore 2005;34:478-482.         [ Links ]

29. McKnight J, Rideout E, Brown B, Ciliska D, Patton D, Rankin J, et.al. The objective structured clinical examination: an alternative approach to assessing student clinical performance. J Nurs Educ 1987;26:39-41.         [ Links ]