Reformas e innovaciones

 

La evaluación de la función docente mediante la opinión del estudiante. Un nuevo instrumento para nuevas dimensiones: COED*

 

Juan José Mazón Ramírez**, Jorge Martínez Stack*** y Adrián Martínez González****

 

** Facultad de Medicina, Departamento de Salud Pública y Secretaría de Educación Médica, UNAM

*** Facultad de Medicina, Departamento de Salud Pública y Secretaría de Educación Médica, UNAM, Instituto Mexicano de Orientación y Evaluación Educativa, S.C. Correo e: stack@servidor.unam.mx

**** Facultad de Medicina, Departamento de Salud Pública y Secretaría de Educación Médica, UNAM, Seminario de Educación Superior, UNAM. Correo e: aamg@servidor.unam.mx

 

Ingreso: 25/04/08
Aprobado: 02/10/08

 

Resumen

Como opción al instrumento que se ha venido utilizando en la Facultad de Medicina de la UNAM para valorar, a través de la opinión de los estudiantes, la función docente en los cursos básicos, y con base en la aplicación de un instrumento exploratorio de 62 reactivos organizados alrededor de 8 atributos o dimensiones de la "buena enseñanza" se construyó un cuestionario de 35 reactivos (COED). Además de su estructura factorial y propiedades psicométricas de las dimensiones que lo integran, así como de una estimación de su validez de criterio y de constructo, se presentan algunos de los resultados preliminares que muestran la potencialidad del cuestionario, para retroalimentar al docente y fundamentar acciones para el mejoramiento de sus actividades docentes.

Palabras clave: reactivos, retroalimentación, docente.

 

Abstract

As an option to the instrument used at the Universidad Nacional Autónoma de México on the Faculty of Medicine to value, by the students opinion, the educational function for the basic courses, and based on the application of an exploratory instrument of 62 reagents organized by the "good education" dimension a questionnaire of 35 reagents (COED) was built. Besides this factorial structure and psycometrical properties of the dimensions that integrates it, as well as of an estimation of its validity of criteria and of constructo, there are some of the initial results that shows the great potentials of the questionnaire, to feedback the teacher, as an improvement of their educational activities.

Key words: reagents, feedback, teaching staff.

 

Introducción

En tiempos recientes, las funciones y tareas que los académicos realizan especialmente en el nivel superior han sufrido innumerables cambios, revaloraciones y redefiniciones (Urbano, Aguilar y Rubio, 2006: 2–11) lo que, a su vez ha suscitado un renovado interés por la evaluación del trabajo académico.

No obstante que la evaluación de la docencia forma parte de un esfuerzo valorativo más amplio del trabajo académico (Ordorika, 2004); en la literatura especializada sobre el tema es común referirse a la función docente desde una perspectiva más limitada en donde se considera básicamente el trabajo, tareas o actividades que, en el marco de un plan de estudios y programa de una materia y al frente de un grupo académico o dentro de un salón de clases o prácticas, realiza el maestro o docente, quien en permanente interacción con sus alumnos tiene como finalidad básica el aprendizaje de contenidos disciplinarios y la formación profesional (Rueda y Torquemada; 2004).

Es en este contexto en el que en los últimos años, con base en instrumentos que buscan obtener la opinión del estudiante sobre el desempeño de sus docentes, se han multiplicado los esfuerzos por evaluar la calidad de la enseñanza e identificar los elementos que definen a la función docente exitosa (Martínez, Lifshitz, Ponce y Aguilar, 2008). El desarrollo de este tipo de instrumentos, referidos por García (2004) como Cuestionarios de Evaluación de la Docencia por los Alumnos (CEDA), ha tenido como propósito fundamental obtener evidencias basadas en los juicios de los alumnos acerca de la efectividad docente en el salón de clases y se ha asumido que las dimensiones que los integran permiten valorar la calidad del esfuerzo docente (Greenwald, 1997).

Ejemplo de esta clase de instrumento lo constituye el "Cuestionario de Evaluación de la Enseñanza. Áreas Básica y Sociomédica" (CEMABS) que elaborado con base en lo que un grupo de docentes de la Facultad de Medicina de la UNAM, especialmente capacitado, definió como los atributos que permiten identificar prácticas de la enseñanza adecuadas, fue depurado y validado psicométricamente a partir de varias aplicaciones de prueba o piloto (Valle, Alaminos, Contreras, Salas, Tomasini y Varela, 2004)¹.

El CEMABS, se ha empleado regularmente desde 1993 para que los estudiantes de las materias básicas del actual plan de estudios de la carrera de medicina de la UNAM, evalúen a sus profesores mediante 30 reactivos o ítemes, cada uno con cinco opciones de respuesta tipo Likert, que van desde su valor inferior "1" (Nunca o de 0 a 19% de las veces) hasta "5", su valor superior (siempre o del 80 al 100% de las veces). Son tres las dimensiones del desempeño docente que valora el instrumento: a. Las estrategias de enseñanza exhibidas por el docente, b. El respeto que muestra hacia sus alumnos y c. La forma de evaluar el aprendizaje.

Los resultados obtenidos con la aplicación del CEMABS² se han utilizado, por una parte, para proporcionar a cada profesor de manera individual, retroalimentación sobre su desempeño docente conforme a la valoración de las tres dimensiones que realizan sus propios estudiantes y, por otra, conocer en cada ciclo escolar, el nivel en que se han desarrollado las tareas y funciones docentes de cada coordinación académica³.

No obstante la utilidad que hasta ahora ha tenido el CEMABS, las características de los nuevos modelos pedagógicos (Herrera, 2004); en donde el aprendizaje centrado en el estudiante y el empleo de la nuevas tecnologías de la información y comunicación son, entre otros y a diferencia de los modelos tradicionales, algunos de los rasgos distintivos del nuevo quehacer docente, plantean la necesidad de contar con mayor información sobre el desempeño del profesor en el salón de clases con la finalidad de mejorar su calidad mediante una realimentación más puntual y específica.

Por tal motivo se requiere ahora de nuevos instrumentos de evaluación que permitan valorar y dar un seguimiento puntual y sistemático de un mayor número de dimensiones y que, a partir de normas propias de las materias y del personal docente de la Facultad de Medicina, faciliten su adecuación y mejoramiento permanentes.

Tomando en cuenta la evidencia de que es posible identificar y llegar a acuerdos sobre las dimensiones que caracterizan a la buena docencia (Feldman, 1988) y de la utilización del paradigma de aplicabilidad o generalidad de los instrumentos de la evaluación docente de Marsh (1987), se propuso sustituir el CEMABS por un nuevo instrumento que, además de contar con propiedades psicométricas satisfactorias, incluyera un mayor número de dimensiones de las que hasta ahora se han venido valorando y permitiera evaluar de manera más completa el buen desempeño docente en las materias básicas y sociomédicas del actual plan de estudios.

 

Método

Con base en el cuestionario propuesto por Muñoz, Ríos y Abalde (2002)⁴ que incluye ocho de las dimensiones básicas para la evaluación del quehacer docente empleadas por un sinnúmero de instrumentos aplicados en universidades españolas, y tomando en consideración las tres dimensiones evaluadas por los 30 reactivos del CEMABS, junto con otros que a juicio de un grupo de jueces expertos –compuesto por 10 académicos de la Facultad de Medicina– resultaría conveniente incluir para tener una mejor cobertura de las tareas docentes desempeñadas por los profesores de las ciencias básicas y sociomédicas del actual currículum de la Facultad de Medicina, se integró una primera versión de un nuevo cuestionario para la valoración de la docencia con 62 reactivos organizados, en principio, en 8 diferentes dimensiones⁵, que, en términos de la percepción u opinión de sus alumnos, buscó conocer el grado en que sus docentes exhiben, en el desempeño de sus funciones, un conjunto de características o habilidades que, conforme al Marco Institucional de la Docencia de la Facultad de Medicina⁶, definen a la buena práctica docente.

Las dimensiones que se incluyeron en esta nueva versión del cuestionario fueron: 1. La puntualidad y asistencia; 2. El cumplimiento con el programa académico; 3. La metodología pedagógica del docente; 4. El empleo de materiales y actividades de apoyo; 5. La actitud hacia los estudiantes; 6. La forma en que son evaluados los aprendizajes; 7. Actividades prácticas o de aplicación; 8. La satisfacción general por el curso experimentada por el alumno.

En la Tabla 2 se muestran las definiciones de estas dimensiones, así como el número de reactivos que de cada una de ellas se incluyeron en la versión preliminar de la nueva propuesta del cuestionario. Podrá notarse que estas dimensiones o variantes –no obstante la gran cantidad de debates y posturas con respecto a la posibilidad de definir, evaluar y predecir las competencias que definen la buena práctica docente (Acevedo y Rodríguez, 2006; Diaz Barriga, 2004)– prácticamente son incluidas en la mayoría de los instrumentos que pretenden evaluar el desempeño del docente en el salón de clases (García Ramos, 1997).

La escala de respuestas

La escala con la que los alumnos valorarían el desempeño de sus docentes en esta nueva versión fue igual a la utilizada en los cuestionarios anteriores del CEMABS. En cada reactivo el estudiante elige entre cinco valores (tipo Likert), en donde: "A" es el valor menor que implica Nunca o del 0 al 19% de las veces, "B" refiere a Casi nunca o del 20 al 39% de las veces; "C", A veces o del 40 al 59%; "D", Casi siempre o del 60 al 79% de las veces, y "E", el valor máximo implicando la mayor ocurrencia (80 – 100% de las veces) o Siempre.

La aplicación de la versión exploratoria del nuevo instrumento

Para analizar su comportamiento psicométrico y contar con información que pudiera servir de base para proponer el nuevo instrumento, se aplicó la versión exploratoria a los grupos de 13 de las materias que se impartieron durante el ciclo académico 2006–2007 del actual plan de estudios, utilizando los procedimientos regulares del Programa de Evaluación de la Docencia en los que se ha venido empleando el CEMABS.

En las materias en las que la docencia se organiza en términos de unidades o bloques temáticos (Bioquímica, Fisiología y Microbiología), el cuestionario de 62 reactivos se aplicó al término de cada una de estas unidades o bloque temáticos⁷. En el resto de las materias el cuestionario fue aplicado al finalizar el periodo destinado a su docencia. En la Tabla 3 se muestran las materias en las que el cuestionario fue utilizado, y en cada una se indica el año académico en el que se imparte, el número total de docentes evaluados y de cuestionarios aplicados y analizados.

En todos los casos, los estudiantes de cada grupo académico, en ausencia del profesor titular de la materia evaluada, respondieron el cuestionario en forma anónima utilizando una hoja de lectura electrónica diseñada para el tipo de respuesta requerida. La lectura de las hojas y la generación de los archivos de datos corrieron a cargo de la Secretaría de Servicios Escolares de la Facultad. Con base en la información proporcionada por la lectura de las hojas de respuesta se confeccionaron para su análisis las bases de datos correspondientes, tanto en formatos Excel como SPSS.

 

Resultados

Las respuestas a los 21,960 cuestionarios fueron analizadas con el programa estadístico SPSS en su versión 10 para Windows.

La distribución de las respuestas en las distintas opciones de los reactivos

De los 62 reactivos que conformaron la versión inicial del cuestionario⁸ prácticamente todos mostraron una distribución semejante de respuestas en las distintas opciones: frecuencias muy bajas en las opciones negativas (Nunca o Casi Nunca) y muy altas en las opciones positivas (Siempre o Casi Siempre)⁹; es decir las distribuciones se caracterizaron por un fuerte sesgo (skewness)¹⁰ negativo. El análisis de este índice del sesgo o de la asimetría de las distribuciones mostró valores que iban desde el más bajo de –1.006 (Reactivo 34. "Realiza suficientes seminarios (lecturas, charlas, debates) relacionados con la asignatura", hasta el más alto de –2.601 (Reactivo 1. "Asiste normalmente a clase").¹¹

La mediana en todos y cada uno de los 62 reactivos fue de 5; es decir, al menos el 50% de los estudiantes que contestaron el cuestionario asignaron al docente evaluado una calificación de 5 (Siempre o el 100% de las veces) en todos los reactivos.

Esta concentración de las respuestas en los valores más altos es particularmente notable en 4 de los reactivos (1. "Asiste normalmente a clase", 4. "La mayor parte de la carga docente de este curso la realiza el titular y no su ayudante", 36. "Es respetuoso/a con los estudiantes", y 37. "La clase se desarrolla en un ambiente de respeto") en donde su rango intercuartilar¹² es de 0.

Por el contrario, son 8 los reactivos (13. "Cuando solicita trabajos los devuelve con comentarios u observaciones", 20. "Al final de cada clase sintetiza o resalta los puntos más importantes que fueron revisados o analizados", 31. "Se utilizaron tecnologías de información como internet, videoconferencias, etcétera", 35. "El profesor promueve el aprendizaje fuera del horario de clases", 53. "Las clases prácticas son un buen complemento de los contenidos teóricos de la materia", 55. "Las prácticas de la materia ayudan a comprender mejor los contenidos teóricos de la materia", 56. "En general, estoy satisfecho/a con las clases prácticas que recibí", 60. "He dedicado comparativamente más esfuerzo a esta materia que a cualquier otra de este ciclo escolar") en donde se observa la mayor variabilidad en las respuestas ya que su rango intercuartilar es de 2.

Los 50 reactivos restantes muestran una concentración de las respuestas en los valores que va de entre 4 y 5, siendo por tanto su rango intercuartilar de 1.

Análisis Factorial

Con el objeto de identificar las dimensiones empíricas asociadas a la función docente subyacentes en los reactivos aplicados y corroborar la pertinencia y validez de las dimensiones originalmente propuestas, así como para contar con una versión con un menor número de reactivos, se buscó verificar la estructura factorial del cuestionario sometiendo sus respuestas a un análisis factorial exploratorio, diseñado con base en el método de extracción de Componentes Principales y con la aplicación de la rotación ortogonal Varimax (con normalización de Kaisser)¹³. Es importante señalar que se optó por sustituir las respuestas o valores faltantes (missings) por el valor de la media de las variables correspondientes.

La inspección ocular de la matriz de correlaciones de los reactivos, la estimación de su significación mediante el contraste de Bartlett y el valor del índice general de la Medida de la Adecuación del Muestreo de Kaiser–Meyer–Olkin"¹⁴ mostraron el sentido o pertinencia de la aplicación del análisis factorial.

La rotación de la matriz de los componentes, que converge en 7 iteraciones, arrojó un total de 7 factores con valores propios o autovalores (eigenvalues) mayores de 1, que explicaron el 74.32% del total de la varianza (el primero de los factores explicó el 58.59% y el 25.31% de la varianza total en la matriz no rotada y en la rotada, respectivamente).

En la Tabla 1 se muestran las cargas iguales o mayores a 0.40 obtenidas por cada reactivo en los 7 factores extraídos en la matriz rotada.

No obstante de que el 64% del total de los reactivos (40 de ellos) cargan con estos valores en el primer factor; en general es posible observar que los 7 factores resultantes incorporan los reactivos conforme a las dimensiones con las que originalmente fue construido el cuestionario (Tabla 2). Nótese que 17 reactivos tienen cargas factoriales mayores a 0.40 en dos de los factores y otros dos reactivos en 3 de los factores. En este sentido; no obstante lo complejo de la actividad docente, su carácter multideterminado y la dificultad de su evaluación mediante un solo indicador o fuente de información (Fernández, Mateo y Muñiz, 1996); pudiera hablarse de una dimensión básica que subyace al quehacer del docente a la que los estudiantes les es posible identificar, al menos como quedó delimitado por las 62 preguntas de este cuestionario.

Los reactivos del primer factor reflejan principalmente cuestiones relacionadas con la metodología del docente (Dimensión IV de la Tabla 2); el factor 2 incorpora reactivos referidos a las prácticas de evaluación seguidas por el docente (Dimensión VI de la Tabla 2); los del tercer factor refieren a la puntualidad y asistencia y al cumplimiento con aspectos administrativos del programa (Dimensiones I y II de la Tabla 2); los reactivos que cargan en el cuarto factor corresponden primordialmente a aspectos de las actividades prácticas del curso (Dimensión VII); los del factor número cinco con el ambiente y trato hacia el estudiante (Dimensión V); en el séptimo factor se observan los reactivos que se relacionan con actividades y materiales de apoyo (Dimensión IV) y, finalmente, los reactivos que aluden a los aspectos del esfuerzo realizado y la satisfacción con la materia los encontramos en el factor siete (Dimensión VIII de la Tabla 2).

Tomando en cuenta la semejanza entre los factores originalmente propuestos y los empíricamente obtenidos, así como el análisis de la matriz rotada con las cargas factoriales de los 62 reactivos originales, se elaboró una versión más breve del cuestionario con base en las 8 dimensiones definidas en la Tabla 2. Esta nueva versión compuesta por 35 reactivos, al que se nombró "Cuestionario de Opinión del Estudiante sobre la Docencia" (COED), quedó conformado de la forma que se describe a continuación.

 

Los reactivos y la confiabilidad del nuevo instrumento (COED)¹⁵

Dimensión I. Puntualidad y Asistencia (a = 0.82). Reactivos: 1. Asiste con regularidad a clase, 2. Si llega a faltar lo notifica con anticipación o lo justifica, 3. Cumple adecuadamente (comienza y acaba) el horario de clase (Es puntual).

Dimensión II. Cumplimiento con el Programa Académico (a = 0.87). Reactivos: 4. Al inicio del curso da a conocer el programa (objetivos, contenidos, metodología) y su extensión, 5. Se cumplen las normas de trabajo acordadas al principio del curso (19), 6. Se han visto en clase los temas contenidos en el programa de la materia o curso¹⁶.

Dimensión III. Metodología Docente (a = 0.94). Reactivos: 7. En sus exposiciones integra los temas con otras áreas del conocimiento (23), 8. El método de enseñanza del curso propicia el aprendizaje (10), 9. Cuando un concepto no queda claro, lo explica de otra manera (15), 10. Se preocupa por los problemas de aprendizaje de sus alumnos/as (12–18), 11. Consigue que estemos motivados/as e interesados/as por los contenidos de la materia (27).

Dimensión IV. Materiales de Apoyo (a = 0.89). Reactivos: 12. Los materiales de estudio (textos, apuntes, etcétera) han sido adecuados, 13. Se utilizaron tecnologías de información como internet, videoconferencias, etcétera, 14. Me motivó a buscar información por mi cuenta (1–24), 15. Fomenta el uso de recursos (bibliográficos o de otro tipo) adicionales a los utilizados en la clase, 16. Realiza suficientes seminarios (lecturas, charlas, debates) relacionados con la asignatura.

Dimensión V. Actitud hacia los Estudiantes (a = 0.93). Reactivos: 17. Es respetuoso/a con los estudiantes (28), 18. La clase se desarrolla en un ambiente de respeto (2), 19. Es accesible y está dispuesto/a a ayudarnos. (3), 20. Toma en cuenta las opiniones de los alumnos (8), 21. Es ejemplo de calidad profesional por su capacidad para enseñar (26).

Dimensión VI. Evaluación de los Aprendizajes (a = 0.92). Reactivos: 22. Los exámenes evalúan fundamentalmente el grado de comprensión de los temas, 23. Desde un principio se especificaron los criterios y procedimientos de evaluación en esta materia, 24. Los criterios y procedimientos de evaluación son adecuados y justos (20), 25. El nivel exigido en la evaluación corresponde con el que se imparten las clases (14), 26. Da a conocer las calificaciones en el plazo establecido.

Dimensión VII. Actividades Prácticas¹⁷ (a = 0.97). Reactivos: 27. Las clases prácticas son un buen complemento de los contenidos teóricos de la materia, 28. Las clases prácticas están relacionadas con los contenidos vistos en las clases de teoría, 29. Las prácticas de la materia ayudan a comprender mejor los contenidos teóricos de la materia, 30. En general, estoy satisfecho/a con las clases prácticas que recibí.

Dimensión VIII. Satisfacción General (a = 0.93). Reactivos: 31. Me siento satisfecho/a asistiendo a sus clases, 32. Considero que he aprendido bastante en esta materia, 33. He dedicado comparativamente más esfuerzo a esta materia que a cualquier otra de este ciclo escolar, 34. El nivel de esfuerzo y dedicación requerido por esta materia ha sido elevado, 35. Recomendaría a este(a) profesor(a) a otros(as) compañeros(as) (30).

Resultado global: Una nueva dimensión

Se obtuvo un índice de confiabilidad para los 35 reactivos considerados como una sola escala global o total que arrojó un valor Alpha de 0.98. En este sentido, además de contar con la valoración de las 8 dimensiones, se consideró conveniente incluir un resumen o promedio de todas ellas mediante la incorporación de una dimensión o escala global en la que con un solo puntaje o valor se tuviera una apreciación general del desempeño del docente; de esta forma el cuestionario inicialmente arroja información sobre un total de nueve escalas o dimensiones del quehacer docente: ocho básicas y una global.

El empleo del COED y nuevas propuestas para su desarrollo

Los resultados obtenidos en los 35 reactivos de esta nueva versión del CEMABS, ahora COED, sirvieron de base, por una parte, para la elaboración de los reportes individuales que, para informarle sobre las opiniones estudiantiles sobre su desempeño, se entregaron a cada docente de las materias evaluadas en el ciclo escolar 2006–2207 y, por otra, para la elaboración de diferentes comparaciones y reportes institucionales evaluativos sobre el estado que, desde la perspectiva del estudiante, guarda la función docente en las materias de los ciclos básicos de la Facultad de Medicina de la UNAM¹⁸.

El grupo de responsables de la docencia de los diferentes departamentos a los que pertenecen las materias evaluadas llevaron a cabo una revisión tanto del nuevo cuestionario como de los reportes para el docente.

Este grupo, con el propósito de hacer hincapié en el desempeño individual del docente evaluado, además de sugerir cambios en la redacción de los textos de varios de los reactivos y de hacer recomendaciones sobre la forma o diseño de la presentación escrita del cuestionario, consideraron que la inclusión de la Dimensión VII. Actividades Prácticas conforme a los términos definidos, no ofrecía, necesariamente, información sobre las funciones del responsable de la docencia de un grupo académico en particular, ya que la forma en que están redactados refieren a factores que no están bajo control directo del docente (en especial de aquellos de los cursos de teoría). Por ello en una nueva versión del instrumento; que se aplica en el ciclo 2007–2008 y cuyos resultados serán motivo de otro reporte; esta dimensión (llamada "Aplicaciones") incluye ahora reactivos que de manera explícita hacen alusión a los aspectos prácticos o de aplicación vistos en el curso por el propio docente: "Se preocupa por relacionar lo visto en clase con aplicaciones o casos prácticos", "Proporciona ejemplos de posibles aplicaciones prácticas de los contenidos revisados "Explica la relevancia práctica o para el ejercicio profesional de los contenidos de la materia (práctica)", "Nos hace reflexionar sobre la relevancia práctica o la utilidad profesional de los temas revisados".

En un principio, el COED se diseñó para aplicarse en los cursos teóricos de las materias básicas; sin embargo, el grupo de responsables consideró viable también que, junto con los cambios en la dimensión de Aplicaciones y agregándole una nueva dimensión de "Prácticas", pudiera utilizarse en aquellas materias, cursos o unidades que tienen un programa de prácticas por separado del curso teórico; para ello, se propuso incluir en esta dimensión cinco nuevos reactivos para la evaluación de los docentes de este tipo de curso: 1. "Promueve la participación de todos los alumnos en el desarrollo de la práctica", 2. "Para la evaluación del alumno toma en cuenta su participación en la práctica", 3. "Proporciona bibliografía de apoyo para los temas revisados durante las prácticas", 4. "Explica en forma correcta los procedimientos a seguir en el desarrollo de la práctica", 5. "Supervisa que se cumplan las normas de seguridad estipuladas en el manual (Uso de bata, no tomar alimentos, no fumar)". La nueva versión del COED ya depurado se aplica ya a partir del ciclo académico 2007–2008¹⁹.

Algunos resultados generales

Los resultados obtenidos mediante el análisis de los 35 reactivos descritos, han permitido elaborar reportes de evaluación de la función docente en muy distintos niveles, tanto globales como individuales que, desde la perspectiva de la opinión de los estudiantes y de manera rápida y accesible, permiten identificar áreas de oportunidad y de problemas académicos que requieren de atención inmediata.

Por ejemplo, con base en los resultados obtenidos en las trece materias valoradas del ciclo escolar 2006–2007, además de que permitieron elaborar los reportes individuales de 894 docentes frente a grupo²⁰, ha sido posible estimar y comparar de manera más precisa la valoración que los estudiantes hacen de sus profesores en las distintas dimensiones utilizadas. Estas estimaciones o comparaciones se han realizado por materia, departamentos y año y ciclo escolar.

La docencia en las materias básicas y sociomédicas

Los resultados obtenidos con la aplicación del COED ofrecen una perspectiva general del estado que guarda, desde la óptica de su destinatario principal, las actividades de docencia de las materias básicas del actual currículum de la Facultad de Medicina. Un ejemplo de ello se observa en la Figura 1 en donde se muestra la distribución del total de docentes/grupos de las trece materias valoradas conforme a la puntuación promedio, en una escala del 1 al 5, obtenida en las ocho escalas del instrumento (Escala o Dimensión Global).

Como podrá apreciarse, el puntaje promedio obtenido en las ocho escalas totales (en los 35 reactivos) por los 894 docentes frente a grupo fue de 4.26 puntos; con una desviación estándar de 0.52 y una mediana de 4.34. El rango de calificaciones que va de un valor de 3.73 a 4.79 puntos se encuentra una desviación estándar por arriba y por abajo del valor de la media; en la distribución de la Figura 1 se observa que aproximadamente un 74% de los docentes/grupos (664) se ubica dentro de este rango. Por debajo de una calificación de 3.73 puntos encontramos a 129 docentes/grupos (alrededor del 14.4%) y por arriba de un valor de 4.79 puntos encontramos al 11.3% de los docentes/grupos evaluados (101 de ellos).

En otras palabras, mediante esta comparación de calificaciones obtenidas con la aplicación del COED es posible identificar a los docentes que, desde la óptica del estudiante, muestran ya sea un desempeño inferior o uno superior al resto de sus colegas y con base en ello fundamentar las acciones de remedio pertinentes (retroalimentación del profesor, reprogramación de grupos, programas remediales para el mejoramiento de las habilidades docentes; entre otras).

De la Figuras 2 a la 8 se muestran datos semejantes en 7 de las dimensiones que integran la versión original del COED. Puede observarse que comparativamente son tres las dimensiones en las que los docentes/grupos evaluados obtienen los valores promedio más altos: Puntualidad y Asistencia (4.54); Cumplimiento con el Programa Académico (4.49) y Actitud hacia los Estudiantes (4.45). Un valor intermedio (4.32) lo obtienen en la Dimensión de Evaluación de los Aprendizajes; por el contrario los valores promedio más bajos los obtienen en las dimensiones Metodología Docente (4.20); Actividades y Materiales Complementarios (4.10) así como en Satisfacción General (4.09).

Si en la Dimensión Metodología Docente aplicamos el procedimiento para identificar a los docentes/grupos que hayan obtenido o un puntaje menor o uno mayor a una desviación estándar por debajo o por arriba del valor promedio, estaremos en condiciones de identificar a aquellos que, de acuerdo a la opinión de sus estudiantes, se destacan, respectivamente, por su deficiente o eficiente desempeño docente. Así, por ejemplo, en este caso el número de docentes/grupos que en comparación con el resto obtienen los menores puntajes en esta Dimensión es de 141 (16%) y, en principio, debieran de mejorar su desempeño. La media o promedio que obtiene este grupo en la Dimensión de Metodología Docente es de 3.02 puntos (Desviación Estándar = 0.46), valor que interpretado en términos de la escala original significaría que en promedio muestran "A veces o del 40 al 59% de las ocasiones" las actividades descritas por los reactivos que integran la escala o dimensión.

Si con base en los puntajes promedio obtenidos por los docentes/grupos en la Dimensión de Satisfacción General conformamos, de nuevo, tres grupos (por debajo, arriba o dentro del intervalo de una desviación estándar por arriba o por debajo de la media); y contrastamos los puntajes que cada uno de ellos obtiene en las otras dimensiones, podríamos validar o analizar el sustento o relación de la Dimensión de la Satisfacción con el resto de ellas.

La Figura 9 ilustra estas comparaciones. Puede observarse el grupo de docentes/grupo que obtuvo en la Dimensión Satisfacción un promedio inferior a una desviación estándar por debajo de la media, consistentemente obtuvo también el puntaje promedio más bajo en todas las otras dimensiones²¹. Este efecto es particularmente notable en las dimensiones Metodología Docente y Materiales de Apoyo. Lo anterior muestra que las dimensiones del COED guardan una relación consistente entre ellas y que los niveles de satisfacción expresado por los estudiantes en las valoraciones de sus docentes son un buen indicador de las otras relaciones.

La validez de criterio o concurrente del COED. Las dimensiones más predictivas de la satisfacción con la labor docente

Otra forma de abordar la cuestión anterior es mediante el análisis directo de la validez concurrente o de criterio de las dimensiones que conforman el COED. Para tal efecto se realizó un análisis de regresión múltiple empleando como variable dependiente (o criterio) las respuestas que los estudiantes dieron al reactivo 57 del cuestionario piloto inicial: "Estoy satisfecho/a con la labor docente de este/a profesor/a" y como variables predictoras (o independientes) los valores obtenidos en las diferentes dimensiones del COED, con excepción de la de Satisfacción General, dada su alta correlación con la variable de criterio.

Mediante los métodos estándar²² aplicables para el caso, se verificaron las hipótesis de linealidad, normalidad, homoscedasticidad, no autocorrelación e independencia. Los resultados obtenidos mostraron la validez del diseño de un modelo de análisis de regresión múltiple a partir de las variables descritas. Todas las variables predictoras mostraron contribuir de manera significativa a la predicción de la satisfacción. El modelo final de regresión obtuvo un valor estadísticamente significativo de R² de 0.72.

Mediante el método de pasos sucesivos (stepwise) se analizó la contribución de cada una de las dimensiones del COED a la predicción de la satisfacción del estudiante con respecto a la labor docente de su profesor(a). La Tabla 4 muestra los resultados de los 6 modelos así desarrollados. Podrá observarse que la dimensión de mayor peso o más relacionada o predictora de la variable criterio es la del Método Docente. Esta dimensión explica el 67% del total de la varianza exhibida por las respuestas al reactivo de la satisfacción (Valor de R²). Las dimensiones de la Evaluación de los Aprendizajes, así como la de la Actitud hacia los Estudiantes, son, en importancia o peso para la predicción de la satisfacción, las variables segunda y tercera, respectivamente. Las otras tres dimensiones, Materiales de Apoyo, Cumplimiento con el Programa y Puntualidad y Asistencia, contribuyen en ese orden y muy poco, si es que lo hacen, a esta predicción.

En otras palabras, estos resultados muestran, además de que el COED cuenta con una validez de criterio adecuada, que comparativamente desde la perspectiva del estudiante la satisfacción con la docencia se relaciona más con la forma en que recibe clases, en la que su aprendizaje es evaluado y la manera en que es tratado por su profesor(a), que con los materiales y actividades de apoyo que se empleen, con el cumplimiento con el Programa y la puntualidad y asistencia del o la docente. Estas relaciones son evidencia de que los estudiantes en su valoración de la función docente atienden a variables relevantes y no necesariamente confunden otras variables con la efectividad instruccional como a menudo sostienen los críticos de los cuestionarios de opinión aplicados a los estudiantes para valorar a la docencia (D'Apollonia y Abrami, 1997).

 

Conclusiones

El cuestionario que se ha diseñado y aplicado para evaluar la función docente mediante la opinión de los estudiantes (COED) ha mostrado contar con una buena validez de criterio y de constructo. Las nuevas dimensiones que lo conforman (puntualidad y asistencia; materiales y actividades de apoyo; actividades prácticas o de aplicación; satisfacción general y la total o global que integra a todas ellas), junto con las tres tradicionalmente medidas (metodología docente; actitud hacia los estudiantes y evaluación del aprendizaje) poseen propiedades psicométricas adecuadas; ofrecen una visión más completa del desempeño del profesor en el salón de clases; y, al menos siete de ellas, son pertinentes para la evaluación del docente de las materias teóricas. Se espera que las propuestas de adecuación también permitan su aplicación a los cursos de prácticas, lo que ampliará su utilidad en cuanto a una realimentación específica para el docente, y con ello buscar incidir en el mejoramiento de la calidad de la tarea educativa.

Los resultados obtenidos mediante la aplicación del COED, además de permitir informar al docente sobre la opinión que el estudiante tiene de su desempeño individual frente al grupo, permiten hacer múltiples comparaciones entre materias, departamento, ciclos y años escolares, lo que es de utilidad para la fundamentación de programas para el mejoramiento de las prácticas docentes de la institución.

Sin duda, la evaluación de la actividad docente para ser válida y congruente requiere tomar en cuenta múltiples fuentes de información, procedimientos, instrumentos e indicadores diversos (Berk, 2005; González, 2003; Rodríguez, Martínez, Ponce, Contreras, Colina y Cerritos, 2000). Sin embargo, los cuestionarios de opinión aplicados a los estudiantes se han convertido en el medio más empleado en casi todas las universidades del mundo como los instrumentos de evaluación de las actividades de los profesores por excelencia (Rueda, 2006).

Mientras el principal motivo de nuestros esfuerzos docentes siga siendo el aprendizaje del estudiante; la valoración que éste haga de ellos, seguirá siendo de gran utilidad; sobre todo, si otros medios (por ejemplo, la valoración realizada por colegas expertos o la aplicación de criterios de ejecución objetivos) implican más costos o no se encuentran disponibles. Sin embargo, no debe pasarse por alto que estos cuestionarios no están exentos de críticas y de enjuiciamientos sobre su validez y utilidad. Evidentemente, las evaluaciones del desempeño docente son un fenómeno complejo con una determinación múltiple en virtud de representar la percepción que tienen los estudiantes de su ambiente educacional, que es, a su vez, el resultado de un proceso de interacción compleja entre estudiantes, profesores y el medio social en el que se desarrolla.

Existen diversas opiniones sobre el hecho de que las evaluaciones de la función docente mediante cuestionarios de opinión del estudiante integran múltiples determinantes de los diferentes individuos, y esos aspectos, tan representativos e importantes, solo pueden ser observados desde una perspectiva más amplia y multivariable (Marsh, 2001 y Ting, 2001). En este sentido cabe señalar que existe evidencia de que las opiniones del estudiante pueden verse influenciados por una diversidad de factores que pueden obscurecer las relaciones entre la efectividad o calidad de la docencia y la opinión o sentir del estudiante (García, 2000; Greenwald y Gillmore, 1997); es por ello que la utilidad de los resultados que arrojen será una función de su empleo y aplicación correctas; así como de su investigación empírica sistemática que fundamente su constante depuración y perfeccionamiento y permita reducir al mínimo varias de sus posibles limitaciones (McDonald y Johnson, 2003); en especial si se les emplea con fines de selección, promoción o adquisición por el docente de un puesto o nivel académico específico.

 

Referencias

Acevedo, A. R. y Rodríguez, N. M. (2006). "Factores de sesgo asociados a la validez de la evaluación docente universitaria: Un modelo jerárquico lineal". Archivos Analíticos de Políticas Educativas, 14 (34). Recuperado 8 de agosto de 2008, http://epaa.asu.edu/epaa        [ Links ]

Berk, R.A. (2005). "Survey of 12 strategies to measure teaching effectiveness". International Journal of Teaching and Learning in Higher Education. 17.        [ Links ]

D'Apollonia, S.; Abrami, P.C. (1997). Navigating Sudent Ratings of Instruction. American Psychologist. Vol. 52, No. 11.        [ Links ]

Diaz Barriga, A. (2004). "Evaluación de la docencia. Su generación, su adjetivación y sus retos." En Mario Rueda. Coordinador. (2004). ¿Es posible evaluar la docencia en la Universidad? Experiencias en México, Canadá, Francia, España y Brasil. México, ANUIES.        [ Links ]

Fernández, J.; Mateo, M.A. y Muñiz, J. (1996). Valoración por parte del profesorado de la evaluación docente realizada por los alumnos. Psicothema. Vol.8, n.1.        [ Links ]

García, G. J. M. (2000). "¿Qué factores extraclase o sesgos afectan la evaluación docente en la educación superior?" Revista Mexicana de Investigación Educativa, julio–diciembre. Vol. 5. N.10.        [ Links ]

García, G. J. M. (2004). "Los cuestionarios de evaluación de la docencia, las dimensiones de la efectividad docente y los resultados de la investigación. ¿Qué tan aplicables son a diferentes culturas de educación superior?" En Mario Rueda. (Coord.) (2004). Es posible evaluar la docencia en la Universidad? Experiencias en México, Canadá, Francia, España y Brasil. México, ANUIES.        [ Links ]

García Ramos, J. M. (1997). "Análisis factorial confirmatorio en la validación del constructo competencia docente del profesor universitario". Bordón, 49, 4.        [ Links ]

Greenwald, A. G. (1997). "Validity concerns and usefulness of student ratings of instruction". American Psychologist. 52.        [ Links ]

Greenwald, A.G. y Gillmore, G.M. (1997). "No Pain, No Gain? The Importance of Measuring Course Workload in Student Ratings of Instruction". Journal of Educational Psychology. Vol. 89, No. 4. 743–751.         [ Links ]

González, J. S. (2003). "Modelos, procedimientos e instrumentos de evaluación de la actividad docente". Educación Médica. Volumen 6, Número 3, julio–septiembre.        [ Links ]

Hair, J.F.; Anderson, R.E.; Tatham, R.L. y Black, W.C. (1999). Análisis Multivariante. México, Prentice Hall.        [ Links ]

Herrera, R. (2004). Modelo Pedagógico Para la Incorporación de TICs en Educación Superior (MOTIC). En www.adecca.uantof.cl/adecca/motic/INTRODUCCION.ppt, recuperado en noviembre de 2007.        [ Links ]

Marsh, H. W. (2001). "Distinguishing between good (useful) and bad workloads on students' evaluations of teaching". American Educational Research, 38 (1).        [ Links ]

Martínez, G.A.; Lifshitz, G. A.; Ponce, R. R. y Aguilar; R. (2008). "Evaluación del desempeño docente en cursos de especialización médica. Validación de un cuestionario". Rev. Med. Inst. Mex. Seguro Soc.; 46 (4).        [ Links ]

McDonald, D. S. y Johnson, R. D. (2003). "Grade Distribution and Its Impact on CIS Faculty Evaluations: 1992–2002". Information Systems Education Journal. Volume 1, Number 42 http://isedj.org/1/42/, recuperado en diciembre de 2007.         [ Links ]

McKeachie, W.J. (1997). "Student Ratings. The Validity of Use". American Psychologist. Vol. 52, No. 11.        [ Links ]

Muñoz, C.J.L.; Ríos, dD, M.P. y Abalde, P.E. (2002). "Evaluación Docente vs. Evaluación de la Calidad". Revista Electrónica de Investigación y Evaluación Educativa (RELIEVE), v.8 n.2, 103–104. http://www.uv.es/RELIEVE/v8n2/RELIEVEv8n2_4.htm, recuperado en noviembre 17 de 2007.        [ Links ]

Ordorika, S.I. (Coordinador) (2004). La academia en jaque. Perspectivas políticas sobre la evaluación de la educación superior en México. Colección: Problemas Educativos en México. México: Ed. CRIM, UNAM – LIX Legislatura de la H. Cámara de Diputados y Grupo Editorial Miguel Ángel Porrúa.        [ Links ]

Rodríguez, R.; Martínez, G. A.; Ponce, R. R.; Contreras, E. Colina, R. C. y Cerritos, A. (2000). "Una nueva estrategia para evaluar la calidad del desempeño docente en las IES. Resultado de su aplicación en la Facultad de Medicina de la UNAM". Revista de Educación Superior. Vol. XXIX (3). No. 115.        [ Links ]

Rueda, B. M. (2004). Coordinador. ¿Es posible evaluar la docencia en la Universidad? Experiencias en México, Canadá, Francia, España y Brasil. México, ANUIES.         [ Links ]

Rueda, B. M. (2006). "Evaluación de la labor docente en el aula universitaria". Pensamiento Universitario 100, tercera época. Centro de Estudios sobre la Universidad. México, UNAM.        [ Links ]

Rueda, B. M. y Torquemada, G. A. D. (2004). "Algunas consideraciones para el diseño de un sistema de evaluación de la docencia en la universidad". En: Rueda, B. M. (2004). Coordinador. ¿Es posible evaluar la docencia en la Universidad? Experiencias en México, Canadá, Francia, España y Brasil. México, ANUIES.         [ Links ]

Rugarcía, T. A. (1994). "La evaluación de la función docente". Revista de la Educación Superior. ANUIES. Vol. XXIII (3), Núm. 91.        [ Links ]

Salas–Gómez, L.E.; Ortiz Montalvo, A. y Alaminos–Sager, I. L. (2006). "La evaluación de la enseñanza en la Facultad de Medicina de la UNAM". Rev. Med. Inst. Mex. Seguro Soc. 44(2): 171–180.        [ Links ]

Salas Gómez y Ortiz Montalvo. Programa de Evaluación de la Enseñanza. Departamento de Evaluación Educativa. Secretaría de Educación Médica. Facultad de Medicina, UNAM. Documento interno de trabajo. (s/f).        [ Links ]

Secretaría de Educación Médica. Presentación de los resultados de la aplicación del nuevo cuestionario para la valoración de la función docente. COED. Ciclo Escolar 2006–2007. Documento interno de trabajo, Facultad de Medicina. UNAM. (s/f).        [ Links ]

Ting, K. F. (2001). "A multilevel perspective on student ratings of instruction: Lessons from the chinese experience". Research in Higher Education, 41(5).        [ Links ]

Urbano, V.G.; Aguilar, S. G. y Rubio, O.J. (2006). Programa de Mejoramiento del Profesorado. Un primer análisis de su operación e impactos en el proceso de fortalecimiento académico de las universidades públicas. Primera edición. Subsecretaría de Educación Superior. Secretaría de Educación Pública. México, SEP.        [ Links ]

Valle, R.M.; Alaminos, I.; Contreras, E., Salas, L. E.; Tomasini, P. y Varela, M. (2004). "Student Questionnarie to Evaluate Basic Medical Science Teaching (METEBQ–B)". Rev. Med. IMSS, 42(5).        [ Links ]

Zambrano, G.R.; Meda, L. R.M. y Lara, G.B. (2005). "Evaluación de profesores universitarios por parte de los alumnos mediante el Cuestionario de Evaluación de Desempeño Docente (CEDED)". Revista de Educación y Desarrollo, 4, octubre–diciembre.        [ Links ]

 

Notas

* Los autores agradecen la valiosa colaboración del Ingeniero Octavio Escobar Pérez en todo el proceso de elaboración del instrumento que se reporta, así como en el análisis de los resultados. Correo e: stack@servidor.unam.mx

¹ En Tabla 1 se muestran, señalados con un asterisco, 27 de los 30 reactivos de la versión del cuestionario CEMABS que desde 1994 se aplica para evaluar el desempeño docente mediante la opinión del estudiante.

² Una descripción somera de los resultados obtenidos durante el periodo 1994–2003 se presenta en Salas–Gómez y Ortiz Montalvo. Programa de Evaluación de la Enseñanza. Departamento de Evaluación Educativa. Secretaría de Educación Médica. Facultad de Medicina, UNAM. Documento interno de trabajo. (s/f). En Salas–Gómez, Ortiz Montalvo y Alaminos–Sager (2006) se describe también el desarrollo de otros instrumentos aplicados en el Programa de Evaluación de la Enseñanza de la Facultad de Medicina de la UNAM.

³ La actual estructura académico administrativa de la Facultad de Medicina de la UNAM es departamental; en donde cada uno es responsable de la coordinación académica de diversos cursos.

⁴ Estos autores, con base en una revisión de los instrumentos y dimensiones empleadas por distintas universidades españolas para evaluar a sus profesores a partir de encuestas a los estudiantes, crearon un instrumento de 40 reactivos que validaron con 334 alumnos de la Universidad de La Coruña.

⁵ En la Tabla 1 se muestran los 62 reactivos originales incluidos en esta versión del cuestionario junto con las cargas factoriales obtenidas en cada uno de los 7 obtenidos con la aplicación del análisis factorial que más adelante se describe. Como ya se refirió, los reactivos con asterisco son los que se incluyen en la versión del CEMABS hasta ahora aplicada.

⁶ Puede consultarse en http://www.facmed.unam.mx/plan/index.php?pla_ver=1

⁷ El programa de estas materias se divide en tres o cuatro unidades; cada una de ellas, en principio, es impartida por un docente diferente.

⁸ En los análisis que se muestran seguiremos la convención, muy común en los trabajos en los que se utiliza este tipo de instrumentos, de asumir que la escala de respuestas es una variable continua.

⁹ Resultado frecuentemente reportado en la literatura sobre evaluación del desempeño docente mediante cuestionarios de opinión de los estudiantes (McKeachie, 1997).

¹⁰ El término anglosajón y más popular en la literatura sobre probabilidad y estadística para hacer referencia a la medida de la asimetría de una distribución de probabilidad de una variable aleatoria.

¹¹ Para una discusión de las implicaciones de esta tendencia de los alumnos a valorar más positivamente que negativamente a sus profesores, véase Rueda (2006: 127–128).

¹² Se obtiene restando el valor correspondiente al 1er. cuartil Q1 o al asociado con el 25% de los casos de la distribución acumulada del valor del 3er. cuartil Q3 o el correspondiente con el 75% de los casos acumulados; e indica, como medida de variabilidad de una distribución, la distancia entre las calificaciones más altas y más bajas obtenidas por el 50% intermedio de la población.

¹³ Para mayor información consultar el capítulo 3 de la obra de Análisis multivariante de Hair, Anderson, Tatham y Black.

¹⁴ La medida de las adecuación del muestreo de Kaiser–Meyer–Olkin" (MAS) fue de 0.991 y la prueba de esfericidad de Bartlett arrojó un valor de Chi Cuadrada de 1215974.082797, que con 1891 grados de libertad resultó significativo al nivel de 0.0000.

¹⁵ Para cada una de las dimensiones se indica entre paréntesis la confiabilidad psicométrica estimada mediante el estadístico Alpha de Cronbach y empleando para ello los resultados obtenidos en la aplicación del cuestionario de los 62 reactivos originales. El número del reactivo indica su ubicación en la nueva versión del cuestionario (COED); de igual forma el número entre paréntesis que aparece delante de algunos de los reactivos refiere al número que ocupaba en la versión del CEMABS.

¹⁶ No obstante que los resultados del análisis factorial mostraron que los reactivos de estas dos primeras escalas o dimensiones quedaron agrupados en un solo factor, se consideró conveniente, por razones prácticas de evaluación institucional, diferenciarlos mediante su inclusión en dos escalas diferentes que aluden a cuestiones relacionadas con el cumplimiento del docente en actividades de gestión académica. Los niveles de confiabilidad satisfactorios obtenidos en cada una de estas dos escalas permiten tratar por separado a sus reactivos.

¹⁷ Más adelante se describe cómo esta nueva dimensión fue substituida por la de aplicaciones prácticas y se consideró conveniente crear una nueva para evaluar la docencia en los cursos de prácticas.

¹⁸ Los resultados generales y las características de estos reportes se describen en: "Presentación de los resultados de la aplicación del nuevo cuestionario para la valoración de la función docente. COED. Ciclo Escolar 2006–2007". Documento interno de trabajo. Secretaría de Educación Médica, Facultad de Medicina. UNAM. (s/f).

¹⁹ En la Tabla 5 se muestra la versión final del COED en la que ya se han incorporado las sugerencias recogidas en la aplicación de la versión piloto o exploratoria.

²⁰ Aquí la unidad básica de trabajo y de evaluación es el número de docentes frente a un grupo, es decir, cada caso en que un mismo docente imparte clases frente a un grupo diferente es tratado como una unidad distinta.

²¹ No obstante de que la comparación de los puntajes de estos tres grupos mediante el procedimiento de análisis de varianza de una sola vía enfrenta el problema de que los grupos están conformados por un número desigual de mediciones (diferentes N's)

²² Véase el Apéndice 4o. en la obra de Hair, Anderson, Tatham y Black. (1999). Análisis Multivariante. Págs. 207–247.