Investigación

 

La influencia de las características, profesor y del curso en los puntajes de evaluación docente

 

The Influence of Theacher and Course Characteristics on the Evaluation of Teaching

 

Vicente Arámburo Vizcarra* Edna Luna Serrano**

 

* Profesor-investigador de tiempo completo de la Facultad de Ciencias Administrativas y Sociales de la Universidad Autónoma de Baja California. Bulevar Zertuche y Bulevar de los Lagos s/n, fraccionamiento Valle Dorado, 22890, Ensenada, Baja California, México. CE: vicente@uabc.edu.mx

** Investigadora en el Instituto de Investigación y Desarrollo Educativo de la Universidad Autónoma de Baja California. Km 103 carretera Tijuana-Ensenada, 22860, Ensenada, Baja California, México. CE: eluna@uabc.edu.mx

 

Artículo recibido: 17 de septiembre de 2012
Dictaminado: 21 de enero de 2013
Segunda versión: 20 de febrero de 2013
Aceptado: 4 de marzo de 2013

 

Resumen

El propósito del estudio que se presenta fue comparar la relación entre los puntajes de evaluación del desempeño docente por los estudiantes y las variables relacionadas con las características del profesor y el curso en dos áreas del conocimiento. La muestra estuvo conformada por mil 562 cursos impartidos por 382 profesores que fueron evaluados 44 mil 599 veces por los estudiantes, en cuatro periodos escolares en una universidad pública mexicana. Se realizaron análisis estadísticos descriptivos, comparativos y relacionales para identificar la relación de las variables con la efectividad docente. Los resultados muestran que la experiencia y la escolaridad del profesor, el área de conocimiento y el tamaño del grupo son las variables que explican en mayor medida la competencia docente.

Palabras clave: evaluación de profesores, calidad de la educación, educación superior, México.

 

Abstract

The purpose of this study was to compare the relationship between faculty evaluations by students and the variables related to teacher and course characteristics in two areas of knowledge. The sample consisted of 1,562 courses taught by 382 teachers, who were evaluated 44,599 times by students during four terms at a public Mexican university. Relational, comparative, and descriptive statistical analyses were completed to identify the variables' relation to teacher effectiveness. The results show that a teacher's experience and educational level, the area of knowledge, and group size, are the variables that explain teacher competence to the greatest degree.

Keywords: faculty evaluation, quality of education, higher education, Mexico.

 

Introducción

La docencia se conceptualiza como una actividad compleja, multidimensional e incierta, debido a los diferentes elementos que intervienen en los procesos de enseñanza y aprendizaje (Coll y Solé, 2007). Además, la investigación educativa considera a la enseñanza efectiva como un constructo hipotético, difícil de validar y de evaluar, en el cual, por un lado, se deben identificar las particularidades específicas de los profesores que contribuyen al desarrollo cognitivo y afectivo de los estudiantes y, por el otro, se requiere considerar las características particulares del contexto institucional y pedagógico en los que se desarrolla el proceso de enseñanza-aprendizaje (v. gr. Murray, 2007). El conocimiento de las características del profesor y del contexto pedagógico que favorecen una enseñanza efectiva puede ayudar a la comprensión teórica de la enseñanza y al mejoramiento de los programas de evaluación y formación de profesores.

Uno de los juicios de valoración de la efectividad del profesor son los puntajes de evaluación de la docencia con base en la opinión de los estudiantes. En el ámbito anglosajón son el criterio de medida más utilizado en la investigación sobre la efectividad del profesor, ya que proveen una medida directa de la satisfacción de los estudiantes respecto de la instrucción y una aproximación indirecta a variables de resultados como aprendizaje y motivación de los estudiantes (Murray, 2007). Sin embargo, en el ambiente latino los puntajes son poco usados en investigación.

Actualmente en educación superior el uso de los cuestionarios de evaluación del docente por el alumno es la estrategia más utilizada en Norteamérica, Europa y Asia y a la vez una de las más cuestionadas (Theall y Franklin, 2000). Los principales propósitos de la evaluación de la docencia, con base en los puntajes que otorgan los estudiantes, se relacionan con el diagnóstico y la retroalimentación de los profesores para mejorar el proceso de enseñanza, con medidas de la efectividad docente para la toma de decisiones administrativas, con información para que los estudiantes seleccionen cursos y maestros, y con la investigación sobre la enseñanza (Marsh y Dunkin, 1997; Marsh, 2007). En esta aproximación los puntajes pueden ser útiles para los docentes, los estudiantes, los administradores y los investigadores.

En la investigación sobre los cuestionarios, de la década de los ochenta y noventa, se privilegió el supuesto de que el conocimiento y las habilidades del docente pueden evaluarse sin considerar su contexto. Desde esta perspectiva las cualidades de la enseñanza efectiva son genéricas (Delandshere, 1994). Una implicación práctica derivada de esta postura es que el mismo instrumento se aplique de forma indiscriminada y que los resultados de los puntajes otorgados por los estudiantes al profesor se valoren de forma general, sin considerar las particularidades del contexto pedagógico, a pesar de las evidencias de que el número y variedad de aspectos que inciden en la enseñanza y el aprendizaje es grande y complejo (ver por ejemplo, Pascarella y Terenzini, 2005); de tal suerte que en la ejecución de los estudiantes repercuten condiciones que van más allá de lo que sucede en el salón de clases y la labor del profesor.

En particular, en los estudios sobre los puntajes se han identificado posibles sesgos, o variables extraclase que logran influir en la evaluación de los estudiantes a los docentes; los que se determinan con base en análisis de correlación de los puntajes de opinión con otras variables. Dichos estudios pueden agruparse en las siguientes categorías: administración del cuestionario y características del curso, del profesor, de los estudiantes y del instrumento (Braskamp y Ory, 1994). De éstas las que son objeto de estudio en el presente trabajo son las características del profesor y del curso.

Los resultados de la investigación en el ámbito anglosajón, relacionados con las características del profesor, dan cuenta de la complejidad del tema, entre ellos se destacan: experiencia docente, tipo de contrato y género.

1) Experiencia docente. Los años de experiencia en general no se relacionan con los puntajes al desempeño docente (Braskamp y Ory, 1994; Marsh y Dunkin, 1997). En un estudio realizado por Wolfer y Johnson (2003) reportaron una correlación negativa entre los puntajes de evaluación a los profesores y su experiencia docente.

2) Tipo de contrato. Esta variable alude al estatus laboral del profesor en la institución (entendido como la tipología de contrato laboral que tiene el profesor: tiempo completo, por horas, con o sin definitividad). Los primeros trabajos en esta línea como el meta análisis realizado por Feldman (1983) y la síntesis de Marsh (1987) indicaron que no existen diferencias significativas entre la categoría de los profesores y los puntajes generales a la efectividad docente. Posteriormente, Feldman (1997) encontró que los maestros con categoría académica alta obtienen mejores evaluaciones en dimensiones relacionadas con el conocimiento de la materia. En cambio, aquellos con categoría académica baja obtienen mejores evaluaciones en dimensiones relacionadas con la promoción de la discusión, justicia, preocupación por los alumnos y ayuda. Respecto de los puntajes de los docentes con o sin definitivad, diversos estudios concluyen que los profesores que aún no cuentan con ella reciben puntajes más altos (Golberg y Callahan, 1991; Zahn y Schramm, 1992). 3) Género. El amplio estudio realizado por Feldman (1997) confirmó que las profesoras son significativamente mejor evaluadas que los hombres, en 28 de los 39 estudios analizados. Otro trabajo reciente realizado en una universidad pública del medio oeste de Estados Unidos reportó resultados similares, las mujeres recibieron puntajes más altos que los varones en la evaluación del desempeño docente en todas las dimensiones. Sin embargo, en la evaluación global del desempeño docente la correlación fue muy baja (Heckert, Latier, Ringwald y Silvey, 2006).

En la categoría características del curso se distinguen tres tipos de variables: naturaleza de la disciplina, nivel del curso y tamaño del grupo. Algunos de los resultados que reporta la literatura son:

1) Naturaleza de la disciplina. Un estudio realizado por Cashin (1990) en el que utilizó los datos reportados por dos de los cuestionarios de evaluación de la docencia más utilizados en Estados Unidos y Canadá, el Instructional Development and Efectiveness Assessment (IDEA) y el Student Instructional Report (SIR) del Educational Testing Service, encontró que disciplinas como música, lenguas extranjeras y artes plásticas obtuvieron los puntajes más altos en la evaluación por los estudiantes; historia, comunicación y humanidades se ubicaron en el rango medio-alto; disciplinas como sociología, agricultura, filosofía, biología y ciencias sociales en el nivel medio-bajo; y ciencias computacionales, física, economía, ciencias naturales e ingenierías se encuentran en el rango más bajo. En otra investigación realizada en la Universidad de Calgary, Canadá, con base en los puntajes de 371 mil 131 estudiantes, se encontró que las asignaturas de ciencias sociales recibieron calificaciones al desempeño docente significativamente más altas que las de los cursos de ciencias naturales (Beran y Violato, 2005).

2) Nivel del curso. Investigaciones realizadas en la década de los noventa del siglo pasado analizaron los puntajes otorgados a las dimensiones de acuerdo con la etapa curricular del curso y concluyeron que sí existen diferencias entre ellos. Smith y Cranton (1992) hallaron que para los alumnos de los primeros años de carrera, la organización del curso y la claridad de las exposiciones son las dimensiones más importantes, mientras que para los avanzados y los de posgrado las de mayor importancia son el ambiente en el salón de clases y la evaluación del aprendizaje. Hativa (1996) encontró que los alumnos de los primeros semestres otorgan más importancia a las dimensiones relacionadas con la interacción del docente con ellos; mientras que los de semestres avanzados atribuyen mayor relevancia al dominio que el profesor tiene sobre la materia que imparte.

3) Tamaño del grupo. La mayoría de los estudios realizados coinciden en que éste influye moderadamente en los puntajes que miden la efectividad del profesor. La tendencia es encontrar puntajes más altos en clases de pocos alumnos. Los grupos de menor tamaño son mejor evaluados que los de mayores, asimismo los grupos menores y mayores reciben mejores evaluaciones que los de tamaño mediano (Feldman, 1997). Es importante señalar que estos estudios han sido desarrollados para los cuestionarios propios de universidades de Estados Unidos de América, Australia y Canadá.

Es importante mencionar que, de acuerdo con los reportes de la literatura internacional, la relación entre las variables extra clase con los puntajes a la efectividad del desempeño docente tiende a ser pequeña, los primeros hallazgos de la investigación indican que, en conjunto o por separado, la influencia de estas variables en los puntajes de evaluación explican únicamente de 12% a 14% de la varianza (Centra, 1979; Marsh, 1987). Sin embargo, en un estudio reciente, en el que se usaron técnicas de análisis multinivel y modelamiento de ecuaciones estructurales, se encontró una mayor relación ente las variables anteriormente señaladas y la efectividad docente, lo que explica 25% de la varianza (Nasser y Hagtvet, 2006).

En México un estudio nacional sobre las prácticas de evaluación reporta el uso de los cuestionarios de apreciación estudiantil como la estrategia privilegiada, 98% de las instituciones encuestadas los utilizan, de ellas, 86% evalúa mediante este medio al total de la población de docentes y 12% los usa para evaluar a una muestra de profesores. Sin embargo, se recurre de manera escasa a ellos como fuente de información y mucho menos de investigación (Rueda, Luna, García y Loredo, 2011).

A diferencia de lo que pasa en el ámbito anglosajón, México no cuenta con tradición en el uso de los puntajes como objeto de investigación. En particular se identifican dos estudios de las variables relacionadas con las características del profesor y del curso: el primero, se llevó a cabo en una universidad privada, donde se hallaron resultados muy similares a los que reportan los estudios internacionales, no se encontró relación entre los años de experiencia del profesor y los puntajes de evaluación a la efectividad docente, y los maestros de las áreas de humanidades y ciencias del hombre obtuvieron promedios significativamente más altos que los del resto de las áreas (García Garduño, 2003). En otra investigación más reciente, realizada en una universidad pública, se demostró que los estudiantes del área de ciencias administrativas evalúan el desempeño docente con puntajes significativamente más altos que los otorgados por los alumnos de las áreas de ciencias naturales y exactas e ingenierías; además, se comprobó que los estudiantes de los semestres más avanzados pertenecientes al área de ciencias naturales y exactas evalúan a sus profesores con mayores puntajes que los que cursan los primeros semestres (Luna, Arámburo y Cordero, 2010).

En este estudio se analiza la influencia de las variables relacionadas con las categorías: características de los profesores y del curso en los puntajes de evaluación del desempeño docente. Cabe mencionar que, en esta investigación, se exploran dos variables específicas del contexto mexicano relacionadas con las características del profesor, éstas son las distinciones concedidas al docente por organismos gubernamentales externos a la universidad, a saber: el correspondiente al perfil deseable otorgado por el Programa de Mejoramiento del Profesorado (Promep); y formar parte del Sistema Nacional de Investigadores (SNI). Ambas certificaciones han sido altamente ponderadas por la política educativa y se promueven como el ideal a cumplir por los docentes de tiempo completo de las instituciones de educación superior del país.

La importancia de realizar este tipo de investigaciones radica en abonar a la discusión sobre las variables que inciden en la enseñanza efectiva, en la presentación de evidencias empíricas que ayuden a mejorar las prácticas de interpretación y el uso de los resultados de la evaluación de la docencia realizada por los alumnos, y a la reorientación de políticas sobre evaluación de la docencia en las instituciones de educación superior.

Con base en lo anterior se planteó el siguiente objetivo: determinar las relaciones entre la evaluación de la efectividad del desempeño docente, desde la percepción de los estudiantes, con las características de los profesores y de los cursos en dos áreas del conocimiento: ciencias de la salud y ciencias administrativas y contables.

 

Método

La presente investigación se llevó a cabo en la Universidad Autónoma de Baja California (UABC) en México, que es una universidad pública estatal de tamaño mediano (según el contexto mexicano); atiende a 47 mil 878 estudiantes. El personal académico está conformado por 4 mil 939 empleados, de los cuales mil 479 son de tiempo completo, y se dividen de la siguiente manera: 987 son profesores, 174 investigadores y 318 técnicos académicos. De medio tiempo son 117 y de asignatura son 3 mil 142 profesores. El 55% de quienes tienen tiempo completo cuentan con el perfil deseable Promep y un 17% forman parte del Sistema Nacional de Investigadores (Estrella, 2010).

En la UABC la evaluación de la enseñanza con base en los cuestionarios de apreciación estudiantil inició de manera sistemática en 1988, con el propósito de obtener información para reorientar las acciones de formación y desarrollo del personal académico. A partir de 1994 se integraron los puntajes de los alumnos al profesor como uno de los rubros que conforman el programa de estímulos económicos al personal académico, lo cual dio un giro al uso de los resultados respecto de la intención original. Desde esa fecha, acceden a los reportes de resultados de la evaluación, por una parte, cada unidad académica para conocimiento de los directivos y de los profesores y, por otra, una oficina de la administración central para ser incorporados al expediente del programa de estímulos económicos de cada maestro.

La administración del cuestionario depende de una oficina central de la Universidad. Los estudiantes lo contestan al final de cada periodo semestral de manera computarizada. Un dato que muestra el nivel de participación y el cúmulo de información generada es el hecho de que en el primer periodo escolar de 2008 un total de 28 mil 210 estudiantes (74.6% de la matrícula) evaluaron a 3 mil 629 profesores (S. Osuna, comunicación personal, 20 de octubre de 2008).

 

Fuente de datos y muestra

Los datos utilizados en este estudio se obtuvieron de los puntajes generados en la evaluación docente de los cursos correspondientes a cuatro periodos semestrales de los años 2006 y 2007, de las áreas de: ciencias administrativas y contables (licenciatura en Administración de empresas, Contador público y licenciatura en Informática), y ciencias de la salud (licenciatura en Medicina y en Odontología).

Se estableció una muestra intencional en la que se incluyeron únicamente los grupos evaluados con un mínimo de 10 estudiantes (determinación que se tomó en atención a los índices de confiabilidad de los puntajes de los estudiantes, propuestos por Centra, 1993). La muestra quedó conformada por mil 562 cursos impartidos por 382 profesores que fueron evaluados 44 mil 599 veces por los estudiantes, durante los cuatro periodos señalados. La integración de las submuestras de las variables relacionadas con las características del profesor y del curso se presenta en los cuadros 1 y 2, respectivamente.

 

Instrumento y variables

Los puntajes fueron colectados mediante el Cuestionario de Evaluación de la Docencia, diseñado ex profeso para la UABC. El instrumento consta de 20 reactivos, 2 de respuesta cerrada y 18 tipo Likert. Además, abarca ocho dimensiones de la enseñanza: estructuración de objetivos y contenidos; claridad en la instrucción; dominio de la asignatura; organización de la clase; estrategias de instrucción; cualidades de interacción; evaluación del aprendizaje y método de trabajo. El instrumento, por sus características psicométricas se adscribe a la teoría cognitiva del aprendizaje, registra un índice de confiabilidad de 0.94 y un porcentaje de varianza explicada de 75% (Luna y Valle, 2005).

Los estudiantes contestan el cuestionario al final de cada periodo semestral, de manera computarizada. Los puntajes se concentran en una base de datos de la institución (administración central); ésta se encarga de procesarlos y reportar para cada asignatura y para cada profesor el promedio de los puntajes por dimensión, y el promedio general del curso, en una escala de 1 a 10. La descripción y clasificación de las variables estudiadas se observan en el cuadro 3.

 

Procedimiento

El estudio es exploratorio, retrospectivo, observacional, longitudinal, comparativo y relacional (Méndez, Namihira, Moreno y Sosa, 2001). El procedimiento se realizó en dos etapas.

Etapa 1. Consistió en diseñar e instrumentar un programa de cómputo para procesar la información. Dado que los puntajes de los estudiantes se concentran en una base de datos de la institución se procedió a diseñar un programa que permitiera obtener la información de esa base de datos, para procesarla y organizarla de acuerdo con las variables de interés.

Etapa 2. Consistió en el análisis estadístico. Para determinar el comportamiento de los puntajes a través de tiempo, el primer paso fue aplicar un análisis de varianza (ANOVA) donde se compararon las medias de los puntajes de evaluación en los cuatro periodos escolares comprendidos en el estudio. Los resultados muestran que no hay diferencias estadísticamente significativas entre periodos (F = .981, p=.401). Dicho resultado muestra, asimismo, estabilidad en los puntajes, por lo que se decidió realizar los análisis estadísticos considerando la muestra total conformada por los cuatro periodos escolares.

Los cálculos se realizaron con el uso del paquete estadístico Statistical Package for the Social Sciences (SPSS) y los análisis fueron de tipo: descriptivo, comparativo y relacional.

Para el análisis descriptivo se calcularon las medias aritméticas y las desviaciones estándar de los puntajes al desempeño docente otorgados por los estudiantes en cada uno de los grupos que integran las variables objeto de análisis.

En el análisis comparativo se contrastaron e identificaron las diferencias estadísticamente significativas entre promedios de los puntajes al desempeño docente, con las variables estudiadas. Para ello, realizaron los siguientes análisis: a) la prueba F-Leven, para detectar homogeneidad de varianza; b) el análisis de varianza de una vía, para comparar diferencias en las medias en más de dos variables; c) la T Student, para contrastar las medias entre dos variables; y d) pruebas post-hoc para determinar en qué variables se presentan las diferencias y los niveles de significancia. En estas últimas se aplicaron, a su vez, las pruebas de Tamhane y Dunnet T3 cuando no se asumió homogeneidad de varianza, y la prueba de Tukey, en el caso contrario.

El análisis de regresión se utilizó para explorar y determinar posibles relaciones entre las variables objeto de estudio con la efectividad del desempeño docente; para ello, se realizaron análisis de regresión múltiple, utilizando el método de pasos sucesivos. Dicho método permitió, por un lado, identificar las variables que en mayor o menor medida explican el desempeño docente; por el otro, identifica aquellas que no son significativas y, por lo tanto, no son consideradas en el modelo.

Por otra parte, dado que las variables independientes: área del conocimiento, género y tipo de contrato se clasifican como nominales o cualitativas, para poderlas incluir en el modelo de regresión se procedió a transformarlas en variables métricas ficticias (dummy) dicotomizándolas, de este modo se convierten en binarias (0,1) y, por consiguiente, se pudieron operar como variables cuantitativas; tantas categorías tenga la variable cualitativa menos una (Jiménez, 2004).

El modelo propuesto fue:

Y_i = β₀ + β₁X₁ + β₂X₂ + β₃X₃ + β₄X₄ + ε_i

Donde:

Y_i = Desempeño docent
β₀ = Valor promedio de los puntajes otorgado por los estudiantes, al desempeño docente en las áreas del conocimiento incluidas en el estudio
X₁ = Área del conocimiento (dummy)
X₂ = Tamaño del grupo
X₃ = Experiencia docente
X₄ = Escolaridad del docente
ε_i = Error aleatorio asumido por el modelo

 

Resultados

A continuación los resultados se reportan de acuerdo con los tres niveles de análisis realizados: descriptivo, comparativo y el de regresión.

Los resultados descriptivos de las variables relacionadas con las características de los profesores se indican en el cuadro 4.

En cuanto al género, los profesores reciben promedios de evaluación superiores a los de las profesoras. Los docentes con mayor experiencia reciben mejores puntajes que los de experiencia media y los noveles. En cuanto a la escolaridad, llama la atención que los profesores con licenciatura son mejor evaluados que los que tienen grado de maestría y doctorado. Por otra parte, quienes tienen contrato por horas son mejor evaluados que los de tiempo completo y que los técnicos académicos. Por último, considerando los pocos registros de evaluación de estos grupos: los profesores pertenecientes al SNI reciben mayores puntajes y, por último, los que tienen los dos tipos de reconocimiento: PROMEP y SNI.

En el cuadro 5 se presentan los descriptivos de las variables relacionadas a las características de los cursos de la muestra general.

Se encontró que los alumnos del área de ciencias de la salud otorgan puntajes más altos a sus docentes que los de ciencias administrativas y sociales. Asimismo, quienes pertenecen a la etapa curricular disciplinar evaluaron con mayores puntajes a sus profesores. De la misma forma, se observa que los alumnos de grupos pequeños evalúan el desempeño docente con puntajes más altos.

En el análisis comparativo de las variables relacionadas con las características de los profesores, al establecerse los valores de significancia estadística al nivel p<0.05 de los resultados de las pruebas T student, ANOVA y post hoc, los resultados fueron los siguientes:

1) Experiencia docente. Se presentaron diferencias estadísticamente significativas (F = 17.2, p = .000). De acuerdo con las pruebas post hoc los profesores noveles reciben puntajes más bajos que los de mediana y mayor experiencia.

2) Escolaridad. Se registraron diferencias estadísticamente significativas (F = 20.8, p = .00). El análisis post hoc determinó que los cursos impartidos por los maestros con nivel de licenciatura fueron mejor evaluados por los estudiantes en relación con quienes no cuentan con ese grado o con los que tienen el grado de maestría y doctorado. También se presentaron diferencias significativas entre los docentes con maestría y doctorado, los primeros recibieron mayores puntajes que los profesores con doctorado, cuyos puntajes fueron los más bajos.

3) Tipo de contratación. Se registraron diferencias estadísticamente significativas (F = 9.7 p=.000). Los análisis post hoc indicaron que los maestros de asignatura recibieron puntajes más altos que los de tiempo completo.

4) Género. En esta variable se presentaron diferencias con significancia estadística (t = -2.89, p = .004). Los profesores recibieron ligeramente evaluaciones superiores a las profesoras.

5) Reconocimiento académico. En esta variable se presentaron diferencias significativas (F = 8.46, p = .00). El análisis post hoc indicó que los profesores que son parte del SNI reciben puntajes más altos en relación con los que sólo cuentan con perfil PROMEP, con aquellos que tienen ambas distinciones o con los que no cuentan con ninguna distinción.

En el análisis comparativo respecto de las variables que comprenden las características de los cursos los resultados se describen a continuación:

1) Área del conocimiento. Se presentaron diferencias estadísticamente significativas (F = 12.91, p =.00). Los alumnos del área de ciencias de la salud otorgaron mayores puntajes a sus profesores que los de ciencias administrativas y contables.

2) Etapa curricular. Se presentaron diferencias estadísticamente significativas (F = 21.2, p = .00). El análisis post hoc indicó que los alumnos pertenecientes a la etapa disciplinar otorgaron puntajes más altos a los docentes, que los alumnos pertenecientes a la etapa básica y a la terminal.

3) Tamaño del grupo. Se registraron diferencias estadísticamente significativas (F = 13.86, p = .00). De acuerdo con los análisis post hoc los grupos pequeños (de 1 a 14 estudiantes) evaluaron con mayores puntajes el desempeño docente, que los grupos medianos, grandes y los muy grandes.

En cuanto al análisis relacional, con el propósito de generar un modelo para explicar la efectividad del desempeño docente en las variables analizadas, se aplicó un análisis de regresión múltiple, que arrojó una solución con cuatro variables independientes: área de conocimiento, tamaño del grupo, experiencia docente y escolaridad del maestro; y las que no resultaron significativas, quedando fuera del modelo: tipo de contratación, género del profesor, etapa curricular y reconocimiento académico.

Como se observa en el cuadro 6, la R cuadrada ajustada señala que las variables incluidas en el modelo explican un 14% de la varianza de la variable dependiente. El resultado de la prueba Durbin-Watson muestra la ausencia de auto-correlación de los datos (cuadro 6).

Los coeficientes beta estandarizados que arrojó el análisis señalan que si el profesor es evaluado por los estudiantes en el área de ciencias administrativas y contables, la valoración de la efectividad docente disminuye .321. El siguiente valor beta estandarizado indica que, por cada unidad que disminuye el tamaño del grupo, el desempeño docente aumenta .105, y éste aumenta .129 por cada unidad que aumenta la experiencia docente. Por su parte, la percepción del desempeño docente disminuye .092 a medida que el profesor tiene más grados escolares (cuadro 7).

Discusión

En este trabajo la docencia se concibe como una actividad profesional compleja y multidimensional; dado que en el acto de enseñar se involucran diferentes factores que la determinan, como son el contexto pedagógico, el tipo de docentes y de estudiantes. Los resultados de esta investigación contribuyen a identificar la influencia de las variables asociadas a las características del profesor y del curso en los puntajes a la efectividad docente en una universidad pública mexicana. Se encontró que: el área de conocimiento, la experiencia docente, la escolaridad del profesor y el tamaño del grupo, son variables que se relacionan con los puntajes que otorgan los estudiantes al docente, y que explican 14% de la varianza. Este porcentaje es similar con los hallazgos de estudios internacionales de las variables extraclase (Nasser y Hagtvet, 2006).

En cuanto a las características del profesor este estudio mostró, tanto en el análisis comparativo como en el de regresión, que la experiencia docente es una de las variables que en mayor medida explica la efectividad del desempeño en opinión de los estudiantes. Este resultado defiere de los hallazgos reportados por Marsh y Dunkin (1997) en el ámbito de universidades de Estados Unidos y García Garduño (2003) en México, donde la experiencia del profesor no guarda una relación significativa con los puntajes.

Asimismo, la escolaridad del profesor tiene relación con los puntajes, los profesores con el grado de licenciatura y maestría reciben los puntajes mayores, a diferencia de los que cuentan con el grado de doctorado, estos últimos reciben los puntajes más bajos. Se observa que la submuestra de doctores es la más pequeña. No obstante, al respecto cabe considerar que una política prioritaria en las instituciones de educación superior en México ha sido precisamente mejorar el nivel de habilitación de los profesores para que obtengan el grado como una de las medidas para mejorar la calidad educativa. Sin embargo, en este estudio se confirma que, desde la percepción de los estudiantes de las áreas de ciencias administrativas y contables y ciencias de la salud, el hecho de que el maestro cuente con grado de doctor no lo define como un buen profesor. Se considera necesario profundizar en la investigación tanto en estas áreas como en otras y explorar qué factores pudieran estar relacionados con este resultado.

Respecto de las características del curso, los resultados correspondientes al área de conocimiento reportaron diferencias significativas en la valoración del desempeño docente dependiendo de la naturaleza de la disciplina; el área de ciencias de la salud es significativamente mejor valorada. Una posible explicación estaría relacionada con que, en la enseñanza de la medicina, se le da un uso práctico al conocimiento y está vinculada al estudio de sistemas vivos; factores que podrían incidir en la docencia y en la evaluación de la misma.

En este sentido se destaca la importancia de ponderar y considerar el contexto de la disciplina en los procesos de evaluación docente y en el uso de los resultados. Sin embargo, se requiere explorar las particularidades del proceso enseñanza-aprendizaje en ámbitos disciplinarios, con el fin de conformar un marco de análisis sobre el que se construya el conocimiento pedagógico del contenido por disciplinas.

Asimismo, el tamaño del grupo es una variable que se relaciona con los puntajes, a medida que los grupos son más pequeños, la evaluación al desempeño docente es mejor. Estos hallazgos concuerdan con los reportados en otros países (Cashin, 1990; Feldman, 1997; Beran y Violato, 2005), lo que hace evidente la necesidad de cuidar el tamaño del grupo en los salones universitarios.

De las variables no incluidas en el modelo de regresión, pero que arrojaron diferencias significativas en el análisis comparativo, destaca el reconocimiento académico. En México la política educativa para los docentes, que ha sido prioritaria desde 1996, se ha dirigido a mejorar el nivel de habilitación de los académicos a través de la obtención del grado máximo y ha ponderado la obtención de reconocimientos como el perfil Promep. Al respecto este estudio encontró que, en la opinión de los alumnos, estas características no delimitan a un buen profesor.

Los hallazgos de este estudio dan cuenta de la complejidad de la docencia por un lado y, por otro, las diferencias encontradas entre los resultados reportados y la literatura internacional hacen patente la necesidad de alentar la investigación sobre la efectividad docente universitaria. Por otra parte, es importante señalar que una limitación del presente estudio, es no contar con otras investigaciones en el contexto de la universidad pública mexicana, que nos permitan comparar los resultados y explorar el comportamiento de las variables objeto de estudio.

Finalmente, en este trabajo se presentan evidencias empíricas que abonan a la discusión y el análisis de la función docente y su evaluación tanto en el ámbito nacional como el internacional. Se asume que los procedimientos de evaluación deben ser sensibles a la complejidad de la docencia. Asimismo, que la enseñanza puede juzgarse de manera apropiada sólo si se evalúa en el marco de los factores que la determinan. En esta perspectiva se espera contar con sistemas diferenciados, acordes con el contexto educativo y las características de los profesores. Asimismo, esta investigación arroja resultados que pueden ser útiles para la reorientación de las políticas de evaluación del profesorado de educación superior en México.

 

Referencias

Beran, T. y Violato, C. (2005). "Ratings of university teacher instruction: How much do student and course characteristics really matter?", Assessment and Evaluation in Higher Education, 30(6), 593-601.         [ Links ]

Braskamp, L. A. y Ory, J. C. (1994). Assessing faculty work: Enhancing individual and institutional performance, San Francisco, CA: Jossey-Bass Publishers.         [ Links ]

Cashin, W. E. (1990). "Student do rate different academic field differently", rn M. Theall y J. Franklin (eds.), Student rating of instruction: Issues for improving practice (pp. 113-123), San Francisco, CA: Jossey Bass.         [ Links ]

Centra, J. A. (1979). Determining Faculty Effectiveness, San Francisco: Jossey-Bass.         [ Links ]

Centra, J. A. (1993). Reflective faculty evaluation, San Francisco, CA: Jossey-Bass.         [ Links ]

Coll, C. y Solé, I. (2007). "Enseñar y aprender en el contexto del aula", en Coll, Marchesi y Palacios, Desarrollo Psicológico y Educación 2. Psicología de la Educación Escolar (pp. 357-386), Madrid: Alianza Editorial.         [ Links ]

Estrella, G. (2010). Informe de rectoría 2010, Baja California, México: Universidad Autónoma de Baja California. Disponible en: http://www.uabc.mx/planeacion/informe/informe2010/informe2010.pdf (consultado 10 de enero de 2011).         [ Links ]

Delandshere, G. (1994). "The assessment of teachers in the United States", Assessment in Education 1(1), 95-113.         [ Links ]

Feldman, K. A. (1983). "Seniority and experience of college teachers as related to evaluations they receive from students", Research in Higher Education, 18(1), 3-124.         [ Links ]

Feldman, K. A. (1997). "Identifying exemplary teachers and teaching: Evidence from student ratings", en Perry y Smart (Eds.), Effective teaching in higher education: Research and practice (pp. 368-395), Nueva York: Agathon Press.         [ Links ]

García, G. J. (2003). "Profesores universitarios y su efectividad docente. Un estudio comparativo entre México y Estados Unidos", Perfiles Educativos, 25(100), 42-55.         [ Links ]

Golberg, G. y Callahan, J. (1991). "Objectivity of student evaluations of instructors", Journal of Education for Business 66(6), 377-378.         [ Links ]

Hativa, N. (1996). "University Instructors' ratings profiles: Stability over time, and disciplinary differences", Research in Higher Education, 37, 341-365.         [ Links ]

Heckert, T.; Latier, A.; Ringwald, A. y Silvey, B. (2006). "Relation of course, instructor, and student characteristics to dimensions of student ratings of teaching effectiveness", College Student Journal, 40, 195-203.         [ Links ]

Jiménez, E. (2004). Introducción al análisis multivariable (primera parte). Disponible en: http://www.Scribd.com/doc/61268649/Analisis-multivariable (consultado 20 de mayo de 2012).         [ Links ]

Luna, E.; Arámburo, V. y Cordero, G. (2010). "The influence of the pedagogical context on students' evaluation teaching", International Journal of Teaching and Learning in Higher Education 22(3), 337-345. Disponible en http://www.isetl.org/ijtlhe/pdf/IJTLHE805.pdf (ISSN: 1812-9129).         [ Links ]

Luna, E. y Valle, C. (2005). Características pedagógicas y validación de un instrumento para la evaluación de la docencia universitaria, trabajo presentado en el VIII Congreso Nacional de Investigación Educativa, Hermosillo, Sonora, México.         [ Links ]

Marsh, H. W. (1987). "Students' evaluations of university teaching: Research findings, methodological issues, and directions for future research", International Journal of Education Research, 11(3), 253-288.         [ Links ]

Marsh, H. (2007). "Students' evaluations of university teaching: dimensionality, reliability, validity, potential biases and usefulness", en Perry y Smart (eds.), The scholarship of teaching and learning in Higher education: an evidence-based perspective (pp. 319-384), Dordrecht, Países Bajos: Springer.         [ Links ]

Marsh, H. W. y Dunkin, M. J. (1997). "Students' evaluations of university teaching: A multidimensional perspective", en Perry y Smart (eds.), Effective teaching in higher education: Research and practice (pp. 241-320), Nueva York: Agathon Press.         [ Links ]

Méndez, I.; Namihira, D.; Moreno, L. y Sosa, J. (2001). El protocolo de investigación. Lineamientos para su elaboración y análisis, Ciudad de México: Trillas.         [ Links ]

Murray, H. (2007). "Low-inference teaching behavior and college teaching effectiveness: recent developments and controversies", en Perry y Smart (eds.), The scholarship of teaching and learning in Higher education: an evidence-based perspective. (pp. 145-183), Dordrecht, Países Bajos: Springer.         [ Links ]

Nasser, F. y Hagtvet, K. (2006). "Multilevel nalysis of the effects of student and instructor/ course characteristics on student ratings ", Research in Higher Education, (47), 5, 559-590.         [ Links ]

Pascarella, E. T. y Terenzini, P. T. (2005). How college affects studentes, vol. 2: A Third Decade of Research, San Francisco: Jossey Bass.         [ Links ]

Rueda, M.; Luna, E.; García, B. y Loredo, J. (2011). "Resultados y recomendaciones", en Rueda (Coord.), La evaluación del desempeño docente en las universidades públicas en México (pp. 197-222), Ciudad de México: IISUE-UNAM/Bonilla Artigas Editores.         [ Links ]

Smith, R. A. y Cranton, P. A. (1992). "Students' perceptions of teaching skills and overall effectiveness across instructional settings", Research in Higher Education, 33, 747-764.         [ Links ]

Theall, M. y Franklin, J. (2000). "Creating responsive student ratings systems to improve evaluation practice", New Directions for Teaching and Learning, 83, 45-105.         [ Links ]

Wolfer, T. A. y Johnson, M. M. (2003). "Re-evaluating student evaluation of teaching: the teaching evaluation form", Journal of Social Work Education, 39(1), 111-121.         [ Links ]

Zahn, K. D. y Schramm, M. R. (1992). "Student perception of teacher effectiveness based on teacher employment and course skill level", Business Education Forum 46(3), 16-18.         [ Links ]