Investigación

 

Elaboración de un instrumento de viñetas para evaluar el desempeño docente

 

Silvia Araceli Sánchez Ochoa*, Alejandra Domínguez Espinosa**

 

*Profesora de tiempo completo en el Departamento de Psicología de la Universidad Iberoamericana-Ciudad de México. Prolongación Paseo de la Reforma 880, Lomas de Santa Fe, CP 01210, México, DF. CE: silvia.sanchez@uia.mx.

**Profesora de tiempo completo en el Departamento de Psicología de la Universidad Iberoamericana, Ciudad de México. CE: alejandra.dominguez@uia.mx.

 

Artículo recibido: 2 de agosto de 2007
Dictaminado: 15 de noviembre de 2007
Segunda versión: 4 de diciembre de 2007
Aceptado: 4 de diciembre de 2007

 

Resumen

Las instituciones educativas enfrentan el reto de seleccionar a sus docentes para el mejor desempeño de sus funciones así como de capacitarlos explotando el potencial humano que cada profesor tiene. Sin embargo, es difícil diferenciar a los maestros destacados en sus competencias y aptitudes de los que sólo transmiten conocimientos. Con base en la identificación y diferenciación de habilidades y aptitudes de profesores buenos versus talentosos de un estudio previo (Sánchez y Domínguez, 2006), se desarrolló un instrumento de evaluación de aptitudes y habilidades docentes de 10 viñetas que escenificaban diferentes situaciones de su práctica que los profesores debían resolver. El instrumento probó ser útil para detectar las fortalezas y debilidades de los maestros en relación con las características que se evaluaron, así como adecuado para medir aspectos poco comunes dentro de las evaluaciones institucionalizadas.

Palabras clave: profesores, desempeño de profesores, evaluación, educación superior, México.

 

Abstract

Educational institutions face the challenge of selecting teachers best able to perform their functions, in addition to training teachers to take advantage of their individual potential. It is not easy, however, to distinguish teachers with outstanding skills and aptitudes from teachers who simply transmit knowledge. Based on a previous study's identification and differentiation of the skills and aptitudes of good teachers versus talented teachers (Sánchez and Domínguez, 2006), an instrument was developed to evaluate aptitudes and teaching skills by asking teachers to solve ten vignettes representing various practical situations. The instrument proved to be useful for detecting teachers' strengths and weaknesses in relation to the characteristics evaluated; it was also adequate for measuring aspects uncommon in institutionalized evaluations.

Keywords: teachers, teacher performance, evaluation, higher education, Mexico.

 

Introducción

En buena medida, la calidad de una universidad depende de la formación, la capacidad, la responsabilidad y el entusiasmo de su personal académico. Gómez (2002) menciona que en la actualidad son muy contados los profesores que por resuelta vocación se dedican a la docencia y que, a medida que la población escolar ha crecido, ha sido necesario buscar nuevos maestros que frecuentemente no pasan por un adecuado proceso de selección, agravándose con ello el problema de lograr un buen cuerpo docente, por lo que es urgente poder seleccionar a los más aptos.

Actualmente, hay algunas controversias en relación con el tema de la evaluación de la docencia y entre éstas se encuentran: la multidimensionalidad de esta profesión, la falta de consenso en las metodologías e instrumentos para el proceso evaluativo, la preocupación por generar los apropiados, y la crítica a los supuestos de lo que se entiende por "buen profesor" (Rue-da-Beltrán y Díaz-Barriga, 2000).

Ante este panorama no es de extrañar que surja un movimiento bastante amplio en favor de la evaluación del profesorado para conocer qué y cómo enseñan y poder integrar al cuerpo académico de las universidades a los mejores docentes. Con éste propósito, los sistemas educativos latinoamericanos han privilegiado los esfuerzos encaminados al mejoramiento de la calidad de la educación y han identificado a la variable "desempeño profesional del maestro" como necesaria y determinante para el logro del salto cualitativo de la gestión escolar, pues permite caracterizar su desempeño y, por lo tanto propicia su desarrollo futuro, al mismo tiempo que constituye una vía fundamental para su atención y estimulación.

Son numerosos los estudios diseñados y las experiencias desarrolladas para demostrar cuáles son las características indispensables que hacen que un maestro sea considerado bueno (Aguirre et al., 2000; García-Garduño, 2000; Gilio-Medina, 2000; Luna-Serrano, 2000; Rueda-Beltrán y Díaz-Barriga, 2000). Muchos de estos trabajos se enmarcan en un acercamiento de la efectividad docente basado en encuestas de valoración. La diversidad de planteamientos con que podemos encontrarnos complica la pretensión de establecer un único perfil referencial, más o menos uniforme, de actuación profesional o relacional del docente universitario, que estará condicionado por el contexto de actuación pedagógica y/o por el carácter psicológico que se impriman a todas sus acciones, tanto profesionales como personales.

Hasta ahora, el medio más empleado para evaluar la docencia ha sido el cuestionario de opinión de los alumnos, a quienes se considera como la mejor fuente de información sobre su desempeño, ya que los estudiantes son quienes interactúan en forma constante con el profesor y quienes perciben si cuenta o no con habilidades pedagógicas para transmitir sus conocimientos, si hace una programación adecuada y real de su curso, si se comunica eficientemente, si es congruente en su evaluación, etcétera (Loredo, 2000). Sin embargo, en términos generales, se considera que las opiniones estudiantiles pueden ser subjetivas y estar influidas por diversos factores, lo que genera una evaluación susceptible de sesgos (Van de Grift, 2007).

En la literatura se ha encontrado que no existe una definición universal de efectividad docente o de docencia de calidad; esto se debe a que es una actividad compleja que incluye una gran variedad de características individuales y de estilos. Una de las raíces de la polémica de lo que constituye un desempeño efectivo estriba en reconocer si esta actividad es un arte o una ciencia. Para Schwartz (1996) esta pregunta, aparentemente simple, encierra una serie de respuestas complejas, contradictorias y constantemente cambiantes. Si enseñar es un arte, la selección y la identificación de talentos y habilidades puede ser la esencia de la respuesta; sin embargo, si es una ciencia, la respuesta está en las experiencias de capacitación, comprobadas y verificables.

Dado que no existe un modelo establecido que señale cuáles deben de ser las características esenciales en la definición de un docente destacado, Sánchez y Domínguez (2006) utilizaron la técnica de Redes semánticas naturales modificadas (Reyes- Lagunes, 1993), para identificar las características asociadas con los conceptos "Buen maestro" y "Maestro talentoso" con base en una muestra de 400 participantes, alumnos y profesores, de las cuatro áreas de conocimiento básicas (físico-matemáticas, químico-biológicas, económico-administrativas y sociales-artísticas). Esta técnica (Figueroa, González y Solís, 1981) es una herramienta basada en la asociación libre y un proceso reconstructivo de la información almacenada en la memoria a largo plazo, que permite explorar el significado psicológico de los conceptos. Propone una explicación de cómo se representa y organiza la información en la memoria y cómo ésta puede tener efectos sobre la conducta. Esta técnica se ha utilizado en muy diversos estudios en el campo de la educación, explorando conceptos y comprensión de la lectura, entre otros (Valdez-Medina, 1998), lo que la hizo conveniente para los propósitos del estudio.

Los resultados obtenidos en ese estudio indicaron que, aunque los términos "Buen maestro y "Maestro talentoso" comparten características comunes, cuentan con los suficientes elementos para considerarse distintos. En el primero se da mayor énfasis a las destrezas, es decir, conductas que se pueden adquirir, mientras que el segundo contiene un mayor número de aptitudes o características primarias, preexistentes al aprendizaje. Los resultados coinciden con el planteamiento que se ha hecho en relación con el talento, como un perfil particular de aptitudes que se reflejan en un desempeño excepcional en un campo de acción (Buckingham y Clifton, 2001). En el caso particular del "Maestro talentoso", este perfil estaría definido por las aptitudes inteligente, creativo, flexible, abierto y carismático y por las destrezas conocimiento, comunicador, preparado, capacitado, actualizado, responsable, empático, con experiencia, culto, comprometido, innovador, sabio, tolerante, motivador y estudioso. Por su parte, el perfil del "Buen maestro" estaría definido por las destrezas conocimiento, preparado, responsable, organizado, comprometido, puntualidad, justo, capacitado, comunicador y empático y por las aptitudes inteligente, paciente y flexible.

A partir de la identificación de las características mencionadas, surgió la necesidad de elaborar algún tipo de herramienta de medición que pudiera considerar dichos atributos, ya que las evaluaciones objetivas que se han desarrollado hasta el momento únicamente retoman algunos de los atributos identificados (Fresán, 2000; García-Garduño, 2000; Gilio-Medina, 2000).

Asimismo, los formatos que se utilizan para evaluar a los docentes tienen algunos problemas intrínsecos. Generalmente, las herramientas de medición al respeto se pueden clasificar en tres tipos: los cuestionarios cerrados, los registros observacionales y la evaluación de los alumnos (Loredo, 2000; Van de Grift, 2007). Los cuestionarios tienen la desventaja de preguntar directamente a los profesores acerca de su propio ejercicio profesional en el salón de clase, lo que puede inducir respuestas socialmente deseables, ya que el maestro logra responder el cuestionario con base en sus conocimientos teóricos pedagógicos y no necesariamente lo que hace en el salón de clase (Van de Grift, 2007). Los registros observacionales que, si bien han probado su efectividad, resultan más costosos en términos de tiempo y recursos, ya que para realmente llevar a cabo una evaluación lo suficientemente objetiva, se requiere de personal capacitado que esté presente en el salón de clase, lo que puede incomodar al profesor. La tercera y más utilizada estrategia de evaluación es preguntando directamente a los alumnos. Esta última es, por mucho, la forma más utilizada (Loredo, 2000; Loredo y Grijalva, 2000); sin embargo, algunos de sus mayores problemas es que, en ocasiones, los alumnos ventilen frustraciones en una manera ofensiva y agresiva a manera de ataques personales hacia los profesores (Rhea et al., 2007).

Con base en lo anterior y como el objetivo era desarrollar una evaluación objetiva del desempeño docente, independientemente de las estimaciones de los alumnos y partiendo de otro modelo sin recurrir a los cuestionarios o registros observacionales, se decidió que el instrumento que nos ocupa en este trabajo se basara en un modelo de viñetas, donde al participante, en este caso un docente, se le pudieran presentar situaciones cotidianas dentro del aula de clases. Algunos estudios han señalado que las viñetas son una técnica muy valiosa para explorar las percepciones, creencias y significados de las personas en relación con situaciones específicas y son especialmente útiles para indagar sobre temas sensibles que no pueden abordarse a través de otros métodos; se ha encontrado que las respuestas dadas a las viñetas son un buen reflejo de la forma en que los individuos responden en la realidad (Carlson, 1996; Rahman, 1996).

El uso de viñetas en el campo educacional (Barnatt et al., 2007) ofrece una manera de evaluar los procesos cognitivos que son utilizados en la toma de decisiones de los profesores y además pueden desprenderse hallazgos que sugieran el desempeño docente en el salón de clase. El respondiente aterriza sus respuestas y refleja sus actitudes respecto de situaciones complejas, difíciles y realistas.

 

Método

Participantes

El estudio se llevó a cabo con una muestra de ocho académicos de tiempo completo que fungieron como jueces para la primera etapa, correspondiente a la validación de las viñetas. Posteriormente se efectuó un piloteo con una muestra independiente de 15 académicos, los cuales realizaron una segunda valoración del instrumento. Finalmente se utilizó una tercera muestra de 30 docentes para la fase de aplicación de la versión final. Todos los participantes eran profesores de la Universidad Iberoamericana de la Ciudad de México, de las cuatro áreas académicas identificadas previamente (físico-matemáticas, químico-biológicas, económico-administrativas y sociales-artísticas), de entre uno a 25 años de experiencia docente. Fueron seleccionados de manera no probabilística para las tres fases de construcción del instrumento.

Procedimiento

Con base en los resultados del estudio de Sánchez y Domínguez (2006), se retomaron las 16 características no compartidas en las primeras 20 definidoras de los conceptos "Buen maestro" y "Maestro talentoso" para la construcción de las viñetas (tabla 1).

 

Se redactó al menos una viñeta para las 16 características, cada una con cuatro alternativas de respuesta, que representaban diferentes maneras de resolver una misma situación y que consideraban en grado diferente la característica evaluada. En el caso particular de las definidoras de puntualidad, paciente, justo y honesto se redactó más de una viñeta, ya que eran características que, con base en una primera elaboración de este recurso, generaron mayor número de escenarios posibles por lo que, finalmente, se construyeron 23 viñetas.

Como mencionamos, la validación del instrumento de viñetas se llevó a cabo en tres etapas. La primera consistió en someterlo a un grupo de ocho jueces, tres hombres y cinco mujeres, expertos en el tema de la docencia, para que indicaran qué tipo de característica estaba evaluando la viñeta, con la intención de ratificar, en primera instancia, si las situaciones eran representativas del atributo que se quería medir. El primer instrumento consistió de ocho hojas, cada una con tres viñetas dispuestas de manera aleatoria, dónde se encontraban las instrucciones en la parte superior y a continuación otros 23, cada una con sus cuatro opciones de respuesta; cabe señalar que en ningún momento se mencionaba el atributo o característica que se evaluaba en cada escenario. La aplicación consistía en darle al juez el instrumento junto con un listado de los 16 atributos, y se le pedía que de ahí escogiera el que, en su opinión, estuviera representado en la viñeta.

La segunda etapa consistió en distribuir el mismo instrumento a otra muestra independiente de 15 profesores, en esta ocasión, especificando el tipo de atributo que medía cada viñeta para que jerarquizaran cada opción de respuesta en cuanto a la solución más adecuada para resolver el problema escenificado, asignándole el número 1 a la mejor alternativa o bien a aquella opción de respuesta que representara la mayor cantidad del atributo evaluado; se le asignaba el número 2 a la siguiente mejor alternativa y así sucesivamente hasta el 4 a la alternativa con la respuesta que, a juicio de los sujetos, fuera la menos representativa o con menor cantidad del atributo evaluado.

Terminada esta recolección de datos se procedió a realizar los análisis de datos correspondientes:

1) Se ponderaron las respuestas de cada viñeta según el lugar que le asignó cada sujeto por la frecuencia de selección. Esto con la intención de identificar aquella opción de respuesta más representativa de la viñeta como primer lugar, la segunda, la tercera y la opción menos deseable para resolverla.

Valor de ratificación = Jerarquización X fr

2) Se obtuvieron las medidas de tendencia central, moda y media para cada opción de respuesta.

3) Se compararon los valores obtenidos entre los puntos anteriores y una evaluación general de cada opción de respuesta para decidir cuál, a juicio de los sujetos, sería la más adecuada para cada viñeta hasta la menos adecuada.

Una vez obtenidos los datos anteriores, se eliminaron aquellas viñetas que resultaron más confusas y que presentaron menor índice de acuerdo con los jueces, lo que resultó en un instrumento final de diez viñetas, referentes a las situaciones de justo, honesto, paciente, puntual, cumplido, organizado, motivador, innovador, con sabiduría y estudioso.

La tercera etapa se llevó a cabo aplicando el instrumento final a una muestra independiente de 30 profesores, con edades entre los 27 y los 48 años. Todos contaban con un mínimo de un año de docencia a nivel universitario, y ocho eran de nuevo ingreso a la institución. La división por área académica fue la siguiente: 6 profesores del área físico-matemáticas, 10 del área químico-biológicas, 10 del área económico-administrativas y 4 de sociales-artísticas.

En esta ocasión, el instrumento estaba conformado por dos hojas tamaño carta, en donde se encontraban las instrucciones en la parte superior y a continuación las diez viñetas dispuestas en orden aleatorio, cada una con sus cuatro opciones de respuesta sin especificar el atributo que se estaba evaluando en cada una. A cada viñeta se le asignaba un punto si el participante había escogido como primera alternativa de solución aquella respuesta anteriormente identificada como la más adecuada, y cero puntos si hubiera elegido alguna de las tres alternativas restantes. Esto daba como resultado que cada participante obtenía un puntaje que iba desde 0 a 10, donde el cero representaba que el profesor no habría resuelto ninguna viñeta de la manera esperada y 10 que, por el contrario, hubiera resuelto todas de manera correcta (ver anexo, instrumento completo).

 

Resultados

El acuerdo interjueces obtenido para la primera etapa de validación del instrumento fue de un rango de 63 a 100% como se puede observar en el cuadro 1, por lo que se consideró que los grados de acuerdo eran suficientes como para continuar con la siguiente etapa de validación.

En la segunda etapa, una vez realizados los análisis de ponderación y de acuerdo interjueces de las opciones de respuesta más adecuadas para resolver cada una de las viñetas, se obtuvo que solamente diez alcanzaban un acuerdo mínimo de 90% en la jerarquización de las opciones. El cuadro 2 muestra el orden de las cuatro opciones de respuesta para las diez viñetas identificadas como consistentes.

 

Para la tercera etapa de la validación, se llevaron a cabo análisis de frecuencias de las respuestas correctas e incorrectas en cada una de las viñetas (cuadro 3).

De las diez viñetas, observamos que al menos en siete, el porcentaje de aciertos es mayor a 57; se observa que el más alto es para la viñeta 6 que evalúa puntualidad, mientras que la que alcanza menos porcentaje de aciertos es la 9 (estudioso). A continuación se retoma cada una de las respuestas por viñetas.

Viñeta 1: Cumplido

Se observa que de los 30 profesores, 70% eligió la opción correcta. Esto indica que la mayoría, cuando se ausentan, asumen que es su responsabilidad, reponen sus clases para cubrir el material que tenían programado y no dejan que los alumnos asuman una carga que no les corresponde.

Viñeta 2: Paciente

En esta viñeta, 56.7% de los profesores respondió la opción correcta. Los resultados muestran que un poco más de la mitad de los evaluados se muestra paciente cuando sus alumnos piden una clase antes del examen, que se vuelva a explicar un tema difícil, pero lo hacen en forma breve, sólo resolviendo las dudas y sin volver a abordar el tema completo.

Viñeta 3: Organizado

En relación con este atributo, 66.7% de los profesores en la muestra eligió la opción correcta. Eso muestra que la mayoría se organiza en forma adecuada cuando hay que entregar una guía de estudios con poco tiempo para hacerlo. Asimismo, la mayoría de los docentes opta por hacer una pre-guía y entregarla con bibliografía básica para después hacer las modificaciones que sean necesarias.

Viñeta 4: Honesto

El 60% de los profesores de la muestra eligieron la opción correcta. Esto muestra que en términos de honestidad en relación con un olvido, un poco más de la mitad admite su error y el resto opta por no hacer saber a los alumnos que se les olvidó que ese día había examen.

Viñeta 5: Justo

En esta viñeta, 43.3% de los docentes de la muestra eligieron la opción correcta. En términos de justicia, cuando la mayoría del grupo reprueba, 56.7% tiende a reponer el examen o dejar un trabajo extra para que los alumnos suban su calificación, independientemente de que algunos hubieran obtenido una buena nota. Menos de la mitad deja las calificaciones tal y como están y solamente 20% opta por hacer campana.

Viñeta 6: Puntual

Los resultados de esta viñeta muestran que 83.3% de los profesores eligieron la opción correcta. Esto muestra que la mayoría se preocupa por llegar puntualmente a sus clases, independientemente de las eventualidades que tengan que enfrentar para hacerlo.

Viñeta 7: Sabiduría

En este atributo, 66.7% eligió la opción correcta. Los resultados muestran que a poco más de la mitad de los profesores les gusta responder las preguntas de sus alumnos, tengan o no relación con su tema y que lo hacen en forma sencilla y clara. El resto opta por dejar que los estudiantes investiguen sus dudas o responden solamente las preguntas relacionadas con el tema.

Viñeta 8: Motivador

En esta viñeta, menos de la mitad de los profesores, 43.3%, respondió adecuadamente. Esto significa que cuando un alumno tiene dificultades con una materia, al menos la mitad de los profesores lo retroalimentan constantemente y establecen junto con él programas de acción para que pueda enfrentar sus aspectos negativos y elevar su desempeño.

Viñeta 9: Estudioso

En esta viñeta, sólo 26.7% eligió la opción correcta. Esto muestra que los profesores incorporan ejemplos de su práctica profesional para que sus alumnos tengan una mejor comprensión del material del curso, pero que sólo 26.7% se preocupa por buscar e incorporar material bibliográfico actualizado para enriquecer sus cursos.

Viñeta 10: Innovador

En esta última viñeta, 80% de los profesores eligió la opción correcta. Esto muestra que cuando encuentran un material innovador extra, aun cuando ya están por finalizar el curso, lo incorporan para enriquecer el tema que se está llevando a cabo.

Se obtuvo una calificación final por participantes realizando la sumatoria total de puntos considerando las diez viñetas; a partir de este valor se crearon dos grupos con base en el promedio, de tal manera que se dividió al grupo en altos y bajos. Se llevaron a cabo tablas de contingencia y, utilizando la prueba Chi cuadrada de Pearson, se identificó que de las diez viñetas, siete discriminaban entre los grupos. En el cuadro 4 se puede observar que todas las viñetas que se desarrollaron a partir de los atributos de "Buen maestro" discriminan entre los grupos, mientras que solamente una de las cuatro características de los "Maestros talentosos" discriminó entre los puntajes altos y bajos.

 

Discusión

Las fortalezas humanas descansan en la habilidad de poder aplicar, flexiblemente, tantos recursos y habilidades como sea necesario, para resolver un problema o trabajar hacia una meta (Staudinger, Marsiske, y Baltes, 1995; Staudinger y Pasupathi, 1995). Las viñetas del instrumento construido permiten evaluar 10 características de "Buen maestro" y de "Maestro talentoso" y representan diferentes maneras de resolver una misma situación.

Con respecto al instrumento es interesante observar que de los 30 profesores que respondieron el cuestionario, 19 obtuvieron entre 6 y 10 respuestas correctas y sólo 11 menos de 6. Esto quiere decir que este instrumento es capaz de discriminar la forma en que responderán los profesores ante las situaciones que están siendo evaluadas.

De acuerdo con otros resultados de investigación sobre el talento en el ámbito académico, específicamente del trabajo con profesores (Gordon, 1999), no se busca que todos respondan correctamente a todas la viñetas, sino detectar sus fortalezas y debilidades en relación con los temas que éstas evalúan.

Los resultados del estudio muestran que el mayor número de respuestas correctas se presentaron en las viñetas puntualidad (83.3%), innovador (80%) y cumplido (70%). Las correspondientes a organizado (66.7%), sabiduría (66.7%), honesto (60%) y paciente (56.7%) fueron respondidas correctamente por un poco más de la mitad de los profesores y los menores aciertos los encontramos en las viñetas: motivador (43.3%), justo (43.3%) y estudioso (26.7%).

En relación con la viñeta puntualidad, observamos que 83.3% (25 de 30) de los profesores que participaron en el estudio, se preocupan por iniciar sus clases a la hora señalada y organizan sus actividades de tal forma que les permita llegar sin prisa y con suficiente tiempo a la universidad. La puntualidad es una característica valorada por todos los grupos y la impuntualidad es considerada como una característica del "Mal maestro". Asimismo, la puntualidad es una característica valorada en la mayoría de los cuestionarios de evaluación docente y considerada como personal (Aguirre et al., 2000; Fresán, 2000; Vargas, 2000).

El 80% de los profesores (23 de 30) respondieron correctamente la viñeta innovador. Galindo y Zwaiman (2000) definen este atributo como el grado en que el profesor programa actividades y técnicas de clase, así como tareas nuevas y originales. Esta característica es una de las que diferencia al "Maestro talentoso" del "Buen maestro" e implica que el talentoso incorpora nuevos elementos en sus cursos -aun cuando no hayan estado programados- si considera que promoverán un mejor aprendizaje y comprensión del tema por parte de sus alumnos. De acuerdo con la viñeta, el "Buen maestro" se preocupa más por cumplir con su programa al pie de la letra. Es interesante observar que esta característica no es considerada en la mayoría de los cuestionarios de evaluación docente.

El 70% de los profesores (21 de 30) se preocupan por reponer las clases a las que no pueden asistir aun cuando hayan tenido que faltar por causas de fuerza mayor. Esta viñeta evalúa la característica cumplido. Los siete profesores que no respondieron correctamente a la viñeta prefieren acelerar el ritmo del curso, cubrir parcialmente los temas o pedirles a los alumnos que revisen el tema por su cuenta. Esta característica es valorada en la mayoría de los cuestionarios de evaluación docente e involucra también el cumplir con los objetivos del programa y asistir a las clases programadas (Aguirre et al., 2000; Vargas, 2000).

La organización es una de las características del docente que son evaluadas con mayor frecuencia e involucra la capacidad de planeación (Jiménez-Zamudio, 2000). En la viñeta organizado, 66.7% de los profesores (20 de 30) organizan su tiempo en forma adecuada para cumplir con los requisitos del departamento en el que trabajan y entregar a tiempo su guía de estudios completa. Dos más optan por realizar una pre-guía para poder hacer modificaciones durante el curso y los ocho restantes no se organizan adecuadamente.

La viñeta sabiduría también fue respondida correctamente por 66.7% de los profesores (20 de 30). Esta es una característica del "Maestro talentoso", estos docentes tienen conocimientos sobre diferentes temas y les gusta responder a las preguntas de sus alumnos aun cuando se salgan del tema. El resto de los profesores se centran únicamente en su materia y no responden preguntas o dejan que sus alumnos investiguen por sí mismos. Es interesante puntualizar que no se encontraron referencias en los cuestionarios de evaluación docente en relación con esta característica, en la mayoría se evalúa el dominio de la materia, el nivel de conocimientos y el grado en que el profesor responde a las preguntas de los estudiantes y que están relacionadas con el tema (Vargas, 2000).

La viñeta honesto fue respondida correctamente por 60% de los profesores (18 de 30) y es una característica del "Buen maestro". Esto quiere decir que más de la mitad de los participantes en el estudio aceptan ante sus alumnos un olvido. El resto tiene dificultades para admitir una equivocación y buscan una manera de resolver la situación sin que los estudiantes se den cuenta. Es importante señalar que un maestro se considera honesto cuando habla con la verdad, evita engañar, defraudar o apropiarse de lo ajeno y no participa en ningún tipo de corrupción (Contreras et al., 2002).

El 56.7% de los profesores (17 de 30) respondieron correctamente la viñeta paciente, que evalúa el grado en el que responden a las necesidades de los estudiantes cuando les deben explicar nuevamente un tema que no comprendieron, sin descuidar, al mismo tiempo, la programación de su curso. Los trece profesores restantes optan ya sea por quedarse en el tema hasta que los alumnos lo comprendan o por dejar que ellos lo estudien por su cuenta. A pesar de que esta característica es considerada por varias investigaciones como característica de un buen maestro (Fernández, 2002; Gómez, 2002; Schmelkes, 2001), no fue encontrada en la literatura consultada relacionada con los cuestionarios de evaluación docente.

Menos de la mitad de los profesores (43.3%, 13 de 30) respondieron correctamente la viñeta motivador que es una característica del "Maestro talentoso". Esta evalúa la capacidad del maestro de motivar a un alumno que siente que no puede con la materia, estableciendo con él, en forma individual, un programa de acción para que pueda enfrentar sus debilidades y retroalimentándolo en forma adecuada. La mayoría de los profesores, en vez de motivar, se dedican a resolver dudas o dejan trabajos extras para que los estudiantes aprueben sus materias. De acuerdo con Csikszentmihalyi, Rathunde y Whalen (1993), los buenos maestros minimizan la retroalimentación enfocada a controlar al estudiante y maximizan la que informa sobre el desarrollo de habilidades, estando siempre pendientes de responder a las necesidades cambiantes de sus estudiantes tanto en el plano emocional como cognitivo. Es importante señalar que la evaluación del profesor sobre el trabajo de los alumnos y la comunicación oportuna de estos resultados, señalando los errores y discutiendo la forma adecuada de superarlos, es una característica frecuentemente presente en los cuestionarios de evaluación docente (Aguirre et al., 2000; Fresán, 2000). Por otro lado, también es importante considerar que la motivación depende tanto de factores intrínsecos (dominios, retos, desafíos) como extrínsecos, así como de las características de cada alumno (variables afectivas y cognitivas). Posiblemente este resultado se deba a que, en general, se le pide al maestro que cumpla con los temas y no que realmente incentive a los estudiantes a aprender.

En relación con la viñeta justo sólo 43.3% de los profesores (13 de 30) optan, cuando la mayoría de sus alumnos reprueban un examen y uno de ellos obtiene un nueve, por dejar las calificaciones tal y como están, sin hacer reposición o dejar un trabajo extra para que puedan subir su calificación. Es interesante preguntarnos si sería justo para el alumno que sacó 9, repetir el examen o quedarse con su resultado cuando el resto de sus compañeros que reprobaron pueden hacer un trabajo extra para obtener una mejor calificación.

En algunos estudios (por ejemplo, Contreras et al., 2002) se considera que un profesor es justo cuando evalúa de una manera objetiva, considera que todas las personas tienen los mismos derechos y oportunidades y no tiene preferencias; además, esta es una característica frecuentemente evaluada en los cuestionarios docentes (Jiménez-Zamudio, 2000). No existe una definición clara aceptada por todos respecto de la justicia, ya que este término puede ser encarado desde diferentes facetas y sigue presentándose como un concepto impreciso. La justicia formal se ha definido como un principio de acción de acuerdo con el cual los seres de una misma categoría esencial deben ser tratados de la misma manera. Esto implica que, a partir de una definición concreta de los agrupamientos respectivos a los que pertenece cada caso, se aplique el mismo criterio o norma para el caso correspondiente. Lo importante de la cuestión radica en que lo que es justo depende de los grupos que se quieran formar y de las reglas que se les apliquen, una vez dadas estas definiciones, el concepto de justicia se vuelve trivial y consiste, simplemente, en aplicar la norma adecuada al caso adecuado.

Finalmente, la viñeta que obtuvo el número más bajo de respuestas correctas fue estudioso, característica que corresponde al "Maestro talentoso"; ésta implica que el profesor nunca deja de desarrollar su interés personal en su área de conocimiento (Csikszentmihalyi, Rathunde, y Whalen, 1993; Gordon, 1999). Unicamente 26.7% (8 de 30) de los maestros de la muestra respondieron a este ítem correctamente. Esta viñeta evalúa el grado en el que un profesor incorpora y revisa nuevo material bibliográfico para los cursos que ya ha impartido con anterioridad. Es importante apuntar que todos los docentes analizados incorporan ejemplos de su experiencia profesional en sus cursos, mas no nuevos materiales de estudio. En relación con la literatura encontrada en los cuestionarios de evaluación docente, esta característica no es evaluada, ya que los alumnos no tienen manera de discriminar si el profesor ha incorporado nuevos elementos a su curso; sin embargo, ser estudioso es considerado por Buckingham y Clifton (2001), como el talento que exalta la travesía continua y deliberada de la ignorancia al conocimiento y no únicamente el que un académico busque convertirse en experto en su materia sino, más bien, la pasión por aprender.

Es importante mencionar que un propósito de este trabajo fue que las características evaluadas con este instrumento de viñetas fueran sensibles a las influencias ambientales y contextuales que determinan la forma en que éstas se manifiestan en el contexto en el que se presentan para tratar de disminuir los conflictos que, con frecuencia, se suscitan tanto entre la instancia evaluador-evaluado como entre los fines de la evaluación misma.

¿Qué es lo que hace a un buen maestro?, ¿es la presencia de ciertas habilidades inherentes o cualidades internas o es la utilización adecuada de técnicas didácticas lo que hace que el aprendizaje sea más interesante y permanente para sus alumnos?, ¿se puede entrenar o capacitar a todo profesionista y convertirlo en un maestro excepcional, o más bien, se debe invertir en realizar un adecuado proceso de selección para incorporar al cuerpo docente solamente a aquellos maestros que demuestren talento para enseñar? Podemos concluir que, como Gage (1992) establece, enseñar es un arte instrumental, por lo que se necesita tanto la presencia de ciertas aptitudes como el desarrollo de ciertas destrezas para tener un buen maestro. El profesor necesita, en primer lugar, tener conocimientos y dominar su materia a "enseñar" tanto en el "saber" como en el "saber hacer"; es decir, además del conocimiento teórico, requiere experiencia en el ámbito laboral (cultura general, formación profesional). Debe tener habilidades pedagógicas y la capacidad para transmitir sus saberes (buena comunicación, motivación, interés, organización, claridad, responsabilidad, cumplimiento, congruencia), complementando esta capacidad con la presencia de actitudes y valores (justicia, asistencia, puntualidad, respeto, exigencia, honestidad) para propiciar procesos de aprendizaje en sus estudiantes. Asimismo es necesario que cuente con las cualidades de inteligencia, creatividad, innovación, sabiduría, empatía, apertura a la experiencia y carisma. Los hallazgos del estudio avalan que es precisamente más difícil contar con "Maestros talentosos" que con "Buenos maestros".

Los resultados de esta investigación reafirman el consenso que existe en la idea de que el fracaso o el éxito de todo sistema educativo dependen, fundamentalmente, de la calidad del desempeño de sus docentes. Podrán perfeccionarse los planes de estudio, programas, textos escolares; construirse magníficas instalaciones; obtenerse excelentes medios de enseñanza, pero sin docentes eficientes no podrá tener lugar el perfeccionamiento real de la educación.

El gran reto para los educadores ya no es distinguir entre quién es talentoso y quién no lo es sino ayudar a todas las personas a identificar su potencial, sus fortalezas y a ejercerlas en un contexto adecuado y socialmente útil. Este instrumento de viñetas consideró la diferenciación entre las características de "Buen maestro" y de "Maestro talentoso" en relación con diferentes situaciones que se presentan en la docencia, de una manera poco común dentro de las evaluaciones institucionalizadas y tratando de subsanar algunos errores de medida con los que cuentan otras herramientas de evaluación como los cuestionarios, registros observacionales y evaluaciones del alumnado. Adicionalmente, este instrumento, por sus características, puede ser utilizado ya sea desde una evaluación interna, con los docentes que ya forman parte del cuerpo académico, o desde una externa, con los profesores de nuevo ingreso, y puede ofrecer una buena perspectiva de cómo responden en relación con las características evaluadas, retroalimentarlos e identificar tanto sus fortalezas como sus debilidades de acuerdo con el perfil particular de cada maestro.

El instrumento con viñetas sólo evalúa diez características del "Buen maestro" y del "Maestro talentoso". Fue validado por los métodos tradicionales de validación por jueces con base en los resultados de la primera parte de la investigación. Este instrumento puede ampliarse y evaluar un mayor número de características. También es factible, de acuerdo con los resultados de este estudio, construir un instrumento para evaluar diversas características según las necesidades de cada carrera o área académica. Asimismo, será necesario aplicarlo, en futuras investigaciones, a muestras más grandes y realizar validaciones psicométricas adicionales o correlacionarlo con los resultados de los instrumentos de evaluación de profesores para ver de qué manera se correlacionan y, de esta forma, tener datos empíricos de su validez concurrente que avalen su uso. Será necesario observar cómo se comporta el instrumento en diferentes muestras por lo que no consideramos recomendable utilizarlo en otros contextos para evaluar las características de los profesores sin haber realizado las validaciones necesarias, ya que se construyó con población estudiantil y docente a nivel universitario y podría no funcionar en otros niveles académicos.

Debido a que la selección de la muestra se realizó de manera no probabilística, algunos de los hallazgos no pueden ser generalizados. Sesugiere realizar este mismo estudio en diferentes instituciones educativas, tanto públicas como privadas. Finalmente, los resultados contribuyen a la comprensión de un tema de gran relevancia en diversos ámbitos del quehacer humano y que ha sido poco estudiado como lo es el talento.

 

Anexo

 

Referencias

Aguirre, X.; Botero, I.; Loredo, J.; Magaña, L.; Montano, A.; Rigo, M., et al. (2000). "Evaluación integral de la docencia: una propuesta formativa y humanista", en J. Loredo (ed.), Evaluación de la práctica docente en educación superior (pp. 1-36), México: Porrúa.         [ Links ]

Barnatt, J.; Shakman, K.; Enterline, S.; Cochran-Smith, M. y Ludlow, L. (2007). "Teaching for social justice: Using vignettes to assess attitudes and beliefs", trabajo presentado en The American Educational Research Association Annual Meeting: The world of educational quality, noviembre, disponible en http://tne.bc.edu/documents/TeachingforSocialJusticeUsingVignettestoAssessAttitudesandBeliefs.pdf.         [ Links ]

Buckingham, M. y Clifton, D. (2001). Ahora, descubra sus fortalezas, México: Norma.         [ Links ]

Carlson, B. E. (1996). "Dating violence: student beliefs about consequences", Journal of Interpersonal Violence, 11, 3-18.         [ Links ]

Contreras, E.; Sánchez, A.; Olivo, E.; Ramos, G.; Rojas, M.; Salinas, H., et al. (2002). Propuesta del perfil del profesor modelo UDEM, México: Universidad de Monterrey, disponible en: www.udem.edu.mx/claustro/prpuestas/doc13.doc.         [ Links ]

Csikszentmihalyi, M.; Rathunde, K., y Whalen, S. (1993). Talented teenagers: The roots of success and failure, Nueva York: Cambridge University Press.         [ Links ]

Fernández, A. (2002). "Marco normativo para la calidad educativa: base para un nuevo sistema nacional de evaluación nacional educativa en México", Educación 2001, 85, 68-69.         [ Links ]

Figueroa, J.; González, E., y Solís, V. (1981). "Una aproximación al problema del significado: las redes semánticas", Revista Latinoamericana de Psicología, 13(3), 447-458.         [ Links ]

Fresán, M. (2000). "Una propuesta para la evaluación docente en el nivel de posgrado", en J. Loredo (ed.) Evaluación de la práctica docente en educación superior (pp. 37-62), México: Porrúa.         [ Links ]

Gage, N. L. (1992). "Art, science and teaching from the standpoint of an eclectic purist", School of Education Review, 4, 8-17.         [ Links ]

Galindo, D., y Zwaiman, K. (2000). "Un estudio empírico de la relación que existe entre la evaluación docente y el clima escolar", en J. Loredo (ed.) Evaluación de la práctica Docente en Educación Superior (pp. 179-214), México: Porrúa.         [ Links ]

García-Garduño, J. M. (2000). "Las dimensiones de la efectividad docente, validez y confiabilidad de los cuestionarios de evaluación de la docencia: Síntesis de investigación internacional", en M. Rueda-Beltrán y F. Díaz-Barriga (eds.), Evaluación de la docencia (pp. 41-62), México: Paidós.         [ Links ]

Gilio-Medina, M. C. (2000). "La evaluación docente desde una perspectiva participativa: el caso de la licenciatura en química de la Universidad Autónoma de Querétaro", en M. Rueda-Beltrán y F. Díaz-Barriga (eds.), Evaluación de la docencia (pp. 85-102). México: Paidós.         [ Links ]

Gómez, M. M. (2002). "La Universidad de México, su función y razón de ser de su autonomía", Educación 2001, 85, 1-32.         [ Links ]

Gordon, G. (1999). "Teacher talent and urban Schools", Phi Delta Kappan, 81(4), 304-307.         [ Links ]

Jiménez-Zamudio, J. J. (2000). "Un instrumento de evaluación docente orientado a los procesos de enseñanza", en J. Loredo (ed.), Evaluación de la práctica docente en educación superior (pp. 179-214), México: Porrúa.         [ Links ]

Loredo, J. (2000). Evaluación de la práctica docente en educación superior, México: Porrúa.         [ Links ]

Loredo, J. y Grijalva, O. (2000). "Propuesta de un instrumento de evaluación de la docencia para estudios de posgrado", en M. Rueda-Beltrán y F. Díaz-Barriga (eds.), Evaluación de la docencia (pp. 103-132), México: Paidós.         [ Links ]

Luna-Serrano, E. (2000). "Aspectos implícitos sobre la enseñanza reflejados en los cuestionarios de evaluación de la docencia", en M. Rueda-Beltrán y F. Díaz-Barriga (eds.), Evaluación de la docencia (pp. 63-84), México: Paidós.         [ Links ]

Rahman, N. (1996). "Caregivers' sensitivity to conflict: the use of vignettes methodology", Journal of Elder Abuse and Neglect, 8, 35-47.         [ Links ]

Reyes- Lagunes, I. (1993). "Las redes semánticas naturales, su conceptualización y su utilización en la construcción de instrumentos", Revista de Psicología Social y Personalidad, 9(1), 83-99.         [ Links ]

Rhea, N.; Rovai, A.; Ponton, M.; Derrick, G. y Davis, J. (2007). "The effect of computer-mediated communication on anonymous end-of-course teaching evaluations", International JI. on E-Learning, 6(4), 581-592.         [ Links ]

Rueda-Beltrán, M., y Díaz-Barriga, F. (2000). Evaluación de la docencia, México: Paidós.         [ Links ] Sánchez, S., y Domínguez, A. (2006). "Significado psicológico del talento en la docencia: maestros talentosos vs. buenos maestros", La psicología social en México (vol. 11, pp. 483-489), México: AMEPSO.         [ Links ]

Schmelkes, S. (2001). "La calidad en la educación básica: conversaciones con maestros", Documento DIE, num. 48, México: DIE-CINVESTAV.         [ Links ]

Schwartz, H. (1996). "The changing nature of teacher education", en J. Sikula (ed.), Handbook of Research on Teaching Education (2 ed., pp. 3-13). Nueva York: McMillan.         [ Links ]

Staudinger, U. M.; Marsiske, M. y Baltes, P. B. (1995). "Resilience and reserve capacity in later adulthood: Potentials and limits of development across the life span" en L. G. Aspinwall y U. M. Staudinger (eds.), A Psychology of Human Strengths, Washington, DC: APA.         [ Links ]

Staudinger, U. M. y Pasupathi, M. (1995). "Lifespan perspectives on self, personality and social cognition", en L. G. Aspinwall y U. M. Staudinger (eds.), A Psychology of Human Strengths, Washington, DC: APA.         [ Links ]

Valdez-Medina, J. L. (1998). Las redes semánticas naturales, usos y aplicaciones en psicología social, Toluca: Universidad Autónoma del Estado de México.         [ Links ]

Van de Grift, W. (2007). "Quality of teaching in four European countries: a review of the literature and application of an assessment instrument", Educational Research, 49(2), 127-152.         [ Links ]

Vargas Diez-Barroso, J. (2000). "Propuesta de un perfil integral de maestro universitario y de un instrumento para la evaluación docente", en J. Loredo (ed.), Evaluación de la práctica docente en educación superior (pp. 115-148), México: Porrúa.         [ Links ]