Artículos

 

Las competencias del evaluador educativo¹

 

The abilities of the educational evaluator

 

Tiburcio Moreno Olivos^**

 

** Doctor en Pedagogía, profesor-investigador en el Departamento de Tecnologías de la Información, Universidad Autónoma Metropolitana-Cuajimalpa. Correo electrónico: tmoreno@correo.cua.uam.mx

 

Recibido el 23 de enero del 2014;
Aprobado el 29 de abril del 2015.

 

Resumen

El artículo tiene como objetivo identificar cuáles son las competencias profesionales que debe poseer un evaluador educativo. Este trabajo también apunta a la recuperación de la literatura especializada del "evaluador prototipo", a fin de ofrecer algunas sugerencias respecto a sus competencias útiles para quienes participan en la dirección de programas de evaluación o en el diseño de programas de formación de evaluadores educativos. Los hallazgos principales revelan una serie de competencias profesionales, tales como: habilidades interpersonales y de comunicación, métodos de investigación, análisis de datos, gestión de proyectos, ética profesional, conocimiento del contexto social y de la naturaleza del objeto evaluado.

Palabras clave: Competencias profesionales, Evaluación, Evaluador, Educación superior.

 

Abstract

Based on an extensive literary review, this article aims to identify the key skills that any professional who conducts educational evaluations must have. Some of the main abilities identified and discussed in this paper are interpersonal and communication skills, research methods, data analysis, project management, professional ethics, and knowledge of the social context and of the object under evaluation. The article concluded with some useful suggestions for those who are in charge of evaluation programs or who train educational evaluators.

Keywords: Professional skills, Assessment, Evaluator, Higher education.

 

Presentación

La evaluación en educación está en boga en todo el mundo; se trata de un tema relevante toda vez que ésta tiene un poder indiscutible para configurar y afectar los resultados de los sistemas educativos. Nuestro país no es la excepción; en las últimas tres décadas hemos visto como los procesos de evaluación han ido extendiéndose y permeando cada vez a más agentes, programas e instituciones. Podría afirmarse que la evaluación tiene tantas cabezas como la Hidra de Lerna.

Durante este periodo de intensificación de la evaluación, las principales cuestiones que han captado la atención tienen que ver, sobre todo, con las políticas nacionales de evaluación (Andere, 2009; INEE, 2006), las pruebas nacionales y sus resultados (Martínez, 2013; Díaz Barriga, 2006), las pruebas internacionales y el lugar que el país ocupa en la clasificación (PISA, 2010), los indicadores de evaluación (Blanco, 2009; INEE, 2007), la acreditación de programas y la certificación de instituciones (Díaz Barriga, Barrón y Díaz Barriga, F., 2008; Ordorika, 2004), los exámenes de ingreso y egreso de la educación media superior y superior (Aboites, 2012; Ceneval, 2004), la relación entre los resultados de evaluación y los programas de estímulos económicos (Rueda y Díaz Barriga, 2011; Montoya, Arbesú, Contreras y Conzuelo, 2014; García, 2014), entre otros.

El hecho de que la atención esté centrada predominantemente en los resultados de las evaluaciones (aunque habría que subrayar que tal interés se suscita sólo cuando los resultados son tan asombrosos o tan indecorosos que resulta casi imposible ignorarlos), en sí mismo es una clara señal del atraso en este campo, pues los temas de calado profundo generalmente se soslayan, por ejemplo, por qué evaluar, para qué evaluar, qué hacer con los resultados de la evaluación, cuál debe ser el papel de la evaluación y de los evaluadores en una sociedad democrática, etc. Y cuando tales tópicos se abordan, generalmente se hace de forma superficial o empleando una retórica política propia de otra época.

Por otro lado, todo modelo de evaluación contiene una serie de elementos que le son imprescindibles, uno de ellos es quién evalúa. El evaluador² es un actor clave en cualquier programa de evaluación puesto que en él recae fundamentalmente la responsabilidad de llevar a cabo esta compleja labor, de modo que según su formación, su experiencia, su credibilidad y su autoridad, será en buena medida la calidad de la evaluación. Con el discurrir del tiempo ha habido un cambio sustancial, hemos transitado, en el plano teórico, de una heteroevaluación hacia formas de evaluación más democráticas y participativas, como la autoevaluación y la coevaluación, donde los evaluados se involucran activamente en su propio proceso de evaluación. No obstante, las prácticas de evaluación de la educación (superior) en nuestro país continúan dominadas por esquemas verticales donde los individuos evaluados asumen un rol pasivo, convertidos en objetos y nunca en sujetos de la evaluación, cuya participación se limita generalmente a suministrar información o datos que se requieren por parte de los evaluadores para rellenar los formatos correspondientes.

En los debates educativos recientes³ de nuestro país, un tema que prácticamente ha estado ausente —o cuyo abordaje ha sido tangencial— es el de las competencias o capacidades del evaluador. Consideramos que este asunto es crucial toda vez que de acuerdo con la pericia del evaluador en este ámbito, las implicaciones y consecuencias para los evaluados pueden ser de muy distinta índole.

Precisamente este artículo tiene como objetivo identificar cuáles son las competencias profesionales que debe poseer un evaluador en educación. Algunas de las preguntas centrales que guían nuestra reflexión son: ¿se requiere contar con cierto perfil profesional o cualquiera puede ser evaluador en el campo educativo?; en todo caso, según los especialistas, ¿qué perfil debe cubrir un evaluador profesional en el ámbito educativo?; ¿qué conocimientos y habilidades debe poseer?; ¿qué actitudes y valores deben guiar su actuación?; ¿quién debe formar a los evaluadores? Pensamos que responder a estas cuestiones es importante, pues si bien no agotan todo lo que se podría decir en relación con este tema, al menos abren una ventana para la reflexión y la discusión en torno al papel de este personaje central: el evaluador.

Otro aporte adicional de este trabajo estaría relacionado con recuperar de la literatura especializada un perfil del "evaluador arquetipo", de modo que se puedan ofrecer algunas orientaciones en cuanto a las competencias del evaluador que resulten útiles para aquellos involucrados, sea en la dirección de los programas de evaluación dentro del sistema educativo formal a distintos niveles (nacional, estatal, zona escolar, institución educativa), o bien en el diseño de los programas de formación de evaluadores educativos.

A partir de nuestra experiencia participando en procesos de evaluación de la educación superior, sabemos que quienes se desempeñan como evaluadores generalmente sólo tienen que cubrir ciertos requisitos formales, tales como: contar con un posgrado en un determinado campo disciplinar, ser profesor de tiempo completo, ser miembro del Sistema Nacional de Investigadores (SNI) para evaluar proyectos del Consejo Nacional de Ciencia y Tecnología (Conacyt), tener Perfil Promep (Programa de Mejoramiento del Profesorado) ahora Prodep (Programa para el Desarrollo Profesional Docente), entre otros. Estos requerimientos pueden variar según la convocatoria de que se trate y el objeto a evaluar (programas, proyectos, publicaciones, candidatos para ingresar a un programa de posgrado o para recibir alguna distinción académica, etcétera). En síntesis, casi basta con ser un par académico y tener disponibilidad de tiempo para desempeñarse como evaluador de la Secretaría de Educación Pública (SEP), del Conacyt, de un organismo acreditador o de alguna Institución de Educación Superior (IES) del país. La exigencia de contar con formación y experiencia en el campo de la evaluación, lo que dotaría al evaluador de la expertise necesaria para llevar a cabo esta ardua empresa, simplemente parece un lujo del que se puede prescindir. Ante estos sucesos recurrentes, uno no puede dejar de experimentar cierta sensación de déjà vu, pues los sesgos de estas evaluaciones durante largo tiempo han afectado los intereses de las personas e instituciones.

En la bibliografía especializada se encuentran escasas referencias a las competencias del evaluador en sentido genérico; los trabajos de investigación se circunscriben sobre todo a las competencias del evaluador de programas. No obstante, en estos documentos se encuentra información valiosa que puede ser extrapolada al evaluador educativo en general, independientemente del objeto que se evalúa.

Los hallazgos principales apuntan a la identificación de un conjunto de competencias profesionales que un evaluador educativo —que se precie de serlo— debe cubrir; si no todas, al menos algunas que parecen ineludibles, tales como: habilidades interpersonales y de comunicación, pensamiento crítico, métodos de investigación, análisis de datos cuantitativos y cualitativos, administración de datos, gestión de proyectos, habilidades de presentación (Dewey, Montrosse, Schroter, Sullins & Mattox, 2008), ética profesional, conocimiento del contexto social y de la naturaleza del objeto de la evaluación.

 

Perfil profesional del evaluador

Consideramos "evaluador" a quien, dentro de un campo determinado de actividad, averigua e informa sobre los méritos y carencias del objeto de evaluación. El valor que se le asigne sirve para muchos propósitos: la mejora de un proceso, la concesión de un premio, la aplicación de medidas especiales de refuerzo educativo, el cumplimiento de un contrato. Éstas son algunas de las diversas formas en que se emplea la evaluación (Scriven, 1966).

En tanto que las "competencias profesionales" aluden a un conjunto de elementos combinados (conocimientos, habilidades, destrezas, actitudes, saberes, etc.), que se integran atendiendo a una serie de atributos personales (capacidades, motivos, rasgos de la personalidad, aptitudes, etc.), tomando como referencia las experiencias personales y profesionales, y que se manifiestan mediante determinados comportamientos o conductas en el contexto de trabajo (Moreno, 2009; Navío, 2005).

Concebimos a la evaluación como una disciplina y como un campo de aplicación especializado, por tanto, sostenemos que no sólo se requiere contar con una formación ex professo para poder desempeñarse competentemente como evaluador en el campo educativo, sino que es un requisito sine qua non, toda vez que de los resultados de la evaluación se derivan fuertes repercusiones (promoción, certificación, reconocimiento a la calidad, prestigio e incluso ayudas económicas) que afectan los derechos de los evaluados. Todo esto obliga a que la evaluación vaya mucho más allá de la buena voluntad u opinión particular del evaluador. El perfil profesional del evaluador debe ser amplio, flexible, e incluir de forma integrada conocimientos, habilidades, actitudes y valores, recursos todos éstos que deberá saber movilizar para resolver de forma efectiva y oportuna los diversos problemas que le plantee el campo laboral. Estos problemas se suelen caracterizar por ser complejos (no admiten una respuesta única), multidimensionales, dinámicos, y ser abiertos o poco estructurados. En este contexto, un perfil profesional fijo o rígido resultará de escaso valor.

 

Tipos de evaluadores

De acuerdo con Nevo (1997: 33), para ser un evaluador competente y fiable se necesita la combinación de una amplia gama de características; éstas incluyen competencia técnica en el área de la medida y de la investigación, conocimiento del contexto social y de la naturaleza del objeto de la evaluación, destreza en relaciones humanas, integridad personal y objetividad, así como características relacionadas con la autoridad y la responsabilidad. Como no es sencillo hallar una persona que satisfaga todos estos requisitos, la estrategia consiste en conformar un equipo de evaluadores que coordine la evaluación o, por el contrario, optar por una persona con las características más apropiadas para que se ocupe de un componente específico de la evaluación.

Según el citado autor, en la literatura especializada se pueden identificar diferentes tipos de evaluadores, y una primera distinción estriba entre el evaluador interno y el evaluador externo (Scriven, 1966, 1991; Stufflebeam, et. al. 1971). El evaluador interno suele estar contratado por los responsables del proyecto y les informa directamente; ergo, su objetividad y su credibilidad externa pueden ser menores que las del evaluador externo que no es contratado directamente por los responsables del proyecto y goza de mayor autonomía. Además, en vista de que el evaluador interno resulta más próximo y familiar, puede parecer menos amenazante que el externo para los evaluados.

La segunda distinción, atribuida a Scriven (1966), radica entre el evaluador profesional y el evaluador práctico; esta diferencia no es una valoración en cuanto a la calidad del evaluador, sino que más bien alude a dos ejes de formación y experiencia. El evaluador práctico es aquél que no está especializado en evaluación y su participación en la misma constituye sólo una parte de su trabajo, en tanto que el evaluador profesional posee una vasta formación en evaluación y su principal ocupación es liderar evaluaciones.

No obstante, aunque las competencias técnicas del evaluador práctico pueden ser inferiores que las del profesional, es probable que se muestre más empático con las necesidades de evaluación y establezca una relación interpersonal más satisfactoria con los integrantes del proyecto en cuestión. Estas dos distinciones son independientes la una de la otra, y puede haber evaluadores internos/prácticos, externos/prácticos, internos profesionales/externos profesionales (Nevo, 1997).

Ahora bien, lo expresado en líneas anteriores es lo que refiere la literatura especializada sobre este tema, pero lo que dicta la realidad en nuestro país parece apuntar en una dirección muy distinta, pues como ha sido mencionado antes, quienes tienen en sus manos las tareas de evaluación suelen ser, en el mejor escenario, individuos relacionados con el mundo de la educación (algunos incluso con amplia experiencia en la administración o la gestión escolar), pero que en su faceta de evaluadores se revelan como amateurs o "espontáneos". En el peor escenario, no menos habitual desafortunadamente, se encuentran aquellos individuos encargados de evaluar la educación que podríamos calificar como "diletantes",⁴ cuya posición como evaluadores o gestores de la evaluación se debe especialmente a sus relaciones sociales con quien detenta el poder político, antes que a sus competencias como profesionales de la educación y mucho menos de la evaluación. Aquí cabría acotar que "debido al enorme impacto de las evaluaciones, sólo deberían ser realizadas por individuos con los conocimientos y las habilidades para hacerlo de una manera eficaz y ética" (Kaesbauer, 2012: 12).

Como apuntábamos al inicio, la mayor parte de la bibliografía consultada refiere a las competencias del evaluador de programas, pero consideramos que mucho de lo dicho puede ser aplicado a la evaluación de otros componentes del sistema educativo, de modo que aunque en ciertos momentos nos referiremos a las competencias requeridas para la evaluación de programas, en realidad estamos contemplando estas capacidades del evaluador en sentido amplio.

 

Investigaciones sobre las competencias del evaluador

A diferencia de la amplia investigación que existe sobre las competencias en el campo de la gestión, la investigación sobre las competencias del evaluador es escasa; la mayoría de las investigaciones disponibles sobre las competencias del evaluador es de naturaleza teórica. Existen abundantes puntos de vista sobre la conveniencia o no de que el evaluador tenga competencias, y acerca de cuáles competencias debe poseer, pero faltan estudios empíricos sobre estas cuestiones. Aunque se han propuesto varios marcos de trabajo para identificar las competencias del evaluador, ninguno de éstos "se ha derivado de un proceso sistemático o validado por la construcción de consensos empíricos entre los diversos profesionales del campo" (King, Stevahn, Ghere & Minnema, 2001: 230).

El ámbito de la evaluación de programas tiene la necesidad de identificar las competencias para los evaluadores por tres razones principales: 1) como base para orientar los programas de formación para los profesionales noveles, 2) desarrollar la formación continua de los profesionales experimentados, y 3) llevar a cabo revisiones periódicas que aseguren la integridad del campo (Stevahn, King, Ghere & Minnema, 2005). Por otro lado, la comunidad de evaluación no ha alcanzado un consenso sobre una lista de competencias del evaluador que representen los diversos enfoques filosóficos y prácticos que actualmente se utilizan en la evaluación de programas (King et. al. 2001; Smith, 1999; Worthen, 1999).

Sin embargo, en este tema se identifican con cierta claridad dos posturas: la primera incluye los autores que rechazan la definición de un conjunto de competencias para el evaluador; la segunda comprende aquellos que proponen determinadas competencias con las que un evaluador debe contar. En el primer caso, por ejemplo, se encuentra Kirkhart (1981: 189), quien considera que una vez reconocida la naturaleza de la evaluación de programas como "flexible", "situación específica" y "conceptualmente confusa", cualquier intento de redactar una lista de habilidades "fijas" para la evaluación de programas sería un disparate. Sin embargo, como veremos más adelante, este autor sí propone categorías descriptivas de las competencias del evaluador.

En estas coordenadas Robert Stake (2010: 24-25) afirma:

Desde mi punto de vista, no sería bueno para nuestra profesión estandarizar más la práctica de la evaluación. Podemos imaginarnos otro escenario en el que la evaluación sea tan variada, opaca y adaptada a cada contexto, que confunda a nuestros clientes y al público; no creo que sea el caso en la actualidad. Así que la formación [de los evaluadores] también debe diversificarse.

Evidentemente, el citado autor se refiere a la práctica de evaluación en los Estados Unidos; habría que pensar si esta afirmación aplica para el caso nuestro donde es claro que las prácticas de evaluación (al menos en la educación obligatoria) parecen encaminarse hacia una estandarización y, en general, tales prácticas suelen ser bastante opacas y difusas.

En la segunda postura se identifican no sólo especialistas en el campo sino también agencias u organismos evaluadores que no plantean explícitamente competencias, pero sí una serie de normas y principios generales que pueden servir como guía para el desarrollo de buenas prácticas de evaluación y que dejan entrever las competencias profesionales del evaluador.

Puesto que en los Estados Unidos la evaluación de programas es un campo profesionalizado, existe desde hace tiempo el Joint Committee on Standards for Educational Evaluation (1994; 1981) (Comité Conjunto de Estándares para la Evaluación de la Educación), el cual ha desarrollado un conjunto de estándares de evaluación que agrupa en cuatro áreas clave: utilidad, viabilidad, corrección y exactitud:

Los estándares ofrecen un marco para la comprensión de las habilidades y competencias necesarias para llevar a cabo evaluaciones de los programas... De este modo, los estándares asumen implícitamente ciertas aptitudes, conocimientos y competencias por parte del evaluador(s) (Kirkhart, 1981: 188).

Por otro lado, a mediados de la década de los noventa un grupo de trabajo de la American Evaluation Association (AEA) (Asociación Americana de Evaluación) creó los Principios Rectores para los Evaluadores, cuya finalidad se expresa en los siguientes términos: "Los principios tienen por objeto guiar la práctica profesional de los evaluadores, y para informar a los clientes de la evaluación y al público en general acerca de los principios que pueden esperar sean confirmados por los evaluadores profesionales" (American Evaluation Association, 2004). Tanto los estándares como los principios, sin embargo, "no abordan directamente las competencias que un evaluador necesita para funcionar eficazmente en contextos específicos" (King et. al. 2001: 230).

Como el lector puede apreciar, tanto los Estándares para la Evaluación de la Educación propuestos por el Joint Committee on Standards for Educational Evaluation, como los Principios Rectores para los Evaluadores de la American Evaluation Association, no expresan abiertamente las competencias que debe poseer un evaluador, sino que a partir de sus concepciones abstractas dejan que cada cual infiera e interprete cuáles serían las competencias deseables de un buen evaluador.

Entre los autores que pugnan abiertamente por establecer las competencias de un evaluador se encuentra Smith (1999), quien sugiere tres opciones para el desarrollo de competencias en el contexto de la certificación del evaluador: 1) una lista autogenerada de competencias por parte de los evaluadores profesionales, 2) un enfoque de análisis de tareas basado en las aportaciones de los destinatarios de la evaluación, 3) identificar las competencias del evaluador de acuerdo con los Principios Rectores para los Evaluadores propuestos por la American Evaluation Association (2004). Esta autora previene que:

... las tres opciones presentan sus restricciones, la lista autogenerada podría ser considerada egoísta, no sensible al usuario, y carente de base empírica; el enfoque de análisis de tareas es costoso; y los Principios Rectores son demasiado generales para aplicarse (Smith, 1999: 525-526).

Expertos ampliamente reconocidos en el campo de la evaluación de programas han identificado informalmente listas de competencias para los evaluadores. Por ejemplo, Michael Patton (1990: 48) propuso que un evaluador competente debe poseer conocimiento de múltiples y diversos métodos, habilidades de comunicación, capacidad de conceptualización y lógica del programa, habilidades de consultoría, competencia interpersonal, sofisticación política, conocimiento de cómo funcionan las organizaciones, creatividad, habilidades de presentación orales y escritas.

Por su parte, Michael Scriven (1996: 160) desafió a los evaluadores a tener la "competencia razonable" de ser capaces de entender y aplicar metodologías cuantitativas y cualitativas básicas, teoría de la validez, teoría de la generalización, meta-análisis, restricciones legales sobre el acceso y el control de los datos, análisis ético, evaluación de necesidades, análisis de costos, habilidades y modelos internos de síntesis, geografía conceptual, y diseño, construcción y presentación de un informe específico de evaluación. Las propuestas de los autores antes citados contienen una serie de capacidades que podríamos englobar en bloques de competencias: teórico-metodológicas, interpersonales, éticas y sociales.

También hay autores que han propuesto categorías de competencias del evaluador, por ejemplo, Kirkhart (1981) y Mertens (1994), quienes reflexionaron sobre la práctica de evaluación y organizaron de las habilidades y los conocimientos de la evaluación de programas en marcos conceptuales. Karen Kirkhart (1981: 188-189) identificó ocho grandes categorías descriptivas de las competencias del evaluador:

1) Habilidades metodológicas

2) Áreas de conocimiento que proporcionan antecedentes sustantivos

3) Habilidades de análisis de sistemas

4) Astucia y entendimiento políticos

5) Ética profesional

6) Habilidades de gestión

7) Capacidad de comunicación

8) Habilidades interpersonales o rasgos del carácter

Mientras tanto, Donna Mertens (1994: 19) dividió esas habilidades y conocimientos en cuatro categorías:

1) Los exclusivos de la evaluación

2) Los relacionados con la formación típica en metodología de la investigación y la indagación

3) Los relacionados con áreas de la ciencia política o la antropología

4) Los que son específicos para cada disciplina

 

Formación de los evaluadores

Antes mencionamos que en México no existen instituciones ni programas de posgrado que tengan como propósito declarado la formación de profesionales de la evaluación en el ámbito educativo.⁵ En este escenario, podríamos afirmar que en el país los evaluadores "hacen su camino al andar" y lo hacen generalmente mediante el método de "ensayo y error", así es como en la cotidianidad ellos van fraguando su dominio (o falta de éste) del campo; son, en reiteradas ocasiones, la intuición, la rutina o la imitación, las pautas principales que guían su quehacer como evaluadores, con los riesgos que entrañan, pues sabemos que el progreso conseguido en un trabajo depende de algo más que de la experiencia o de las conversaciones con los colegas:

Podrían haber estado poniéndolo en práctica hasta que criaran pelo las ranas, pero si no hubiesen cambiado la manera en que comprendían lo que es el conocimiento, es muy posible que no hubieran conseguido aprender nada. No se aprende de la experiencia: se aprende de reflexionar sobre la experiencia (Bain, 2014: 180).

No ocurre lo mismo en otros países; así encontramos que la Canadian Evaluation Society (Sociedad Canadiense de Evaluación) (CES), es una organización profesional que ha representado un valioso apoyo para desarrollar las competencias del evaluador en ese país del norte. La CES encargó a su Comité de Desarrollo Profesional promover la práctica profesional de la evaluación, y para ello en 1999 se crearon las Series de Habilidades Esenciales de Evaluación (ESS), un programa de formación que consta de cuatro días de talleres guiados por un evaluador experimentado que introduce los conceptos y métodos de evaluación; éste incluye: 1) comprensión de la evaluación del programa, 2) construcción de un marco de evaluación, 3) mejora del desempeño del programa, y 4) evaluación de los resultados (Canadian Evaluation Society, 2004). Las ESS brindan una visión general de las competencias esenciales que se requieren en la evaluación de programas (ver Tabla 1).

Respecto a la información contenida en el cuadro anterior, habría que señalar que en el campo educativo no se suele hacer referencia a los "clientes" ni a los "gerentes", salvo en los enfoques neoliberales que consideran a la escuela como una empresa (verbigracia el enfoque de la "calidad total"). Por tanto, es preciso reemplazar estos términos por otros que resulten más adecuados al ámbito de la educación; así, resulta más propio hablar de "audiencias" o de "grupos de interés" para el primer caso y de "administradores" o "gestores" educativos (directores, coordinadores) para el segundo.

Como ya se dijo antes, la investigación sobre las competencias del evaluador es exigua. Los estudios desarrollados hasta ahora son de corte teórico y los marcos de trabajo para identificar las competencias del evaluador no gozan de consensos empíricos de los profesionales del campo. Sin embargo, en medio de este desierto de información existe un resquicio que hace albergar la esperanza de un desarrollo del campo.

No fue sino hasta el nuevo milenio que se llevaron a cabo dos proyectos para desarrollar inventarios y descripciones de competencias para los evaluadores (Huse & McDavid, 2006). Uno de los proyectos fue patrocinado por la Sociedad Canadiense de Evaluación (en adelante llamado el proyecto canadiense), y el otro se llevó a cabo de forma independiente por un grupo de investigadores universitarios en los Estados Unidos para desarrollar Competencias Esenciales para los Evaluadores de Programas (ECPE) (en lo sucesivo denominado el proyecto ECPE).

El proyecto ECPE se llevó a cabo por King et. al. (2001) en los EE.UU. Estos autores desarrollaron una taxonomía de las competencias esenciales para los evaluadores de programas, la cual destaca las capacidades que un evaluador necesita tener para llevar a cabo una práctica de evaluación eficaz. El mismo grupo de investigadores (Stevahn, King, Ghere & Minnema, 2005) posteriormente perfeccionó las competencias del evaluador y las cruzó con referencia al Programa de Estándares de Evaluación (Joint Committee on Standards for Educational Evaluation, 1994) y a los Principios Rectores (American Evaluation Association Task Force on Guiding Principles for Evaluators, 1995), así como con las Series de Habilidades Esenciales (Canadian Evaluation Society, 1999).

Las Competencias Esenciales para Evaluadores de Programas se desarrollaron a partir de un coloquio de estudios de evaluación a nivel de posgrado (King et. al. 2001). A continuación, se realizó un estudio de validación presencial con 31 evaluadores del área de Minnesota. Como resultado de los estudios, se establecieron las competencias esenciales para el evaluador de programas, incluyendo 61 ítems en seis categorías: práctica profesional, investigación sistemática, análisis situacional, gestión de proyectos, práctica reflexiva y competencia interpersonal (ver Tabla 2).

Estas competencias están destinadas a mejorar la formación, fortalecer la práctica reflexiva, promover la investigación evaluativa y continuar la profesionalización del campo de la evaluación (Stevahn et. al. 2005).

Por otra parte, en el proyecto canadiense (auspiciado por la CES) se llevaron a cabo dos consultas en internet con la comunidad de evaluación, dos sesiones de debate con los delegados en la Conferencia Nacional de la CES en 2002, y discusiones en línea entre los miembros de un panel de expertos invitados de referencia internacional (Zorzi, McGuire & Perrin, 2002: 1). Se identificó una lista de 151 elementos de conocimiento, agrupados en 23 elementos más generales que posteriormente se clasificaron en seis categorías: ética, planificación y diseño de la evaluación, recopilación de datos, análisis e interpretación de datos, habilidades interpersonales y de comunicación, y gestión de proyectos (ver Tabla 3) (Zorzi et. al. 2002: 31-46).

Otra fuente consultada que contiene información importante del tema que nos ocupa, es la Asociación Internacional para el Desarrollo de la Evaluación (International Development Evaluation Association, 2012). En un reporte denominado Proyecto Final: "Competencies for Development Evaluation Evaluators, Managers, and Commissioners. IDEAS Working Group on Evaluation Competencies", la Asociación propone un conjunto de competencias para evaluadores, directores o responsables de evaluaciones y comisiones de evaluación. En el citado documento se precisa que las competencias se deben considerar en el contexto del mejoramiento profesional o para la revisión de la competencia del equipo de evaluación.

A continuación se presentan las Competencias para los Comisionados (ver Tabla 4).

El cuadro siguiente contiene las competencias para los directores o responsables de las evaluaciones (ver Tabla 5).

La última tabla muestra las competencias para los evaluadores del desarrollo internacional de las evaluaciones (ver Tabla 6).

En los tres bloques de competencias identificadas por la International Development Evaluation Association (2012) para el Director, la Comisión y los Evaluadores, se deja claro que la evaluación debe ser un proceso planificado y diseñado, que requiere de sistemas de seguimiento y control, que debe ser gestionado acertadamente y sus hallazgos comunicados de forma efectiva, todo lo cual demanda competencias profesionales de los evaluadores. Otro elemento que resulta de sumo interés apunta a la promoción de una cultura de aprendizaje de la evaluación, es decir, se espera que los evaluadores generen un conjunto de saberes, habilidades, valores y disposiciones en relación tanto con el proceso de evaluación como con la calidad del producto, así como con la aplicación de las recomendaciones, la promoción de la evaluación y la construcción de la capacidad de evaluación de los demás.

Las listas de competencias profesionales —que proponen tanto los especialistas, como las agencias y organismos internacionales para los evaluadores de programas educativos— aportan información relevante que permite ir configurando el nuevo perfil del evaluador para el campo educativo.

Parece que ha llegado el momento de que el evaluador, otrora convertido en auditor/fiscalizador afín a los modelos estandarizados de aseguramiento de la calidad, ceda su trono a un evaluador cuyo perfil se asemeja mucho más al de un asesor (con autoridad académica y moral) que ejerce su liderazgo acompañando el proceso de evaluación con miras a impulsar la mejora permanente de los programas evaluados, sensible a las características y necesidades del contexto, que respeta y valora la diversidad de situaciones. Esta tendencia hacia esquemas de evaluación no estandarizados es la que están siguiendo muchos países, particularmente los desarrollados.

 

Reflexiones finales

El país requiere de evaluadores profesionales que atiendan las necesidades apremiantes en distintas dimensiones del espectro académico (programas educativos, proyectos de investigación, instituciones escolares, gestión escolar, evaluación curricular, materiales didácticos, evaluación de docentes, formación de evaluadores, etc.), las cuales —ante la ausencia de especialistas— terminan siendo cubiertas por personal novato e improvisado que muchas veces, quizá sin pretenderlo, lleva a cabo evaluaciones claramente perniciosas para los evaluados.

Como los evaluadores profesionales no nacen sino se hacen, luego entonces habrá que formarlos. Los mecanismos y estrategias de esta formación pueden ser múltiples y diversos, pero no se pueden eludir, so pena de hacer de la evaluación un acto distorsionado e inútil que en poco o nada contribuirá a la mejora de la educación superior (Moreno, 2011). Por la especialización que supone la formación de evaluadores educativos, ésta parece ser una labor propia del posgrado, sólo que en el país –a excepción de una sola institución de educación superior privada– no existe una oferta institucional de formación que cubra este vacío. No ocurre lo mismo en otros países, donde el panorama dista mucho del nuestro: "actualmente, hay 26 programas de doctorado que contienen [la palabra] evaluación en su título, especialización o concentración en los Estados Unidos de América" (Kaesbauer, 2012: 2).

Para ser un evaluador competente y fiable se precisa de un conjunto de competencias, las cuales no se pueden adquirir sólo mediante la experiencia acumulada ni con una buena dosis de entusiasmo, sino que se requiere contar con una formación profesional orientada al desarrollo de tales capacidades.

Coincidimos con Robert Stake (2010) en que la mayoría de las personas dan por hecho que el término "evaluación" se refiere a algo técnico o relacionado con la gestión. De algún modo, una buena parte de quienes trabajan en las universidades consideran que una formación general en evaluación carece de importancia. En México es habitual que los responsables de las instituciones educativas, cuando solicitan la realización de una evaluación, lo que buscan es más bien un aval a lo que están haciendo, antes que un conocimiento y comprensión del objeto evaluado. Buscan el reconocimiento más que el conocimiento. Por ejemplo, en el país prácticamente la totalidad de las IES tiene sus programas de licenciatura acreditados por los CIEES (Comités Interinstitucionales para la Evaluación de la Educación Superior) como programas de calidad, aunque esa calidad en ocasiones sea dudosa; lo que importa, entonces, es el reconocimiento público que otorga esa acreditación.

En diversas ocasiones se ha señalado que el actual esquema de evaluación de la educación superior en el país está agotado, que es preciso transitar de indicadores cuantitativos a indicadores cualitativos. Desde luego que esto es importante, pero pensamos que el asunto va más allá de establecer indicadores; tiene que ver, en realidad, con un problema de concepción de la evaluación, con la construcción de una determinada cultura de la evaluación y con el papel del evaluador en esta trama, cuyo descuido por su formación profesional resulta evidente. Actualmente, los evaluadores son individuos con antecedentes de formación y experiencias prácticas variadas, relacionadas o no con el campo de la evaluación educativa. Se trata de una actividad no controlada, si bien existe la necesidad de contar con una certificación, acreditación o licencia como evaluador.

Quizá muchos de los problemas que afrontamos en este terreno tienen que ver con esa ausencia de formación de los evaluadores. ¿Por qué muchos evaluadores se sienten inseguros para señalar las deficiencias o los problemas que detectan? ¿Por qué no se evalúa correctamente la falta de calidad? ¿Por qué es habitual que la evaluación esté marcada por los sesgos o las preferencias de los evaluadores? ¿Por qué se asume que las competencias como evaluador se pueden adquirir sólo mediante la experiencia o la imitación? ¿Pero... si se imita a modelos negativos?

Para superar estas carencias, es urgente tomar a la evaluación en serio, y una forma de hacerlo es formar profesionalmente a los evaluadores. Habrá que empezar por comprender que la evaluación formal es una disciplina en sí misma y que, como tal, tiene enfoques teóricos, métodos, prácticas y un código ético.

 

Referencias

Aboites, Hugo (2012). La medida de una nación. Los primeros años de la evaluación en México. Historia de poder y resistencia (1982-2012). México: UAM/CLACSO/ITACA.         [ Links ]

American Evaluation Association (2004). Guiding principles for evaluators. Recuperado de: http://www.eval.org/p/cm/ld/fid=51        [ Links ]

American Evaluation Association Task Force on Guiding Principles for Evaluators (1995). Guiding principles for evaluators. En Newman, Dianna L.; Mary Ann Scheirer; William R. Shadish, y Christopher Wye (Eds.). Guiding principles for evaluators. New directions for program evaluation, Vol. 62, pp. 19-26, San Francisco: Jossey-Bass.         [ Links ]

Andere, Eduardo (2009). La educación de Calderón a la mitad del sexenio. Educación 2001, núm. 173, Octubre, pp. 14-20.         [ Links ]

Bain, Ken (2014). Lo que hacen los mejores estudiantes de universidad. Valencia: Universidad de Valencia.         [ Links ]

Blanco, Emilio (2009). La desigualdad de resultados educativos. Aportes a la teoría desde la investigación sobre eficacia escolar. Revista Mexicana de Investigación Educativa, número 43, Volumen XIV, Octubre- Diciembre, México: COMIE, pp.1019-1049.         [ Links ]

Canadian Evaluation Society (1999). Essential skills series in evaluation. Recuperado de: http://www.evaluationcanada.ca/essential-skills-series-evaluation        [ Links ]

Canadian Evaluation Society (2004). Essential skills series in evaluation. Recuperado de: http://www.evaluationcanada.ca/site.cgi?s=3&ss=31&_lang=en        [ Links ]

Ceneval (2004). Evaluación de la educación en México-Indicadores del EXANI-I. México: Ceneval.         [ Links ]

Dewey, Jennifer D.; Montrosse, Bianca E.; Schroter, Daniela C.; Sullins, Carolyn D. & Mattox, John R. (2008). Evaluator Competencies: What's Taught versus What's Sought? American Journal of Evaluation, vol. 29, (3), 268-287.         [ Links ]

Díaz Barriga, Ángel (2006). Las pruebas masivas. Análisis de sus diferencias técnicas. Revista Mexicana de Investigación Educativa, núm. 29, vol. 11, abril-junio, México: COMIE, pp. 583-615.         [ Links ]

Díaz Barriga, Ángel; Barrón, Concepción y Díaz Barriga, Frida (Coord.). (2008). Impacto de la evaluación en la educación superior mexicana. Un estudio en las universidades públicas estatales, México: UNAM-IISUE.         [ Links ]

García, José María (2014). ¿Para qué sirve la evaluación de la docencia? Un estudio exploratorio de las creencias de los estudiantes. Archivos Analíticos de Políticas Educativas, Vol. 22, No. 15.         [ Links ]

Huse, Irene y McDavid, Jim C. (2006). Literature review: Professionalization of evaluators. Recuperado de: http://www.evaluationcanada.ca/txt/2_literature_e.pdf        [ Links ]

INEE (2007). La Educación para Poblaciones en Contextos Vulnerables. Informe Anual 2007, Instituto Nacional para la Evaluación de la Educación. México: INEE.         [ Links ]

INEE (2006). Políticas y sistemas de evaluación educativa en México. Avances, logros y desafíos. Informe para la Reunión Ministerial del Grupo e-9 (UNESCO). Instituto Nacional para la Evaluación de la Educación. México: INEE.         [ Links ]

International Development Evaluation Association (2012). "Competencies for Development Evaluation Evaluators, Managers, and Commissioners". IDEAS Working Group on Evaluation Competencies.         [ Links ]

Joint Committee on Standards for Educational Evaluation (1994). The program evaluation standards, 2a. ed., Thousand Oaks, CA: Sage. Recuperado de: http://www.wmich.edu/evalctr/jc/        [ Links ]

Joint Committee on Standards for Educational Evaluation (1981). Standards for evaluations of educational programs, projects, and materials. New York: McGraw-Hill.         [ Links ]

Kaesbauer, Susanne Anna Maria (2012). Teaching Evaluator Competencies: An Examination of Doctoral Programs. PhD dissertation. University of Tennessee. Recuperado de: http://trace.tennessee.edu/utk_graddiss/1314        [ Links ]

King, Jean A.; Stevahn, Laurie; Ghere, Gail & Minnema, Jane (2001). Toward a taxonomy of essential evaluator competencies. American Journal of Evaluation, 22 (2), 229-247.         [ Links ]

Kirkhart, Karen (1981). Defining evaluator competencies: New light on an old issue. American Journal of Evaluation, 2, 188-192.         [ Links ]

Martínez, Felipe (2013). El futuro de la evaluación educativa. Sinéctica, 40. Recuperado de: http://www.sinectica.iteso.mx/articulo/?id=40_el_futuro_de_la_evaluacion_educativa        [ Links ]

Mertens, Donna M. (1994). Training evaluators: Unique skills and knowledge. New Directions for Program Evaluation, 62, 17-27.         [ Links ]

Montoya, Juny; Arbesú, María Isabel; Contreras, Gloria y Conzuelo, Sandra (2014). Evaluación de la docencia universitaria en México, Chile y Colombia: análisis de experiencias. Revista Iberoamericana de Evaluación Educativa, 7 (2e), 15-42.         [ Links ]

Moreno, Tiburcio (2011). Frankenstein evaluador. Revista de la Educación Superior, ANUIES, Vol. XL (4), No. 160, Octubre-Diciembre, pp. 119-131. Recuperado de: http://www.scielo.org.mx/scielo.php?pid=S0185-27602011000400006&script=sci_arttext        [ Links ]

Moreno, Tiburcio (2009). Competencias en educación superior: un alto en el camino para revisar la ruta de viaje. Perfiles Educativos, XXXI (124), pp. 69-92. Recuperado de: http://www.iisue.unam.mx/seccion/perfiles/        [ Links ]

Navío, Antonio (2005). Propuestas conceptuales en torno a la competencia profesional. Revista de educación, núm. 337, pp. 213-234.         [ Links ]

Nevo, David (1997). Evaluación basada en el centro. Un diálogo para la mejora educativa. Bilbao: El Mensajero.         [ Links ]

OECD (2010). Resultados PISA 2009: Resumen Ejecutivo. Organización para la Cooperación y el Desarrollo Económico. Recuperado de: http://www.eduteka.org/Pisa2009.php        [ Links ]

Ordorika, Imanol (Coord.) (2004). La Academia en Jaque: Perspectivas Políticas sobre la Evaluación de la Educación Superior en México. México: UNAM/Editorial Porrúa.         [ Links ]

Patton, Michael Quinn (1990). The challenge of being a profession. Evaluation Practice, 11 (1), 45-51.         [ Links ]

Rueda, Mario y Díaz Barriga, Frida (Coord.). (2011). La evaluación de la docencia en la universidad. Perspectivas desde la investigación y la intervención profesional. Segunda edición, México: UNAM-IISUE.         [ Links ]

Scriven, Michael (1996). Types of evaluation and types of evaluator. Evaluation Practice, 17 (2), 151-161.         [ Links ]

Scriven, Michael (1991). Evaluation thesaurus. 4a. ed., Newbury Park, CA: Sage.         [ Links ]

Scriven, Michael (1966). The methodology of evaluation. In: Social Science Education Consortium, publication 110, Indiana: Purdue University.         [ Links ]

Melinda M. Franettovich Smith (1999). Should AEA begin a process for restricting membership in the profession of evaluation? American Journal of Evaluation, 20 (3), 521-531.         [ Links ]

Stake, Robert (2010). El desarrollo de centros de evaluación y la formación de evaluadores. Gestión y Análisis de Políticas Públicas, núm. 3, pp. 19-33, Madrid: Instituto Nacional de Administración Pública.         [ Links ]

Stevahn, Laurie; King, Jean A.; Ghere, Gail & Minnema, Jane (2005). Establishing essential competencies for program evaluators. American Journal of Evaluation, 26 (1), 43-59.         [ Links ]

Stufflebeam, D. L., Foley, W. J., Gephart, W.J., Guba, Egon G., Hammond, Robert L., Merriman, Howard O. y Provus, Malcolm M. (1971). Educational evaluation and decision making. Itasca, IL: Peacock.         [ Links ]

Wilcox, Yuanjing (2012). An Initial Study to Develop Instruments and Validate the Essential Competencies for Program Evaluators (ECPE). A Dissertation for the Degree of Doctor of Philosophy. USA: Faculty of the Graduate School of the University of Minnesota.         [ Links ]

Worthen, Blaine R. (1999). Critical challenges confronting certification of evaluators. American Journal of Evaluation, 20 (3), 533-555.         [ Links ]

Zorzi, Rochelle; McGuire, Martha & Perrin, Burt (2002). Evaluation benefits, outputs, and knowledge elements: Canadian Evaluation Society project in support of advocacy and professional development. Recuperado de: http://consultation.evaluationcanada.ca/pdf/ZorziCESReport.pdf        [ Links ]

 

Notas

¹ En este artículo emplearemos el término evaluador para referirnos indistintamente tanto a hombres como a mujeres, evitando así la duplicación innecesaria de sustantivos masculinos y femeninos cuando no hay necesidad específica para diferenciar por sexo. En español es habitual, desde hace mucho tiempo, el uso del masculino genérico (el todos, con lo que nos referimos a todos y todas, por ejemplo) y no es aconsejable (ni siempre posible) forzar cambios en la lengua para transformar sus estructuras gramaticales. En los sustantivos que designan seres animados, el masculino gramatical no sólo se emplea para referirse a los individuos de sexo masculino, sino también para designar la clase, esto es, a todos los individuos de la misma especie, sin distinción de sexos. Consecuentemente, los nombres apelativos masculinos, cuando se emplean en plural, pueden incluir en su designación a seres de uno y otro sexos. Al respecto se recomienda consultar la Nueva Gramática de la Lengua Española de 2009, el Diccionario de la Real Academia Española o el Diccionario Panhispánico de Dudas (artículo temático género).

² El evaluador puede ser un individuo o un grupo de individuos que llevan a cabo la evaluación.

³ Estas discusiones se han visto acentuadas a raíz de las modificaciones en materia de legislación educativa, transformaciones que, sin duda, afectan de modo notable la evaluación del desempeño de los maestros de educación básica.

⁴ Proviene de la palabra italiana dilettante ("el que se deleita") y refiere a una persona que tiene afición por una o varias artes o disciplinas del saber. También alude a una persona que cultiva un arte o una disciplina como aficionado, no como profesional, generalmente por no tener capacidad para ello.

⁵ Excepto la Universidad Anáhuac que ofrece una especialidad y un doctorado en evaluación educativa.