Reseñas

 

INEE: una década de evaluación (2002-2012)

 

Martín López Calva*

 

Instituto Nacional para la Evaluación de la Educación, México, INEE, 2012

 

* Profesor-investigador del doctorado en Pedagogía de la Universidad Popular Autónoma del Estado de Puebla. CE: juanmartin.lopez@upaep.mx.

 

INTRODUCCIÓN: EL BUCLE FUNDAMENTAL SISTEMA SOCIOPOLÍTICO-SISTEMA EDUCATIVO-SISTEMA DE EVALUACIÓN

Aunque la información nacional es abundante, alguna tiene
limitaciones que provocan inconsistencias, sesgos o pérdida de
validez en ciertos indicadores. Además, no existe información
suficiente sobre determinados componentes del SEN, como es el
caso de los docentes, de los cuales aún no se sabe con precisión
su número.

Héctor Virgilio Robles Vázquez (p. 34)

 

La cultura de la evaluación va de la mano con la cultura de la transparencia y la rendición de cuentas que caracterizan a una sociedad democrática, por lo tanto, no es un elemento que dependa solamente de la voluntad de las autoridades o actores educativos sino que tiene que ver con la evolución del sistema sociopolítico en que el sistema educativo se desenvuelve. Entonces no resulta casual que el proceso de construcción e institucionalización de las prácticas de evaluación en el sistema educativo mexicano y, como parte fundamental de este proceso, la creación del Instituto Nacional para la Evaluación de la Educación (INEE) —que edita el libro-informe que aquí presentamos— coincidan con la alternancia en el poder ejecutivo federal y la llamada "transición a la democracia" en México.

Si bien es cierto que, frente a la creciente relevancia de la evaluación, hay quienes hacen una lectura del fenómeno desde un ángulo meramente económico, atribuyendo esta importancia a las políticas del llamado sistema neoliberal, una lectura más compleja como la que ofrece este libro nos muestra claramente que la instauración de una cultura de evaluación está intrínsecamente vinculada a la emergencia de condiciones mínimas de democratización en el sistema sociopolítico de un país: responde a la exigencia social de acceso a la información, en este caso, de los niveles de logro y las debilidades del sistema educativo y a la demanda colectiva de reversión del proceso por el cual las decisiones sobre la formación de las nuevas generaciones dependían, de manera discrecional, de la voluntad interesada de las personas y grupos en el poder y que, en el mejor de los casos, se apoyaban en datos que se guardaban celosamente y en el consejo de "expertos" afines a sus visiones de país.

De esta manera, la historia del INEE está ligada a la historia del proceso —aún incompleto y en riesgo de regresión— de democratización del país. La creación del Instituto respondió a las estrategias de descentralización, des-burocratización y autonomía de la información básica sobre el estado de la educación en el país, lo que constituye un intento de búsqueda de alta complejidad en el sistema educativo.

Así, una primera evidencia que resulta de la lectura del mosaico rico y diverso de textos que conforman este libro es que los logros y avances en el cumplimiento de las metas del INEE van de la mano con los logros y avances de un país donde se construyan y difundan, de manera sistemática y rigurosa, datos duros sobre los distintos aspectos de la vida económica, política, social y cultural; del mismo modo que los retos y limitaciones de lo avanzado hasta hoy, dependen también de las carencias que tenga este proceso de generación y difusión abierta de la información. Un ejemplo muy ilustrativo lo constituye la falta de datos sobre el número de maestros que hay en México, lo cual impide la construcción de posibles indicadores de evaluación relacionados con este actor del sistema.

 

SEGUNDO BUCLE: PRÁCTICAS-DATOS-DECISIONES

De igual manera, antes de 1970, prácticamente no había datos
sobre matrícula, deserción escolar, transición entre ciclos, eficiencia
terminal, número de escuelas y de maestros, equipamiento
escolar, etcétera. Había, eso sí, muchas opiniones, cientos de
opiniones, pero muy pocos datos. La única opción para saber
cómo se encontraba la educación era preguntarle a un "experto"
que, seguramente con muchas dificultades y sin datos duros de
ningún tipo, podía emitir un juicio fundamentalmente subjetivo
acerca de la situación de la educación nacional.

Rafael Vidal Uribe (p. 80)

Un segundo bucle que define la aportación relevante del INEE al proceso de mejora de la educación nacional es el constituido por la relación retroactiva, dialógica y recursiva entre prácticas, datos y decisiones. Antes de los años setenta del siglo pasado, como se afirma en la cita previa, los datos sobre las prácticas educativas eran pocos y se obtenían más bien a partir de la experiencia subjetiva de los actores y de los "expertos" en educación. Este tipo de datos era el que orientaba las decisiones para el mejoramiento de dichas prácticas, tanto en lo particular —los datos subjetivos sobre la práctica de un maestro o una escuela orientaban las propuestas de mejora de ese maestro o escuela— como, lo más grave de todo, a nivel sistémico. De manera que se tenía una sistema de baja complejidad en el que las decisiones de política educativa se tomaban con datos escasos y subjetivos que aportaban los "expertos" a los funcionarios responsables del sistema educativo con las consecuencias previsibles de avance por "ensayo-error" y los altos costos de estos aprendizajes.

Lo que se puede concluir a partir de la lectura del libro, es que la creación y el desarrollo riguroso y profesional del INEE ha aportado al sistema educativo mexicano un cambio fundamental en este bucle, con la consecuente implicación de crecimiento en la complejidad del sistema. Este cambio consiste en la aportación de datos duros provenientes de las pruebas Excale (de bajo impacto, es decir, que evalúan al sistema educativo como tal y no a una escuela o estudiante en particular) y del sistema nacional de indicadores educativos.

Tanto las pruebas matriciales de carácter censal (Excale) como los indicadores de este sistema que se revisa continuamente, han sido construidos mediante un proceso conceptual y técnico muy cuidadoso, así como por un análisis de las prácticas y consultas con expertos nacionales e internacionales, lo que en conjunto provee una mayor certeza de que la información obtenida en las evaluaciones e indicadores es válida y confiable como para sustentar decisiones mucho más profesionales y eficaces, mismas que sirvan para la mejora continua de los procesos formativos en los diferentes niveles educativos.

 

UNIDUALIDADES: LA RESOLUCIÓN INTELIGENTE DE TENSIONES ESTRUCTURALES

La dimensión política implicó también una atención considerable,
dado el contexto en que nació el instituto y la necesidad de
cuidar las relaciones con actores importantes, como el poder
legislativo, el Sindicato Nacional de Trabajadores de la Educación,
las organizaciones de padres de familia,
el sector empresarial y los medios de comunicación...

Felipe Martínez Rizo (p. 23)

 

Las posturas críticas provenían de dos sectores: algunos
legisladores veían la creación del INEE por decreto como una invasión
a su ámbito de competencia, en tanto que representantes del
sector privado temían que, al no ser totalmente autónomo de la
SEP, se tradujera en subordinación y, por ende, en falta de
transparencia en la difusión de resultados como la que había
prevalecido. Sin embargo, el diseño de la estructura de gobierno y la
manera en que se puso en marcha el INEE le dieron de hecho, mucha
autonomía.

Felipe Martínez Rizo (p. 17)

 

Resulta indudable la dimensión política que tiene una instancia técnica como el INEE dentro y fuera del país. En este contexto, el libro que comentamos presenta un panorama muy interesante que podríamos caracterizar, al estilo de Edgar Morin, por ciertas "unidualidades"¹ que se derivan de la capacidad de resolver tensiones estructurales debidas al origen, contexto e interacción del Instituto con los diversos actores sociales con los que tiene que relacionarse por su propia naturaleza.

Una primera y muy importante unidualidad es la de la autonomía-dependencia de la Secretaría de Educación Pública (SEP). En efecto, desde su origen, se cuestionó que el INEE naciera por decreto presidencial —cuya ventaja fue no tener que negociar con el Congreso su creación— y dentro de la estructura de la Secretaría. Esto implicaba el grave riesgo de ser, como lo señala Carlos Muñoz Izquierdo en su texto, " juez y parte" dentro del proceso de evaluación, por la posible subordinación que el Instituto habría tenido en su funcionamiento y criterios de decisión. Sin embargo, resulta digno de admiración el modo en que, desde su estructura colegiada —con una junta de gobierno y un consejo técnico plurales— y, sobre todo, desde la convicción y habilidad de gestión de sus dos directores generales —Felipe Martínez Rizo y Margarita Zorrilla— se logró no solamente mantener independencia de todas las instancias de poder en juego, principalmente la SEP y el Sindicato Nacional de Trabajadores de la Educación (SNTE), sino llegar a construir las condiciones para lograr la autonomía plena del INEE, misma que recientemente se ha conseguido.

Una segunda unidualidad, relacionada con la anterior, es la de ser una instancia que se alimenta con mucha información interna de la SEP y otras instancias gubernamentales, pero tiene que actuar y procesar dicha información desde fuera para lograr una evaluación objetiva y rigurosa, evitando los sesgos naturales que resultarían de una mirada endogámica. Esta doble postura "desde dentro y desde fuera" del sistema, se concreta en la información que el Instituto proporciona hacia dentro de la SEP, así como la colaboración entre el INEE y la Dirección General de Planeación de la Secretaría, como lo manifiesta el artículo de Andrés Ortiz Brizuela.

Una tercera dimensión unidual es la que tiene que ver con la independencia-interdependencia del Instituto en relación a su trabajo con otras instancias del Estado mexicano con las que ha tenido que mantener relaciones de colaboración, pero conservando siempre sus propios criterios de rigor y validez técnica. Destaca, en mi lectura particular, la aportación del Instituto a la medición de pobreza en el país a partir de la definición compleja del concepto de rezago educativo, mismo que obtuvo mediante la construcción del sistema de indicadores de la Norma de Escolaridad Obligatoria del Estado Mexicano (NEOEM) para el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL).

Por último, una relación de unidualidad importante en un mundo globalizado es la de la visión local-regional-global que, según los textos de algunos autores participantes en el libro como Alejandro Tiana Ferrer —en el nivel iberoamericano— o Pilar González Martínez y María Guadalupe Beltrán Medina —en el nivel nacional— muestra la manera en que el INEE ha sido capaz de estructurarse para compartir resultados, capacitar personal, asesorar procesos y vincularse en proyectos comunes tanto con instituciones específicas dentro del país, como con organismos internacionales a nivel mundial (como la OCDE) o a nivel iberoamericano (con la construcción del grupo pisa regional o la elaboración y seguimiento de las metas educativas 2021 para abatir el rezago educativo en los países de Iberoamérica).

Una visión "gloncal", como la llamaba Xabier Gorostiaga (simultáneamente global, nacional y local), ha constituido al Instituto como un dinamizador o articulador de procesos evaluativos en distintos niveles y escalas. Lo anterior acarrea, obviamente, no sólo un amplio reconocimiento a nivel interno y externo, sino también nuevos e inmensos desafíos para cumplir con los objetivos que se han planteado en todos estos niveles.

 

TERCER BUCLE: TRANSPARENCIA-PARTICIPACIÓN-CALIDAD

Los reportes de las pruebas Excale se han presentado a muy
diferentes audiencias, que incluyen autoridades educativas,
personal de las áreas técnicas de la Secretaría de Educación Pública
y de secretarías estatales de educación, profesores, directivos,
supervisores, investigadores educativos, medios de comunicación,
entre otros. Sin embargo, la interlocución con estos grupos
no se ha consolidado como una práctica periódica, en la que
el análisis conjunto de los resultados dé lugar a propuestas de
mejora [...] Ciertas audiencias aún miran los resultados del logro
educativo desde una lógica "deportiva", esto es, como si fueran
scores en una tabla de rankeos para saber quién es el mejor y
el peor de la temporada. Estos grupos no han logrado percibir
la información que se obtiene de las pruebas de logro como
elementos de juicio para detectar fortalezas y debilidades
que conduzcan a acciones para la mejora.

Andrés Sánchez Moguel (p. 53)

 

Un tercer bucle está presente a lo largo del libro desde el balance que se hace de estos primeros diez años de existencia del INEE. Se trata del bucle transparencia-participación-calidad. El Instituto ha contribuido, desde la aplicación y resultados de las pruebas Excale y la construcción y seguimiento de indicadores educativos nacionales, a una cada vez mayor transparencia en la información sobre las fortalezas y debilidades del Sistema Educativo Nacional. Esta contribución a la transparencia y el acceso a la información conlleva —como lo ha buscado intencionadamente el INEE, según se da cuenta en el libro— el reto de la participación social, misma que tiene que ser encauzada y educada para aprovechar al máximo los datos disponibles, saber interpretarlos, procesarlos y traducirlos en políticas y estrategias de mejora de la calidad educativa en todos los niveles y sectores del sistema educativo.

Lo anterior constituye un gran avance en el proceso de transformación de nuestra educación pero, de acuerdo a varios textos que conforman el libro, trae consigo también grandes retos por enfrentar. Los mayores están en la construcción, por una parte, de procesos más continuos y sistemáticos de información y diálogo con las distintas instancias interesadas en los resultados e indicadores: la SEP, el SNTE, las asociaciones de padres de familia, los sindicatos, empresarios, etc. Por otra parte, está el reto de ir educando a estas audiencias desde una comunicación accesible de los resultados de acuerdo a los distintos niveles discursivos, de comprensión y elaboración de cada sector, lo que permitirá dejar atrás esa lógica "deportiva" en la que se busca la información como se buscan los resultados de "pronósticos deportivos" o las tablas de posiciones de los equipos de fútbol, es decir, para ver quién va ganando y quién va perdiendo en una especie de gran concurso educativo. Esta visión pervierte la cultura de la evaluación que apenas emerge y no permite aprovechar la información como fuente para la toma de decisiones, esto es, con miras a mejorar la educación del país que es, finalmente, la única manera en que ganamos todos.

 

A MANERA DE CONCLUSIÓN:

"PONERNOS A TODOS EN PRESENCIA DE TODOS" LA EVALUACIÓN COMO INSTRUMENTO DEMOCRÁTICO

La esperanza de que la evaluación no sea un reporte confidencial
que el poderoso usa o desecha a conveniencia, sino que nos
ponga a todos en presencia de todos, para dar nuestro mejor
esfuerzo y determinar un rumbo común es el mejor futuro del
instituto.

David Calderón Martín del Campo (p. 41)

 

Mucho se ha debatido y se sigue debatiendo acerca de la evaluación educativa. Muchas críticas se siguen expresando respecto a que "las pruebas estandarizadas no sirven para saber cuál es el nivel real de aprendizaje de los alumnos" o que "la realidad de México es distinta", y por ello no puede evaluarse a partir de pruebas o indicadores internacionales y ni siquiera nacionales dada la enorme pluralidad cultural, económica y social de las distintas regiones.

Con frecuencia se escuchan comentarios en los que, con ligereza, se descalifica el trabajo de diseño, aplicación y procesamiento de resultados de este tipo de pruebas con el argumento de que son herramientas "neoliberales" concebidas para privatizar la educación y perpetuar la brecha entre las clases privilegiadas y los grupos en situación de pobreza.

Todos estos prejuicios se desvanecen para el lector abierto a procesar y comprender los planteamientos que el enorme mosaico de autores plantea a lo largo de este libro INEE: una década de evaluación (2002-2012). a lo largo de la lectura de este trabajo van quedando claras dos cosas: en primer lugar, que el diseño de pruebas como el examen de calidad y logro educativo (excale) y el trabaj o en la construcción de un sistema nacional de indicadores de evaluación educativa, responde a un proceso muy riguroso y comprometido tanto en los aspectos técnicos y estadísticos, como en los pedagógicos.

En segundo lugar, que el proceso de construcción y defensa de la autonomía del INEE frente a los naturales intentos de instrumentalización y control por parte de partidos políticos, el SNTE y la misma SEP, ha sido un trabajo arduo de muchos profesionales que han buscado con honestidad que el país pueda avanzar en el acceso a información válida, rica y rigurosa sobre el estado que guarda la educación, misma que sirva de base a la sociedad para decidir la formación de las nuevas generaciones.

La evaluación educativa puede y debe ser en el México del siglo XXI un instrumento democrático y democratizador, es decir, un medio para la toma de decisiones bien sustentadas en información inteligente, pertinente y accesible a todos. De esta forma, se contribuirá a la progresiva transformación de un sistema educativo desgastado y concebido en su estructura para una sociedad muy distinta a la actual, hacia un sistema de alta complejidad: participativo, transparente, horizontal, abierto a la crítica, consciente de sus fortalezas y debilidades, interactivo, colaborativo y equitativo.

En este sentido, a lo largo de todo este documento es posible ir encontrando elementos de luz en medio de la profunda desesperanza en que parece estar inmersa hoy la sociedad, respecto al futuro de la educación. Una esperanza fundada en que la información sobre el proceso educativo deje de ser un instrumento confidencial que el poderoso usa o desecha a conveniencia según sus intereses individuales o partidistas, para convertirse en un medio para la transparencia y la rendición de cuentas que logre ponernos "a todos en presencia de todos, para dar nuestro mejor esfuerzo y determinar el rumbo común" de la educación que queremos y merecemos como país.

 

Nota

¹ Uso aquí el término unidualidad acuñado por Morin en su libro El método V. La humanidad de la humanidad, en un sentido libre y no estrictamente apegado al concepto de este autor.