Introducción

Varios autores (^{Albatch, 2001}; ^{Del Valle, 2012}; ^{Schriewer, 1997}; ^{Steiner-Khamsi, 2015}; ^{Welch, 2015}) sostienen que en el marco de la globalización hay una convergencia mundial de los sistemas de Educación Superior. Una de esas convergencias son los sistemas de evaluación de la Educación Superior entendidos como un conjunto de estrategias gubernamentales, organismos, programas e instrumentos para valorar las funciones sustantivas (docencia, investigación y vinculación) y adjetivas (formas de organización y gestión) de las instituciones de Educación Superior y de sus principales actores (profesores y estudiantes) (^{Buendía, 2013}; ^{Valenti y Varela, 1997}).

En esta convergencia ¿qué corrientes educativas o tendencias se han presentado en México y España que han generado sistemas de evaluación con características comunes?, ¿cuál ha sido el contexto de los sistemas de evaluación entre ambas naciones de continentes distintos y lengua en común? y ¿qué proyectos, objetivos, y políticas ha tenido México y España en la conformación de sus sistemas de evaluación de la Educación Superior?

La presente investigación tiene el propósito de comparar los sistemas de evaluación entre México y España para comprender sus semejanzas, diferencias y aprendizajes, los cuales sirvan para el desarrollo de mejores sistemas de educación. Para lograr este propósito se emplea un marco referencial que considera la influencia de las corrientes educativas en el contexto nacional (^{Roselló 1960}, citado en ^{Caballero, Manso, Matarranz y Valle, 2016: 42}), y los procesos de convergencia de los sistemas de educación superior en la globalización.

Para este estudio se emplea el método comparado, el cual consiste en comparar un objeto de estudio para extraer las semejanzas y diferencias de los sistemas; entender las causas y posible previsión en el desarrollo (^{Schriewer, 1997}); comprender qué puede servir para un sistema educativo y qué no funciona y por ende es necesario cambiar y ajustar (^{Cox, 2003}); abonar en la discusión, diseño e implementación de las políticas para el sector educativo terciario; e incluir las perspectivas y las experiencias globales (^{Albatch, 2001}).

Asimismo, contiene un marco referencial que recupera los vaivenes entre lo local y lo global de los sistemas de evaluación, y los elementos del método comparado con los cuales se comparan las semejanzas entre los sistemas de evaluación y se establecen algunas prospectivas y recomendaciones a considerar en ambos países.

El método comparado para analizar los sistemas de evaluación

Para este estudio se emplea el Método Comparado (^{Pedró, 1993}; ^{Roselló, 1960}; ^{Schriewer, 1997}), el cual consiste en comparar cada uno de los sistemas de evaluación para entender sus semejanzas y diferencias, empleando cinco fases:

Descripción técnica. Se realiza un retrato de los sistemas de Educación Superior entre México y España, sus políticas y programas que forman parte o se desprenden. También se expone el marco histórico-político e interés de los Estados en la evaluación, y se recuperan los datos e información cuantitativa.

Yuxtaposición. “Se presentan los datos (que ya han sido descritos y analizados) dos a dos, en paralelo, de forma que ponemos en relación aquello que queremos comparar” (^{Caballero et al., 2016: 48}). “En esta fase, únicamente se tendrán en cuenta los elementos de la comparación, esto es, los datos o la información extraída, sin tertium comparationis. La información de estos elementos de comparación puesta en paralelo al margen de la intervención comparatista y su interpretación, permitirá conocer sus semejanzas y diferencias de forma objetiva […] El orden de los elementos de la comparación se establece de forma que se yuxtapongan los elementos de un sistema que tienen correspondencia con los mismos elementos de otro u otro sistema (s)” (^{Caballero et al., 2016: 51-52}).

Interpretativa. Engarza la descripción de los sistemas de evaluación con los referentes empíricos (los programas gubernamentales o institucionales de evaluación) con las tendencias educativas. Al mismo tiempo se consideran las continuidades y cambios de los sistemas de evaluación de cada nación.

Comparativa o explicativa. Se realiza un trabajo de síntesis y de análisis que consiste en un trabajo intelectual con las convergencias, divergencias y tendencias. En esta fase se pone en juego la capacidad de generalización teórica y de explicación empírica.

Prospectiva. Se engarza los resultados y las conclusiones con las propuestas de mejora, donde se prevén tendencias o líneas de acción necesarias.

Los sistemas de evaluación de la educación superior de México y España: estado del arte

México comprende casi cinco décadas (1970-2018) de intentar conformar un sistema de evaluación de la Educación Superior. ^{Pallán (1994)} y ^{Llarena (1994)} revisan las primeras décadas que van de 1970 a 1990 para resaltar la influencia del contexto y organizaciones internacionales en el sistema de evaluación nacional. ^{Mendoza (2003)}, por su parte expone la conformación de las agencias de evaluación de la Educación Superior tanto gubernamentales como no gubernamentales. Mientras ^{Rubio (2007)} enmarca el sistema de evaluación como parte de una política de evaluación y calidad de la Educación Superior. En ese tenor aparecen resultados positivos de la política y los programas de evaluación de la Educación Superior, pero también resultados o efectos inesperados. ^{Buendía (2011)} expone algunos efectos inesperados de políticas y programas de evaluación como la simulación de las instituciones educativas para lograr resultados positivos en la evaluación y/o acreditación considerando que de ello depende el acceso a recursos financieros extraordinarios y su legitimidad en el campo. Además, ^{Buendía (2013: 19)} también expresa que, aunque no es posible hablar de un sistema Integral de evaluación de la Educación Superior, México ha transitado ya por varias etapas que han permitido integrar paulatinamente distintos organismos, estrategias, programas e instrumentos.

En España, los estudios realizados sobre la evaluación del sistema de Educación Superior son relativamente recientes en comparación con otros países (^{De Miguel, 2007}). Con el paso del tiempo, la metodología aplicada a estos sistemas y que ha funcionado es lo que ^{Harvey (1999)} denominó Modelo de rendición de cuentas delegada, o lo que ^{Neave (2001)} nombró Estado evaluador, basado en la autorregulación y la aparición de poderosos intermediarios (agencias de evaluación que desarrollan informes públicos con una revisión por pares y de autoevaluación).

En las últimas tres décadas, el sistema universitario español ha sostenido una completa transformación legal y estructural que ha reformado profundamente su sistema, adoptando nuevas formas de afrontar la gestión de las instituciones públicas, donde prima un mayor nivel de autonomía y se reclama un incremento de la eficacia, eficiencia y responsabilidad de las universidades, como principios centrales de la propia autonomía universitaria (^{Ley Orgánica de Universidades -LOU-, 2001}, ²⁰⁰⁷). En este sentido, España, por su pertenencia a la Unión Europea, ha pasado a configurar su sistema de evaluación dentro del marco del Proceso Bolonia (1999-2010); y en efecto hay una experiencia de evaluación que ya ha sido revisada (^{Barrenetxea, Cardona, y Echebarría, 2005}; ^{González, 2006}; ^{Palomares, García, y Castro, 2008}). No obstante, el cambio por la convergencia hacia el Espacio Europeo de Educación Superior (EEES) ha producido nuevas tendencias que tienen implicaciones en su estructura (^{Palomares et al., 2008}): gestión de la financiación pública (por ejemplo, I+D), uso de estándares de indicadores válidos y fiables, cambios en el sistema de rendición de cuentas, inclinación a las necesidades de la sociedad, evaluación institucional basada en el autoestudio y cambios profundos en la legislación universitaria.

Además, ^{Barrenetxea et al. (2005)}, realizaron un estudio comparativo entre los países del Reino Unido, Suecia y España, donde analizaron los sistemas de evaluación de la Educación Superior. Sin embargo, es claro que no hay suficientes estudios dirigidos o centrados en conocer las convergencias y divergencias de los sistemas de evaluación de la Educación Superior entre países.

En suma, la revisión de la literatura de México y España da cuenta que los sistemas de evaluación de la Educación Superior han sido revisados, no así el análisis de los cambios que se han producido en los últimos años, donde resaltan tendencias educativas mundiales de convergencia y divergencia.

El sistema de evaluación de la educación superior en México

En México la evaluación de la Educación Superior inició en los años setenta. Los primeros ejercicios de evaluación estuvieron relacionados con los procesos de planeación gubernamental (^{Llarena, 1994}) con pronósticos de demanda y crecimiento, y programas específicos de desarrollo institucional (^{Rubio, 2007: 37}). En los años ochenta, en un contexto económico de crisis, la evaluación de la Educación Superior, se asoció a principios racionales de eficiencia y eficacia en el uso de los recursos financieros (^{Pallán, 1994}).

Pero fue en los años noventa cuando la evaluación se volvió una política y estrategia gubernamental de regulación, control y vigilancia de las funciones sustantivas de las instituciones de Educación Superior (^{Mendoza, 2003}), bajo los principios de rendición de rendición de cuentas (accountability) y herramientas metodológicas y modelos de gestión empresarial (^{Buendía, 2011}, ²⁰¹³). Aquí es cuando el sistema de evaluación de la Educación Superior aparece como un conjunto de políticas, programas, agencias de evaluación y acreditación¹ gubernamentales y no gubernamentales e instrumentos de financiamiento.

El periodo de modernización, el sistema de evaluación y las agencias de evaluación

En la década de los noventa el gobierno estableció como uno de sus objetivos en educación superior la creación de un sistema nacional de evaluación de la Educación Superior. Para lograr este propósito, ^{Rubio (2007)}, sostiene que se estableció entre 1989-1994 una instancia que concibiera y articulara un proceso nacional de evaluación, la Coordinación Nacional para la Planeación de la Educación Superior (CONPES) con el nombre de Comisión Nacional de Evaluación (CONAEVA), integrada por representantes del gobierno federal y de la Asociación Nacional de Universidades e Instituciones de Educación Superior (ANUIES), encargándose de evaluar principalmente a las universidades estatales.

De acuerdo a ^{Rubio (2007)} CONAEVA tuvo tres tareas: (a) evaluación que realizarían las propias instituciones (autoevaluación); (b) evaluación del sistema y de los diversos subsistemas que lo conformaban por especialistas nacionales y extranjeros; y (c) evaluación interinstitucional, mediante un esquema de evaluación por pares académicos calificados.

En la Tabla 1 se reflejan las agencias gubernamentales y no gubernamentales que conformaron el sistema de evaluación de la Educación Superior.

La ANUIES fundada en 1950 para promover las funciones sustantivas entre las instituciones miembros, en 1992 adoptó la política de evaluación (^{Buendía, 2013, p. 26}) y empezó a realizar labores de evaluación y acreditación institucional (evaluación externa por pares académicos), con vigencia de 7 años, mediante una tipología de instituciones de Educación Superior (^{Buendía, 2013}) y la creación de indicadores de autoevaluación. Por su parte, el CONACYT creado en 1970 para impulsar la ciencia y la tecnología, mediante la formación de recursos humanos de alta calidad, en los años noventa sus programas emblemáticos -el Sistema Nacional de Investigadores (SNI) y el Programa de Posgrados de Calidad- operaron como parte de un Sistema Nacional de Evaluación de la Educación Superior.

Un caso similar ocurrió con la Federación de Instituciones Mexicanas Particulares de Educación Superior (FIMPES) creada en 1982 para defender la presencia, interés y pertinencia de la educación privada en el sistema educativo nacional, la cual empezó a adquirir funciones de reconocimiento y acreditación de la calidad educativa a partir de 1992 entre sus miembros, siendo en 1994 cuando adoptó la política de evaluación y empezó a realizar labores de acreditación, donde las instituciones afiliadas tienen una vigencia de acreditación de cinco años (para cumplimiento), y durante un tiempo las ventajas de la evaluación y acreditación fue lograr participar en el “programa de simplificación administrativa y de instituciones de excelencia de la Secretaría de Educación Pública (SEP)” (^{Buendía, 2013: 26}).

Siguiendo a ^{Mendoza (2003)} en la década del 2000 poco más del 6% de las instituciones privadas contaban con reconocimiento de su calidad (es decir, estaban acreditadas). Por ende, era evidente que las universidades privadas no estuvieron involucradas como parte del sistema nacional de evaluación (salvo a iniciativa propia), así como la falta de regulación de la calidad de las universidades privadas.

En la década de los noventa ANUIES y CONACYT realizaron labores de evaluación de la Educación Superior, creando los Comités Interinstitucionales para la Evaluación de la Educación Superior (CIEES), organismo no gubernamental integrado por pares académicos, quienes estaban en mejores condiciones de opinar sobre la calidad de un programa académico que se ubicaba sobre su campo de conocimiento (^{Mendoza, 2003}). Su tarea era de evaluación diagnóstica, los cuales empezaron evaluando a universidades estatales, instituciones tecnológicas y algunos centros particulares que lo solicitaran. Posteriormente el mayor trabajo se centró en las instituciones públicas (universidades estatales) en un tipo de evaluación institucional para la acreditación de programas académicos de licenciatura ubicados por nivel (I, II y III), siendo el nivel I el más cercano a la acreditación.

En la misma década nació la agencia del Centro Nacional de Evaluación de la educación superior (CENEVAL). Fue creada como una Asociación civil “con el propósito de diseñar y aplicar exámenes estandarizados para evaluar aprendizajes” (^{Rubio, 2007: 38-39}). La agencia no fue vista con buenos ojos en una parte importante de la comunidad estudiantil universitaria de tal manera que su participación fue parcial, pero continúa hasta el presente.

Finalmente, como parte de las agencias de evaluación en el año 2000 apareció el Consejo para la Acreditación de la Educación Superior (COPAES). Su tarea se centra en reconocer a otras agencias de acreditación no gubernamentales como miembros con lo que se entiende que las agencias de acreditación también necesitan ser reconocidas. Casi una década después la CONAEVA desapareció, mientras que el resto de agencias de evaluación gubernamentales y no gubernamentales permanecen como parte de las estrategias gubernamentales de la evaluación de la Educación Superior.

Bien podría decirse que la evaluación de la Educación Superior en México apareció como una corriente (o tendencia) que creció, se extendió y se estabilizó como política mediante los distintos gobiernos. Al igual que lo ocurrido con el sistema de evaluación de la Educación Superior en los cuatro sexenios correspondientes entre 1994 a 2018 han sido, como constante, una estrategia gubernamental para asegurar la calidad de la educación terciaria. Los sexenios correspondientes a 1994-2000, 2001-2006, 2006-2012 continuaron en sus términos fundamentales (^{Buendía, 2013}). De hecho, de 1994-2000 se crearon varias agencias de evaluación y acreditación de la Educación Superior para mejorar la calidad educativa. En el sexenio 2000-2006 la pertinencia del sistema de evaluación fue para “coadyuvar en la oferta de la mejora [la calidad] la oferta educativa y la rendición de cuentas de las IES a la sociedad” (^{SEP, 2001, p. 195}), en este sexenio se dio un esfuerzo más por crear una instancia que articulara al sistema de evaluación de la Educación Superior, la Comisión Coordinadora de Organismos de Evaluación de la Educación superior, pero no prosperó. En el sexenio 2007-2012 el énfasis del sistema de evaluación fue la “certificación” de instituciones, programas educativos, competencias laborales (docentes). Así como la creación de programas para que instituciones particulares se evalúen de manera externa y crearan, “organismos especializados a cargo de evaluar y acreditar la calidad de los programas de educación superior en las modalidades abierta y a distancia” (^{SEP, 2007: 59}). Finalmente, en el caso del sexenio 2013-2018 el sistema de evaluación de la Educación Superior se justifica bajo el discurso de la calidad, con las mismas agencias de evaluación que se habían creado en sexenios anteriores (CIIES, COPAES, CENEVAL).

Los programas gubernamentales de evaluación y acreditación

El sistema de evaluación de la Educación Superior fue resultado de una política de evaluación con una estrategia gubernamental, mejorar la calidad de la Educación Superior, mediante la vigilancia en las funciones sustantivas, principios racionales de rendición de cuentas y transparencia.

Para lograr esta estrategia fue necesaria introducir en las instituciones (sobre todo públicas) la evaluación con carácter no obligatorio con fines de diagnóstico, hasta evolucionar en diversos programas gubernamentales de evaluación y acreditación. Prácticamente se trató de Programas viejos y nuevos que comenzaron a evaluar la investigación, la docencia, y los programas de posgrado, engarzados al financiamiento extraordinario a las instituciones educativas públicas.

Los programas gubernamentales de evaluación y acreditación empezaron a operar de manera conjunta entre la SEP y el CONACYT, para evaluar y acreditar a las instituciones y los sujetos (profesores e investigadores). Cuatro programas se pueden mencionar: el Sistema Nacional de Investigadores (SNI), el Programa del Mejoramiento del Profesorado (PROMEP), el Programa Nacional de Posgrado de Calidad (PNPC) y el Programa Integral de Fortalecimiento Institucional (PIFI).

El SNI, creado en 1984 para evitar la fuga de cerebros frente a la crisis económica, ofrecía un apoyo económico a científicos e investigadores más sobresalientes de las instituciones públicas. A partir de los 90 el Programa evalúa la calidad de los investigadores de todas las instituciones, y aparece como indicador de evaluación de otros programas de mejora. Tiene cinco categorías (nivel candidato a investigador, investigador nivel I, II y III e investigador emérito) divididos en siete áreas de conocimiento y definidos con base en su formación (el grado mínimo es doctorado) y productividad académica, formación de recursos humanos altamente calificados (actividades de docencia o enseñanza), e impacto internacional. Asimismo, es el Programa más longevo que se ha modernizado para evaluar a los investigadores, contando actualmente con 27 000 investigadores.

El PROMEP nació en 1992 aplicó solo para instituciones públicas con el propósito de mejorar la calidad docente, aumentar la formación académica de los profesores universitarios, e incrementar la figura de Profesores de Tiempo Completo (PTC) asociados a actividades de investigación.

Con la expansión de la Educación Superior, muchos de los profesores únicamente tenían estudios de licenciatura, con el PROMEP se buscaba que tuvieran un grado de formación mayor al que impartían la enseñanza. Este objetivo prácticamente se logró con creces, para la contratación de profesores en las instituciones públicas siendo el nivel académico de contratación requerido el de maestría o doctorado. Además, se consiguió aumentar el número de PTC en las instituciones públicas, que también debían hacer investigación.

Actualmente el perfil PROMEP da cuenta de un conjunto de características de un PTC cuya calidad es reconocida sobre todo por las actividades de investigación que realiza.

En el caso del PNPC, su antecedente fue el Programa Posgrados de Excelencia, creado en los noventa por el CONACYT y la SEP, para atender al problema de la masificación y baja calidad de los posgrados. Este Programa se dedica a la evaluación -acreditación con base en ciertos indicadores -plan de estudios, personal académico, estudiantes, infraestructura y vinculación (^{CONACYT, 2015: 15}), que posteriormente los ordena por niveles (reciente creación, en desarrollo, consolidados, y competencia internacional). La acreditación no es permanente, sino cada dos, tres o cinco años los posgrados de calidad pueden subir de nivel o salir del Programa.

Finalmente, el gobierno creó en el 2000 el Programa Integral de Fortalecimiento Institucional (PIFI), instrumento de planeación y evaluación de mejora institucional para la asignación de recursos financieros extraordinarios a las instituciones públicas. Siguiendo a ^{Buendía (2013)}, el gobierno ha logrado articular los resultados de la evaluación con acciones de mejoramiento que repercuten en los presupuestos y la reputación institucionales, mediante la asociación evaluación-financiamiento-prestigio institucional, e impulsar programas para mejorar la infraestructura de las instituciones públicas de Educación Superior (PROMEP), Fondo para la Modernización de la Educación Superior, Fondo de Aportaciones Múltiples, Fondo para la normalización de la información administrativa, y Programa de Apoyo al Desarrollo Universitario.

El sistema de evaluación de la educación superior en España

El nacimiento de la evaluación de la Educación Superior en España se da en los años 70 con las reformas legales. Sin embargo, no es hasta la década de los 80 con la expansión de los sistemas de Educación Superior, donde se encuentran las primeras experiencias evaluativas, hallándose, una década más tarde, en la mayoría de las universidades un sistema de evaluación en el que la información era recogida fundamentalmente mediante un cuestionario dirigido al alumnado. Asimismo, durante esta década, se tomó como relevancia en la educación universitaria conceptos y visiones hasta entonces desconocidos (p.e., sistemas de indicadores, evaluación de programas/títulos, aseguramiento de la calidad, acreditación, entre otras) (^{Muñoz y Pozo, 2014}).

Otros eventos que marcaron el sistema de evaluación en España tienen como antecedente la Reforma Universitaria de 1983, donde se evaluó el rendimiento docente y científico del profesorado. En 1992, el Consejo de Universidades adopta la resolución de desarrollar, durante el curso 1993-1994, el Programa Experimental de Evaluación de la Calidad del Sistema Universitario, cuyo objetivo fue someter a prueba una metodología de evaluación institucional inspirada en las experiencias internacionales existentes (^{Muñoz y Pozo, 2014}). Posteriormente, la LOU de 2001 estuvo orientada a la evaluación hacia la calidad de las instituciones en sus ámbitos de responsabilidad.

Dicha ley introdujo cambios en la evaluación de las instituciones: rendición de cuentas, transparencia, cooperación y competitividad de las universidades, información a la administración y a la sociedad, mejora de la actividad docente, investigadora y de gestión de las universidades (^{Barrenetxea et al., 2005}). Esta segunda reforma, que implicó procesos de evaluación, certificación y acreditación, respondió en gran medida a una política que impulsó el gobierno español y que se reflejó en el I y II Plan Nacional de Evaluación de la Calidad de las Universidades (PNECU) de 1999 y 2001, respectivamente.

El I PNECU asocia el proceso de evaluación con la rendición de cuentas, la responsabilidad social de la institución universitaria y su obligación hacia la excelencia académica, para lograr niveles de calidad en todos sus servicios (^{Barrenetxea et al., 2005}), constituyendo el punto de inflexión para adoptar un modelo de evaluación equivalente al empleado en países con más experiencia en evaluación universitaria basado en una evaluación interna, revisión por pares y un informe final (^{Consejo de Universidades, 2000}).

En el marco histórico de integración a nivel europeo del Proceso Bolonia y del EEES, (1999-2010), España observa la necesidad de contar con sistemas de evaluación y acreditación de calidad compatibles, necesarios para conseguir el reconocimiento mutuo entre las diferentes instituciones educativas europeas, y constatar la existencia en las mismas de los niveles de calidad prefijados (^{Haug, 2003: 230}).

El II PNECU prácticamente significó una acción incremental en la implementación de los sistemas de calidad en las instituciones universitarias mediante el énfasis de la transparencia e información al ciudadano, abriendo una vía hacia la acreditación de las titulaciones, y especialmente, un mayor énfasis en el proceso de seguimiento (^{Ministerio de Educación, Cultura y Deporte, 2001}), mediante un catálogo de indicadores aprobado por el Consejo de Universidades, cuyo objetivo era construir un lenguaje común para compartir la información entre las instituciones que pudiera ser usado para la acreditación una vez establecidos los estándares (^{Vidal, 2003}).

Una expresión de la armonización hacia el EEES y de sus sistemas de evaluación se reflejan en un breve periodo de 15 años, donde se da la conciliación de los estudios universitarios oficiales españoles con las directrices establecidas en el Proceso de Bolonia (^{Agencia Nacional de Evaluación de la Calidad y Acreditación, ANECA, 2016}), unificando los criterios de Grados (cuatro años), Máster (un año) y Doctorado (cuatro años).

Esta armonización hizo necesaria la edificación de un sistema de evaluación mixto, fundando la ANECA, y posteriormente agencias especializadas de evaluación dependientes de las diferentes Comunidades Autónomas (por ejemplo, Agencia Andaluza de Evaluación y Acreditación Universitaria), las cuales incluyen programas enfocados hacia la evaluación, acreditación de las actividades universitarias y fomento, gestión, evaluación y acreditación de las actividades de investigación, desarrollo e innovación.

La agencia nacional de evaluación de la calidad y acreditación y los programas de evaluación y acreditación

La ANECA creada en 2001 cuyo propósito era consolidar e integrar competitivamente las instituciones españolas al EEES, aporta la garantía externa de calidad al sistema universitario mediante la evaluación, certificación y acreditación de enseñanzas, profesorado e instituciones (^{European Commission/EACEA/Eurydice, 2015}).

Esta Agencia considera la evaluación como un proceso de mejora educativa que abarca elementos como la certificación, reconocimiento público que una institución o programa educativo ha cumplido con respecto a una serie de normas y requisitos que aseguran la calidad del mismo, para comprobar el cumplimiento de los estándares establecidos y que los resultados sean los adecuados (^{Egido y Haug, 2006}), mediante el cumplimiento de criterios de evaluación marcados previamente por diferentes comisiones de evaluación y específicos para cada rama o campo científico. En este proceso, la certificación forma parte de la acreditación, documento oficial otorgado a las instituciones autónomas y programas que logran estándares satisfactorios en el proceso de evaluación de calidad.

La finalidad de la ANECA es establecer mecanismos de evaluación que contribuirán a medir y hacer público el rendimiento de las instituciones, y reforzar la transparencia y comparabilidad del sistema universitario, creando en la última década diferentes Programas (Tabla 2) que dan cuenta de la evaluación centrada hacia la docencia, las enseñanzas y las instituciones.

La ANECA inició su intervención evaluativa sobre la labor del Personal Docente e Investigador (PDI) creando el Programa de Evaluación del Profesorado (PEP), ACADEMIA e incluyendo posteriormente a la Comisión Nacional de Evaluación de la Investigación (CNEAI).

El PEP creado para la contratación del docente universitario, incluye las figuras de profesor ayudante de doctor, profesor contratado, y profesor de universidad privada. Comenzó a evaluar la formación académica (por ejemplo, título mínimo para la evaluación es el grado de doctor), formación más especializada (ejemplo, estancias posdoctorales), y actividades (o experiencias) docentes e investigadoras (ejemplo, publicaciones científicas en revistas de prestigio). Esto produjo un aumento en los criterios (indicadores) y estándares de calidad, especialmente centrados en la experiencia investigadora donde las publicaciones científicas constituyen el pilar fundamental de la evaluación de la actividad investigadora (^{Giménez, 2015}), revelando que no únicamente se está evaluando un perfil docente dedicado a la enseñanza, sino un perfil de investigación bajo la figura de PDI.

De 2005 a 2014 el impacto del PEP arrojó un volumen de casi 69.000 solicitudes de evaluación recibidas, donde el 62,5% fueron evaluadas de manera positiva, pero registró un elevado número de recursos de inconformidad, concibiendo que la formulación o la aplicación de los criterios no era del todo precisa generando falta de aceptación por parte de los investigadores evaluados (^{Giménez, 2015}), además de la creencia de una alta ambición sobre los niveles de evaluación y altas exigencia con la pretensión de conseguir personal altamente cualificado, provocando en las sucesivas generaciones la teoría del embudo, donde los nuevos PDI tienen menos opciones de acreditarse y en consecuencia las instituciones menos alternativas para contratar docentes, resultado de las políticas gubernamentales de austeridad iniciadas por la crisis económica del país.

El Programa ACADEMIA, también evalúa al PDI, bajo la expectativa de una contratación permanente en las figuras de Profesor Titular de Universidad y Catedrático de Universidad (figura similar al de PTC en México). Sus resultados indican una alta tasa de evaluaciones positivas, pero también se interpusieron un alto número recursos de inconformidad, lo cual ha provocando una exigencia en los procesos de evaluación que ha conllevado una precariedad en el sistema universitario, pareciendo que va en contra de la misma Educación Superior, tal y como se refleja con la entrada en vigor en noviembre de 2017 de los nuevos requisitos, alertándose aún más del endurecimiento en la mayor parte de las áreas, especialmente, la relacionada con la investigación docente, provocando dejar a centenares de profesores universitarios sin ascenso.

Finalmente, CNEAI (órgano independiente de la ANECA hasta su fusión con ésta), es el responsable de la evaluación de la actividad investigadora que otorga tramos de investigación. Durante el período 2013-2015, recibió más de 15.000 solicitudes para evaluar los períodos de seis años (sexenios)² proporcionando al PDI un elemento de orientación y reconocimiento para la mejora en su labor mediante diversos incentivos (económicos, incremento o no de carga docente, etc.). Anterior al CNEAI, legalmente en 2012 se introdujo el concepto de sexenio vivo, por el cual todo docente que no contase con un tramo de investigación activo, podría ver incrementada su carga docente hasta un máximo de 32 créditos ECTS³, perdiendo en consecuencia el rol histórico de incentivo positivo de investigación.

La ANECA en su proceso de evaluación para la mejorar de la calidad de las instituciones creó los Programas: AUDIT, ACREDITACIÓN INSTITUCIONAL y DOCENCIA.

La finalidad del Programa AUDIT es favorecer y promover el desarrollo e implantación de Sistemas de Garantía Interna de Calidad (SGIC) en los centros universitarios españoles, y poner en práctica un procedimiento que conduzca al reconocimiento y certificación de dichos sistemas. Estos SGIC toman como objeto de evaluación la propia gestión administrativa, formación de los docentes, planes de estudio, etc. Su evaluación tiene varias etapas de diseño e implementación que culminan con la Certificación del Modelo de SGIC, actualmente otorgado a 26 universidades, proveyendo herramientas para mejorar los procesos de mejora de la enseñanza y rendir cuentas a la sociedad. Este programa se constituye como un modelo de calidad que puntualiza en la metaevaluación para una posible mejora del proceso de certificación (^{Arribas y Martínez, 2015}).

Sobre la Acreditación Institucional, dado su importante papel a desempeñar en un futuro, se apuesta por la garantía de la calidad, la cual considera los procesos de evaluación de títulos como de sistemas internos de garantía de calidad en la que ya participaban las universidades. En resultados se observa que aproximadamente un 5% de los centros (localizados en 19 universidades) actualmente poseen un certificado de la implantación de AUDIT, solo estos centros al tener una proporción suficiente de títulos de grado y máster con renovación de la acreditación podrían plantearse optar por esta nueva vía de acreditación institucional una vez se ponga en marcha. Asimismo, para potenciar la participación, hay que considerar que solo 10 universidades (con algún centro certificado) cuentan con renovación de la acreditación al menos en la mitad de los títulos de grado y máster que tienen en funcionamiento.

El Programa docencia ha propuesto sistemas de evaluación a todo el profesorado mediante asesorías expertas y técnicas y procesos de evaluación internos de cada institución, pudiendo ser considerada como una tecnología performativa de control caracterizado por el cumplimiento de reglas generadas e impuestas desde fuera, siendo un ejemplo de evaluación orientada exclusivamente a la rendición de cuentas con propósitos sumativos (acreditación) y una forma de control amenazante pero sin efectos formativos (^{Escudero y Trillo, 2015: 95}).

Para la evaluación de las enseñanzas, esta agencia elaboró los Programas: verifica, monitor, acredita y el Sello Internacional de Calidad (SIC, anteriormente conocido como ACREDITA PLUS).

El Programa verifica evalúa los planes de estudio (títulos de grado, máster y doctorado oficiales) y títulos oficiales de Educación Superior no universitaria, conforme al EEES, además de supervisar las competencias (conocimientos, habilidades y destrezas) que se adquirirán en la titulación, entre otras, hasta los más ínfimos detalles, considerando como una expresión de los expertos de gran convicción de la bondad de los cambios pretendidos, pero también como una desconfianza respecto a la voluntad y capacidad de las universidades y docentes para acometer la reforma planteada (^{Escudero y Trillo, 2015}). Durante sus años de seguimiento (2011-2015) han evaluado cerca de 5.000 nuevos títulos oficiales de grado y de máster y más de un millar de propuestas de enseñanzas de doctorado. Estos resultados confirman una valoración notablemente alta de las titulaciones, aunque esta realidad no asegura una pertinencia del nivel de ajuste entre la oferta y la demanda por parte del alumnado, debido en parte por la existencia de instituciones donde no hay este ajuste, cuestionando la idoneidad de tales títulos y sus implicaciones, en términos de planificación, adecuación de recursos humanos y materiales, etc., que afectarían negativamente al proceso de enseñanza-aprendizaje y calidad de las enseñanzas (^{ANECA, 2016}).

El Programa monitor, evalúa la calidad de los títulos oficiales universitarios, su seguimiento contrasta las tasas de rendimiento, abandono, etc., y comprueba su correcta implantación. Dicho seguimiento realizado incluía mejoras (p.e., definición del plan de estudios basado en un modelo educativo centrado en el estudiante y los propósitos del EEES), pero este cambio ha exigido mayor dedicación del docente y reflexión sobre los resultados que deben lograr los estudiantes, suponiendo una transformación significativa que aún está en proceso.

Asimismo, el Programa acredita dedicado a la renovación de títulos en un plazo máximo de 7 años para las titulaciones de grado, 4 años para máster y 6 para doctorado. Aunque el programa es novel, sus resultados indican una valoración favorable en 399 títulos de grado y 866 títulos de máster, reflejando el trabajo previamente realizado en las fases anteriores (^{ANECA, 2016}).

Por su parte, SIC proporciona Sellos Europeos de Calidad para los títulos universitarios como reconocimiento de su orientación profesional, desde los sectores científico-técnicos y profesionales en el ámbito europeo, respaldando a los egresados en la obtención de este mérito añadido en los títulos de Ingeniería (EUR-ACE) e Informática (EURO-INF). Sus resultados arrojan (2013-2015), que del sello EUR-ACE^® fueron evaluadas 17 propuestas (14 de universidades públicas y 3 privadas), conseguido una evaluación positiva todas las propuestas de las titulaciones de grado, pero solo del 50% de las titulaciones de máster. Mientras que del sello EURO-INF, fueron evaluadas 6 propuestas de universidades públicas (mayoritariamente enseñanzas de máster) con evaluación favorable. Esto da a entender el plus con el que cuentan estas titulaciones y los centros acreditados, agudizando los esfuerzos de otras titulaciones con las que compensar esta desventaja hacia los egresados (p.e., prácticas en empresas, etc.).

Yuxtaposición de los sistemas de evaluación de la educación superior entre México y España

En México entre 1970 y 2000 la tendencia de la evaluación de la Educación Superior estuvo marcada por el crecimiento de una supervisión estatal (^{Luengo, 2003}) con principios de eficiencia, eficacia, rendición de cuentas y transparencia. En el caso de España, entre 1970 y 1980 su evaluación vivió un fuerte impulso estatal, convirtiéndose en un elemento clave para afrontar la competencia económica internacional, y mejorar la productividad y el desarrollo tecnológico (^{Mora, 1991}).

En México, el propósito de la evaluación de la educación superior fue mejorar la calidad educativa. En España, por el contrario, su propósito inicial se basó en la idea de accountability, (rendir cuentas a la sociedad) para demostrar la eficacia pedagógica y académica de las instituciones universitarias, su eficiencia en términos del buen uso de los recursos y su pertinencia sobre factores, efectos e impactos comunitarios, sociales y culturales. Posteriormente, empezaron a realizarse evaluaciones basadas en el improvement (mejora de la institución educativa mediante el conocimiento de cuestiones relevantes para la toma de decisiones) (^{Egido y Haug, 2006}), demandándose mayor productividad y eficiencia en el uso de los recursos asignados. Al finalizar un siglo y empezar el año 2000, ambos sistemas de evaluación de la educación superior empezaron a homogenizarse en cuanto a principios de rendición de cuentas, productividad y eficiencia.

Entonces, los sistemas de evaluación entre México y España convergieron históricamente cuando se volvieron una estrategia gubernamental diseñada para valorar, vigilar y regular las funciones sustantivas (docencia, investigación, extensión) y adjetivas (gestión, administración) de las instituciones educativas.

México creó un sistema de evaluación de la Educación Superior a partir del proceso de modernización de la institución superior. España conformó su sistema de evaluación de la Educación Superior a partir de un conjunto de leyes y reformas legales a la universidad. Posteriormente el punto clave para conformar el sistema de evaluación en España fue el año 2000, prácticamente se trató de una experiencia de integración al Marco Común Europeo y el Proceso de Bolonia. Este proceso de integración regional no lo ha vivido México. Sin embargo, la convergencia vuelve a aparecer con las tendencias a la internacionalización de la Educación Superior y el uso de los rankings internacionales como parámetro de calidad y evaluación de la misma.

En México, como parte de la conformación de un sistema de evaluación de las instituciones se crearon un conjunto de agencias gubernamentales y no gubernamentales para vigilar la calidad y los resultados de las instituciones de Educación Superior. En España, por la diferencia en el número y tipo de instituciones de Educación Superior (mayoritariamente universidades públicas) solamente se cuenta con una agencia de evaluación centralizada (ANECA) y otras agencias autonómicas de evaluación.

En el caso de México, la cantidad de agencias de evaluación dan cuenta que la evaluación se ha centrado en las instituciones públicas, pero no del sector educativo privado. Lo cual se entiende por la falta de regulación y actualización de la ley sobre Educación Superior que data de 1978. En el caso de España, la ANECA y las agencias autonómicas, su influencia se aglutina en los diversos programas para evaluar a nivel institucional y a nivel de las funciones de docencia e investigación.

Finalmente, México tiene una diversidad de programas de evaluación de la Educación Superior, resaltando aquellos que están asociados a estímulos económicos o de financiamiento extraordinario. En este campo se encuentra el Programa SNI, PRODEP, PNPC y el PIFI. En España, sus Programas de evaluación, tienen una lógica distinta, pues están enfocados en el correcto funcionamiento institucional de las funciones sustantivas y adjetivas de la universidad. Sin embargo, la convergencia entre ambos sistemas vuelve a darse en la sobrevaloración de los programas de las actividades y funciones de investigación. De manera esquemática la Figura 1 resume las semejanzas y diferencias entre ambos sistemas de evaluación de la Educación Superior.

Fuente: Elaboración propia.

Figura 1 Semejanzas y diferencias de los Sistemas de Evaluación de la Educación Superior entre México y España. 

Conclusiones

En el análisis de los sistemas de evaluación entre México y España, ambos países tienen lecciones por aprender. México no tiene un referente internacional de comparación y evaluación, pero podría considerar la experiencia de integrarse a un bloque educativo de mejor calidad, o bien, considerar en su sistema de evaluación los rankings internacionales a nivel regional. En el caso de España, ha tenido referentes externos, pero no ha tenido en cuenta la la situación y/o necesidades de su estado.

Otra lección para México sería, considerando que tiene poco trabajo en evaluar las funciones adjetivas de las instituciones, el Programa AUDIT español y el modelo de calidad institucional denominado sgci con el cual se buscaría el reconocimiento y la certificación de las instituciones a partir de evaluar la calidad interna en varias etapas, prodría ser una solución ajustada y eficiente. En cambio, el modelo español, si presenta una evaluación, acreditación y certificación de las funciones adjetivas y sustantivas, no obstante, estas han sido reajustadas, especialmente en el caso de la evaluación docente, siendo duramente estandarizada sólo por una agencia de evaluación, considerando necesario observar el horizonte europeo y revisar los criterios, e incluir iniciativas como reconocer la Transferencia de Conocimiento (nuevo incentivo en el ámbito de la innovación hecha por el Ministerio de Ciencia).

Una última lección para México sería la evaluación del conjunto de profesores e instituciones como norma o reglamento. En este caso España evalúa de la misma manera a docentes e instituciones, pero México únicamente se ha encargado de evaluar al sector educativo público dejando al sector educativo privado como una acción voluntaria.

Como pendiente para México queda modificar y actualizar la legislación de Educación Superior (que data de 1978) para hacer obligatoria la rendición de cuentas mediante la evaluación externa y la acreditación de las funciones sustantivas y adjetivas de las instituciones, y que los Registros de Validez Oficial de Estudios (los famosos revoes) que se otorgan a las instituciones de educación superior privadas tengan vigencia determinada y se renueven con base en criterios de acreditación.

Para España queda el pendiente de aunar los sistemas de Educación Superior con Europa, establecer criterios de sistematización unificados y clarificados de los indicadores existentes, usando medidores de rendimiento de corte cuantitativo y cualitativo, y la creación de un ente específico para la gestión de la evaluación de las universidades, independiente de cualquier organismo gubernamental, que se encargara del seguimiento del proceso.