Introducción

En las últimas décadas, en los sistemas educativos de muchos países ha aumentado la preocupación respecto al aseguramiento del derecho de las personas a recibir una educación de calidad. Ello se ha visto reflejado en el interés de los gobiernos en las evaluaciones que favorezcan el conocimiento de los logros alcanzados por los estudiantes. Tradicionalmente los logros de aprendizaje han sido valorados como uno de los indicadores más fiables del avance educativo, debido a la concordancia entre dicho indicador de calidad y las dinámicas económicas y políticas basadas en la rendición de cuentas (^{Jiménez, 2016}).

En el ámbito internacional, las evaluaciones de los logros de los estudiantes se han desarrollado bajo diversos enfoques, dependiendo de los intereses de cada país, así como de los objetivos que se persiguen. De acuerdo con la información de la Secretaría de Educación Pública (^{SEP, 2002}), países como Argentina, Bolivia, Brasil, Chile, Colombia, Costa Rica, Ecuador, España, Guatemala, Holanda, Honduras, México, Paraguay, Perú y Uruguay tienen mecanismos de evaluación de logros educativos a nivel básico, la mayoría de ellos desde la década de los noventa. De manera general estos países han pretendido conocer los avances de sus sistemas educativos evaluando los aprendizajes de sus estudiantes en primaria y secundaria; algunos de ellos también han considerado la evaluación del aprendizaje de otros niveles educativos, incluso a nivel medio, como en los casos de México y Uruguay. Cada país desarrolla sus evaluaciones a través de sus agencias nacionales, ya sean estatales, paraestatales o autónomas, de acuerdo con las leyes y la organización particulares. A pesar de la diversidad de tipos de agencias que realizan las evaluaciones nacionales, sin embargo, existe la tendencia de conocer los avances en materia de logros alcanzados por los estudiantes como consecuencia de la escolaridad brindada por el Estado.

Adicionalmente, existen diversos proyectos de corte internacional que buscan realizar comparaciones de los sistemas educativos bajo una misma lógica, es decir, observando el desempeño de los estudiantes en áreas que se consideran claves en las sociedades competitivas. Uno de los ejemplos más representativos de este tipo de ejercicios es el Programme for the International Student Assessment (PISA) coordinado por la Organización para la Cooperación y Desarrollo Económicos (OCDE), que tiene como finalidad conocer la medida en que los jóvenes de 15 años han adquirido conocimientos y habilidades esenciales para participar en las sociedades modernas (^{OECD, 2014}). Por su parte, los estudios desarrollados por el Laboratorio Latinoamericano para la Evaluación de la Calidad de la Educación (LLECE) coordinados por la Organización de las Naciones Unidas para la Educación, la Ciencias y la Cultura (UNESCO), pretenden aportar a los debates sobre la calidad de la educación, y en favor de la garantía del derecho a la educación, considerando la evaluación del aprendizaje en matemática, lenguaje y ciencias para la región latinoamericana (^{UNESCO, 2015b}). Si bien existen otros proyectos, tales como los que fomenta la International Association for the Evaluation of the International Achievement (IEA), PISA y los estudios del LLECE son altamente utilizados por los países de América Latina en lo que se refiere a la caracterización de la calidad de los logros educativos.

Existe una amplia diversidad de opciones de evaluación de logros educativos enfocadas a ofrecer información fiable y a gran escala para los diversos Estados que participan en ellas, o bien, que las desarrollan de forma interna; de esta manera se genera una enorme diversidad de información bajo distintas perspectivas metodológicas, con la intención de realizar aportes a las políticas orientadas a fomentar la calidad educativa en aras de que los estudiantes alcancen los niveles esperados para desempeñarse de forma adecuada en la sociedad actual. En ese sentido, cada proyecto establece metodologías y estándares diversos para desarrollar sus juicios de valor sobre lo que se entiende por calidad en educación.

A partir de la intención de los países de valorar la calidad de sus sistemas educativos y la posibilidad de los Estados de tener acceso a diversas fuentes de información, el presente documento muestra una comparación entre dos tipos de evaluaciones enfocadas a un mismo nivel educativo para, de esta manera, valorar los estándares utilizados en cada uno de los proyectos, así como las congruencias existentes entre resultados. A partir de estas comparaciones se podrá ampliar el debate en lo que respecta a la información que se genera y se comunica a la sociedad y a los tomadores de decisiones en la política educativa. Para este análisis se considera el caso de México en dos proyectos en particular: el Tercer Estudio Regional Comparativo y Explicativo (TERCE), el más reciente de los estudios generados por el LLECE de la UNESCO, y los resultados de los Exámenes para la Calidad y el Logro Educativos (EXCALE), desarrollados por el Instituto Nacional para la Evaluación de la Educación (INEE); específicamente se analiza el caso de lectura en tercer grado de educación primaria. La selección de estos proyectos en el caso mexicano responde a que ambos se enfocan en la educación básica, existe coincidencia entre las áreas de evaluación y ambas siguen una metodología similar en cuanto al desarrollo de los marcos conceptuales que las respaldan. Inicialmente se presenta un breve panorama respecto a la calidad educativa y su relación con la evaluación de los logros educativos; posteriormente se desarrolla una descripción de cada uno de los proyectos de evaluación, con comparaciones en lo que respecta a la perspectiva de calidad que subyace a sus acciones, las metodologías utilizadas para el diseño de los instrumentos, así como los resultados obtenidos y la forma en que éstos se comunican en aras de ser un insumo relevante para la toma de decisiones en materia de política educativa.

Calidad educativa y logro escolar

La delimitación de los elementos que definen a la calidad en educación ha sido objeto de debate en el ámbito académico en las últimas décadas. Es importante considerar que, en el ámbito internacional, la preocupación por la calidad de la educación comenzó en el momento en que se alcanzaban niveles aceptables de cobertura educativa, por lo que la preocupación de los Estados y los sistemas educativos se trasladó hacia el conocimiento del uso eficiente de los recursos (^{Egido, 2005}). La actual tendencia de mercado enfocada en la competitividad y en la rendición de cuentas ha favorecido la reflexión sobre la calidad de los procesos educativos; así, como se comenta en ^{INEE (2005)}, la calidad se relaciona con la capacidad de un país de generar riqueza, por lo que el desarrollo, bajo un contexto globalizado y basado en la competitividad, requiere que sus ciudadanos estén mejor preparados (^{Gómez, 2004}; ^{INEE, 2005}).

Si bien en el siglo XX la idea de universalización de la escuela primaria fue el sostén bajo el cual se construyeron los sistemas educativos (^{Toranzos, 1996}), la perspectiva actual de los Estados -basada en la competitividad- ha favorecido el reconocimiento de la calidad de la educación como un elemento necesario para la rendición de cuentas; ello implica la obligación de justificar cómo se usan los recursos y qué resultados se obtienen. En el caso de la educación, la rendición de cuentas tradicionalmente se analiza a partir de sus resultados, y de cómo éstos pueden generar un uso potencial en el mercado y la competitividad (Trow, 1996, cit. en ^{Jiménez, 2016}).

En realidad, no existe una definición concreta y unívoca respecto a la calidad educativa (^{Egido, 2005}); no es un valor absoluto o un elemento en sí mismo, sino que su significado dependerá de la perspectiva social bajo la cual se considera (^{Hamel, 2009}). La calidad implica un juicio y, como tal, se desarrolla bajo una postura política en particular, de tal suerte que las dimensiones que la componen son dinámicas (^{INEE, 2005}), ya que su conceptualización se delimita en función del sujeto o de la realidad bajo la cual se emiten los juicios. En ese sentido, la atención especial que se le ha dado a la calidad educativa en las últimas décadas debe valorarse en función de los intereses que los sistemas educativos tienen respecto a la generación de información valiosa para la toma de decisiones orientadas a la mejora de la competitividad internacional. Este fenómeno, llamado policy by number (^{Saura y Luengo, 2014}), implica la consideración de mediciones capaces de supervisar el avance educativo, para con ello establecer acciones que permitan orientar los resultados hacia las metas que se plantean los Estados. Bajo esa lógica, la calidad de la educación en aquellos sistemas educativos orientados hacia la competitividad se orienta hacia dimensiones que resulten ser un indicador de utilidad para la toma de decisiones en materia de política educativa.

De acuerdo con (^{Hamel, 2009}), el debate sobre la calidad educativa ha tenido tres vertientes principales: la formación de un ciudadano preparado para ser funcional en el mercado de trabajo establecido; un ciudadano humanístico y politécnico con capacidad alta de crítica y adaptación; y un ciudadano capacitado y con alta motivación para proponer cambios sociales. De esta forma, la tendencia neoliberal de mercado bajo la cual se establecen los sistemas educativos consideran a la eficiencia (uso óptimo de recursos), eficacia (elemento relacionado con la cobertura, permanencia, conclusión y logros académicos relacionados con los estándares definidos) e impacto (relacionado con el éxito de los egresados en la inserción al mercado laboral o de incorporación a los siguientes niveles educativos) como los indicadores de calidad que favorecen la comprensión del avance educativo.

Siguiendo a (^{Toranzos, 1996}), la idea de calidad en la educación implica la consideración de diversas dimensiones que se complementan entre sí: 1) la calidad educativa es aquella que logra que los estudiantes aprendan lo que deben aprender, lo cual se establece de manera formal en los currículos; 2) la calidad se relaciona con la relevancia, es decir, aquella que responde a lo que los individuos necesitan para su desarrollo (no sólo en el sentido intelectual, sino también en el moral y físico); 3) en relación con los procesos, se considera necesario que los sistemas educativos ofrezcan un contexto adecuado para el aprendizaje, un cuerpo docente preparado, materiales de estudio adecuados, al igual que estrategias didácticas que favorezcan el aprendizaje.

Por otro lado, (^{Schmelkes, 1996}) afirma que la calidad educativa debe considerar:

En el mismo sentido, adicional a los elementos considerados por Schmelkes, el ^{INEE (2005)} afirma que la calidad también se relaciona con: la pertinencia, es decir, la adecuación curricular respecto a las situaciones de vida de los estudiantes; y el impacto, que se refiere a que los aprendizajes alcanzados en la escuela se traduzcan en valores individuales y sociales. En la actualidad, la calidad de la educación también se relaciona directamente con el ejercicio de la titularidad de derechos; en ese sentido, la perspectiva de (Tomasevski 2004, cit. en ^{INEE, 2016}) considera que la disponibilidad, la accesibilidad, la adaptabilidad y la aceptabilidad son características que los sistemas educativos deben cumplir en aras de asegurar el derecho de todas las personas a recibir una educación de calidad.

Los primeros trabajos a gran escala para conocer la calidad educativa fueron los de la International Association for the Educational Achievement (IEA), y Education at a glance, de la OCDE (^{Egido, 2005}); estos trabajos se desarrollaron bajo una perspectiva comparada, con la finalidad de atender la necesidad de dar respuesta a una perspectiva basada en la competitividad; e impulsaron metodologías para el conocimiento de la eficiencia, la eficacia y el impacto de la educación. De esta forma, mediante agencias de corte internacional, tales como la OCDE, se promovieron evaluaciones internacionales del aprendizaje como estándar de calidad educativa (^{Hamel, 2009}). En ese sentido, la OCDE (2004, cit. en ^{Meckes, 2007}), sostiene la idea de que la definición de estándares de desempeño para el aprendizaje es un rasgo común de los sistemas educativos exitosos. En este tipo de evaluaciones, el estándar describe el nivel de desempeño que debe mostrar un estudiante en un área; y el desempeño de cada uno se compara con dicho estándar con el fin de clasificarlo en una categoría en particular y poder definir qué tan adecuado es.

Los estándares, que son inherentes a cualquier proceso de evaluación (^{Stake, 2006}), se establecen dentro de las evaluaciones de logros educativos en aras de determinar un referente de calidad, en particular en sus dimensiones de eficacia y relevancia. De esta forma, la evaluación que se fundamenta en la perspectiva de calidad desde el campo de la productividad requiere del establecimiento de estándares claros y medibles (^{Hamel, 2009}). La evaluación del aprendizaje es el área con mayor acumulación de conocimiento dentro de la evaluación educativa (^{Román y Murillo, 2009}), con un fuerte trabajo metodológico basado particularmente en métodos objetivos. De acuerdo con ^{Jiménez (2014}), la aplicación de pruebas destinadas a medir el logro del aprendizaje bajo el respaldo de técnicas objetivas y estadísticas permite que los sistemas educativos obtengan evidencia empírica de los resultados de los estudiantes; esto es así debido a la confianza que este tipo de métodos objetivos aporta a la toma de decisiones en temas de política educativa.

El uso de las evaluaciones de logro educativo desarrolladas bajo metodologías objetivas robustas, y cuyos resultados se basan en estándares definidos, juegan, así, un rol importante en el conocimiento de la calidad de los sistemas educativos, en particular en lo que respecta a las dimensiones de eficiencia y relevancia, ya que aportan información que fomenta el policy by number en el cual los Estados actualmente se desenvuelven. Bajo esta postura política sobre la calidad educativa en particular, y el rol que las evaluaciones de logro educativo aportan a su conocimiento, a continuación se describen dos de las evaluaciones a gran escala que se aplican en México y que se dirigen a conocer la calidad de la educación en términos de logro educativo.

TERCE: evaluación de logros educativos en América Latina

TERCE es el tercer estudio desarrollado por el LLECE. El Laboratorio nació en 1994 como una propuesta de conformación de red de unidades de medición de Latinoamérica, coordinado por la Oficina Regional de Educación de la UNESCO para América Latina y el Caribe (OREALC) (^{UNESCO, 2015a}). En línea con el interés en la competitividad internacional, el LLECE ha desarrollado tres estudios con la intención de promover el desarrollo de políticas educativas: en 1997 el primer estudio (denominado PERCE) evaluó matemática y lectura en tercero y cuarto grado de primaria en 13 países latinoamericanos; el segundo estudio (llamado SERCE), que se desarrolló en el año 2006, se enfocó en matemática y lectura en tercero y sexto grados, además de ciencias naturales en sexto. Por su parte, el TERCE se llevó a cabo en 2013, con la intención de mantener una continuidad con las áreas y grados evaluados en el SERCE (^{UNESCO, 2015a}).

Para los estudios del LLECE, la calidad educativa se basa en la perspectiva de la UNESCO, ya que no sólo se toma en cuenta el logro de los estudiantes como el único indicador (aunque sí lo considera imprescindible), sino que también considera aspectos como eficiencia, equidad, relevancia y pertinencia (^{UNESCO, 2015a}). Independientemente de la mutidimensionalidad de la calidad educativa desde la perspectiva de la UNESCO, las evaluaciones del LLECE se han enfocado principalmente en resultados de aprendizaje; ello debido a que se considera un reflejo de equidad, lo cual es de gran importancia para la región latinoamericana, dada la diversidad existente de etnias y culturas.

El TERCE comenzó a desarrollarse en el año 2010 bajo la coordinación de la UNESCO y con la participación de diversas agencias de evaluación latinoamericanas, tales como el Centro de Medición de la Universidad Católica de Chile (MIDE-UC), el Centro de Políticas Comparadas en Educación de la Universidad Diego Portales (CPCE-UDP) y el Instituto Colombiano para la Evaluación de la Educación (ICFES). Cada una de estas agencias tuvo una importante función en la definición de los diversos momentos de la evaluación, mismos que se describen más adelante.

Este estudio internacional se caracteriza por abarcar 16 sistemas educativos en 15 países. Los participantes fueron: Argentina, Brasil, Chile, Colombia, Costa Rica, Ecuador, Guatemala, Honduras, México (y de forma independiente el estado de Nuevo León), Nicaragua, Panamá, Paraguay, Perú, República Dominicana y Uruguay. Si bien todos los países participantes pertenecen a la región latinoamericana, la evaluación del aprendizaje frente a la diversidad de 16 sistemas educativos representa un reto importante. En términos de medición, existe la posibilidad de desarrollar instrumentos basados en el currículo, o bien, con base en algún otro referente. El TERCE, al igual que los dos estudios que le preceden, se desarrolla con base en el currículo. Las evaluaciones de este tipo son aquellas que se enfocan en la observación del logro de los estudiantes con el currículo como eje en el proceso de recolección de información (Deno, 1987, cit. en ^{Hintze et al., 2006}).

El ICFES fue el encargado de desarrollar el análisis curricular de este proyecto mediante la información proporcionada por cada uno de los países participantes. Los contenidos curriculares de cada país se sistematizaron mediante un análisis hermenéutico, el cual se compartió de forma comprensiva con las coordinaciones participantes, de tal suerte que se sistematizaran los contenidos que se incluyen en las pruebas, y se favorecieran las equivalencias entre los países (^{UNESCO, 2013}). Este proceso se realizó para cada área y grado evaluado; en el caso de lectura de tercer grado de primaria, los contenidos por evaluar resultantes se exponen en el Cuadro 1.

Fuente: elaboración propia con información de ^{UNESCO, 2015a}.

Cuadro 1 Elementos evaluados en TERCE. Lectura, tercero de primaria 

El marco conceptual de la prueba, reflejado en los dominios, aprendizajes, tipos de texto y procesos cognitivos, se articuló en forma de bloques de ítems. Para dar sentido a los puntajes obtenidos se definieron puntuaciones medias de cada país y su variabilidad (una es cala fija de 700 puntos y desviación estándar de 100), así como la frecuencia de estudiantes en los diversos niveles de desempeño. Estas formas de interpretación de puntajes representan los estándares bajo los cuales se compara cada uno de los países participantes. La Gráfica 1 muestra la media del puntaje obtenido por parte de los estudiantes en cada país.

Fuente: elaboración propia con información de ^{UNESCO (2015a)}.

Gráfica 1 Puntaje promedio de los países participantes en TERCE Lectura, tercero de primaria 

Por otra parte, la segunda forma de interpretación de los resultados enfatiza los niveles de desempeño. Los niveles son descripciones de lo que, cualitativamente hablando, los estudiantes son capaces de realizar. Representan un continuo teórico de las habilidades lectoras de los estudiantes, de tal suerte que su interpretación se vuelve de gran relevancia al momento de considerar el estado de los logros educativos de un país. El Cuadro 2 muestra la descripción de los niveles de desempeño de lectura en tercero de primaria.

Fuente: ^{UNESCO, 2015a}.

Cuadro 2 Descripción de niveles de desempeño TERCE Lectura, tercero de primaria 

Como puede observarse, la descripción de los niveles de desempeño funge como un estándar que describe no sólo lo esperado por los estudiantes en cada nivel, sino también una forma de interpretar el continuo de puntajes medidos en la prueba. Como consecuencia, no representa toda la posibilidad de habilidad lectora, sino aquélla medida bajo el instrumento utilizado, el cual basa su diseño en los contenidos producto del análisis curricular común en la región. En el caso de este proyecto, el estándar de calidad bajo la óptica de los logros educativos en lectura por parte de los estudiantes de tercero de primaria considera únicamente puntos curriculares en común y, de ellos, los incluidos en el continuo de dificultad establecido en el instrumento; esto se observa en los niveles de desempeño, los cuales se concentran en determinados tipos de texto y habilidades que son ordenadas por dificultad de forma empírica.¹ Las limitaciones de las conclusiones deben considerarse al momento de presentar los resultados por nivel de desempeño, como se muestra en la Tabla 1.

Tabla 1 Porcentaje de estudiantes por niveles de desempeño TERCE Lectura, tercero de primaria 

Fuente: ^{UNESCO, 2015a}.

Con esta información cada país puede conocer el porcentaje de los estudiantes de tercer año de primaria en cada nivel de desempeño, y cómo es que los países participantes se comparan entre sí, incluso respecto al promedio de los países en su conjunto. Mediante los dos tipos de resultados (promedios de puntajes y porcentaje de estudiantes por nivel de desempeño) se pretende retroalimentar a los países respecto al nivel de calidad que muestran sus sistemas educativos, ello mediante la valoración del logro de sus estudiantes. El referente o estándar utilizado en este proyecto asume que la comparación de semejanzas curriculares entre países con una relativa cercanía cultural es un referente válido de la calidad educativa y da información apropiada para contribuir a las políticas que se requieren en la región.

EXCALE: el esfuerzo mexicano de conocer la calidad educativa bajo un referente nacional

El Programa Nacional de Educación 2001-2006 del gobierno federal mexicano consideró la creación de mecanismos de evaluación rigurosos que favorecieran el rendimiento de cuentas de la educación a la sociedad (SEP, 2001, cit. en ^{Backhoff et al., 2006}). Como consecuencia, se creó el INEE, instituto que asumió las funciones de evaluación del aprendizaje que anteriormente llevara la Dirección General de Evaluación con las llamadas Pruebas de Estándares Nacionales (PEN), las cuales se aplicaron entre 1998 y 2003. Los EXCALE se realizaron porque se consideró que las PEN adolecían de elementos básicos de calidad en cuanto a medición, con una primera aplicación en el año 2005. La intención de estas pruebas era proporcionar al país un conocimiento general del rendimiento escolar que logran los alumnos en las asignaturas básicas del currículo de México.² Con ello se pretendía contribuir al conocimiento de los alcances y limitaciones del sistema educativo mexicano y promover la calidad de la educación básica mexicana; por supuesto, se pretendía abonar a la discusión sobre la rendición de cuentas a la sociedad.

La intención de los EXCALE era asegurar una solidez técnica que favoreciera el conocimiento de la calidad de la educación mexicana, y para ello hacían énfasis en su transparencia y en su legitimización social y académica. Con este objetivo, dichos exámenes se desarrollaban bajo la postura de calidad establecida por el INEE, enfocándose particularmente en la difusión de la cultura de rendición de cuentas a partir de los logros de los estudiantes en un referente en particular, en este caso, el currículo nacional. De esta manera, se asumía que los resultados obtenidos por los EXCALE favorecerían la comprensión del avance del sistema educativo mexicano hacia el ideal de aprendizaje establecido dentro de las asignaturas en las cuales se desarrollaron los instrumentos.

Los EXCALE cubrían cuatro áreas curriculares: español, matemáticas, ciencias naturales y formación cívica y ética. Se aplicaban cada cuatro años a preescolar (EXCALE 00), tercero de primaria (EXCALE 03), sexto de primaria (EXCALE 06) y tercero de secundaria (EXCALE 09). Cada año se aplicaba el examen correspondiente a uno de los grados mencionados y sus resultados eran comparables entre periodos (^{INEE, 2013}).

De acuerdo con el informe del ^{INEE (2013)}, en particular los resultados en español de tercero de primaria evaluados con el EXCALE 03, basados en el currículo nacional del año 2000 (vigente en el momento de la aplicación), los conocimientos y habilidades evaluados se exponen en el Cuadro 3.

Fuente: ^{INEE, 2013}.

Cuadro 3 Conocimientos y habilidades evaluados en el EXCALE 03 

Al igual que como se realizó en el TERCE, los conocimientos y habilidades que evalúa el EXCALE 03 se incluyen en bloques de ítems o reactivos y la prueba se aplica de manera matricial, con el fin de estimar resultados a nivel nacional de un amplio constructo. Si bien en México se da la denominación “español”, puede observarse que los contenidos de la prueba, si bien enmarcados en elementos comunicativos, se enfocan fuertemente en la lectura.

En los resultados de EXCALE 03, como prueba criterial, se resaltan los porcentajes de estudiantes en los diversos niveles de desempeño. En particular, se enfocan en mostrar una comparación del porcentaje de estudiantes por nivel de desempeño entre los años 2006 y 2010, así como las diferencias o brechas existentes entre estratos escolares (rural, comunitario, privado, urbano público). Cabe mencionar que el informe del ^{INEE (2013)} no detalla el desempeño de los estudiantes en todos los dominios evaluados, sino que se resaltan sólo algunos porcentajes en particular. El Cuadro 4 muestra un ejemplo de ello:

Fuente: elaboración propia con información del ^{INEE, 2013}.

Cuadro 4 Resultados de EXCALE 03, 2013 

Como puede observarse en el Cuadro 4, las inferencias de resultados realizadas por EXCALE 03 refieren a elementos particulares de los ítems incluidos en la prueba, de ahí la particularización en los tipos de texto utilizados. Ahora bien, para obtener inferencias como las mencionadas se establecen puntos de corte, con el mismo sentido que en TERCE (Cuadro 5).

Fuente: ^{INEE, 2013}.

Cuadro 5 Descripción de niveles de desempeño EXCALE 03, 2013 

Como se aprecia en el Cuadro 5, al igual que en TERCE se establecen puntos de corte generales, es decir, no en función de las áreas evaluadas dentro de la prueba, pero, a diferencia de TERCE, en EXCALE se enlistan los conocimientos evaluados, y se relaciona el tipo de texto con los ítems incluidos en las pruebas utilizadas, de ahí el nivel de especificidad marcado en ellos.

¿Qué nos dicen ambos proyectos sobre la calidad de la educación mexicana?

Cada uno de los proyectos de evaluación descritos hace referencia a la calidad educativa a nivel básico a partir de los logros de sus estudiantes, y su metodología se basa en la definición curricular como marco rector. A continuación se describe una comparación respecto a la información proporcionada por ambos proyectos y cómo ello les permite cumplir con sus objetivos principales: la generación de insumos para la definición de políticas educativas en México.

En el caso de TERCE, la información que proporciona a través de sus informes (al menos en el primero de ellos, citado en este trabajo, enfocado al logro alcanzado por los estudiantes) permite identificar los porcentajes de estudiantes que alcanzan determinado nivel de logro, es decir, informa lo que los estudiantes de cada país participante son capaces de realizar en el área de lectura. Corresponde a cada país realizar un análisis respecto al estándar o definición de niveles de desempeño y con ello establecer líneas de acción que orienten a la mejora de sus estudiantes, en el entendido de que los estándares reflejan lo que el currículo nacional enseña en relación con las coincidencias entre países. En el caso de México se resalta que 16 por ciento de sus estudiantes son capaces de realizar todas las actividades lectoras que se evaluaron a través de este instrumento; es decir, interpretan lenguaje figurado, emiten juicios sobre el contenido de textos y reconocen tipos de texto de estructuras poco familiares.

El EXCALE, también bajo una perspectiva curricular, presenta resultados de forma global en lo que respecta a niveles de desempeño; es decir, no permite valorar el estándar de cada área evaluada. Sin embargo, la interpretación de niveles de desempeño sí se realiza de forma particular, como se observa en el Cuadro 5. Al comparar ambas formas de presentar resultados se observa que existen diferencias relevantes; por ejemplo, mientras en TERCE se afirma que 16 por ciento de los estudiantes pueden emitir juicios sobre contenido de textos, en EXCALE se indica que 0 por ciento de los estudiantes puede localizar detalles explícitos en documentos oficiales o seleccionar un dato específico de un listado, lo cual pareciera ser una tarea más sencilla respecto a la que se afirma en TERCE.

Por supuesto, la comparación de lo que los estudiantes son capaces de realizar no es sencilla, ya que, si bien ambos proyectos se desarrollan bajo un marco común orientado a la identificación de logros como valor de la calidad del sistema educativo mexicano, y además los contenidos y la elaboración de ítems se encuentran ligados al currículo mexicano -en particular en tercero de primaria-, existen diferencias notables en lo que respecta a lo que cada proyecto interpreta como calidad.

Considerando la información de los contenidos por evaluar de cada proyecto, mostrados en los Cuadros 1 y 3, se observa que la caracterización del proceso lector sigue lógicas distintas: TERCE lo establece a partir de dominios enfocados en la comprensión y en procesos metalingüísticos, de tal suerte que los aprendizajes por medir se diferencian en habilidades que se procesan de forma intra e intertextual (para el caso del dominio comprensión de textos) y, por otra parte, al dominio de conceptos de lengua (para el caso del dominio metalingüístico y teórico). De esta forma, los textos y procesos cognitivos implicados en estos dominios se manejan de forma transversal entre todo el instrumento. Por su parte, en EXCALE la organización del instrumento se establece directamente a partir de los conocimientos y habilidades que conforman el proceso lector, sin embargo, no existe una descripción clara respecto a la forma en que los textos se enmarcan dentro de los procesos lectores, tal como sucede en el TERCE.

Las inferencias de la calidad educativa en México que cada proyecto realiza, en particular en lo que respecta al uso del lenguaje, distan no sólo en la forma de diseñar la prueba, definida a partir de la caracterización conceptual que se utiliza, sino también en los resultados que se presentan, ya que mientras que en TERCE México refleja resultados favorables en algunos casos, en EXCALE se siguen presentando datos poco favorables, incluso en procesos lectores básicos.

Dentro de la metodología del desarrollo de instrumentos a gran escala también es necesario considerar la definición de puntos de corte. Su establecimiento es parte del procedimiento de determinación de estándares y, de acuerdo con (^{Hambleton et al. 2000}), son necesarios dentro del proceso de desarrollo de pruebas criteriales relacionadas con la educación. El establecimiento de puntos de corte se refiere al procedimiento de definición de estándares, lo cual es un punto en la escala de puntuaciones de una prueba que sirve para clasificar a quienes fueron examinados en diversos niveles de ejecución (^{Leyva, 2011}). Si bien en los informes consultados no hay una descripción de este proceso, es factible que las diferencias entre resultados se deban a la metodología utilizada para la definición de estándares, ya que, independientemente del método, el establecimiento de puntos de corte implica el uso de juicios por parte de expertos en el área. Para el caso del presente trabajo, la exposición de puntos de corte trasciende el objetivo primordial, pero baste por ahora identificar la posibilidad de que la distancia existente entre resultados de ambos proyectos pueda deberse no sólo al marco de evaluación.

Esta experiencia de análisis permite también valorar la manera en que se delimitan las características del objeto por evaluar, ya que, a pesar de que sean trabajos alineados al currículo, ambos consideran diversos elementos propios del uso de la lectura como elemento valioso del reflejo de la calidad en educación. Al respecto, lo que se establece en el plan de estudios de educación básica en México del año 2011 (^{SEP, 2011}) es que la formación en lenguaje y comunicación permite acceder a formas de pensamiento en aras de construir pensamientos complejos, además de que posibilita a los estudiantes a interactuar en diversos ámbitos, interpretar y producir textos e identificar problemas y solucionarlos. La complejidad de lo establecido dentro del plan de estudios 2011, sin embargo, no necesariamente se ve reflejado en la manera en que ambos proyectos comunican sus resultados, por lo que las inferencias que se concluyen pueden orillar incluso a la presentación de elementos muy particulares establecidos en juicios sobre la medición misma realizada en las pruebas, como en el caso de EXCALE, en donde los resultados se centran en las formas particulares de textos utilizados dentro de los ítems de sus pruebas.

En el caso de ambos proyectos, los resultados muestran elementos relacionados con lo que los estudiantes de tercero de primaria pueden hacer en lo que a lectura se refiere. Con la intención de reflejar la calidad de la educación básica, cada proyecto realiza una delimitación de los contenidos por incluir en los instrumentos. De esta forma ambos guardan coincidencia metodológica con lo que comenta ^{Salinas (2002)}, respecto a que evaluar significa juzgar parcelas de realidad que se han encasillado; es decir, hacer una valoración a partir del establecimiento de una línea divisoria entre todo lo posiblemente observable y que encasille un juicio en particular. En ese sentido, tanto en TERCE como en EXCALE se definieron posturas propias respecto a los elementos clave para interpretar la calidad de la educación en lectura que, a pesar de guardar coincidencia en marcos conceptuales y en enfoques metodológicos, no logran coincidir en resultados ni en formas de comunicación de la calidad de la educación del país en cuestión.

Conclusiones

Como se ha comentado, la calidad de la educación es un constructo dinámico, el cual necesariamente requiere de un juicio a través de la evaluación para su identificación. La evaluación educativa requiere, entonces, de la delimitación de un marco y de estándares que permitan un acercamiento respecto a la calidad del objeto evaluado para con ello emitir juicios, retroalimentar, o bien, sentar líneas que favorezcan la implementación de políticas educativas. Los resultados de las evaluaciones siguen entonces un enfoque metodológico en particular que delimita los campos de acción de sus juicios, ello en coincidencia respecto al marco de calidad que subyace a los proyectos. En el caso de la calidad de la educación básica en México, en particular respecto a la lectura y su uso como elemento clave en el desarrollo de la sociedad actual, utilizan dos proyectos que favorecen miradas bajo dos perspectivas clave: la nacional y la internacional. TERCE y EXCALE son dos grandes proyectos de evaluación a gran escala que ofrecen una interesante mirada a los resultados de los estudiantes como indicador principal de la calidad de la educación en México, ambos bajo un desarrollo curricular y con metodologías de diseño y muestreo similares. Esta similitud en el marco de su desarrollo implica la posibilidad de comparar sus resultados bajo la perspectiva nacional, y también con países de la misma región.

El ejercicio desarrollado en este trabajo permite observar la manera en que cada proyecto de evaluación se encarga de delimitar el objeto evaluado, a pesar de que dos proyectos puedan tener enfoques y objetivos similares. De esta forma, al referir a la calidad educativa no sólo se debe reflexionar en la postura bajo la cual ésta se concibe, sino que involucra también la reflexión sobre las formas de identificarla, es decir, sobre la evaluación (^{Egido, 2005}). En ese sentido, en un ejercicio de análisis de calidad en educación se debe considerar la postura evaluativa que subyace a los resultados e insumos que se consideran para ello, ya que, como lo afirma (^{De la Orden, 1999}), la concepción de la educación determina el modelo evaluativo y, a su vez, el modelo evaluativo afecta los productos educativos, y por lo tanto influye en su calidad.

La comparación entre EXCALE y TERCE permite valorar la relevancia de sus resultados como insumo de desarrollo de políticas educativas y la medida en que los tomadores de decisiones recurren a los datos que se generan para implementar y ejecutar la cultura de rendición de cuentas mediante el policy by number. En este sentido, las reflexiones en torno a la evaluación de los logros de los estudiantes nos ofrecen tres rumbos: el primero de ellos se refiere al proceso metodológico que subyace a este tipo de trabajo. Al analizar dos perspectivas que hacen uso de metodologías similares y un enfoque en común, vale preguntarse qué elementos se consideran en su diseño que favorece la emisión de resultados disímbolos. Las distancias respecto a los resultados observados del mismo referente nos remite a (^{Popham, 1999}), quien afirma que las inferencias que se hacen sobre los ítems deben considerarse de forma limitada, ya que una respuesta no refleja totalmente la calidad educativa, sino que puede ser producto de diversos factores, por ejemplo, las capacidades intelectuales de los estudiantes o el aprendizaje que se obtiene fuera de la escuela. Es importante, por tanto, considerar otro tipo de evidencias que ayuden a complementar un juicio sobre la calidad educativa.

La segunda reflexión se orienta hacia el uso de los resultados. Los EXCALE, instrumentos alineados al currículo nacional, diseñados a partir de los planes vigentes en su momento (^{Ruiz, 2009}), representan la oportunidad de conocer el estado de los estudiantes respecto a lo esperado en los referentes del plan de estudios nacional. En ese sentido, ¿la manera en que se comunican los resultados obtenidos de los estudiantes favorece la comprensión de la forma en que los alumnos construyen pensamientos complejos? Los niveles de desempeño de EXCALE reflejan estándares particularizados en los ítems utilizados en la aplicación que se reporta, mientras que TERCE muestra estándares más generales. Mediante esta reflexión vale considerar la pregunta de que ambos proyectos muestren o no resultados de ayuda para dar respuesta al policy by number que les da sentido en la sociedad actual.

Por último, una tercera reflexión apunta hacia la calidad de la educación. Como lo afirma ^{Gómez (2004)}, la economía competitiva de las sociedades actuales favorece el uso de evaluaciones a gran escala como conocimiento de la calidad educativa; bajo este contexto, “la clave para mejorar la educación es crear un mercado educativo donde la competencia sea la que, a su vez, lleve a mejorar los estándares” (2004: 76). Corresponde a toda instancia evaluadora la sensibilidad necesaria para establecer los ejercicios que se realizan bajo una postura en particular respecto a lo que se delimita como elementos observables mediante instrumentos a gran escala, ya que la evaluación de la calidad no es un proceso solamente técnico, sino que involucra una postura política (^{Egido, 2005}). Conocer la calidad de la educación requiere, sin duda, de definir estándares que sean acordes con la postura educativa en la cual se desarrollan, aunque la reflexión respecto a lo que la calidad educativa implica es un deber constante, ya que la calidad en sí misma no es un concepto inamovible, como tampoco lo es la educación ni la sociedad a la cual da respuesta.