Usos de las evaluaciones estandarizadas de aprendizaje

Las evaluaciones estandarizadas de aprendizaje, cuyo diseño, aplicación y corrección son uniformes, se dirigen a medir los logros cognitivos de los alumnos y constituyen evidencia sobre la cual se toman decisiones (^{Mons, 2009}). Sin embargo, se ha constatado una subutilización de esa información o una discrepancia entre los propósitos para las cuales fueron diseñadas y cómo son usadas (^{Alkin y King, 2016}; ^{Alkin y Taut, 2002}).

Por esta razón, los reales usos y consecuencias de las evaluaciones constituyen una fuente de evidencia de validación de programas evaluativos, promovida ampliamente por los estándares internacionales de la medición educacional y la investigación asociada al tema (^{AERA, APA y NCME, 2018}; ^{Brewer, Knoeppel y Lindle, 2015}; ^{Hitchcock, Onwuegbuzie y Khoshaim, 2015}; ^{Kane, 2016}; ^{Lane, 2014}; ^{Loeb y Byun, 2019}; ^{Messick, 1980}).

En la literatura se encuentran descripciones que pueden agruparse en tipologías según sus características y sus propósitos. Respecto de sus características, se identifican seis usos (^{Alkin y King, 2016}, ²⁰¹⁷; ^{Alkin y Taut, 2002}).

En primer lugar, el uso instrumental es aquel donde los resultados de las evaluaciones desembocan en acciones o decisiones dirigidas a resolver un problema. El uso conceptual influye o cambia el pensamiento y conocimiento del usuario sobre el objeto de la evaluación, sin conllevar una acción específica. El tipo simbólico ocurre cuando la evaluación solo se emplea como un acto político o una forma de obtener estatus. El tipo legitimante corresponde a su utilización para justificar decisiones o acciones emprendidas (^{Alkin y King, 2016}; ^{Alkin y Taut, 2002}; ^{Hein y Taut, 2010}). El uso de descubrimiento refiere al empleo de hallazgos para ampliar el conocimiento en un campo disciplinar, más allá del programa evaluado. Finalmente, el uso de proceso (^{Patton, 1997}) se refiere a los efectos que tiene la implementación misma de la evaluación en los usuarios y no sus hallazgos. Trabajos recientes integran este tipo como un eje transversal a los ya mencionados, de modo que lo conceptual e instrumental pueden describir tanto al proceso evaluativo como a sus hallazgos (^{Alkin y King, 2016}; ^{Alkin y Taut, 2002}). De acuerdo con esta distinción, este trabajo se concentra en los usos de los resultados de las evaluaciones y no de su proceso.

Por otro lado, ^{Alkin y King (2017)} proponen situar los usos de las evaluaciones en dos continuos: uno que va del “uso” al “no uso” y otro desde el “mal uso” hasta el “no mal uso”, incluyendo además un eje que distingue entre su carácter pasivo y activo. El uso y mal uso se sitúan en el polo activo y el no uso en el pasivo. Esta contribución es importante para esta investigación, por cuanto permite describir situaciones intermedias y la subutilización de las evaluaciones que, como se verá más adelante, representan la experiencia de diversos entrevistados.

Otra clasificación pertinente para este estudio es la que identifica los usos para fines de rendición de cuentas, para la mejora escolar y los usos pedagógicos (^{Bolhuis, 2019}; ^{Ebbeler, Poortman, Schildkamp y Pieters, 2016}; ^{Jimerson, Garry, Poortman y Schildkamp, 2020}; ^{Schildkamp, 2019}; ^{Schildkamp et al., 2016}). El primero se produce cuando los resultados de la evaluación sirven para demostrar a una audiencia externa la efectividad de acciones emprendidas por la escuela o los docentes. La utilización de datos para la mejora escolar, en cambio, analiza las acciones emprendidas con el fin de determinar las brechas respecto de las metas del establecimiento y determinar estrategias para reducirlas. Este aspecto corresponde más típicamente al ámbito de la gestión escolar e incluye las decisiones de desarrollo profesional docente, asignación de recursos, creación de planes de mejoramiento escolar, etc. El uso pedagógico se sitúa a nivel de aula y se refiere a la toma de decisiones orientada a modificar la planeación y las estrategias pedagógicas. Algunas acciones pedagógicas basadas en datos pueden ser, entre otras: definir metas de aprendizaje, determinar el dominio de conocimientos y habilidades o definir estrategias según grupos de estudiantes (^{Beaver y Weinbaum, 2015}; ^{Datnow, Lockton y Weddle, 2020}; ^{Ebbeler et al., 2016}; ^{Farley-Ripple, Jennings y Buttram, 2019}; ^{Gelderblom, Schildkamp, Pieters y Ehren, 2016}; ^{Prenger y Schildkamp, 2018}).

Facilitadores y obstaculizadores en el uso de las evaluaciones

El estudio de los usos de las evaluaciones educacionales es prácticamente inseparable de los factores que inciden en ellos, lo que se manifiesta en numerosos trabajos publicados, sin embargo, este aspecto ha recibido poca atención en Chile y América Latina (^{Datnow y Park, 2018}; ^{Dunn, Airola, Lo y Garrison, 2013}; ^{Prenger y Schildkamp, 2018}; ^{Schildkamp, 2019}; ^{Schildkamp et al., 2016}; ^{Schildkamp, Smit y Blossing, 2017}; ^{Van Gasse, Vanlommel, Vanhoof y Van Petegem, 2017}).

Además, la evidencia muestra que, pese al creciente volumen de datos disponibles, los equipos pedagógicos siguen tomando decisiones basadas en la intuición más que en los hallazgos de investigaciones y evaluaciones (^{Ebbeler et al., 2017}; ^{Gelderblom et al., 2016}; ^{Prenger y Schildkamp, 2018}; ^{Van Gasse et al., 2017}).

Según ^{Schildkamp et al. (2016)}, los factores que favorecen la utilización de datos se pueden clasificar en tres tipos: características del dato, cualidades del usuario y condiciones organizacionales. Las primeras incluyen aspectos como qué tan oportuna es la entrega de resultados, su accesibilidad, usabilidad, confiabilidad o precisión.

Respecto de las cualidades del usuario, se han estudiado las competencias y habilidades para la comprensión e interpretación de datos, destacando la alfabetización estadística como un factor clave y un aspecto a fomentar en la formación inicial y el desarrollo profesional docente (^{Beaver y Weinbaum, 2015}; ^{Datnow, Lockton y Weddle, 2020}; ^{Mandinach y Gummer, 2016}; ^{Mandinach y Jimerson, 2016}). Otros estudios abordan la autoeficacia respecto del uso de datos, es decir, las creencias relacionadas con las propias habilidades para interpretar y desprender acciones a partir de los datos o elementos, como las actitudes y la ansiedad frente a su utilización (^{Bolhuis, 2019}; ^{Dunn et al., 2013}; ^{Gelderblom et al., 2016}; ^{Jimerson, 2016}; ^{Kippers, Poortman, Schildkamp y Visscher, 2018}; ^{Prenger y Schildkamp, 2018}).

Finalmente, dentro de las condiciones organizacionales destacan el liderazgo de los directivos y el soporte para el uso de datos, la visión compartida y normas institucionales, el tiempo y los espacios disponibles para el trabajo en torno a los datos (^{Coburn y Turner, 2011}; ^{Schildkamp et al., 2016}; ^{Van Gasse et al., 2017}). Adicionalmente, la colaboración en los equipos es una de las condiciones organizacionales que ha demostrado unánimemente ser un facilitador en la utilización de datos (^{Abrams, Varier y Mehdi, 2020}; ^{Datnow, Lockton y Weddle, 2020}; ^{Jimerson et al., 2020}; ^{Mandinach y Jimerson, 2016}; ^{Schildkamp et al., 2016}).

Un obstaculizador que mencionan algunos trabajos es el contexto de evaluaciones con fines de rendición de cuentas. Por ejemplo, ^{Schildkamp (2019)} afirma que existen tensiones entre los propósitos de mejora escolar y de rendición de cuentas; este último uso muchas veces genera un énfasis en el rendimiento, en detrimento de un enfoque formativo. Centrarse en la rendición de cuentas también puede reforzar el pensamiento de déficit, es decir, los equipos pedagógicos atribuyen los resultados insatisfactorios de los estudiantes a sus características personales o sociodemográficas (^{Lasater, Bengtson y Albiladi, 2020}).

Los hallazgos sobre los usos para rendición de cuentas son relevantes para esta investigación. Aunque el programa evaluativo estudiado sea de bajas consecuencias, se desarrolla en un sistema educativo donde predominan las políticas de rendición de cuentas y, por ende, se inserta en culturas escolares orientadas a los resultados y a la competición (^{Elacqua, Martínez, Santos y Urbina, 2016}; ^{Falabella, 2016}, ²⁰²⁰; ^{Parra y Matus, 2016}).

En función de estos antecedentes, el presente estudio se dirigió a describir los usos que declaran líderes escolares y coordinadores de programas educacionales que deciden implementar un sistema estandarizado de evaluación de los estudiantes. Este objetivo se desglosó en tres preguntas: ¿Cómo se utilizan los resultados de las evaluaciones SEPA?, ¿difieren estos usos de acuerdo con los niveles de toma de decisión de sus usuarios? y, ¿qué condiciones favorecen u obstaculizan el uso efectivo de las evaluaciones SEPA?

El contexto del estudio es el Sistema de Evaluación del Progreso del Aprendizaje, desarrollado desde 2007 por un centro perteneciente a una universidad de gran prestigio en el país. Las evaluaciones son contratadas por instituciones educacionales públicas y privadas, incluyendo redes o administraciones escolares, establecimientos educacionales independientes, organizaciones públicas y no gubernamentales. Anualmente, se evalúan alrededor de 50,000 estudiantes pertenecientes a más de 200 establecimientos del país. Los servicios incluyen el diseño, administración de las pruebas y entrega de resultados, estos últimos accesibles de forma confidencial desde una plataforma en línea, distinguiendo cuatro perfiles de resultados: administrador de red de establecimientos, equipo directivo, profesor y estudiante.

El programa SEPA entrega resultados del estado del aprendizaje al finalizar un año escolar, del progreso entre años consecutivos y, a los establecimientos que disponen de dos o más mediciones, se les entrega un índice de valor agregado (aporte neto que realiza el establecimiento al aprendizaje de sus estudiantes, por sobre otros factores). Por último, el programa ofrece un acompañamiento en el uso y la gestión de los resultados de las evaluaciones, que incluye reuniones y talleres con los usuarios del programa, con el fin de transmitir los usos promovidos y no deseados, desde un enfoque formativo y de la toma de decisiones basada en datos (^{Abarzúa y Contreras, 2019}).

Instrumento y participantes

La recolección de datos se llevó a cabo a través de entrevistas semiestructuradas individuales orientadas a indagar sobre las valoraciones de las evaluaciones, la comprensión de los datos, así como su utilización y consecuencias en distintos contextos de aplicación. Las entrevistas se realizaron a autoridades municipales, coordinadores de programas educativos, directores y responsables pedagógicos de escuelas, dado que estos actores generalmente toman la decisión de contratar e implementar el programa y, por lo tanto, inciden en el tipo de uso que se dará a la evaluación.

Al interior de esta definición inicial de casos se realizó un muestreo determinado a priori (^{Flick, 2004}), con base en características identificadas como relevantes de acuerdo con la configuración del programa SEPA y con el sistema educacional chileno, distribuyendo los casos dentro de la matriz que conforman dichas características:

Contratantes: Difieren en su complejidad y en los usos posibles que dan a las evaluaciones. Los perfiles presentes son una autoridad central que administra una red de centros, establecimientos individuales o programas de investigación/intervención en el sistema educativo.

Dependencia del establecimiento: Refiere a la administración y financiamiento de la escuela. En el sistema chileno existen escuelas públicas, privadas y subvencionadas (administración privada con financiamiento público). Al realizar este estudio, de los 234 establecimientos que utilizaron el programa SEPA, 51% eran públicos, 28% particulares subvencionados y 21% privados.

Ubicación geográfica: Chile se encuentra altamente centralizado en su capital, generando distinciones entre esta región y las restantes del país. Por esta razón, se incluyeron casos de ambas situaciones geográficas.

La Tabla 1 muestra las anteriores características de acuerdo con los entrevistados.

Dado que esta investigación fue desarrollada por la misma institución que implementa el programa, con el fin de favorecer la honestidad de los participantes y la apertura a las experiencias por parte de los entrevistadores, el trabajo de campo fue realizado por un equipo externo a la institución, el cual también participó del proceso de construcción de los guiones de entrevistas, así como en los análisis inductivos del material.

Adicionalmente, el estudio se sometió a la revisión del Comité de Ética de la Pontificia Universidad Católica de Chile, obteniendo su aprobación, lo que supuso contar con los elementos que garantizan la voluntariedad en la participación y el respeto de los derechos de los participantes, tales como los consentimientos informados de los entrevistados y las autorizaciones de las instituciones.

Análisis de datos

Los datos, constituidos por transcripciones íntegras de cada entrevista, fueron sometidos a análisis cualitativos de contenido. En un primer momento el material fue abordado descriptivamente, generando conceptos y categorías (^{Dey, 1993}) según los procedimientos de la codificación abierta propuesta por ^{Strauss y Corbin (2002)} y utilizando el programa Max.QDA versión 2018.2. En este proceso se identificaron elementos relevantes en la experiencia con el SEPA: definiciones del programa, componentes y finalidades, resultados esperados a corto y mediano plazos, comprensión de los datos y reportes, valoración del programa y usos de las pruebas, entre otros. Este artículo se focaliza específicamente en aquellos contenidos referidos al uso de esta evaluación.

Posteriormente, se realizó una fase interpretativa que permitió establecer relaciones entre los datos y los antecedentes conceptuales mediante un proceso iterativo entre inducción y deducción, denominado abducción (^{Kennedy y Thornberg, 2018}). Sin tener una hipótesis basada en una teoría, se disponía de literatura sobre clasificaciones de usos y definiciones de sus variantes. El proceso interpretativo consistió en revisar el listado de usos emergentes a partir de esas categorizaciones preexistentes. Como resultado, surgió una clasificación nueva basada en los datos obtenidos en este estudio que, cuando coincidieron con usos reportados en trabajos precedentes, mantuvieron las denominaciones más comúnmente utilizadas en la literatura. Una vez construida esta clasificación se procedió a hacer un análisis comparativo de las similitudes y diferencias de los usos entre los tres perfiles de actores y a identificar, descriptivamente, los obstáculos y facilitadores mencionados globalmente por los actores.

Usos de las evaluaciones SEPA

Usos orientados a la mejora escolar

Debido a que los participantes ejercen roles de dirección de instituciones educacionales, se esperaba que mencionaran usar las evaluaciones para la gestión escolar. Efectivamente, se relevan procesos reflexivos y acciones orientadas a la mejora de las escuelas. Por ejemplo, un uso de mejora escolar conceptual declarado fue la triangulación de información con el fin de monitorear la cobertura curricular, Adicionalmente, esta triangulación se realiza para aumentar el conocimiento sobre los estudiantes e identificar los factores que explican sus resultados de aprendizaje. Asimismo, se señala la importancia de basar las decisiones en más de una fuente de información, siendo los resultados del programa SEPA, uno entre varios datos posibles.

Como usos conceptuales de mejora escolar también se pueden mencionar las situaciones en las cuales se realizan análisis de los datos a nivel de la escuela o de equipos de docentes según las asignaturas o etapas escolares. Estas sesiones incluyen desde simples comparaciones entre cursos y niveles, hasta instancias más reflexivas.

Los usos de mejora escolar instrumental basados en el sistema de evaluación hacen referencia a la definición de metas y contenidos en las planificaciones, programas de reforzamiento de contenidos o habilidades, asignación de recursos, definición de prioridades de apoyo externo o material didáctico, cambios en la estructura organizacional, entre otros:

Si necesito material tecnológico, si necesitamos docentes de apoyo, si necesitamos asistente de aula, tendría que ser tendiente a ir mirando cuáles son las debilidades que tenemos nosotros, entonces las acciones que debieran planificarse, debieran estar en absoluta correlación con los resultados que estamos teniendo, y que nos están diciendo con nombre y apellido “aquí está la falla” (Caso 34, directivo de escuela pública).

Usos pedagógicos

En las entrevistas también se hizo referencia a usos pedagógicos conceptuales e instrumentales. Con respecto al primero, destacaron los procesos de análisis de datos a nivel de aula, ya sea para identificar las fortalezas y debilidades del alumnado o para generar subgrupos en función de los resultados. También, se menciona la utilización de la evaluación como diagnóstico, con el fin de conocer el dominio de contenidos y habilidades del estudiantado al inicio del año escolar. Adicionalmente, los entrevistados señalan que se genera reflexión pedagógica a partir de los resultados, es decir, los docentes analizan y cuestionan sus prácticas, orientados a mejorar lo que no esté funcionando:

Lo usamos básicamente para analizarlo nosotros mismos, o sea jamás cuestionamos a un chiquillo, por ejemplo, no. Es para analizar nuestras prácticas pedagógicas, para ver cómo mejoramos, esas son como las ideas, o sea, analizamos estos resultados, […], que nos sirve para tomar decisiones, entonces ¿cómo están nuestras prácticas pedagógicas? (Caso 22, directivo de escuela pública).

Los usos pedagógicos instrumentales se relacionan generalmente con la planificación de las clases. Los resultados se utilizan para establecer metas de aprendizaje, seleccionar contenidos y habilidades a desarrollar o seleccionar estrategias pedagógicas. En algunos casos, estas acciones se realizan basándose en agrupamientos de alumnos en función de sus resultados en SEPA y otras evaluaciones internas o externas.

Usos de evaluación de programas

En menor medida, los entrevistados mencionaron utilizar el programa SEPA para la evaluación de programas educativos. En general se refirieron a usos conceptuales, distinguiéndose los de tipo formativo, como aumentar el conocimiento de la población objetivo para retroalimentar y mejorar la intervención. Además, se mencionaron usos sumativos, referidos a la evaluación de la efectividad de programas a través de los resultados de aprendizaje de los estudiantes:

[…] Lo que permite [SEPA] es medir como no solo el estado sino como el progreso de los estudiantes…, este mismo grupo de escuelas lo vamos a volver a tomar en noviembre de este año, para ver… y a los mismos estudiantes que la aplicamos antes, o a los mismos cursos, para ver si es que se movilizaron o no los aprendizajes y cuánto se movilizaron (Caso 12, directivo de programa de intervención educativa).

Subutilización de los resultados de las evaluaciones

Esta categoría comprende las situaciones en las que, si bien existe la intención de usar las evaluaciones, diversas condiciones contextuales lo obstaculizan, tales como la falta de tiempo, materiales o competencias en los equipos pedagógicos. Los usuarios declaran no obtener el “máximo provecho” de una herramienta que les parece útil. Por ejemplo, no se logra generar un ciclo completo de uso de datos que vaya desde la interpretación a la planificación de acciones y a su evaluación. A veces se reciben los resultados y luego no se sabe bien qué hacer con esa información.

Cuando a uno le entregan un auto, por ejemplo, un último modelo ¿ya? qué lindo el auto, precioso, mire y le dicen: “esto te lleva para allá, te lleva para acá, tiene… todo este gasto en combustible”, qué se yo “ya, toma, aquí tienes las llaves”, y uno después no sabe cómo… cómo manejarse, cómo subirse al auto, cómo encenderlo, un poco eso entiendo yo que es lo que pasa con la SEPA (Caso 32, sostenedor de escuelas públicas).

Otra situación que refleja una subutilización de la información es el desajuste actor-reporte, es decir, el informe disponible para un tipo de actor no es utilizado por este. Por ejemplo, cuando los directivos entregan los resultados a los docentes sin trabajarlos a nivel de escuela, o cuando los administradores de educación pública no utilizan los reportes de sus escuelas a nivel central y traspasan los datos directamente a los establecimientos escolares.

Usos desaconsejados

Esta última categoría reúne a las prácticas que no van en el sentido pedagógico ni de mejora escolar, pudiendo conllevar riesgos o consecuencias indeseadas, pero que no son alteraciones deliberadas de los procesos o resultados evaluativos -lo que sería un mal uso-. Este tipo de usos desa­consejados fueron minoritarios en el discurso de los participantes.

En primer lugar, se identifican usos de la evaluación que se asocian a culturas escolares de rendición de cuentas. Algunos de estos no necesariamente constituyen una práctica indeseada, sino que simplemente se plantean como una forma de transparencia y de responsabilidad frente a las decisiones y acciones emprendidas. Por ejemplo, se rinde cuentas de los resultados a instancias centrales y a financiadores. Sin embargo, también se mencionan aquellos menos alineados con lo pedagógico, como el entrenamiento para pruebas de altas consecuencias o la responsabilización de los docentes:

La usamos como insumo también para ver la dotación docente al año siguiente, porque si nos arroja que este curso en todos sus periodos que se le aplicó […] vemos que no hay avance, mire, esta colega, que la teníamos por ejemplo en primero, le teníamos hartas expectativas, pero el instrumento externo no nos arroja buenos resultados, entonces quiere decir que ahí hay algo de formación, algo de la docente que no está dando los resultados, no ha sacado a los niños adelante como debe ser, ese es un tema, y el otro es que nos va diciendo cómo está usando… si está usando o no los planes y programas y qué estrategias está usando en clases. (Caso 33, directivo de escuela pública).

Por último, se mencionan prácticas que, si bien tienen la intención de orientarse a la mejora escolar, son correctivas más que formativas y podrían tener efectos negativos en los actores. Por ejemplo, pedir a los docentes que analicen los resultados de SEPA durante sus vacaciones u obligar a los estudiantes a asistir a talleres de las asignaturas evaluadas en su tiempo libre. Un taller de reforzamiento puede ofrecer oportunidades adicionales de aprendizaje a los estudiantes que más lo requieren y, en ese sentido, ser una estrategia orientada a la mejora, sin embargo, desde la perspectiva de los estudiantes, la obligación a asistir a clases después de una extensa jornada escolar puede ser percibida como punitiva. Debido a que este estudio no recoge la opinión de los estudiantes no es factible afirmar cuál es su postura, aunque es posible señalar que representa riesgos y que la distinción entre un uso formativo o correctivo estará dada por la manera en que sea implementado y presentado a los estudiantes.

Usos según el nivel de toma de decisión de los contratantes

Entendiendo que existe diversidad de usuarios del programa SEPA, tanto en su complejidad como en el nivel de toma de decisiones en que se sitúan, se indagó si existían usos diferenciados entre los tres perfiles de contratantes: administradores de servicios educativos, equipos directivos y programas educativos de intervención.

La utilización orientada a la gestión y mejora escolar es mencionada por los tres tipos de actores, aunque con características propias. Por ejemplo, solo los sostenedores y los programas señalan usos, generalmente conceptuales, que comparan de forma simultánea varios establecimientos para identificar sus avances, mientras que los directivos buscan comparar subgrupos (cursos, alumnos rezagados, etc.) dentro de sus establecimientos.

A su vez, los tres perfiles señalan explícitamente usos de carácter pedagógico, tanto instrumentales como conceptuales, sin embargo, difiere la profundidad e involucramiento en ellos. En concreto, los equipos directivos describen detalladamente este tipo de usos, mientras que los representantes de programas educativos, si bien los mencionan, no los ubican dentro de sus intereses principales. Por su parte, los administradores refieren este tipo de usos con mayor lejanía a las acciones específicas de cada escuela y, en varios casos, bajo una delegación en sus equipos directivos.

Un uso efectivamente diferenciador es el de rendición de cuentas. Mientras que es una práctica implementada por los programas educativos con el fin de acreditar sus logros, es mencionada excepcionalmente por los equipos directivos de las escuelas que se definen a sí mismas como de alto desempeño. Respecto de los administradores, contrario a lo que se podría esperar, no se utiliza el programa SEPA para pedir rendición de cuentas a las escuelas. Esta situación solo se planteó en un caso como algo deseable y no factual.

Finalmente, los administradores de escuelas públicas son los actores que más abiertamente reconocen que subutilizan el programa SEPA en su rol de agencias centrales, al no establecer estrategias o usos propios a sus funciones. En efecto, señalan que no es una herramienta aprovechable en su nivel organizacional y que prefieren delegar a las escuelas la responsabilidad de dar buen uso a las evaluaciones.

[…] como unidad técnico pedagógica, dirección del DAEM [Departamento de Administración de Educación Municipal], hemos sido débiles en ese aspecto o no hemos tenido la asertividad como para hacerlo, como para generar o definir, diseñar un mecanismo que nos permita retroalimentarnos y poder evaluar nosotros a los colegios, en ese aspecto. (Caso 32, Sostenedor Público, 36).

Condiciones que favorecen u obstaculizan el uso efectivo de las evaluaciones SEPA

A pesar de que el objetivo inicial del estudio no consistió en identificar las condiciones que facilitan u obstaculizan el uso de las evaluaciones, este fue un aspecto que emergió espontáneamente en las entrevistas, especialmente cuando los participantes explicaban la subutilización del programa SEPA. Las respuestas se agruparon en tres condiciones: organizacionales, individuales y de los datos.

A nivel organizacional, una barrera importante para el uso efectivo de los datos es la falta de tiempo de los equipos y la alta carga administrativa. En estos casos se reconoce la importancia y el deseo de realizar análisis de la información, sin embargo, los espacios para reunirse son limitados y la posibilidad de los líderes escolares de dar un apoyo pedagógico se ve relegada frente a las tareas administrativas:

Tenemos que decir la verdad, no la explotamos todo lo que la deberíamos debido a la falta de tiempo ¿ya? en cuanto al profesorado. Nosotros tratamos de aprovechar al máximo el tiempo, pero el ministerio de educación […] nos bombardea con tanto trabajo administrativo, que en este momento la parte técnica muchas veces queda relegada a segunda instancia, entonces no es que los profesores no tengan los medios, falta muchas veces el tiempo (Caso 23, sostenedor de escuelas privadas).

Como aspectos organizacionales que facilitan el uso de las evaluaciones se mencionan la existencia de una cultura de uso de datos, la instalación de esta práctica en la rutina de la organización, la existencia de espacios y el trabajo colaborativo en torno a los datos:

[…] yo te diría que esos son como los tres mínimos que se use la información..., o sea que se entienda que la información es para ocuparla, que […] haya una lectura un poco más compleja de los resultados, en términos de que uno puede analizar no solamente qué áreas... qué está bien, qué está mal, dónde estamos fuerte, dónde..., sino que se pueda vincular con las prácticas y con las prácticas institucionales, y que existan espacios donde esa toma de decisiones se haga a nivel institucional (Caso 9, sostenedor de escuelas públicas).

Las características individuales de los usuarios son evocadas en menor medida. Solo se mencionan como obstaculizadores la falta de competencias para la interpretación y el análisis de los datos en algunos docentes, así como una cultura del profesorado poco habituado a concebir acciones concretas a partir de los resultados de las evaluaciones:

Nos ha costado más hacer lo que viene después, como que efectivamente usen los resultados para tomar decisiones pedagógicas y tengan un plan de acción, como lo que viene después de levantar evidencias (ajá), pero eso nos ha costado con todos los instrumentos, no, es como más cultural de los profesores mismos, creemos nosotros (Caso 10, directivo de programa de intervención educativa).

Finalmente, algunas características del diseño, reportes de resultados y acompañamiento de los usuarios del programa SEPA actuarían como obstaculizadores o facilitadores de su uso efectivo. Las condiciones desfavorables son, por ejemplo, que los resultados no se entregan de forma oportuna y a veces están retrasados respecto de los procesos de planificación escolar. También se menciona la dificultad de analizar los resultados porque es demasiada información para procesar o porque algunos reportes son de más difícil comprensión (por ejemplo, el progreso o el valor agregado). Ahora bien, estas opiniones son minoritarias y lo que predomina es una valoración generalizada del tipo de información que entregan las evaluaciones, de su confiabilidad, validez, nivel de detalle y accesibilidad.

Por último, algunos participantes consideran que el acompañamiento que realiza el programa mediante reuniones y charlas les ha facilitado la comprensión y el uso de datos. No obstante, algunos entrevistados no lo han utilizado por falta de tiempo o planificación y, en otros casos, el uso de videoconferencias de acompañamiento, dada la lejanía territorial, no les fue del todo satisfactorio.