nueva página del texto (beta)
Español (pdf)
Artículo en XML
Referencias del artículo
Traducción automática
Enviar artículo por email
Citado por SciELO 
Similares en
SciELO 
Permalink
PLANTEAMIENTO DEL PROBLEMA
La sociedad actual exige individuos competentes en el área de las matemáticas, que comprendan conceptos matemáticos, cuenten con el dominio de habilidades matemáticas y una actitud positiva hacia esta disciplina (Mink y Fraser, 2005). Debido a que “aprender matemáticas” implica el desarrollo de habilidades de análisis y razonamiento que permiten a los ciudadanos participar activamente en diferentes aspectos de la sociedad (Díaz, 2015; Miranda et al., 2016).
Sin embargo, la aplicación de pruebas estandarizadas internacionales como el Estudio de las Tendencias en Matemáticas y Ciencias [TIMSS] o el Programa para la Evaluación Internacional de Alumnos [PISA], así como aquellas aplicadas al interior de los países, han arrojado resultados alarmantes sobre el bajo logro de aprendizaje en matemáticas de los estudiantes de los niveles educativos básicos (Mullis et al. 2020; Organización para la Cooperación y el Desarrollo Económicos [OCDE], 2019), lo que ha preocupado y ocupado a sistemas educativos alrededor del mundo (Bellibas y Gumus, 2016; Bicer y Capraro, 2016; Gómez y Silas, 2016; Miranda et al., 2016).
Estos resultados se interpretan como un reflejo de que “algo” no está funcionando y dentro del problema se asume que, en parte, lo que está fallando es la enseñanza (Carney et al. 2016; Gómez y Silas, 2016; Malagón, 2013). La fuerte relación entre la calidad de la enseñanza y el aprendizaje de los estudiantes es actualmente un fenómeno aceptado en la comunidad científica, gracias a los resultados de diversas investigaciones (Bellibas y Gumus, 2016; Edge et al., 2015; Egalite et al., 2015; Hilton et al., 2015; Miranda et al., 2016; Telese, 2012).
Aunque en la carrera docente se espera que los profesores estén equipados con las competencias disciplinares, pedagógicas y actitudinales necesarias para una enseñanza de calidad de las matemáticas, diferentes estudios han reportado que los docentes poseen carencias en su conocimiento matemático y pedagógico (Ball et al., 2005; Carney et al., 2016; El-Deghaidy et al., 2015).
Por lo tanto, la mejora de la calidad de la enseñanza, sobre todo en un área sustancial como las matemáticas, se ha convertido en una cuestión central tanto para la política pública, como para la investigación educativa. Una de las apuestas para dar atención a este problema, ha sido comúnmente que los docentes continúen aprendiendo a lo largo de su carrera profesional, es decir, a través de la formación continua (Bellibas y Gumus, 2016; Telese, 2012).
La formación continua del profesorado, también nombrada en la literatura como formación permanente o formación en servicio, se desarrolla durante el ejercicio formal de la docencia (Instituto Nacional de Evaluación para la Educación [INEE], 2018), y se basa en el reconocimiento de un aprendizaje permanente dirigido al perfeccionamiento, la actualización y la revalorización de la experiencia acumulada en la práctica (Ferreres e Imbernón, 1999; López de Castilla, 2012).
La inversión significativa de recursos en la formación continua (Gokmenoglu y Clark, 2015; Kirsten y Wermke, 2017; Ortega, 2011; Telese, 2012), aunado a la urgencia de asegurar que los niños y jóvenes cuenten con las competencias matemáticas necesarias para desempeñarse en la sociedad de manera efectiva, ha evidenciado la necesidad de recurrir a esquemas que permitan determinar la efectividad de estas acciones y la forma en que pueden mejorarse.
En este sentido, la literatura relacionada con la evaluación de la formación continua se ha orientado en presentar experiencias formativas en diversas fases de su clico de vida, enfocándose algunas publicaciones en su diseño, su implementación y/o su evaluación, sin enfatizar necesariamente en esta última.
Ejemplos de lo anterior son investigaciones como las de Gómez y Silas (2016) y Beltrán-Pellicer y Giacomone (2018). Por otra parte, estudios como los de Gökmenoğlu y Clark (2015) y Carney et al. (2016) se han encauzado en evaluar el impacto de programas de desarrollo profesional, enmarcando sus aportes en los esfuerzos de formación continua de los sistemas educativos nacionales. Sin embargo, pocos estudios se han enfocado en realizar análisis o metanálisis sobre las características de la evaluación de la formación docente o de la literatura asociada a esta.
Partiendo del panorama anterior, el objetivo general de este estudio fue analizar la evaluación de la formación continua de docentes en matemáticas que se realiza a nivel internacional, de acuerdo con la producción científica publicada en el periodo 2005-2018. Lo anterior buscó responder la pregunta de investigación ¿Cómo se ha evaluado la formación continua en matemáticas de los docentes en los niveles de preescolar, primaria y secundaria, y sus equivalentes en diferentes sistemas educativos, en el periodo 2005-2018? En esta línea se trazaron tres objetivos específicos: 1) Identificar la producción científica en el tema (año y lugar) a partir de un mapeo de la literatura, 2) Identificar las características de la formación evaluada (niveles educativos a los que se dirige, modalidades, duración y temas), 3) Identificar los niveles de evaluación de la formación dentro de la producción científica , de acuerdo con el modelo de niveles de evaluación propuesto por Kirkpatrick y Kirkpatrick (2007) (la presencia de cada uno de los niveles del modelo, así como los instrumentos empleados).
MODELO TEÓRICO DE REFERENCIA
Con relación a la evaluación de acciones formativas, Kirkpatrick y Kirkpatrick (2007), plantean un modelo de cuatro niveles de evaluación: 1) reacción, 2) aprendizaje, 3) conducta/transferencia y 4) resultados/impacto. Cada nivel es más complejo y profundo que el anterior, tanto en dificultad como en tiempo para obtener información.
El primero de ellos, reacción, se refiere a medir la satisfacción de los participantes, es decir, el grado en que estos encuentran el programa de formación favorable, atractivo y relevante para su labor profesional. En otras palabras, en este nivel se determina en qué medida los docentes reaccionan favorable o negativamente a la formación recibida (Kirkpatrick y Kirkpatrick, 2007; 2019).
La importancia de este nivel radica en que ofrece retroalimentación que posibilita mejorar la acción formativa, permite ver a los participantes que su opinión es valiosa y provee información cuantitativa que puede ser empleada para establecer estándares de desempeño para futuras acciones. El instrumento más común en este nivel de evaluación es el cuestionario cuantitativo.
El segundo nivel, referido al aprendizaje, da cuenta de la adquisición de conocimientos, mejora de habilidades y/o cambios en las actitudes del docente que ha participado en un programa de formación. En este contexto, el conocimiento es entendido como el grado en que los participantes conocen cierta información, las habilidades comprenden el grado en que los participantes conocen cómo llevar a cabo una tarea, mientras que las actitudes se refieren al grado en que los sujetos consideran útil el emplear en su práctica lo aprendido durante el programa.
Según Kirkpatrick y Kirkpatrick (2007), algunas de las pautas para el evaluar el aprendizaje son: evaluar los conocimientos, habilidades y/o actitudes antes y después del programa, utilizar pruebas escritas para medir los conocimientos y actitudes y utilizar pruebas de desempeño para medir las habilidades.
El tercer nivel, denominado conducta o transferencia, se ocupa de evaluar en qué medida el docente aplica lo aprendido durante el programa de formación en su espacio de trabajo, que se reflejaría en una mejora de la práctica pedagógica. De acuerdo con Kirkpatrick y Kirkpatrick (2007), es más complicado evaluar este nivel que los dos anteriores, en primer lugar porque el cambio de conducta no ocurrirá hasta que se presente a los participantes del programa una oportunidad en su ámbito laboral para hacerlo; en segundo lugar, porque es imposible predecir cuándo ocurrirá dicho cambio; y en tercer lugar, porque una vez que se aplica lo aprendido, el participante puede decidir rechazar el resultado; aceptarlo y continuar aplicándolo; o aceptarlo y verse limitado por sus condiciones laborales.
Para evaluar la conducta, los autores recomiendan partir de pautas similares a las descritas en el nivel anterior, sin embargo, agregan que en este nivel la evaluación debe aplicarse cierto tiempo después del programa para permitir que la conducta tenga oportunidad de manifestarse. Además, señalan que es importante considerar como informantes tanto a los docentes, como a sus supervisores inmediatos y a sus subordinados, que en el contexto educativo serían los directivos del centro educativo y los estudiantes respectivamente.
Finalmente, el nivel de resultados o impacto corresponde a evaluar los efectos finales de la acción formativa, es decir, la medida en que se logran los objetivos en el ámbito laboral como resultado del programa de formación y sus refuerzos subsecuentes. En el contexto educativo, este nivel estaría relacionado con la mejora de los aprendizajes de los estudiantes que pasan por las aulas de los docentes que recibieron la formación.
Según Kirkpatrick y Kirkpatrick (2007), este nivel es el más importante y posiblemente el más complejo de los cuatro, así como el que generalmente queda sin atención suficiente en los procesos evaluativos. Esto se debe, de acuerdo con los autores, a la falta de conocimiento sobre cómo medir el impacto de la acción formativa y a la dificultad para determinar si sus resultados son realmente producto de la formación, o si intervinieron otras variables.
Kirkpatrick y Kirkpatrick (2019) señalan que, en conjunto, los niveles 1 y 2 proveen información concerniente a la calidad del proceso mismo de entrenamiento, así como su producto en términos de conocimientos y habilidades adquiridas por los participantes. Por otra parte, refieren que los niveles 3 y 4 ofrecen datos sobre la eficacia del procedimiento, enfocándose más en sus resultados en el contexto real de trabajo de los sujetos de formación. Los autores añaden que la mayoría de los eventos formativos consideran la evaluación del nivel 1, es decir de la reacción de los participantes, mientras que, en comparación, los últimos dos niveles se miden en menor proporción.
MÉTODO
Se ha empleado la metodología de Revisión Sistemática de la Literatura (RSL), que consiste en recopilar y analizar críticamente múltiples estudios o trabajos de investigación, a través de un proceso sistemático, a fin de proporcionar un resumen exhaustivo de la literatura disponible pertinente a una pregunta de investigación (García, 2017).
Se retomaron los trabajos de García (2017), Navarro y Ramírez (2018) y de Zancanaro et al., (2015) para plantear un proceso de RSL conformado por siete etapas que se supeditan una a la otra, de acuerdo con el orden que se plantea en la figura 1.
1. Formulación de preguntas
A partir de la pregunta general de investigación, se derivaron tres preguntas específicas. La primera de ellas correspondiente a la fase de mapeo: 1) ¿En qué años y lugares se ubica la producción científica a nivel internacional sobre la evaluación de la formación continua de docentes en matemáticas, en el periodo 2005-2018? Y dos preguntas de contenido: 2) ¿Qué características presenta la formación de docentes en matemáticas evaluada?, 3) ¿Cómo se presentan los niveles del modelo Kirkpatrick y Kirkpatrick (2007) en la evaluación de la formación analizada?
2. Identificación de términos de búsqueda
Con base en las preguntas, se identificaron tres términos de búsqueda relativos al objeto de estudio: formación continua, matemáticas y evaluación.
3. Definición de criterios de inclusión y exclusión de la búsqueda
En la tabla 1 se presentan los criterios de inclusión y exclusión establecidos para seleccionar las publicaciones que permitieron dar respuesta a la pregunta de investigación.
Tabla 1 Criterios de inclusión y exclusión para la búsqueda y selección de artículos para la revisión de la literatura
| Criterios | Inclusión | Exclusión |
|---|---|---|
| Tipo de documento | Artículos arbitrados | Libros, capítulos de libros, tesis, actas de congresos, noticias, blogs especializados y revisiones de libros. |
| Acceso al documento | Open Access/Acceso Abierto | NO Open Access/No Acceso Abierto |
| Temporalidad | Publicados entre 2005-2018 | Publicados antes de 2005 |
| Nivel educativo: | Investigaciones enfocadas en educación preescolar, primaria y secundaria (y sus equivalentes en otros sistemas educativos). | Investigaciones enfocadas en otros niveles educativos: educación media superior, superior. |
| Idioma: | Español/inglés | Otros idiomas que no sean español o inglés |
| Proceso de formación docente: | Formación continua | Formación inicial |
| Palabras clave incluidas: | Debe incluir en título y/o resumen las siguientes palabras: Formación docente/formación continua, matemáticas y evaluación | No incluyan al menos dos de las palabras clave en título/resumen. |
4. Construcción de ecuaciones de búsqueda
Una vez identificados los términos de búsqueda y los criterios de inclusión y exclusión, se plantearon ecuaciones de búsqueda. Estas son las combinaciones de términos que se ingresan en los motores de búsqueda de las bases de datos para ubicar archivos pertinentes con el objeto de estudio.
Al establecer que se considerarían publicaciones en idioma inglés y español, fue necesario flexibilizar la búsqueda del término “formación continua”, mediante la introducción de diferentes términos similares en ambos idiomas. Lo anterior condujo a que se trabajara con siete ecuaciones generales, empleando el operador booleano “AND”. Esto hizo que el proceso de búsqueda fuera más extenso, a fin de recuperar un mayor número de resultados relacionados con el tema de interés.
Las ecuaciones empleadas fueron: 1) “Formación continua” AND “matemáticas” AND “evaluación”, 2) “Formación docente” AND “matemáticas” AND “evaluación”, 3) “Teacher education” AND “mathematics” AND “evaluation”, 4) “Professional development” AND “mathematics” AND “evaluation”, 5) “Continual Professional development” AND “mathematics” AND “evaluation”, 6) “In service teacher training” AND “mathematics” AND “evaluation” y 7) “Teacher development” AND “mathematics” AND “evaluation”.
5. Elección de bases de datos y búsqueda
Para la búsqueda de publicaciones se seleccionaron cinco bases de datos: Academic Search Complete, Scopus, Web of Science, SciELO y Dialnet. En cada una de ellas se ingresaron las ecuaciones de búsqueda y se emplearon los filtros disponibles, como periodo de tiempo (2005-2018), el idioma (inglés y español), tipo de documento (artículo), acceso al documento (acceso abierto) y área (ejemplo: ciencias sociales, educación, matemáticas). Lo anterior, a fin de obtener resultados más refinados.
Los resultados obtenidos se trasladaron a una base que consistió en un archivo de Excel en el que se reportó el nombre de la publicación, la base de datos de procedencia y la ecuación de búsqueda empleada.
6. Limpieza de base de resultados
6.1 Archivos duplicados
Para la limpieza de la base de resultados, un primer paso consistió en identificar y eliminar archivos duplicados que pudieran haberse obtenido dentro de una misma base de datos, pero mediante ecuaciones de búsqueda diferentes: de los 781 archivos originales, se identificaron 219 duplicados, por lo que restaron 562. Un segundo paso consistió en identificar duplicados entre los resultados de las cinco bases de datos: se encontraron 53 archivos duplicados adicionales, por lo que a partir de esta limpieza la base de resultados contó con 509 archivos finales.
6.2 Criterios de exclusión
Se realizó la limpieza de los 509 archivos con base en los criterios de exclusión anteriormente establecidos. Esta limpieza se desarrolló en dos etapas. La primera, cuyo insumo fue el título mismo de la publicación, que permitió prescindir de 167 artículos. En ellos el título refería, por ejemplo, a un nivel educativo diferente a preescolar, primaria o secundaria; a un área del conocimiento distinta a matemáticas o no correspondía propiamente a evaluación de la formación continua. Es importante señalar que no se eliminó ningún archivo por medio del título cuando este no fuera lo suficientemente explícito.
La segunda etapa consistió en la revisión de los resúmenes de un total de 342 artículos en búsqueda de algún criterio de exclusión, además de constatar que efectivamente el documento refiere a la formación docente en matemáticas y su evaluación. Durante esta etapa se eliminaron 306 artículos, para un total de 36 archivos. Los 36 archivos se exportaron a Zotero, este es un gestor de referencias bibliográficas que brinda soporte al momento de localizar los archivos y sus referencias.
La segunda etapa consistió en la revisión de los resúmenes de un total de 342 artículos, para constatar que efectivamente los documentos referían a la formación docente en matemáticas y su evaluación, así como descartar aquellos en los que fuera presente algún criterio de exclusión. Durante esta etapa se eliminaron 306 artículos, para un total de 36 archivos. Los 36 archivos se exportaron a Zotero, el cual es un gestor de referencias bibliográficas que brinda soporte al momento de localizar los archivos y sus referencias
7. Lectura y categorización
Se llevó a cabo la lectura de los 36 artículos, lo que en primera instancia permitió identificar que 13 de ellos no eran útiles para dar respuesta a las preguntas de investigación, ya que contenían algunos de los criterios de exclusión que no fueron filtrados correctamente al momento de la búsqueda (respecto a los criterios de idioma y acceso abierto), o que no se encontraban explícitos en el título o resumen (algunos referían a la formación inicial, su orientación era hacia otra área distinta de las matemáticas, y uno de ellos refería a un diagnóstico de las necesidades docentes más que a una evaluación de la formación continua como tal). Por lo que el banco de documentos se conformó finalmente por 23 archivos.
RESULTADOS
La lectura permitió llevar a cabo la identificación de los artículos por nivel de evaluación de la formación, de acuerdo con el modelo de Kirkpatrick y Kikpatrick (2007) y a su vez la identificación de categorías como: año de publicación, lugar de publicación, modalidad de la formación evaluada, duración de la formación evaluada, nombre del programa de formación, temas de la formación, muestra, nivel educativo donde se realizó la evaluación, enfoque de la investigación e instrumentos empleados para evaluar la formación.
Cabe mencionar que la identificación de los niveles de evaluación de la formación en los artículos se hizo a través de una evaluación entre pares, que consistió en una primera revisión individual de los artículos por cada autor, con base en las características señaladas en el modelo teórico. Posteriormente, se cruzaron los resultados de la revisión individual en la cual los autores coincidieron en la identificación de los niveles en 16 artículos y difirieron en 7. Lo cual condujo a una nueva revisión de forma conjunta de los 7 artículos. A partir de la revisión y discusión se realizaron ajustes a la clasificación con base en la cual se reportaron los resultados relacionados con los niveles de evaluación de la formación. Respecto al resto de las categorías, estas fueron identificadas y revisadas por ambos autores, sin embargo, su identificación no dio lugar a discrepancias.
Año y lugar de la producción científica (mapeo)
De acuerdo con las cinco bases de datos consultadas y los criterios de inclusión/ exclusión establecidos, se observa que la producción científica referente a la evaluación de la formación continua de docentes en matemáticas fue menor durante el periodo 2005 a 2014; en el año 2015 aumenta ligeramente, y en el año 2018 se localiza una mayor cantidad de publicaciones, sin embargo, no exceden las cinco publicaciones (ver figura 2).
Nota. La producción del año 2019 se omitió para evitar sesgo en la presentación de la información.
Figura 2 Producción científica por año de publicación
Del año 2005 a la fecha se localizan publicaciones en inglés y español referentes a la evaluación de la formación continua de docentes en matemáticas en los continentes de América, Asia, Europa y África. Sin embargo, se observa una producción mayor en el continente americano, donde 75% de las publicaciones científicas seleccionadas se produjeron en Estados Unidos (9), siendo también el país con la mayor producción sobre el tema a nivel internacional (52%) (ver tabla 2).
Tabla 2 Producción científica por lugar de publicación sobre evaluación de la formación continua de los docentes de Matemáticas en la educación básica
| Continente | País | Número publicaciones 2005-2018 | Total continente |
|---|---|---|---|
| América | EUA | 9 | |
| México | 2 | ||
| México | 1 | 12 | |
| Asia | Turquía | 2 | |
| Indonesia | 2 | ||
| Rusia | 1 | ||
| China | 1 | 6 | |
| Europa | Reino Unido | 2 | |
| España | 1 | ||
| Alemania | 1 | 4 | |
| África | Sudáfrica | 1 | 1 |
| Total nivel internacional | 23 | 23 |
Características de la formación evaluada
La formación continua de los docentes en matemáticas evaluada en los artículos revisados se ubica principalmente en secundaria (54%), seguida del nivel primaria (29%). No se localizó evidencia de este tipo de evaluación en nivel preescolar. Aunque para fines del documento se consideran únicamente los niveles de preescolar, primaria y secundaria, en algunos artículos la formación continua se ofertó a docentes de primaria, secundaria y preparatoria conjuntamente (17%). Esto de acuerdo con la organización del sistema educativo mexicano y sus equivalentes en otros países.
Por otra parte, la formación ha sido ofertada en diversas modalidades entre las que se identifican: cursos, talleres, módulos de programas de maestría, observación de la práctica, programas de verano, conferencias, enseñanza compartida, construcción colectiva de portafolios, metodología “lesson study”, asesoría por expertos, comunidades de práctica e intercambio de docentes. Entre estas modalidades predominan los cursos (28%) y talleres (24%).
Los programas de formación abordaron un amplio espectro de temas relacionados con el currículum de las matemáticas de los niveles educativos a los que están orientados, entre los que se encuentran el conocimiento del número, aritmética, geometría, álgebra, probabilidad, proporciones, estadística y en diversas ocasiones los programas contemplaban el área de matemáticas unido a la lectura, a las ciencias o de la mano de la integración tecnológica.
Respecto a la duración de la formación que se brinda a los docentes en el área de matemáticas varía ampliamente. El porcentaje mayor (26%) refiere a formación continua que se extiende a un año. En seguida, con un porcentaje de 22%, programas formativos que van de un mes a menos del año y con un mismo porcentaje del 22%, por programas de formación más breves, de unos cuantos días a menos de un mes.
Con porcentajes menores, se ubican programas evaluados con una duración mayor al año: con un 17% programas de dos años. El 9% corresponde a programas con una duración de tres años, y finalmente un 4% que corresponde a un artículo que reporta la evaluación de la satisfacción de los docentes sobre los cursos que recibieron durante un periodo de 10 años, es decir, no refiere a un programa en específico con una duración como tal.
Abordaje de la evaluación desde la perspectiva de los niveles de Kirkpatrick y Kirkpatrick
Los 4 niveles de evaluación de la formación propuestos por Kirkpatrick y Kirkpatrick (2007): reacción, aprendizaje, transferencia e impacto, se encontraron representados dentro de los 23 artículos que conforman la base de documentos. Asimismo, se identificó que 10 de los 23 artículos contenía información relacionada con más de un nivel (13 = un nivel de evaluación, cinco = dos niveles, cinco = tres niveles).
En este sentido, se calculó el número de apariciones de cada nivel de evaluación de la formación dentro de los 23 artículos, lo que sumó un total de 38 menciones, base sobre la cual se calcularon los porcentajes de aparición de cada nivel (tabla 4). Los porcentajes se retoman más adelante en la descripción de los resultados específicos de cada nivel.
Tabla 4 Aparición de los niveles de evaluación de la formación dentro de los artículos revisados
| Niveles evaluados | Número de menciones | Porcentaje de aparición en los artículos |
|---|---|---|
| Reacción | 14 | 37% |
| Aprendizaje | 10 | 26% |
| Transferencia | 6 | 16% |
| Impacto | 8 | 21% |
| Total de menciones de los 4 niveles en los 23 artículos | 38 | 100% |
Por otra parte, de los 10 artículos que realizaron la evaluación de dos o tres niveles y con base en el modelo de referencia que señala el orden de: 1) reacción, 2) aprendizaje, 3) transferencia y 4) impacto, cinco artículos, es decir, la mitad, se corresponden con el orden de dicho modelo. Los otros cinco centraron la evaluación en niveles más complejos, sin agotar los anteriores (ver tabla 5).
Tabla 5 Orden de los niveles de evaluación abordados en los artículos que consideraron más de un nivel de evaluación
| Niveles evaluados | Correspondencia con el orden del modelo | Niveles de evaluación omitidos |
|---|---|---|
| S-A | Sí | |
| S-A-T | Sí | |
| T-I | No | Reacción/Aprendizaje |
| S-I | No | Aprendizaje/Transferencia |
| S-A-I | No | Aprendizaje/Transferencia |
Nota. R=Reacción, A=Aprendizaje, T=Transferencia, I=Impacto.
Nivel de reacción
El nivel que observó una mayor representación en el estudio fue el primero del modelo, es decir el de reacción, con 37%. Para ello se consideraron elementos como las percepciones y actitudes de los sujetos de investigación sobre el contenido de los programas de formación, su duración, los materiales, la cantidad de programas ofertados, facilitadores, técnicas didácticas, entre otros.
Las muestras consideraron únicamente a docentes y los instrumentos más empleados en este nivel fueron los cuestionarios con escala de Likert, lo que es congruente con las recomendaciones de Kirkpatrick y Kirkpatrick (2007), sobre el empleo de formularios a partir de los cuales cuantificar las reacciones de los participantes. Sin embargo, cabe señalar que es frecuente encontrar artículos que no explicitan la metodología empleada en este tipo de evaluación.
Un dato que sobresale al analizar los estudios que consideran este tipo de evaluación es que, por lo general, los sujetos de investigación se muestran receptivos ante las intervenciones implementadas en cada proyecto, con la excepción de los cursos de formación continua implementados por el Estado.
Nivel de aprendizaje
El siguiente nivel en cuanto a su grado de representación es el de aprendizaje (segundo nivel del modelo), con 26%. En él se evaluó la adquisición de conocimientos, el cambio de actitudes y la adquisición de habilidades relacionadas con la enseñanza de las Matemáticas. Se evaluó únicamente a docentes y los recursos más empleados para llevar a cabo este tipo de evaluaciones fueron los cuestionarios de autoevaluación con escala Likert, observaciones participantes y videograbadas, discusiones orales y escritas y exámenes de conocimientos.
En lo que respecta a este nivel, sobresale que en muchos casos la evaluación no ocurrió de manera sistemática o la metodología no fue explicitada en las publicaciones. En otros casos la evaluación se llevó a cabo de manera más formal, incluso en correspondencia con las recomendaciones de Kirkpatrick y Kirkpatrick (2007) sobre realizarla antes y después de la intervención formativa.
Nivel de transferencia
El tercer nivel, es decir el de transferencia, fue el menos representado en el estudio (16%). De seis artículos en los que se considera este nivel, solamente tres de ellos llevaron a cabo una evaluación de manera formal y sistemática, mientras que en los otros tres lo consideraron parcialmente o no fue expresado con claridad en la metodología.
Aunado a lo anterior, en todos los casos la “transferencia” se consideró como parte de una evaluación más amplia que abordaba por lo menos alguno de los otros niveles. Los artículos que se agrupan en este supuesto correspondieron principalmente a estudios de carácter mixto. En ellos, el empleo de cuestionarios o entrevistas recuperaron principalmente la opinión sobre las posibilidades de transferir lo aprendido en determinados programas formativos al escenario educativo. Además, la observación en el aula también se utilizó como un instrumento recurrente en este nivel. Se identificó que las muestras incorporaron, además de los docentes, a otros actores como directivos y/o estudiantes.
Nivel de impacto
Se ubicó en el tercer lugar de representación con 21% que, de acuerdo con el modelo, es el nivel más complejo de evaluar, sin embargo, fue abordado en mayor medida que el nivel de transferencia (16%). Para evaluar el impacto se emplearon principalmente los resultados de pruebas estandarizadas del logro del aprendizaje de los estudiantes, como: TIMSS, National Assessment of Educational Progress (Del inglés, NAEP) y las Evaluaciones de Preparación Académica del Estado de Texas (Del inglés, STAAR).
Las muestras, al igual que en el nivel de transferencia, consideraron la participación tanto de docentes como de otros actores, como directivos y/o estudiantes. En uno de los estudios se consideró únicamente a estudiantes para evaluar el nivel de impacto.
DISCUSIÓN
La formación continua de docentes en Matemáticas
La relevancia de las matemáticas, desde la perspectiva de la alfabetización científica, genera la necesidad en el profesorado de perfeccionar y actualizar sus conocimientos en torno a la disciplina mediante la formación permanente (Miranda et al., 2016). En este sentido, la formación continua que se brinda a docentes de matemáticas en los niveles de primaria y secundaria es un tema ampliamente difundido a nivel internacional, no así el caso de la evaluación de su efectividad. Esta situación se identificó al momento de realizar la búsqueda y selección de los artículos científicos, donde un número importante refería a distintas intervenciones para apoyar a los docentes en la enseñanza de las matemáticas, pero las publicaciones enfocadas en la evaluación de este tipo de formación no excedieron los cinco documentos por año.
Uno de los factores más relevantes que han motivado las acciones de formación en esta área y su respectiva evaluación, han sido los resultados de las pruebas estandarizadas tanto internacionales, como las aplicadas al interior de los países. En esta línea, se desprenden casos como la implementación y evaluación del programa Mathematics Teacher Exchange (MTE), impulsado por el gobierno de Inglaterra, en el que docentes y directivos han sido beneficiados con la oportunidad de realizar intercambio académico en Shanghái, debido al éxito actual de este país en evaluaciones internacionales como PISA (Boylan et al., 2018).
Otro ejemplo de ello es el gobierno de Turquía, que evaluó la satisfacción de los docentes respecto a la formación continua recibida en términos de su cantidad y calidad y su comparación con la formación en servicio que reciben los docentes de los países que mejor se posicionan en la prueba TIMSS, como Singapur, Corea del Sur, Hong Kong, Taiwán, y Japón (Bellibas y Gumus, 2016). También, algunos estudios consideraron como insumo de información los resultados de pruebas de logro de aprendizaje que aplican los gobiernos a nivel nacional, para determinar la efectividad de los programas formativos para docentes en servicio (Bicer y Capraro, 2016; Díaz, 2015; Ndlovu, 2011; Telese, 2012).
Un elemento que se desprende de las estrategias que emprenden los países para mejorar los aprendizajes de sus estudiantes en matemáticas, de acuerdo con los resultados de evaluaciones estandarizadas, son las alianzas que generan entre ellos para apoyar el desarrollo profesional de los docentes, como es el caso Inglaterra y Shanghái para la implementación del MTE, y Colombia y Japón para el desarrollo del programa Todos a Aprender (Bellibas y Gumus, 2016; Díaz, 2015).
Implementación de programas de formación continua
Dentro de los artículos, se identifica que en diferentes países se ha buscado transitar de un escenario centralista, en el que la formación continua se determina desde una instancia de gobierno federal, a uno en el que las autoridades locales también cuenten con la facultad de desarrollar y conducir sus propios programas. Sin embargo, la tensión entre la influencia nacional y local es una situación aún presente, donde se promueve la flexibilidad del trabajo local hacia objetivos prescritos centralmente (Bellibas y Gumus, 2016; El-Deghaidy et al., 2015; Kirsten y Wermke, 2017; Santibañez et al., 2018).
Uno de los aspectos que se discuten en torno a la formación continua parte de la visión de que esta se encuentra fragmentada y desarticulada de las necesidades reales de la práctica docente, además de ser relativamente superficial (Telese, 2012). Lo anterior abre el debate de la efectividad entre la formación continua a gran escala, de corta duración y fuera de la escuela, y la formación continua in situ, diseñada a la medida de contextos escolares específicos (Hajer, 2017).
En años recientes, la literatura ha posicionado a la formación continua in situ como un medio más efectivo para impactar en la práctica de los docentes y, por otro lado, ha cuestionado la efectividad de la formación a gran escala (Bellibas y Gumus, 2016; Carney et al., 2016). Sin embargo, dentro de los documentos revisados, también se localizó evidencia de que la formación a gran escala puede producir buenos resultados si se conduce de manera adecuada (Carney et al., 2016).
No obstante, entre estos dos tipos de formación, existe una inversión de recursos significativamente distinta en términos de tiempo, dinero y facilitadores cualificados (Bellibas y Gumus, 2016; Carney et al., 2016). Esta situación ejerce presión sobre los formuladores de políticas y profesionales de la educación en la orientación de acciones de desarrollo profesional: 1) hacia grandes cambios con pequeñas muestras o 2) cambios pequeños pero consistentes en una población más amplia (Hajer, 2017). Dicha disyuntiva refuerza la necesidad de continuar con ejercicios evaluativos, en este caso, que permitan comparar las fortalezas y debilidades de estos dos tipos de formación continua.
Otro aspecto expuesto en la producción científica revisada es la atención a las creencias y actitudes de los docentes dentro de los programas de formación. En el área de las matemáticas, autores como Brown (2013) y Purnomo (2017) han señalado la importancia del sistema de creencias de los docentes respecto a la naturaleza de las matemáticas, su enseñanza y evaluación. La investigación, en este sentido, ha arrojado evidencia del papel significativo que ocupan las creencias y actitudes en el desarrollo profesional y su relación con la efectividad de la práctica docente (Corkin et al., 2015; Stipek et al., 2001). Así mismo, de acuerdo con Park et al. (2018), estas pueden ser variables que faciliten la transferencia de los aprendizajes obtenidos por los docentes en programas de formación continua al trabajo en las aulas.
Evaluación de la formación continua de docentes en Matemáticas
Se destaca la utilidad del modelo propuesto por Kirkpatrick y Kirkpatrick (2007) para llevar a cabo el análisis sobre la evaluación de la formación continua de docentes en matemáticas. Con base en este modelo, se organizó la información contenida en los 23 artículos revisados, de acuerdo con los cuatro niveles de evaluación: 1) reacción, 2) aprendizaje, 3) transferencia e 4) impacto.
Los hallazgos de la revisión de la literatura son congruentes con lo expuesto en el modelo, respecto a que la evaluación del nivel 1 es la que se lleva a cabo con mayor frecuencia. Ya sea que la evaluación se enfoque exclusivamente en este nivel o se realice acompañada de la evaluación de otros niveles. En este sentido, la valoración de la reacción del participante es la que se ve mayormente representada en los artículos analizados. Esto se debe, quizás, a la facilidad y eficacia con la que se pueden conducir las evaluaciones del nivel 1, enfocándose en el empleo de instrumentos como los cuestionarios y entrevistas aplicados particularmente a un solo actor, es decir el docente sujeto de formación.
A lo anterior, se suma lo referido por Carney et al. (2016), quienes señalan que la evaluación relacionada con la transferencia e impacto puede presentar dificultades para su ejecución, por razones como el costo asociado con la medición en el caso de emplear observaciones; problemas de privacidad para la obtención de datos, sobre todo aquellos relacionados con el rendimiento académico de los estudiantes; y las complicaciones para obtener información clara y precisa de la práctica docente y logro estudiantil, debido a los numerosos factores que influyen en ellos.
A pesar de las dificultades y recursos que pueda implicar el llevar a cabo evaluaciones de los niveles 3 y 4, no debe dejarse de lado que estas valoraciones proveen datos concernientes a los productos del entrenamiento en los ámbitos reales de desempeño del profesorado, por lo que es recomendable darles un mayor énfasis en la investigación evaluativa asociada a los programas de formación. En línea con lo mencionado por Kirkpatrick y Kirkpatrick (2019), el priorizar los primeros niveles del modelo deja de lado información valiosa que podría contribuir a las evaluaciones ubicadas en niveles posteriores.
Si bien existen diversos factores que inciden en el desarrollo de la formación continua y su efectividad, tal como el tiempo, los materiales, el currículo, la organización y liderazgo de las escuelas, el compromiso de los docentes hacia su formación, el conocimiento matemático o pedagógico previo, el entrenamiento de los facilitadores, entre otros (Cedillo, 2008; Corkin et al., 2015; Jacobs, et al., 2017; Marsigit, 2007; Ruthven et al., 2017), es importante recapitular que el fin último de toda formación continua es que esta conduzca a una mejora de la práctica docente que, a su vez impacte en un mejor aprendizaje de los estudiantes (Boylan et al., 2018).
CONCLUSIONES
En un escenario en el que: 1) los resultados de pruebas internacionales y nacionales reportan un bajo logro de aprendizaje de los estudiantes, en un área de relevancia para el éxito escolar como son las matemáticas; 2) la formación continua es vista como un mecanismo para apoyar la mejora de las prácticas docentes y estas a su vez la mejora del logro de los aprendizajes de los estudiantes; y 3) los países invierten gran cantidad de tiempo, dinero y esfuerzo en la formación continua; no da cabida a los sistemas educativos de expresar una actitud laxa ante la rendición de cuentas y exige esquemas de evaluación sólidos que permitan la toma de decisiones que conduzcan a mejores resultados.
En este sentido, es necesario que se consideren los referentes teóricos y avances en la investigación, que apoyen la elaboración de programas eficaces de formación continua de docentes y sus respectivos planes de evaluación estratégicos, que, por un lado, fundamenten la inversión de recursos y, por otro, incrementen las probabilidades de su éxito.
Por ejemplo, es importante retomar aquellas características que diversos autores como Bellibas y Gumus (2016), Gokmenoglu y Clark (2015), Guskey y Yoon, (2009), Park et al. (2018), han señalado como clave para que un programa formativo sea eficaz. Entre ellas, se encuentra que la formación debe permitir al docente fortalecer su conocimiento matemático y pedagógico relativo a la disciplina; estar enfocada en aplicaciones reales en el aula; ofrecer a los docentes retroalimentación sobre las fortalezas y debilidades de sus prácticas; generar espacios de participación colaborativa entre docentes de matemáticas del mismo grado, escuela y zona escolar; ser congruente con las necesidades formativas de los docentes; estar alineada con los estándares y políticas educativas locales, estatales y nacionales; contar con una duración suficiente de acuerdo con los propósitos perseguidos; y considerar los cambios en las actitudes y creencias de los docentes.
Estas características describen un marco útil para orientar el diseño de oferta formativa para docentes en servicio, a fin de apoyar a estos a mejorar su enseñanza de las matemáticas. A estas características se añade que la formación efectiva debe acompañarse de esquemas de evaluación que permitan la obtención de los resultados sobre los cuales se pretenda y sea posible incidir.
Para ello, con base en el análisis realizado en este estudio, se sugiere que dentro de la evaluación de la formación no basta con conocer el grado de reacción y aprendizaje de los docentes que participan en un determinado programa formativo, sino que toda evaluación debe aspirar a identificar los cambios en la práctica docente y su efecto en el aprendizaje de los estudiantes. Estas evaluaciones deben realizarse de manera formal, sistemática y explicitando los aspectos metodológicos, de manera que permitan la discusión y la realización de nuevos estudios.
Esto implicaría el planteamiento de uno o diversos programas bien articulados dentro de una estrategia de formación continua global, que se extienda durante un periodo razonable (mayor a un año) y que su diseño contemple la evaluación de la reacción, aprendizaje, transferencia e impacto para obtener valoraciones integrales sobre su eficacia.
No obstante, aunque la evaluación y seguimiento debe formar parte del planteamiento integral de la formación continua de docentes, también debe serlo el ejecutar diagnósticos que conduzcan a la identificación de factores que pueden incidir en el desarrollo adecuado de los programas dentro de un contexto determinado, a fin de anular, disminuir o potenciar sus efectos antes de la implementación de la formación.
En este sentido, se sugiere que las posibilidades de transferencia sean consideradas como parte del diagnóstico. Ya que, de acuerdo con Kirkpatrick y Kirk-patrick (2007), una de las condicionantes para que un docente pueda transferir los aprendizajes obtenidos en la formación a su práctica en el aula, tiene que ver con un clima adecuado, que generalmente es propiciado por el director de la escuela, y que fue señalado por los docentes como un factor determinante dentro de algunos de los estudios revisados (Cedillo, 2008; Ruthven et al., 2017)
Por otra parte, la evaluación debe comprender sistemas robustos de seguimiento y análisis de la información, que posibiliten la toma de decisiones con base en la evidencia. Al respecto, se retoma el supuesto acerca de que las creencias y actitudes de los docentes son una pieza fundamental para consolidar cambios en la práctica pedagógica (Park et al., 2018). Por ello, brindar certeza a estos actores de que las decisiones en el marco de la política de formación continua cuentan con fundamento científico, es un buen recurso para obtener la disposición de los docentes en las acciones de formación que se pretendan desarrollar.
Por último, se reconoce que ejecutar acciones de evaluación de la formación continua implicaría una inversión de recursos, tanto humanos, financieros y materiales, adicionales a la implementación de la formación; sin embargo, significa una vía para evitar estrategias fragmentadas de formación que se reinventan en función de los cambios en la administración pública y, por quienes se encuentran más alejados del hecho educativo.
