INTRODUCCIÓN
Reiteradas evaluaciones coinciden en que un gran porcentaje de la población chilena no internaliza de manera efectiva las competencias que le sirven para resolver los problemas matemáticos cotidianos (Cerda y Pérez Wilson, 2014). Si bien Chile ocupa el primer lugar en América Latina en evaluaciones internacionales como PISA, está lejos del desarrollo alcanzado por países como Japón, Singapur o Malasia, ya que ocupa el lugar 51 dentro de los 65 países que participaron en el estudio (CIPER, 2013). Por su parte, aun cuando los currículos de formación de profesores están siendo formulados bajo la lógica de competencias, pareciera ser que, en materia de evaluación, se siguen aplicando las mismas formas tradicionales (aquéllas que privilegian lo cognitivo y el uso de pruebas de papel y lápiz, así como las pruebas estandarizadas de selección múltiple), especialmente en las asignaturas que desarrollan contenidos disciplinares, como es el caso de la matemática.
El presente artículo da cuenta de los resultados de un estudio de carácter fenomenológico, cuyo propósito fue indagar en las estrategias que, de acuerdo con los formadores de profesores de matemáticas de educación media, sus jefes de carreras y sus estudiantes, permiten evaluar competencias matemáticas en el contexto de la formación inicial docente (en adelante, FID) en Chile. Los resultados muestran las estrategias detectadas, lo que denotaría que es posible transitar desde formas tradicionales de evaluación hacia metodologías más apropiadas al enfoque de formación por competencias.
El interés de abordar el tema desde los formadores de profesores de matemáticas se debe a su rol ejemplificador, toda vez que no sólo contribuyen a transponer contenidos matemáticos, sino que, mediante su ejemplo, introducen la forma en la que éstos deberán ser tratados. En efecto, un estudio realizado por Rojas y Piquet (2013: 475) concluye que “el mayor elemento de impacto en las prácticas instruccionales de los formadores es la coherencia entre éstas y el modelo didáctico que se quiere que los estudiantes construyan y apliquen en el aula”.
PROBLEMA Y OBJETIVOS
El enfoque de formación por competencias se ha extendido por el mundo y Chile no ha sido la excepción; sin embargo, pareciera haber un retraso en su puesta marcha en el ámbito de la formación de profesores de matemáticas, particularmente en el campo de la evaluación. Un rastreo de los eventos nacionales de educación y de artículos en revistas de alto impacto dedicadas a la FID reveló que en Chile no existen estudios a nivel nacional acerca de la puesta en práctica del enfoque de formación por competencias por parte de los formadores de profesores de matemáticas (Torres-Alonso et al., 2015). De igual forma, la existencia de una diversidad de propuestas formativas sin haber acuerdo en torno a los aspectos básicos de la FID afecta negativamente la calidad de dicha formación (Ávalos, 2004). Por ejemplo, esta discrepancia puede expresarse numéricamente en el hecho de que 87.5 por ciento de los encuestados que participaron en la primera fase cuantitativa de este estudio mostró una valoración positiva hacia la evaluación de competencias, aunque sólo 26.9 por ciento declaró implementar estrategias evaluativas coherentes con el enfoque. Así, desde el ámbito de la evaluación surge la pregunta fundamental del estudio: ¿a qué estrategias recurren quienes más se acercan a este enfoque para evaluar competencias matemáticas en la FID de educación media? El objetivo del presente artículo es presentar las estrategias de evaluación, es decir, los criterios, métodos e instrumentos evaluativos que, a juicio de los formadores, jefes de carreras y sus estudiantes, contribuyen a evaluar competencias matemáticas en asignaturas del plan de estudio de la FID de educación media en Chile.
MARCO TEÓRICO
El enfoque de formación por competencias
Actualmente, la necesidad de que las personas aprendan matemáticas gracias a pedagogías apropiadas es un fin deseable del sistema educativo (Valero, 2017). Un enfoque que contribuye a tal propósito es el denominado “formación por competencias”, el cual se distingue por ofrecer una visión amplia del aprendizaje en donde la síntesis, la articulación, lo dinámico y el protagonismo de los sujetos que aprenden pasa a ser lo relevante. En el caso chileno el enfoque está plasmado en el documento oficial del Ministerio de Educación de Chile (MINEDUC, 2009), titulado “Objetivos fundamentales y contenidos mínimos obligatorios”.
En general, la evolución del concepto de competencia se ha producido conforme a tres orientaciones principales: un primer camino encauzado hacia las empresas, cuyo centro son las tareas por desarrollar; en segundo término, uno orientado a la excelencia profesional, focalizado en el perfil que debe lograrse; y una tercera perspectiva orientada hacia la preparación del ser humano para la vida, con una visión holística y compleja (Chamaco, 2008). Para Perrenoud (1996) lo relevante de la competencia es su capacidad de movilizar recursos cognitivos para hacer frente a situaciones que le son propias a cada individuo y que le permitirán realizar una actividad determinada con un criterio establecido.
Formación de profesores
El estudio realizado por Alcaraz et al. (2012) reveló tres factores clave para la FID: libertad, conexión con la práctica y trabajo con textos y debates. De estos tres aspectos, la primera es imprescindible para que los estudiantes puedan acceder a información veraz, organicen su trabajo y tomen decisiones que impliquen la modificación de sus prácticas educativas. En tal sentido, resaltan estrategias metodológicas como la síntesis y el análisis crítico de libros, presentaciones, mapas conceptuales, resolución de problemas, estudio de casos, trabajos por proyectos, prácticas externas, debates, simulaciones, proyecciones y visitas, entre otras (Sánchez y Gairín, 2008). Lo anterior implica el diseño de actividades de aprendizaje que consideren los intereses y las necesidades de los estudiantes en su diversidad, en un proceso en ciclos recurrentes no lineales, con tareas que puedan ejecutarse en grados crecientes de dificultad, y de orden cada vez más complejo y profundo. En ellas se incluyen elementos tales como el planteamiento de hipótesis, la resolución de problemas, la búsqueda de nueva información, la estructuración de información y el cambio de registros de representación (Sánchez y Gairín, 2008).
A nivel macro, Sevillano (2009) sostiene que la formación por competencias requiere de la implementación de una triple intervención: normativa (reglamentos, directrices y orientaciones de implementación); de soporte financiero (para la difusión y la capacitación de los formadores y del personal administrativo); y de seguimiento (para diagnosticar las condiciones para la implementación y la evaluación permanente del proceso).
A nivel micro, los formadores deben estar alertas respecto de las dificultades derivadas de la exigencia de producir cambios automáticos y en el corto plazo, considerando su tendencia hacia el conservadurismo (García y Gairín, 2011). El desafío de la FID será, entonces, moldear profesores competentes, es decir, con una profunda comprensión del saber disciplinar y pedagógico, lo que implica, entre otras cosas, realizar el seguimiento del aprendizaje de sus estudiantes y apoyarlos en la superación de sus dificultades de aprendizaje (Juárez y Arredondo, 2017). El Cuadro 1 presenta la aproximación de Jofré (2009) al tema; en ella se describen las competencias profesionales docentes y la metacompetencia de la profesión.
Metacompetencias de la profesión docente | ||||||
Competencias tecnicas | Competencias metodologicas | Competencias sociales | Competencias personales | |||
Saberes relacionados con el quehacer pedagógico | ↔ | Vinculacion del saber con la realidad el alumno | ↔ | Disposicion para comprender y trabajar con otros | ↔ | Ética de la profesión docente |
↕ | ↕ | ↕ | ↕ | |||
Funciones de la profesión docente | ||||||
Contexto |
Fuente: Elaboración propia con base en Jofré, 2009.
Particularmente en el campo de la formación de profesores de matemáticas, Deborah Ball y colaboradores (Ball et al., 2005; Ball et al., 2008; Hill et al., 2004; Hill et al., 2008) han desarrollado un modelo (Cuadro 2) que persigue formar docentes competentes; para ello proponen la noción de “conocimiento matemático para la enseñanza” (MKT, por sus siglas en inglés), el cual definen como “el conocimiento matemático que utiliza el profesor en el aula para producir instrucción y crecimiento en el alumno” (Hill et al., 2008: 374).
Conocimiento del contenido | Conocimiento pedagógico del contenido | ||
Conocimiento común del contenido (CCK) | Conocimiento especializado del contenido (SCK) | Conocimiento del contenido y de los estudiantes (KSC) | Conocimiento del currículo |
Conocimiento en el horizonte matemático | Conocimiento del contenido y de la enseñanza (KCT) |
Fuente: Elaboración propia con base en Hill et al. , 2008
El conocimiento común del contenido (CCK, por sus siglas en inglés) se refiere a lo que una persona requiere saber de matemáticas para desenvolverse de manera adecuada en su vida, por ejemplo, para calcular el monto a pagar por un préstamo y su tasa de interés. El conocimiento especializado del contenido (SCK), en tanto, se vincula con la matemática que se requiere saber para enseñar: el futuro profesor deberá conocer, por ejemplo, las diferentes demostraciones del teorema de Pitágoras. Luego está el conocimiento en el horizonte matemático, que significa que el docente debe ubicar el contenido a enseñar en el mapa de la matemática (por ejemplo, si va a enseñar fracciones, debe tener claro que antes están los números enteros, que las fracciones están insertas en los números reales, etc.).
En relación directa con el conocimiento del contenido está el conocimiento pedagógico del contenido. En él se encuentra el conocimiento del contenido y de los estudiantes, esto es, el conocimiento de cómo éstos aprenden y cuáles son los errores más frecuentes que cometen (por ejemplo, saber que cuando se enseñan las operaciones con números enteros se produce una confusión frecuente entre la adición y la multiplicación de números con signo negativo). El conocimiento del contenido y de la enseñanza, en tanto, implica saber motivar un tema, decidir qué ejemplos son los más adecuados, qué tipo de demostración usar (al enseñar potencias, por ejemplo, se puede recurrir a la bipartición celular y al cuento del inventor del ajedrez). Como se aprecia, ser un formador de profesores de matemáticas competente exige un conocimiento no sólo disciplinario, sino que además se debe evidenciar un amplio conocimiento matemático para la enseñanza.
Evaluación de competencias
Todo el esfuerzo pedagógico por implementar el sistema de competencias no tendría sentido si sólo se utilizara una evaluación centrada en los conocimientos. Sin embargo, esto -que parece tan evidente- es muy difícil de lograr; de hecho, la evaluación ha sido la mayor debilidad en las universidades que han implementado este enfoque (Villa et al., 2013). La dificultad radica en que se requiere determinar estándares de contenido y de desempeño; los primeros son descripciones de conocimientos y habilidades específicas sobre las que se espera que los examinados demuestren su dominio; en tanto que los estándares de desempeño corresponden a descripciones del grado de desempeño de los examinados respecto de categorías preestablecidas (Rodríguez Morales, 2017). Además, es necesario vincular las competencias con indicadores, y éstos, a su vez, con sus respectivas evidencias. Las rúbricas o descriptores de desempeño permiten dejar claro, tanto al docente como al estudiante, los matices del comportamiento esperado (Villa et al., 2013). Así mismo, si una de las capacidades relevantes que se quiere desarrollar en los estudiantes es que autorregulen sus conductas intelectuales, la evaluación de competencias deberá incluir esta perspectiva (Fernández et al., 2013). Por último, como señalan Villa y Poblete (2011), muchos autores consideran que la evaluación debería reflejar la experiencia personal y la reflexión que el estudiante hace respecto de ella.
En este sentido, la preocupación por la evaluación formativa tiene relación, sobre todo, con las dificultades que se presentan para su implementación (Martínez, 2013). Popham (2013), por ejemplo, hace un llamado a la evaluación transformativa y deja en evidencia que lo que hoy en día reconoce la práctica educativa como evaluación no es tal, sino que se reduce a la aplicación de una serie de pruebas o test que permiten comprobar resultados de lo aprendido.
Por su parte, un estudio realizado por Cuenca et al. (2018), con una población de 112 estudiantes de ciencias, muestra una forma de evaluar competencias mediante un sistema basado en contextos, construido sobre la base de la teoría de respuesta al ítem (TRI); esta teoría utiliza un modelo matemático logístico para describir la relación entre el nivel de habilidad de un estudiante y la probabilidad de que éste entregue una respuesta correcta al ítem. Los resultados muestran un aumento del rendimiento de un 12.94 por ciento respecto de una prueba tradicional; sin embargo, el porcentaje de errores en la elaboración de los ítems derivó en la generación de un programa de mejoras para el diseño de los ítems bajo esta modalidad.
Cabe recordar que las competencias no son variables de una tarea, sino de un sujeto, por lo cual no se puede plantear a priori a qué proceso le corresponde cuál tarea (debido a que la persona puede realizar la tarea de diferentes maneras). En este sentido, para evaluar competencias el profesor debe proponer tareas de distinto nivel de complejidad: reproducción y procedimientos rutinarios, conexión para resolver problemas estándares y reflexión para resolver problemas originales (Rico, 2007).
Otra propuesta metodológica para evaluar competencias en estudiantes universitarios de primer año es la formulada por Cubero-Ibáñez et al. (2018), quienes ponen énfasis en los entornos virtuales de aprendizaje. Los tres componentes de su propuesta son: disponer de un entorno virtual de evaluación adecuado, diseño y uso de tareas complejas y elaboración y uso de e-rúbricas analíticas. Lo anterior evidencia la necesidad de cambiar las prácticas de evaluación, asumiendo que esta transformación no estará dada por un simple aumento de los conocimientos de los docentes gracias a talleres de actualización, sino que constituye un proceso mucho más amplio y complejo (Pérez González et al., 2015).
La evaluación en matemáticas
La dialéctica entre práctica y objeto, entre competencia y conocimiento, se puede mostrar mediante el análisis ontosemiótico de las prácticas matemáticas puestas en juego para la resolución de un problema matemático (Godino et al., 2017).
Actualmente, en el desarrollo de competencias la evaluación hace referencia a los contenidos, las habilidades, las actitudes y las estrategias de aprendizaje (Masero et al., 2018). En el caso de las competencias matemáticas específicas, las situaciones o contextos definen los ámbitos en los que se sitúan los problemas, es decir, aquella parte del mundo del estudiante (futuro profesor) que se localiza en las demandas cognitivas hacia él. Se distinguen aquí diversos ámbitos de acuerdo con la cercanía o lejanía del profesor en formación: personal (por ejemplo, resolver un problema de teselación para el embaldosamiento de su casa); educacional/profesional (diseñar escalas de notas usando el modelo lineal); público y científico (calcular el ritmo de crecimiento de una población de bacterias). Luego, y de manera relevante, aparece la competencia didáctica del futuro profesor, que incluye tanto la función de la evaluación del proceso de aprendizaje de los estudiantes, como de los procesos de enseñanza (Ricart y Estrada, 2017).
En síntesis, la evaluación de competencias requiere que ésta se encuentre inserta en un sistema de formación por competencias que incluya los aspectos curriculares y metodológicos correspondientes. En el caso de las competencias matemáticas específicas, el conocimiento matemático para la enseñanza es una eficaz herramienta para analizar y focalizar lo que el profesor debe querer y poder hacer en su labor profesional. La mirada fenomenológica ofrece, en este sentido, organizar los contenidos de la matemática escolar en grandes ideas principales, de manera que lo conceptual queda al servicio de lo procedimental; lo anterior se debe a que la evaluación de competencias requiere de una organización y de medios evaluativos diferentes de los que se utilizan tradicionalmente, por ejemplo, uso de plataformas virtuales, trabajos en equipo y aplicación de matrices de valoración del desempeño de los estudiantes, entre muchos otros.
MARCO METODOLÓGICO
Diseño
Este estudio corresponde a la segunda fase de la investigación “Análisis de las concepciones y estrategias para evaluar las competencias matemáticas específicas que ponen en juego los formadores de profesores de educación media en Chile”. En la primera fase, de carácter cuantitativo, se aplicó un cuestionario a una muestra censal de 56 formadores de profesores de matemáticas de educación media a lo largo del país, con el propósito de determinar sus disposiciones respecto del enfoque de formación por competencias y sus criterios de evaluación asociados. A partir de los resultados de esta fase, se logró identificar a aquellos formadores con un mayor conocimiento y valoración del enfoque, mismos que fueron seleccionados para la muestra intencionada de la segunda fase, cuyos resultados son los que se presentan en este artículo. En esta fase se asumió un diseño cualitativo (Fig. 1) con la finalidad de conocer en detalle las concepciones de los participantes respecto del enfoque de formación por competencias. Para ello, se realizaron entrevistas a los formadores de docentes, sus jefes de carreras, grupos de discusión con alumnos y análisis documentales en una muestra intencionada en tres instituciones formadoras de profesores de matemáticas de educación media. En este caso, el criterio de selección fue, por una parte, la viabilidad del estudio (debían ser instituciones ubicadas en Santiago de Chile) y que éstas fueran representativas del tipo de universidad existente en el país (universidades estatales, privadas confesionales y privadas laicas).
Sujetos
De entre los 56 formadores de profesores de matemáticas del país se seleccionó a aquéllos que, de acuerdo con las respuestas de un cuestionario en línea, evidenciaron una mayor disposición hacia el enfoque de formación por competencias. Se decidió seleccionar a tres formadores, atendiendo a criterios de factibilidad (que pertenecieran a instituciones de Santiago de Chile) y diversidad (se privilegió que las personas fueran representativas de los tipos de universidad existentes en el país (universidades estatales, privadas confesionales y privadas laicas). Con el fin de complementar y triangular la información en cada institución a la que pertenecían los formadores seleccionados se consideró también a los jefes de carrera y a los estudiantes de dichos formadores, así como los instrumentos de evaluación utilizados por ellos. Participó en el estudio un total de 24 personas: tres formadores, tres jefes de carrera y 18 estudiantes.
Cód | Edad | Tipo de institución | Género | Antigüedad en la docencia | |
---|---|---|---|---|---|
Formador 1 | F1 | 42 | Privada confesional | Masculino | 3 años |
Formador 2 | F2 | 38 | Privada laica | Masculino | 5 años |
Formador 3 | F3 | 61 | Estatal | Masculino | 25 años |
Fuente: Elaboración propia
Cód | Genero | Tipo de institución | Género | Antigüedad en la docencia | |
---|---|---|---|---|---|
Jefe de carrera 1 | JC1 | Femenino | Privada confesional | 3 años | 5 años |
Jefe de carrera 2 | JC2 | Masculino | Privada laica | 2 años | 3 años |
Jefe de carrera 3 | JC3 | Masculino | Estatal | 5 años | 6 años |
Fuente: Elaboración propia
En relación con los grupos de discusión, se solicitó a cada formador que permitiera el acceso del equipo investigador a uno de sus cursos de primer año. Luego se conversó con sus estudiantes, explicándoles la actividad y convocándolos para una fecha y hora determinadas.
Cód | Integrantes | Tipo de institución | Género | Nivel de estudios | |
---|---|---|---|---|---|
Grupo de discusión carrera 1 | GD1 | 10 | Privado laica | 8 femenino; 2 masculino | Primer año |
Grupo de discusión carrera 2 | GD2 | 8 | Estatal | 3 femenino; 5 masculino | Primer año |
Grupo de discusión carrera 3 | GD3* | _ | Privada confesional | - |
Fuente: elaboración propia
*El GD3 no pudo realizarse debido a que los estudiantes estuvieron en un paro que se extendió por todo el periodo que duro el trabajo de campo.
Instrumentos
Los instrumentos utilizados en esta fase cualitativa fueron: entrevistas que se aplicaron a formadores y a jefes de carreras; grupos de discusión; y una lista de cotejo para verificar la existencia de componentes de evaluación por competencias en instrumentos aplicados por los formadores participantes.
Se realizaron dos entrevistas a los formadores, puesto que en Chile los estándares orientadores para la FID de matemáticas implican que éstos deben conducir el aprendizaje (es decir, lo que directamente debe enseñar el profesor, lo cual se abordó en la primera entrevista) y deben demostrar competencia disciplinaria, o sea, lo que deben saber, pero no necesariamente deben enseñar (lo que se indagó en la segunda entrevista).
Con esta finalidad se elaboraron dos guiones de entrevistas semiestructuradas, los cuales fueron validados en contenido y constructo mediante pruebas de concordancia de jueces. De este proceso se desprendieron los libretos que se utilizaron tanto con los jefes de carrera, como con los grupos de discusión.
Los instrumentos más importantes en la recogida de información fueron las entrevistas a los formadores, las que fueron sometidas a validación de expertos, tanto en su contenido como en su fiabilidad, mediante el criterio de concordancia de jueces pertenecientes a tres de las universidades más prestigiosas del país -Universidad de Chile, Pontificia Universidad Católica de Chile y Universidad de Santiago de Chile-. Los tres jueces son destacados expertos en las áreas temáticas del estudio: dos de ellos en competencias matemáticas y el otro en formación de profesores de matemáticas. Se envió a cada experto una versión preliminar del guion 1 junto con una escala Likert para la valoración de las preguntas, y una columna para que realizaran sus comentarios y aportes. Una vez incorporadas sus sugerencias, se les envió nuevamente el instrumento y se concertó una entrevista con el objetivo de aclarar dudas e interpretaciones de la validación. Este proceso se repitió con el guion 2.
La Tabla 4 muestra que, con un nivel de confianza de 95 por ciento, se confirmó la concordancia de los jueces, con una significancia de 0.819.
Hipotesis nula | Test | Significancia | Decisión |
---|---|---|---|
Las distribuciones de guion 11, guion 12 y guion 13 son las mismas | Análisis de dos vías de Friedm de varianza por rangos de muestras relacionadas | 0.819 | Retener la hipótesis nula |
Nota: guion 11: valoración del guion 1 por el juez 1; guion 12: valoración del guion 1 por el juez 2; guion 13 : valoración del guion 1 por el juez 3 .
Fuente: elaboración propia.
Hipotesis nula | Test | Significancia | Decisión |
---|---|---|---|
Las distribuciones de guion 21, guion 22 y guion 23 son las mismas | Análisis de dos vías de Friedman de varianza por rangos de muestras relacionadas | 0.135 | Retener la hipótesis nula |
Nota: guion 21: valoración del guion 2 por el juez 1; guion 22: valoración del guion 2 por el juez 2; guion 23 : valoración del guion 2 por el juez 3 .
Fuente: elaboración propia.
Por su parte, con un porcentaje de 95 por ciento de confianza se confirmó el acuerdo de los tres jueces respecto de la construcción del guion 2, con una significancia de 0.135.
Para esta prueba, el valor crítico de significancia fue de 0.95, puesto que se consideró un 95 por ciento de confianza; por tanto, la hipótesis nula sólo se rechaza para valores mayores al valor crítico. En este caso, se obtuvieron los valores de significancia 0.819 y 0.135 para los guiones 1 y 2 respectivamente, por lo que se aceptó la hipótesis nula. Esto significa que las distribuciones de las valoraciones que realizó cada uno de los jueces a cada ítem del guion tendieron a converger, lo que prueba la concordancia de las valoraciones de los tres jueces en los tres guiones evaluados.
Análisis de datos
Para el análisis de los datos se recogió la información, se transcribieron los datos y se redujeron, con la finalidad de que el tratamiento de la información fuera ordenado y riguroso. La primera parte se realizó mediante grabaciones de las entrevistas y de los grupos de discusión; luego, se convirtieron los archivos de audio en archivos de texto y se traspasaron al programa Atlas.Ti, versión 7.5.17.
Ahora bien, puesto que el objetivo del estudio era describir las estrategias, criterios, métodos e instrumentos evaluativos que, de acuerdo con los participantes, contribuían a evaluar competencias matemáticas, las categorías a explorar tuvieron en consideración dichos aspectos (Tabla 6); para ello se rescataron afirmaciones o párrafos relevantes, con el fin de clasificarlos de acuerdo con las categorías definidas.
Categoria | Código | Mención | Frecuencia (%) |
---|---|---|---|
Criterios de evaluación de competencias. Corresponden al qué evaluar, es decir, a los focos en los que el formador centra su atención al evaluar los aprendizajes de sus estudiantes; a los métodos e instrumentos de evaluación de competencias, y a los estándares. | Criterios de evaluación | Comunicación de resultados | 100 |
Construcción de modelos | 67 | ||
Uso de modelos | 100 | ||
Métodos de evaluación de competencias. Se relacionan a cómo evaluar. Incluye el conjunto de instrumentos de evaluación, así como su organización. Se expresan en el plan de evaluación de la asignatura. | Métodos de evaluación | Comunicación de expectativas | 67 |
Uso de plataforma Moodle | 67 | ||
Multiplicidad de instrumentos | 100 | ||
Co y autoevaluación | 67 | ||
Instrumentos de evaluación. Se refieren a con qué evaluar, esto es, cada una de las herramientas que se utilizarán para evaluar. | Instrumentos de evaluación | Pruebas escritas | 100 |
Controles | 100 | ||
Interrogación oral | 67 | ||
Listas de cotejo | 67 | ||
Informes de talleres | 100 | ||
Rúbricas | 33 |
Fuente: elaboración propia.
RESULTADOS
Los resultados que se describen en este apartado corresponden, de acuerdo con las opiniones de los participantes (formadores, jefes de carrera y estudiantes), a las estrategias de evaluación de su práctica, esto es, a lo declarado por ellos. La nomenclatura utilizada para referirse a las afirmaciones textuales de los entrevistados (Tabla 7) considera la procedencia y, en el caso de los formadores, si la entrevista corresponde a la primera o la segunda instancia.
Nomenclatura | Significado |
---|---|
F11 | Formador institución 1 en entrevista 1 |
F12 | Formador institución 1 en entrevista 2 |
F21 | Formador institución 2 en entrevista 1 |
F22 | Formador institución 2 en entrevista 2 |
F31 | Formador institución 3 en entrevista 1 |
F32 | Formador institución 3 en entrevista 2 |
JC1 | Jefe de carrera institución 1 |
JC2 | Jefe de carrera institución 2 |
JC3 | Jefe de carrera institución 3 |
GD1 | Grupo de discusión de estudiantes institución 1 |
GD2 | Grupo de discusión de estudiantes institución 2 |
GD3 | Grupo de discusión de estudiantes institución 3 |
Fuente: elaboración propia.
Criterios de evaluación
Los criterios de evaluación determinan los focos, es decir, qué evaluar, y se expresan mediante indicadores que establecen el nivel de desarrollo de la competencia. En muchas ocasiones los profesores aplican criterios que no explicitan como tales, por ejemplo, cuando se permite el uso de calculadora o que los estudiantes respondan la prueba escrita en 15 minutos, es decir, con su elección manifiestan cuál es el foco de la evaluación realizada. En el primer caso, puede ser que el objeto a evaluar sea precisamente el uso de calculadora, en tanto que, en el segundo, el foco pudiera estar centrado en la memorización de un conjunto de fórmulas geométricas.
Aquí, las preguntas contempladas para el estudio fueron dos: a) ¿qué aspectos del desempeño de los estudiantes le parece importante evaluar para obtener las evidencias de aprendizaje esperadas?; y b) ¿qué estrategias aplica o le parecen pertinentes y posibles de aplicar para evaluar el desempeño de los estudiantes y que contribuyan al desarrollo de competencias matemáticas específicas?
Respecto de los criterios para evaluar competencias, los estudiantes manifestaron que el foco debía estar en la comunicación oral y escrita, con énfasis en la primera:
…es difícil pararse delante de la sala y escribir derecho, saber si está bien el tono de voz, por ejemplo, si está bien pulido el vocabulario, entonces eso en una prueba… eso uno no lo ve, uno lo escribe, pero cuando uno está delante a veces se tranca y se enredan las palabras (GD1).
Pero sin dejar de lado la comunicación escrita:
Igual tendría que tener algo de escrita, así como tenemos ahora, porque tenemos que saber escribir en forma matemática (GD2).
En el caso de los formadores, sus criterios coinciden con lo manifestado por los estudiantes. Destaca la importancia de la justificación de los resultados, los aspectos metacognitivos, el orden y la comprobación de los resultados:
Yo siempre termino mis cursos con una exposición de los estudiantes donde ellos mismos se miden (F31).
…en nuestro caso, como son profesores de matemáticas, donde más pueden evidenciar si, por ejemplo, aprendieron a resolver inecuaciones, es si pueden explicarlo a sus compañeros, más que resolverlo en el cuaderno o en la prueba (F21).
Por último, desde el conocimiento matemático y de la enseñanza, los formadores ponen el énfasis en la comunicación de los criterios de evaluación a los estudiantes. Al respecto señalan, por ejemplo, que no es suficiente que una determinada asignatura contemple tres pruebas con sus respectivos porcentajes y titulares de los temas a evaluar:
En mis cursos, por lo menos, las reglas del juego están dadas, los estudiantes saben lo que se les va a preguntar y no por eso tú vas a regalar la nota (F31).
Ello implicaría hacer explícitas y públicas las expectativas educativas o, al menos, los criterios con los cuales van a ser evaluados los estudiantes, aunque esta postura no es compartida por todos los formadores:
No estoy de acuerdo, porque uno les puede estar avisando de qué manera proceder, puede estar dando pistas y dejando algunos desarrollos que ellos podrían llegar a realizar por su cuenta y que uno no tenía considerados y esa no es la idea (F11).
En síntesis, de acuerdo con lo expresado por los sujetos del estudio, en un plan de evaluación es muy relevante considerar la comunicación oral y escrita, la justificación de resultados y la metacognición. Por último, para algunos formadores es necesario explicar a sus estudiantes las expectativas que tienen acerca de su desempeño, en tanto que otros estuvieron en desacuerdo, ya que ello podría inhibir la creatividad de los estudiantes.
Métodos de evaluación
Los métodos de evaluación se refieren a cómo efectuarla una vez que se han determinado los criterios y comprenden los modos de organización de las evaluaciones (por ejemplo, si se realizará primero un taller, luego una prueba escrita para continuar con tres controles, etc.), así como las condiciones y tiempos en que éstas serán aplicadas.
En Chile, la importancia que adquiere el conocimiento y la aplicación de los métodos de evaluación de los aprendizajes está señalada en el Estándar Pedagógico 6 para la FID en matemática para educación media del país: “Conoce y sabe aplicar métodos de evaluación para observar el progreso de los estudiantes y sabe usar los resultados para retroalimentar el aprendizaje y la práctica pedagógica” (MINEDUC, 2012: 18). Sin embargo, hay que señalar que los métodos para evaluar competencias han sido poco estudiados, sobre todo en lo que respecta a la retroalimentación (Evans, 2013).
Las preguntas relativas a los métodos de evaluación interpelaban a los sujetos de la muestra a elegir tres formas de evaluación que debían estar presentes en cualquier curso inicial de matemáticas; además, debían justificar sus elecciones y jerarquizarlas en función de competencias matemáticas específicas.
El análisis de las respuestas arrojó una variada, pero precisa gama de herramientas e instrumentos por utilizar. Por ejemplo, hubo consenso entre los formadores, jefes de carrera y estudiantes en que las pruebas escritas son insuficientes para evaluar desempeños complejos: “tal vez el papel como que se queda corto, o sea, creo que tiene que complementarse con más elementos” (F21). Del mismo modo, además de las pruebas los participantes señalaron que deberían incluirse controles intermedios, ya que éstos favorecen la autorregulación en el estudio: “es un mecanismo de control, pero para él [se refiere al estudiante]” (F32).
Lo anterior se puede vincular con el uso de plataformas virtuales de gestión de aprendizajes, como Moodle:
Valdría la pena diseñar un curso en plataforma Moodle, con una cantidad de tareas programadas… ahí se vería cómo la evaluación realmente se va transformando en un elemento que ayuda, que no es sólo reflejo de lo que sabe [el estudiante], sino que además está apoyando para que aprenda más (F12).
Pese a lo anterior, algunos estudiantes manifestaron sus críticas respecto del trabajo en aulas virtuales:
A pesar de que es una actividad colectiva, al final termina siendo una actividad individual y no es comparable con una actividad grupal presencial (GD1).
Por su parte, tanto la discusión interactiva como las disertaciones son valoradas positivamente por los formadores como medios que ayudan a desarrollar competencias.
Generalmente lo que yo incorporo es la evaluación de algunos trabajos grupales, porque siento que es donde ellos pueden desarrollar ciertas habilidades, que no logran por sí solos, cada individuo por separado (F11).
Creo que la situación de aprendizaje en el pizarrón, y sobre todo cuando uno se ve enfrentado a preguntas de sus pares, es mucho más fuerte y potente que cuando está entrevistándolo el profesor (F31).
Acerca de incluir la coevaluación y la autoevaluación, existen opiniones diversas; quienes están a favor sostienen que son adecuadas, porque contribuyen a la autorregulación:
…que se autoevalúe para que vea si lo está haciendo bien o mal, pero para eso tiene que estar la gente preguntando y preguntándose (F31).
Los estudiantes que participaron en los grupos de discusión también se manifestaron a favor de integrar estas estrategias, aunque con algunas aprehensiones:
Sí, podría ser una forma interesante. El interactuar con los estudiantes hace que uno aprenda cómo están pensando y tomar una idea me hace reflexionar acerca de ella (GD1).
Estoy de acuerdo en que nosotros juzguemos al compañero que está haciendo la clase, que comentemos, “no me gustó lo que hiciste porque lo hiciste muy rápido”, pero evaluarlo… yo siento que no estamos preparados para evaluar a otra persona, encuentro que decir un comentario es mejor que evaluar a un compañero con nota (GD2).
Así mismo, los entrevistados complementaron sus apreciaciones al señalar que, si lo más importante dentro de todo el proceso es la evaluación, la coevaluación debería servir para ayudar a que otro obtenga una mejor nota y, en general, los alumnos lo entienden así.
En síntesis, los resultados indican que los procedimientos para evaluar competencias matemáticas específicas deberían estar acordes con la complejidad de dichas competencias y, además, incluir baterías de instrumentos que vayan desde las clásicas pruebas y controles escritos, pasando por las disertaciones y el uso de plataformas virtuales, hasta llegar a los talleres, incluyendo la coevaluación y la autoevaluación como formas eficientes para lograr autorregulación y autonomía de aprendizaje por parte de los estudiantes.
Instrumentos de evaluación
Los instrumentos de evaluación responden a los recursos con los que se llevarán a cabo las evaluaciones definidas por los métodos; por ejemplo, si en éstos se declara que se hará una disertación, el instrumento a utilizar puede ser una lista de cotejo o, mejor aún, un conjunto de rúbricas para evaluar dicha presentación.
La elaboración de instrumentos para evaluar competencias es una tarea compleja que no sólo incluye las pruebas tradicionales, sino que busca enriquecerlas y complementarlas con otras fuentes de información que den luces acerca del desempeño de los estudiantes. Preguntas como qué información utilizaría para determinar el nivel de experticia del estudiante, cómo se desagregaría esa información para transformarla en evidencias de aprendizaje y qué tipo de instrumentos usaría son algunos de los reactivos utilizados en las entrevistas.
Ahora bien, puesto que las pruebas tradicionales seguirán presentes por un buen tiempo -dadas las dificultades para romper con paradigmas evaluativos tan arraigados-, resultó interesante para el estudio indagar acerca de algunos instrumentos que, a juicio de los entrevistados, favorecían el desarrollo de competencias. En esta línea, el formador 2 relevó un tipo especial de prueba en donde se explicitan los criterios e indicadores por evaluar y que, además, cuenta con una segunda instancia de aplicación:
Generalmente las pruebas tienen dos o tres criterios; puede que logre uno, puede que logre los dos, o ninguno. Pero también puede ser que, por ejemplo, logre los dos, pero no a la perfección, o sea, de cierta forma. También tiene la instancia de volver a rendir la prueba, entonces el estudiante, con base en su resultado, regula en qué va a hacer énfasis en la evaluación siguiente. Por ejemplo, en algunos casos, si logra el primer criterio parcialmente, pero no los dos, no se va a dedicar a estudiar lo que ya logró [sino] lo que no logró (F21).
En este tipo de pruebas se evalúan por lo general tres criterios: el manejo conceptual, las aplicaciones y las demostraciones. A su vez, cada criterio tiene tres indicadores de desempeño asociados y luego están los ítems de la prueba, que son los que determinan si el indicador se cumplió o no. La puntuación de cada indicador es dicotómica, es decir, 0 o 1 punto. Cada criterio se da por cumplido si se logran, al menos, dos de los tres indicadores. La puntuación total de la prueba es de diez puntos debido a que, si alguno de los criterios logra los tres indicadores, el estudiante obtiene un punto adicional.
Por otra parte, existió consenso entre los formadores en que, como actividades de evaluación, los talleres también contribuyen al logro de aprendizajes; además, destacaron que su efectividad depende tanto de la actuación del formador como de los objetivos a lograr: “…uno tiene que estar ahí. No tienes que sentarte adelante porque tú eres un actor” (F32).
En síntesis, la complejidad de las competencias conlleva a la complejidad de su evaluación; por esa razón, se requiere elaborar instrumentos que permitan dar cuenta no sólo de los conocimientos y las habilidades operatorias, sino, además, de una comprensión profunda de los contenidos, en donde los estudiantes tensionen lo aprendido y puedan aplicarlo. Se trata, entonces, de enriquecer y complementar los instrumentos que actualmente se aplican en las asignaturas de matemáticas de la FID de educación media. Para esto, se sugieren pruebas especiales, controles periódicos, talleres y diarios reflexivos.
Por último, respecto de los instrumentos de evaluación aplicados por los formadores, F1 indicó una prueba de papel y lápiz; F2 dos pruebas de papel y lápiz; y F3 ningún instrumento de evaluación. Del análisis de los documentos aportados por los participantes, se puede concluir que todos los instrumentos de evaluación contienen elementos de conocimientos y de procedimientos, con preguntas que, en su mayoría, integran saberes; sin embargo, ninguno contiene elementos actitudinales, y sólo en uno de los instrumentos se consignaron los aprendizajes a evaluar y los criterios de desempeño para demostrar el logro de dichos aprendizajes. Con ello se puede afirmar que los instrumentos analizados son clásicos, excepto los desarrollados por el F2, que corresponde a una prueba con segunda instancia en la que se explicitan los aprendizajes esperados, los criterios de desempeño, los indicadores de evaluación, el número de cada pregunta y el puntaje a asignar a cada pregunta. En este caso la prueba contiene ítems de tres tipos que miden el aprendizaje de conceptos, de procedimientos matemáticos y la integración de saberes, aunque sólo se integran saberes conceptuales y procedimentales.
Gracias a la contribución de los informantes clave del estudio también fue posible caracterizar estrategias que, de acuerdo con sus opiniones, resultan ser relevantes para evaluar competencias matemáticas específicas (Tabla 8). Dichas propuestas se agruparon considerando los criterios de los formadores, esto es, dónde centrar la mirada a la hora de elaborar un plan de evaluación; los métodos (cómo se puede lograr el cumplimiento de los criterios); y los instrumentos (qué herramientas son las más apropiadas para lograr una adecuada evaluación de competencias).
Criterios | Métodos | Instrumentos |
---|---|---|
Integración de saberes | ||
Comunicación de ideas con contenido matemático | ||
Argumentación | ||
Aseguramiento de la calidad | ||
Metacognición |
Fuente: elaboración propia.
Cabe señalar que esta tabla puede utilizarse de manera flexible, es decir, un formador podría optar, por ejemplo, por evaluar la competencia argumentativa, para lo cual tendría que poner el énfasis en que sus estudiantes justifiquen exhaustivamente los resultados obtenidos en la resolución de problemas y luego elaborar una lista de cotejo para evaluar su desempeño en la defensa de los resultados ante sus pares y ante el propio formador; con ello se complementarían los criterios, los métodos y los instrumentos.
DISCUSIÓN Y CONCLUSIONES
Los resultados de un estudio efectuado a nivel nacional el año 2009 con profesores del primer nivel de enseñanza básica chilena concluyó que el instrumento matriz de competencias es muy bien valorado por dichos docentes, así como también la explicitación de los niveles de complejidad cognitiva, pues ello permite desarrollar un trabajo matemático más completo (Espinoza et al., 2009). En la FID en matemáticas la evaluación de competencias es, sin embargo, un tema escasamente estudiado en Chile.
En efecto, dada su complejidad, la implementación de la formación por competencias en el ámbito evaluativo ha sido difícil, incluso en aquellos países pioneros en el enfoque. De hecho, estudios recientes informan carencias relevantes en la elaboración de rúbricas para su evaluación (Velasco-Martínez y Tójar, 2018). El presente estudio corroboró lo anterior, toda vez que ninguno de los formadores entrevistados utilizó rúbricas para evaluar el desempeño de sus estudiantes. Al respecto, una reciente investigación realizada por Masero et al. (2018) aportó elementos acerca de la construcción y adaptación de rúbricas (para evaluar tanto informes escritos como disertaciones), para la resolución de problemas matemáticos del ámbito económico, que bien podrían adaptarse a diversos contextos, entre ellos el chileno.
Ello, porque entre los resultados de la presente investigación se relevó solamente la presencia de indicios de elaboración de rúbricas para la evaluación en asignaturas de matemáticas de la FID: la propuesta de una prueba con segunda instancia aplicada por uno de los formadores entrevistados describe los aprendizajes esperados, así como los criterios de evaluación. Este esfuerzo es, sin embargo, sólo un indicio, ya que no se alcanzan a establecer los niveles de desempeño mediante rúbricas.
Ahora bien, los formadores de profesores entrevistados manifestaron la necesidad de poner el foco de la evaluación en competencias básicas tales como la comunicación oral y escrita, la justificación y comprobación de los resultados y la metacognición; de esta manera, coinciden con lo manifestado por Villa et al. (2013) . En este sentido, los procedimientos para evaluar las competencias matemáticas específicas deberían incluir variadas técnicas como talleres, foros y uso de plataformas virtuales, lo cual fue mencionado por los participantes a lo largo de la investigación.
Por otra parte, el estudio permitió reforzar lo señalado por Villa y Poblete (2011) en cuanto a valorar la coevaluación y la autoevaluación como formas eficientes para lograr la autorregulación y la autonomía de aprendizaje por parte de los estudiantes. Sin embargo, hay que señalar también que la autoevaluación requiere de una capacitación, ya que ésta no se logra sólo practicándola (Jackson, 2014).
Así mismo, en un estudio realizado por Cortés (2014) , los profesores de secundaria españoles opinaron que evaluar competencias era una tarea compleja, por lo que no era posible hacerlo solamente con pruebas de papel y lápiz. En tal sentido los formadores entrevistados, si bien coinciden en que estos instrumentos son efectivamente insuficientes, manifestaron que al menos en este momento no era posible prescindir de ellos; desde su punto de vista, podría arrojar mejores resultados una batería de instrumentos que contemple las clásicas pruebas y controles escritos, pero que además incorpore listas de cotejo, informes de productos, pruebas de ejecución y principalmente rúbricas.
Por último, una evaluación de competencias matemáticas específicas que pretenda ser pertinente, válida y confiable, debe contar con instrumentos de medición que posean escalas diferentes para dar cuenta de los distintos atributos por evaluar y, si no es posible hacerlo en el corto plazo, los actuales instrumentos de evaluación bien podrían orientarse hacia ese propósito.
Un hallazgo interesante, en este sentido, fue la constatación de la realización de un tipo especial de prueba en donde se comunican los criterios e indicadores a evaluar y que contempla, además, una segunda instancia de aplicación. En este tipo de pruebas se evalúan, por lo general, tres criterios: el manejo conceptual, las aplicaciones y las demostraciones.
Una última forma de enriquecer la evaluación que emergió gracias al estudio es ampliar las dimensiones que se evalúan. Por ejemplo, ello puede lograrse al agregar a los parámetros de evaluación de una prueba escrita la exposición de los resultados obtenidos ante los compañeros (donde se evalúa también la comunicación de ideas con contenido matemático), o bien, la defensa de dichos resultados ante su formador (donde se potencia la competencia de argumentación). De este modo es posible contribuir, desde la evaluación, al desarrollo de competencias matemáticas específicas sin alterar radicalmente las prácticas evaluativas tradicionales.
Se espera que la experiencia aquí descrita -y lo sintetizado en este artículo como propuestas y sugerencias- contribuya de manera práctica a la elaboración de los planes de evaluación de los formadores, y favorezca el desarrollo de competencias en la FID de matemáticas, a partir del rescate de los aportes de los colegas que más se acercan a este enfoque y que conocen, de primera mano, los éxitos de su aplicación.