También en Sinéctica

 

Toma de decisiones para la evaluación formativa: el proceso de planeación y determinación de sus mecanismos¹*

 

Katherina Edith Gallardo Córdova*, María Eugenia Gil Rendón**, Baltazar Contreras Durán***, Evelyn García Hernández****, Roger Alberto Lázaro Hernández***** y Lilibeth Ocaña Jiménez******

 

* Doctora en Innovación y Tecnología Educativa por el Tecnológico de Monterrey. Profesora e investigadora de la Escuela de Graduados en Educación del Tecnológico de Monterrey. Sus líneas de investigación versan sobre evaluación del aprendizaje.

** Maestra en Educación por la Universidad del Valle de México. Profesora tutora en Escuela de Graduados en Educación del Tecnológico de Monterrey. Sus líneas de investigación versan sobre evaluación del aprendizaje.

*** Licenciado en Educación Secundaria por la Escuela Normal Superior Oficial de Guanajuato. Asistente de investigación en el programa verano científico- Academia Mexicana de Ciencias, Escuela Normal Superior Oficial de Guanajuato. Sus líneas de investigación versan sobre formación de docentes y de investigadores educativos.

**** Licenciada en Ciencias de la Educación por la Universidad Juárez Autónoma de Tabasco. Asistente de investigación en el programa verano científico- Academia Mexicana de Ciencias, Universidad Juárez Autónoma de Tabasco. Sus líneas de investigación versan sobre uso de tecnologías en educación.

***** Licenciado en Idiomas por la Universidad Juárez Autónoma de Tabasco. Asistente de investigación en el programa verano científico- Academia Mexicana de Ciencias, Universidad Juárez Autónoma de Tabasco. Sus líneas de investigación versan sobre formación de docentes y de investigadores educativos.

****** Licenciada en Ciencias de la Educación por la Universidad Juárez Autónoma de Tabasco. Asistente de investigación en el programa verano científico- Academia Mexicana de Ciencias, Universidad Juárez Autónoma de Tabasco. Sus líneas de investigación versan sobre uso de tecnologías en educación.

 

Recibido: 25 de diciembre de 2011.
Aceptado para su publicación: 7 de junio de 2012.

 

Resumen

Se presenta un estudio exploratorio sobre la toma de decisiones al determinar los procesos de evaluación formativa. Se eligió al azar el trabajo realizado por 20 equipos de trabajo (102 estudiantes) en la materia Evaluación del aprendizaje de un programa de posgrado en educación, en la modalidad en línea. Se optó por métodos mixtos; se analizaron 20 tablas de especificaciones que albergaron 60 objetivos de aprendizaje. Asimismo, se examinaron 60 justificaciones que fundamentaban las decisiones sobre la elección de organizadores gráficos o productos escritos que coadyuvan a inferir el logro de los objetivos de aprendizaje. Los resultados indicaron que en el proceso de planeación existió una alta tendencia a la emisión de objetivos de aprendizaje que demandan procesos de pensamiento de baja complejidad. Además, al tomar decisiones sobre los productos, el proceso fue mayormente bien conducido. Esto puede deberse a la inclusión de elementos teóricos que contribuyeron a la comprensión del proceso de aprendizaje y las necesidades a cubrir en el marco de la evaluación formativa. Se exhorta a continuar con investigaciones relacionadas con la toma de decisiones en cuanto a la elección de organizadores gráficos, en especial sobre aquellos que presentaron resultados inesperados, como fue el caso del mapa conceptual.

Palabras clave: evaluación formativa, taxonomía, objetivos educativos, organizadores gráficos, productos escritos.

 

Abstract

An exploratory research about decision taking in the frame of formative assessment procedures was conducted on an education graduate online program. The academic work of 20 work teams formed by 102 students was collected randomly. Mixed- Methods methodology was selected as permits going into a deeper understanding of the phenomenon. A total of 20 planning charts that contained 60 learning objectives and 60 texts with some justifications that supported the decisions taken around formative assessment issues, were analyzed. The results led to infer that there is a pronounced tendency to propose learning objectives that do not demand higher mental procedures level. It also was inferred that counting on a theoretical framework that explains human learning process supported quite well assessment decisions done by students. It is recommended to continue doing educational research about decision making around formative evaluation and learning activities, especially around unexpected results related to some academic products' possible definition and uses as conceptual maps.

Keywords: formative assessment, taxonomy, learning objectives, graphic organizers, academic writing.

 

INTRODUCCIÓN

Los procesos de evaluación del aprendizaje son considerados cruciales para brindar información sobre los alcances formativos. Los mecanismos de evaluación permiten reunir información para realizar inferencias, principalmente en aspectos como: el nivel de dominio logrado por el estudiante sobre los contenidos de la disciplina en cuestión; las capacidades desarrolladas; su potencial de rendimiento y respuesta en situaciones reales en las que deba utilizar lo aprendido; y el trabajo del docente en relación con el logro de las metas de aprendizaje. Las conclusiones que se desprendan de este proceso son de utilidad para los involucrados, pues les permite tomar decisiones para la mejora.

Actualmente, la tendencia es hacer fuertes inversiones en evaluación educativa por parte de los gobiernos latinoamericanos (Wolff, 2007). En consecuencia, se ha fortalecido la práctica relacionada con la difusión transparente de los resultados provenientes de evaluaciones a gran escala (Vidal Uribe, 2009). No obstante el avance que se tenga en la cultura de la medición del aprendizaje a gran escala, hay que aceptar que persisten los cuestionamientos sobre cómo los docentes conciben, deciden, diseñan y aplican los instrumentos de evaluación en el aula, así como la forma en que analizan y toman decisiones para la mejora educativa; es decir, cómo conducen sus prácticas de evaluación formativa. Sin temor a equivocarnos, la preocupación en cuanto a las decisiones sobre cómo evaluar y los resultados del rendimiento académico tiende a aumentar, pero falta decisión para concretar planes precisos que mejoren las prácticas docentes en cuanto a la toma de decisiones en este rubro (Martínez Rizo, 2009; Moreno Olivos, 2002).

Así, se vuelve urgente trabajar con los docentes en el fortalecimiento de sus competencias en evaluación, en especial en la de tipo formativo, la cual le compete totalmente y permite un seguimiento más cercano del proceso enseñanza-aprendizaje hacia el logro de las metas propuestas (Stiggins, 2008; Hattie & Timperley, 2007). Ante el reto de preparar mejor a los docentes en el campo de la evaluación formativa, se juzgó pertinente indagar en este campo de estudio.

 

MARCO CONTEXTUAL

Delimitación del problema

En la actualidad, México inicia un proceso de cambio educativo a través de varias reformas, tanto del nivel básico como del medio superior. En dichas reformas se han considerado esfuerzos para que las competencias docentes mejoren de modo paulatino y sistemático. Dentro de las competencias docentes necesarias para enfrentar los retos educativos del siglo XXI, las relacionadas con la evaluación del aprendizaje están estipuladas como una de las principales a desarrollar (Perrenoud, 2001).

Una muestra de este interés se refleja en la convocatoria del Fondo Sectorial de Investigación para la Educación. En alianza, el Instituto Nacional de Evaluación Educativa (INEE), la Secretaría de Educación Pública (SEP) y el Consejo Nacional de Ciencia y Tecnología (Conacyt) fomentan la indagación de las prácticas y resultados de evaluación del aprendizaje en diferentes escenarios. Asimismo, en los últimos años, la evaluación a gran escala ha acaparado la atención de la comunidad educativa mexicana. Pruebas como la Evaluación Nacional del Logro Académico en Centros Escolares (ENLACE) se han posicionado como un referente del logro educativo.

En cuanto a la evaluación formativa, que intencionalmente se realiza durante el proceso de aprendizaje a fin de retroalimentar al alumno en los aspectos que permitirán mejorar su rendimiento (Sadler, 1998; Chadwick y Rivera, 1997), se ha obtenido menos atención. El número de artículos publicados por investigadores latinoamericanos en este rubro llega a once investigaciones en los últimos diez años (consultado en el Sistema de Información Científica Redalyc: www.redalyc.org), mientras que la producción de artículos de investigación que determinan la evaluación formativa como aspecto clave de los estudios en países anglosajones, llega a 160 en el mismo lapso (consultado en Education Resources Information Center -ERIC-: http://www.eric.ed.gov). Se puede afirmar, entonces, que esta evaluación no ha sido objeto de estudios formales con la urgencia que requieren los países latinoamericanos.

Entre las prácticas más comunes en la evaluación formativa se encuentra la toma de decisiones para la determinación de actividades, que pueden derivarse de la demanda de organizadores gráficos y productos escritos que fungen como evidencias de aprendizaje. El desarrollo de estas actividades académicas permiten inferir qué tanto el alumno es capaz de reconocer, comprender, analizar o utilizar el conocimiento con base en los contenidos estudiados (Campos Arenas, 2005; Marzano & Kendall, 2007). No obstante, las decisiones sobre qué tipo de actividad programar y, por ende, qué organizador o producto solicitar deben sostenerse en conocimientos relacionados con los procesos de pensamiento y la naturaleza de la disciplina en estudio, e ir más allá de conocer las técnicas para elaborar dichos productos. A partir de esta premisa, se planteó la pregunta de investigación: ¿qué tipo de organizadores gráficos y productos escritos se seleccionaron ante el reto de tomar decisiones en el contexto de la evaluación formativa?

Referentes teóricos

El marco teórico que fundamenta esta investigación abarca tres temas: la evaluación formativa dentro de las prácticas de evaluación del aprendizaje; la aplicación de la nueva taxonomía como un referente teórico para la planeación y toma de decisiones de la evaluación; y organizadores gráficos y productos escritos a partir de los cuales se pueden conducir procesos de evaluación formativa.

La evaluación formativa dentro de las prácticas de evaluación del aprendizaje La evaluación es un proceso dinámico cuya finalidad es ejercer un juicio de valor sobre los logros obtenidos. A partir de ella, es posible tomar decisiones para mejorar los procesos educativos (Quesada Castillo, 2006). En México, la evaluación de desempeño se vislumbra como la vía que permitirá a la comunidad educativa alcanzar los estándares previstos en las actuales reformas. Hay que mencionar que el país inició un proceso de cambio educativo en 2006, que apostaba por el modelo educativo basado en competencias (EBC) para desarrollar capacidades en los estudiantes, con miras a impactar directamente en las condiciones socioeconómicas futuras (Fuentes, 2009).

Si bien es cierto que las iniciativas de mejora educativa en México, como la Reforma Integral de Educación Básica (RIEB) y la Reforma Integral de Educación Media Superior (RIEMS), aportan beneficios que impactarán de modo directo en el desarrollo social, también lo es que, sin estrategias y mecanismos que verifiquen el cumplimiento de metas, poco se sabrá sobre sus resultados. Por ende, es necesario que toda reforma educativa prevea desde sus bases la visión y las estrategias de lo que será la evaluación. Éste es el caso de la evaluación para la educación básica. El INEE plantea una visión de la contribución de la evaluación al desarrollo educativo. Así, las decisiones en este campo implican que:

• La evaluación deba ser desarrollada por instancias que actúen en forma articulada y constituyan un verdadero sistema nacional.

• Sus resultados se difundan con oportunidad y transparencia para que sean utilizados como apoyo en la toma de decisiones de política educativa y las prácticas pedagógicas y de gestión de escuelas y maestros.

• Las evaluaciones sean plenamente confiables por realizarse de acuerdo con los más altos estándares técnicos (Instituto Nacional de Evaluación Educativa, 2005, p. 15).

Ante esta perspectiva, surge en México la necesidad de mantener una evaluación permanente, reflexiva y potenciadora de las cualidades de las personas, que garantice su inserción en el proceso productivo y en el desarrollo de la sociedad (López Pastor, 2006). Además, es necesario optimizar la eficacia y eficiencia del panorama educativo a fin de incorporar la evaluación como una práctica que se lleva a cabo día a día. Todo apunta a que el tipo de evaluación que se requiere promover y poner en práctica en los ambientes de aprendizaje es de tipo formativo.

La evaluación formativa ofrece mecanismos para monitorear constantemente los avances en el dominio de conocimientos o desarrollo de habilidades estipuladas en las metas educativas. Su propósito es hacer un análisis profundo de las opciones y acciones tomadas durante el proceso de enseñanza-aprendizaje (Díaz-Barriga Arceo y Hernández Rojas, 2002; Romero y Rodríguez, 2006; Shepard, 2000). Este tipo de evaluación brinda la oportunidad de trabajar en un proceso conjunto para monitorear fortalezas y debilidades, lo cual contribuye a la mejora del aprendizaje (Cerda Gutiérrez, 2000). Reconocer las fallas o debilidades coadyuva al fortalecimiento del aprendizaje en dos sentidos: i) las prácticas docentes, porque el profesor identifica las debilidades y fortalezas de sus decisiones respecto a los mecanismos para alcanzar un objetivo, esta información le ayuda a redireccionar sus estrategias de enseñanza; y ii) las actividades para aprender, porque los estudiantes pueden identificar qué requieren mejorar antes del término del periodo estipulado para alcanzar un objetivo, lo que contribuye a elevar sus niveles de desempeño en el continuo del proceso de aprendizaje (Boyd, 2001).

Además, se sabe que el proceso de evaluación formativa cobra significado con la retroalimentación como elemento que hace plausible el seguimiento y la determinación de fortalezas y debilidades a partir de estándares o criterios (Wiggins, 1998); debe ofrecerse en términos específicos, de forma alineada con los estándares estipulados.

Hattie y Timperley (2007) proponen un modelo de retroalimentación que permita a los docentes brindar información sobre el desempeño, más allá de la correspondiente a la actividad en un aquí y ahora. Apuestan por poner en claro para el estudiante la relación entre el desempeño logrado y los objetivos particulares, generales y elementos rectores del currículo. Un ejemplo de una postura contraria es la aseveración que hacen Nicol y Macfarlane-Dick (2006) al determinar que la retroalimentación debe emerger de un proceso compartido, pues se busca que los alumnos sean autocríticos, capaces de desarrollar de manera autónoma y paulatina actitudes y aptitudes que le permitan un pensamiento amplio sobre cómo hacerse responsable de la construcción de su propio conocimiento.

Ante la importancia de la retroalimentación, es innegable que este tipo de información emitida por el maestro o sujeta a la visión de los alumnos, permite que el aprendizaje cobre significado y que las acciones o el desempeño se perfeccionen progresivamente. Sin embargo, la retroalimentación estará siempre sujeta a la actividad o actividades planeadas, por lo cual éstas deben ser seleccionadas con cuidado, coherencia y sensibilidad, además de vigilar que sean congruentes con lo que se estima como metas de aprendizaje (Näsström & Henriksson, 2008).

La aplicación de la nueva taxonomía como un referente teórico para la planeación y toma de decisiones de la evaluación

El uso de una taxonomía que permita la clasificación de procesos de aprendizaje ha sido una práctica común desde mediados del siglo XX. La taxonomía de Bloom (Bloom, Hastings & Madaus, 1971), una de las más utilizadas, fue una propuesta que surgió de trabajos de la psicología cognitiva en Estados Unidos y ha sido actualizada en los últimos años. Aunque es innegable su trascendencia y arraigo en el quehacer educativo, hay que remarcar que la psicología cognitiva ha hecho numerosos avances, lo cual ha permitido la producción de más y mejores propuestas. Una de las aportaciones más recientes es la de Marzano y Kendall (2007), en su obra The new taxonomy of educational objectives (La nueva taxonomía de objetivos educativos). En ella proponen una nueva clasificación, consistente en seis niveles de procesamiento y tres dominios del conocimiento.

Por un lado, los niveles de procesamiento se refieren a tres sistemas: el self, relacionado con la motivación para el aprendizaje; el metacognitivo, que permite conducir los procesos de supervisión y determinación de metas de aprendizaje; y el cognitivo, que incluye los procesos de recuperación de información, comprensión, análisis y utilización del conocimiento. Por otro, los dominios de conocimiento tratan de: información, el conjunto organizado de datos que se tienen en la memoria; procedimiento mental, que corresponde al manejo de información que las personas realizan para resolver problemas, tomar decisiones, emitir juicios críticos, etcétera; y procedimientos psicomotores, que involucran la coordinación de los procesos mentales con movimientos corporales con diferentes finalidades. Cada uno de estos niveles contiene subniveles (ver la figura para conocer los detalles de sus elementos).

Una de las fortalezas de la nueva taxonomía es permitir discernir entre la naturaleza del contenido y el nivel de procesamiento al que se quiere llegar. La fundamentación sobre la clasificación de procesos de pensamiento y la independencia de estos procesos de los dominios del conocimiento hacen que el manejo de los contenidos se torne más sencillo, lo que resulta en la toma de mejores decisiones respecto a las actividades que generarán los caminos para alcanzar el objetivo educativo.

Esta taxonomía ha sido recomendada y empleada en diseño de ambientes de aprendizaje en línea y a distancia, propuestas didácticas, marco conceptual para el diseño de sistemas de evaluación, así como en áreas de desarrollo empresarial e industrial (Aworuwa & Nkonge, 2007; Gallardo Córdova y Gil Rendón, 2011; Gallardo Córdova y Valenzuela González, en prensa; Goel, 2006). Vale la pena destacar las reflexiones de Aworuwa y Nkonge (2007) y la investigación de Gallardo y Valenzuela (en prensa). La publicación de Aworuwa y Nkonge puede ser considerada una de las primeras registradas que reflexionan sobre la vinculación de la nueva taxonomía con la actividad educativa en ambientes virtuales. Ellas remarcan:

La Nueva Taxonomía provee una manera más coherente de insertar la tecnología emergente en el proceso de aprendizaje [...] las tecnologías que permiten formar redes sociales, autoría conjunta de material didáctico y trabajo escolar; añade alternativas para el aprendizaje como nunca antes se había visto. El diseño instruccional se debe enfocar en la creación de que permitan la utilización de las habilidades de manejo de multimedia para potenciar el desarrollo de estrategias cognitivas como son la recuperación de información, la utilización, en análisis, las cuales son críticas para el funcionamiento actual del mundo (Aworuwa & Nkonge, 2007, p. 1397).

En una investigación realizada por Gallardo Córdova y Valenzuela González (en prensa), la nueva taxonomía se utilizó como parte del marco teórico que sustentó el diseño de un sistema de evaluación para medir el rendimiento académico en escuelas del estado de Tabasco. Para su diseño, se examinaron los planes de estudio y libros de texto. Posteriormente, se elaboraron exámenes objetivos en disciplinas como matemáticas, español, ciencias naturales y ciencias sociales para seis grados académicos de educación básica. Los autores encontraron que, en su mayoría, los objetivos de aprendizaje insertos en los materiales oficiales son de primer y segundo nivel (recuperación y comprensión). Asimismo, estiman que la nueva taxonomía contribuyó a comprender la esencia de los objetivos y el manejo de contenidos, lo cual ayudó al diseño de instrumentos de medición.

Organizadores gráficos y productos escritos que coadyuvan a realizar procesos de evaluación formativa

Una de las funciones de la evaluación formativa es identificar las necesidades de evaluación requeridas para inferir qué tanto se ha avanzado en el proceso de aprendizaje (Crooks, 1998). Resulta fundamental que lo producido a partir de las actividades planeadas permita observar el progreso de los estudiantes respecto a la meta trazada. Los productos derivados de las actividades se evalúan con base en criterios que se desprenden de su estructura y expectativas en cuanto a los procesos de pensamiento que demandan y su contenido. Los juicios que emanan de la comparación entre el logro demostrado y el cumplimiento de dichos criterios (traducidos en ocasiones en estándares) conforman la retroalimentación.

En esta investigación, se han establecido dos tipos de evidencias que son regularmente solicitadas como productos concretos a partir de una actividad: los organizadores gráficos (OG, por sus siglas) y los productos escritos (PE, por sus siglas). Se denominan OG a aquellas gráficas o diagramas que comprenden el uso de figuras geométricas, líneas curvas o rectas y palabras conectoras o breves frases que señalan la dirección y naturaleza de las relaciones entre elementos. Estos OG, según el estilo y la intención, también aceptan la inclusión de iconos o figuras (Campos Arenas, 2005). Por su parte, los PE se definen como documentos que se elaboran siguiendo una estructura determinada acorde con una intención o fin educativo.

La elaboración de OG y PE demanda, por parte de quienes planean el proceso de enseñanza-aprendizaje, vigilar la congruencia entre objetivo de aprendizaje y nivel de exigencia y técnicas para realizarlos. Tener conocimientos del uso de una taxonomía educativa para este fin se juzga de suma utilidad, pues ayuda a decidir con mayor precisión el tipo de evidencias necesarias, de acuerdo con lo que los objetivos demandaban sobre los procesos de pensamiento y naturaleza del contenido a estudiar. Así, la nueva taxonomía -en el caso específico de esta investigación- brindó un marco teórico que apoyó la comprensión del proceso de aprendizaje.

En cuanto al estado del arte en el tema del uso de OG y PE, en los últimos años se han efectuado diferentes investigaciones. Éstas van desde la formación de maestros de educación especial (Mazzarela y Monsanto, 2009), educación para el trabajo (Cárdenas Lobo, 2002), orientación vocacional (Caballero Hernández-Pizarro, Escobar Fernández y Ramos Alía, 2006) hasta propiamente su uso en ambientes de aprendizaje presenciales (Rebich & Gautier, 2005) y virtuales (Chen, Hirumi & Zhang, 2007). Entre los mencionados, destacan las de Mazzarella y Monsanto (2009) y Chen, Hirumi y Zhang (2007).

Mazzarella y Monsanto (2009) describen el uso de mapas mentales en actividades de aprendizaje de estudiantes que cursan la carrera de educación especial, con el fin de trabajar en un aspecto muy particular que tiene que ver con el concepto de ciencia. Los mapas analizados fueron, en un primer momento, los elaborados en los años iniciales de estudio a manera de diagnóstico sobre sus conocimientos previos. Posteriormente, se seleccionaron nueve mapas a evaluar, realizados a lo largo de cinco periodos, que van de 2002 a 2005. Los resultados y las conclusiones apuntan hacia la utilidad del uso de este organizador de información en cuanto a sus fortalezas para: coadyuvar a diagnosticar el conocimiento previo; contribuir a organizar la información derivada de una revisión documental; y favorecer los procesos de comprensión en la calidad y cantidad, tanto en el número de elementos como en la precisión de relaciones entre elementos propios del tema.

En el estudio experimental conducido por Chen, Hirumi y Zhang (2007), en un curso conducido totalmente en ambientes virtuales, se tomó como variable dependiente el desempeño académico a corto y largo plazo y como variable independiente, el uso de organizadores avanzados (gráfico y de texto) como una estrategia instruccional. Se formaron tres grupos: el primero era el experimental, que trabajaba con mapas conceptuales; el segundo también trabajaba con mapas conceptuales, pero en modalidad en línea; y el tercero era el grupo control. En el estudio se aplicaron dos postest denominados I y II, respectivamente.

Los resultados mostraron que no hubo una diferencia significativa ni en el postest I ni el en el II entre los tres grupos. Aunque los autores retoman una serie de factores que originan que los estudios sobre el uso de estos organizadores no están arrojando resultados importantes que determinen su utilidad en los procesos de aprendizaje (como la imprecisión para diseñar los organizadores, los tiempos cortos de uso o el manejo inadecuado de diseños experimentales), recomiendan que se continúe la exploración del tema, aunado al incremento de programas computacionales que permiten trabajar en este tipo de esquemas de manera fácil y gratuita.

Lo expuesto en los puntos del marco teórico deriva en reflexiones y preguntas en torno a los factores teóricos y prácticos que inciden en las decisiones para ejercer la evaluación formativa. Aunque las bondades de prácticas como la planeación, el seguimiento y la retroalimentación en el aprendizaje son innegables, no hay duda de que hace falta conducir más investigaciones que orienten las decisiones en torno al uso de OG y PE como evidencias de desempeño e impulsores de mejores aprendizajes. Con base en esta necesidad científica educativa, se realiza el presente estudio.

 

MÉTODO

Diseño

Se optó por trabajar un estudio de tipo exploratorio. Se colectó información para determinar preferencias, prácticas e intereses de un grupo de personas (Gay, Mils & Airasian, 2009). Se decidió recurrir al uso de métodos mixtos (mixed-methods) dada la necesidad de analizar datos cuantitativos y cualitativos para realizar una mejor indagación del fenómeno a estudiar (Creswell & Plano, 2007; Johnson & Owuengbuzie, 2004).

Participantes

Los participantes fueron estudiantes de posgrado inscritos en la materia denominada Evaluación del aprendizaje, la cual es una de las diez materias que forman el plan de estudios de los programas de maestría en Educación. Un total de 198 estudiantes participaron en esta materia impartida entre junio y julio de 2011. El proceso de agrupamiento de los estudiantes para trabajar en equipos se realizó por áreas disciplinarias y nivel educativo en el que los participantes laboran como docentes. Se integraron 40 equipos en total. De ahí se tomó una muestra de 20 equipos, compuesta por 102 estudiantes.

Materiales

Se analizaron una serie de productos que los estudiantes realizaron durante el periodo de estudios del curso: 20 tablas de especificaciones en las que formularon la planeación de la evaluación formativa iniciada por objetivos de aprendizaje planteados por los equipos de trabajo. Además, se revisaron 60 justificaciones desarrolladas en prosa para argumentar las decisiones tomadas por cada equipo sobre las actividades relacionadas con la evaluación formativa y la solicitud de determinados OG o PE.

Procedimiento

Se ingresó a los espacios electrónicos en la plataforma educativa, donde los equipos seleccionados colocaron sus tareas una vez concluidos los procesos de planeación y toma de decisiones. Se recolectaron las tablas de especificaciones, así como documentos en los que se habían emitido las justificaciones para la solicitud de ciertos OG o PE, correspondientes a los objetivos de aprendizaje planteados. Se realizó un análisis de frecuencias que permitió ver la correspondencia entre el nivel de los objetivos de aprendizaje de acuerdo con los niveles taxonómicos (Marzano & Kendall, 2007) para determinar su nivel de complejidad. Además, se analizaron los textos que contenían las justificaciones que respaldaron las decisiones tomadas sobre la elección de los OG y PE.

En cuanto al tratamiento de los datos, se trabajó en dos sentidos: se cuantificaron los objetivos de aprendizaje en torno a los niveles de procesamiento y dominios del conocimiento para proceder a clasificarlos en objetivos de nivel básico o complejo. Posteriormente, se relacionaron estos objetivos con las decisiones tomadas en cuanto a la elección de los OG o PE (sección 1 de resultados). Finalmente, se realizó un análisis cualitativo para reconocer las categorías relacionadas con el proceso de toma de decisiones sobre los OG y PE. Una vez obtenidas las categorías, se cuantificaron para obtener frecuencias de aparición en los textos (sección 2 de resultados).

 

RESULTADOS

Sección 1

De un total de 60 objetivos de aprendizaje planteados, 16 se ubicaron en el nivel de análisis y 16, en el de utilización de conocimiento, es decir, que 32 objetivos (54%) se colocaron en los niveles de procesamiento superiores. De los demás objetivos, 14 (23%) se situaron en el nivel de recuperación y 14, en el de comprensión (23%). La tabla 1 reúne los resultados en cuanto al nivel de procesamiento (NP) identificados en un total de 60 objetivos.

En cuanto a los dominios de conocimiento (DC) expresados también en los 60 objetivos, se encontró que 17 (28%) correspondieron al denominado generalizaciones, 13 (22%) a hechos, 8 (15%) a macroprocedmientos y 7 (12%) a reglas simples. A partir de estos resultados, se puede observar que los docentes se inclinaron más por plantear objetivos de alto nivel, lo cual implica procesos de análisis y utilización del conocimiento. Asimismo, se observa una tendencia marcada a trabajar con contenidos de tipo declarativo (generalizaciones, hechos) que procedimentales (macroprocedimientos y reglas simples).

Sección 2

En cuanto a la toma de decisiones sobre cuáles OG o PE solicitar con base en los 60 objetivos planteados, los equipos estudiados emitieron 57 elecciones; tres de ellas quedaron ausentes. De estas 57 elecciones, 31 (52%) se refirieron a algún tipo de organizador gráfico y 26 (43%), a algún producto escrito. De las 57 elecciones, se resume que los docentes eligieron un total de 14 elementos entre OG y PE.

La tabla 2 contiene las elecciones de OG o PE relacionadas con los objetivos de aprendizaje planteados. Además, se presentan los resultados derivados del análisis cualitativo realizado para identificar los aspectos comúnmente establecidos para justificar la elección de OG o PE.

Al contrastar las decisiones tomadas con los objetivos de aprendizaje según su ubicación taxonómica, destaca lo siguiente: de los 14 tipos de producto, la elección de 11 (78%) de ellos sí guardan correspondencia con lo que los objetivos de aprendizaje demandan, en cuanto a sus niveles de pensamiento y naturaleza del contenido. Tal es el caso de la síntesis, el comentario, el mapa mental, el cuadro sinóptico, la crítica, el reporte de eventos, la tabla comparativa y el resumen. Sin embargo, se aprecian dificultades en la toma de decisiones sobre el uso del diagrama de Venn, el mapa conceptual y el ensayo.

En cuanto a la elección del diagrama de Venn, se advierte indecisión entre si es un organizador que favorece la comprensión o el análisis. Respecto al ensayo, se relaciona como un producto que requiere niveles de procesamiento de alto nivel, sobre todo para la utilización del conocimiento cuando se necesita propiamente para el nivel de análisis. Además, existe confusión entre el propósito del ensayo y la crítica. Lo mismo sucede con el mapa conceptual, el cual presentó una variedad notable acerca de la ubicación taxonómica indicada.

Otro aspecto que destaca es la distribución de frecuencias de los OG y PE en relación con los dominios de conocimiento. En la sección 1 se comentó que predominan los objetivos que hacen alusión al dominio de conocimiento llamado información, que contiene los subdominios hechos y generalizaciones (contenido declarativo). Al contrastarlo contra la cantidad de OG y PE, se advierte que los PE constituyen 57% del total, lo cual coincide con la tendencia en la emisión de objetivos.

Respecto a las justificaciones para la elección de los OG y PE, la tabla 3 reúne los factores comunes que se identificaron a partir de un análisis de categorías. Se muestran los OG y PE más recurrentes: ensayo, proyecto, cuadro sinóptico y mapa conceptual.

Este análisis logró su cometido porque se identificaron algunas de las explicaciones que los docentes emiten para decidir entre un organizador o producto al reflexionar sobre los objetivos de aprendizaje. Las 60 justificaciones presentadas por los equipos fueron, en general, exhaustivas en cuanto a las características de los OG y PE. Es pertinente resaltar que el mapa conceptual fue al organizador que más variedad de características se le adjudicaron, las cuales no necesariamente son características de este organizador, como aplicación del conocimiento, expresión escrita, evaluación y comprensión. Otro aspecto que llamó la atención fue la omisión de la característica denominada comprensión para los proyectos. En este caso, las características se inclinaron más hacia el diseño/ planificación y su orientación al logro de las metas.

 

CONCLUSIONES

A partir del estudio, se puede inferir que el diseño del curso permitió orientar el trabajo de los docentes en cuanto a la toma de decisiones relacionadas con las prácticas de evaluación formativa. Contar con contenidos teóricos y aspectos prácticos, además del acompañamiento en línea por parte del equipo docente, hizo posible la planeación del proceso de evaluación traducido en la emisión de objetivos de aprendizaje, determinación de actividades y soporte con base en justificaciones sobre el uso de determinados OG y PE, resaltando sus características e implicaciones en los procesos de aprendizaje. Se pueda afirmar que los elementos teórico-prácticos y la metodología de trabajo en equipo fueron un soporte importante en el desarrollo de dichas tareas a cargo de aprendices adultos (Knowles, 1970). Una prueba de esto puede considerarse el cumplimiento casi total de las tareas revisadas de los 20 casos elegidos al azar y que, además, no se hallaron reportes de conflictos que impidieran el trabajo colaborativo.

Los objetivos de aprendizaje planteados se ubicaron, en su mayoría, en los primeros niveles (recuperación y comprensión). Esto coincide con lo que Gallardo Córdova y Valenzuela González (en prensa) encontraron. Al parecer, existe una tendencia a trabajar en los niveles taxonómicos iniciales o básicos y dejar un poco de lado los complejos que demandan mayor esfuerzo.

En cuanto a los resultados sobre la toma de decisiones, ante el reto de determinar procesos de evaluación formativa en el aula, se puede inferir que, en su mayoría, las decisiones emitidas fueron apropiadas para los objetivos planteados. Una posible razón que respaldó la buena toma de decisiones pudo haber sido la aproximación sistemática que se realizó al estudio de la nueva taxonomía para entender mejor la esencia de los objetivos de aprendizaje (Marzano & Kendall, 2007). Esto se refleja en decisiones sobre el uso de proyectos, mapas mentales, cuadros sinópticos y comentarios, los cuales se ubicaron en niveles taxonómicos que exigen el trabajo con dichos organizadores y productos. Específicamente, en el mapa mental, se encontraron algunos aspectos similares a los que hallaron Mazzarela y Monsanto (2009) en cuanto que los docentes coinciden en que este tipo de organizador favorece la comprensión.

Otro aspecto a remarcar versa sobre los OG y PE como el ensayo, el mapa conceptual y el proyecto. La frecuencia de solicitud contradice un tanto el hecho de que estos productos demandan procesos de pensamiento más elevados. Al respecto, se halló algo interesante sobre el uso de mapas conceptuales. Los resultados reflejan que es un organizador gráfico cuya demanda está justificada en ideas que presentan cierta confusión sobre las características que reúne. Por lo anterior, sería pertinente conocer más sobre la actual utilización del mapa conceptual, en cuanto a la frecuencia de uso, metodologías para enseñar a realizarlos, habilidades docentes para diseñarlos como apoyos didácticos, entre los principales. Lo anterior permitiría comprender mejor lo que sucede alrededor de este organizador que se sabe es popular en las prácticas de evaluación formativa.

Los investigadores estiman que este estudio exploratorio puede contribuir a un mejor conocimiento de los procesos relacionados con la evaluación en el aula. Asimismo, es pertinente profundizar en el estudio de la integración de materias concernientes a la preparación de docentes en cuanto a evaluación del aprendizaje se refiere, y dejar, así, poco espacio al azar o a la intuición sobre la elección de actividades que se enfocan a favorecer el aprendizaje.

Por supuesto, surgieron limitantes en este estudio, ya que se llevó a cabo con docentes de diferentes niveles educativos y con intereses diversos en temáticas relacionadas con las disciplinas en que trabajan. Así, sería pertinente continuar con investigaciones similares en marcos disciplinarios definidos (español, matemáticas) o por niveles educativos (básica, media superior). De igual modo, sería ideal indagar sobre procesos de retroalimentación a partir del uso de estos organizadores o productos, para estimar con mayor precisión el impacto de la toma de decisiones en el proceso de aprendizaje.

 

REFERENCIAS BIBLIOGRÁFICAS

Aworuwa, B. & Nkoge, B. (2007). The New Taxonomy of Educational Objectives and Implications for Designing Instruction for Distance Learning Delivery. Proceedings of World Conference on E-Learning in Corporate, Government, Healthcare, and Higher Education, 1394-1398. Quebec, Canada. Recuperado de http://www.editlib.org/p/26543        [ Links ]

Bloom, B., Hastings, J. & Madaus, G. (1971). Handbook on Formative and Summative Evaluation of Student Learning. New York: McGraw-Hill.         [ Links ]

Boyd, B.L. (2001). Formative classroom assessment: Learner focused. The Agricultural Education Magazine, 73 (5), 18 -19        [ Links ]

Caballero Hernández-Pizarro, M., Escobar Fernández, M. y Ramos Alia, J. (2006). Utilización del mapa mental como herramienta de ayuda para la toma de decisiones vocacionales. Revista Complutense de Educación, 17(1), 11-28.         [ Links ]

Campos Arenas, A. (2005). Mapas conceptuales, mapas mentales y otras formas de representación del conocimiento. Lima, Perú: Magisterio.         [ Links ]

Cárdenas Lobo, I. (2002). Mapas conceptuales y la estructuración del saber. Una experiencia en el área de educación para el trabajo. Educere, 6 (017), 9-19.         [ Links ]

Cerda Gutiérrez, H. (2000). La evaluación como experiencia total. Logros, objetivos, procesos, experiencias y desempeño. Bogotá, Colombia: Magisterio.         [ Links ]

Chadwick, C. y Rivera, N. (1997). Evaluación formativa para el docente. Barcelona, España: Paidós.         [ Links ]

Chen, B., Hirumi, A. & Zhang, N. (2007). Investigating the use of advance organizers as an instructional strategy for web-based distance education. The Quaterly Review of Distance Education, 8 (3), 223-231.         [ Links ]

Creswell, J. & Plano, V. (2007). Designing and conducting mixed methods research. Thousand Oaks, CA, EUA: SAGE.         [ Links ]

Johnson, R. & Onwuegbuzie, A. (2004). Mixed methods research: A research paradigm whose time has come. Educational Researcher, 33 (7), 14-26.         [ Links ]

Crooks, T. (1988). The impact of classroom evaluation practices on students. Review of Educational Research, 85 (4), 438-481. Recuperado de http://rer.sagepub.com/content/58/4/438.abstract        [ Links ]

Díaz-Barriga Arceo, F. y Hernández Rojas, G. (2002). Estrategias docentes para un aprendizaje significativo. Una interpretación constructivista. Distrito Federal, México: McGraw-Hill.         [ Links ]

Fuentes, O. (2009, agosto). La Reforma Integral de la Educación Básica (RIEB) y sus nuevos libros de texto. La jornada, compilación educación y cambio. Recuperado de http://www.exposicionesvirtuales.com/so_images/3149/DEBATELIBROSDETEXTO2009.pdf        [ Links ]

Gallardo Córdova, K. y Gil Rendón, M. (2011). Incorporación de la nueva taxonomía como referente para el diseño de herramientas de evaluación del aprendizaje conducida en una materia de posgrado en entornos virtuales. Memorias del XI Congreso Nacional de Investigación Educativa. Distrito Federal, México.         [ Links ]

Gallardo Córdova, K. y Valenzuela González, J. (en prensa). Desarrollo de instrumentos de evaluación de rendimiento académico con base en la taxonomía de Marzano y Kendall.         [ Links ]

Gay, L., Mills, G. y Airasain, P. (2009). Educational Research: competencies for analysis and application (9a.ed.). New Jersey, Estados Unidos: Pearson.         [ Links ]

Goel S. (2006). Competency Focused Engineering Education with Reference to IT Related Disciplines: Is the Indian System Ready for Transformation? Journal of Information Technology Education, 5 (27), 27-52.         [ Links ]

Hattie, J & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77 (1), 81-112. DOI: 10.3102/003465430298487.         [ Links ]

Instituto Nacional de Evaluación Educativa (2005). Hacia un nuevo paradigma para la evaluación educativa. La perspectiva del INEE. Recuperado de http://www.inee.edu.mx/images/stories/Publicaciones/Documentos_oficiales/2005/paradigma/paradigma.pdf        [ Links ]

Knowles, M. (1970). The modern practice of adult education. Andragogy versus pedagogy. New York, EUA: The Association Press.         [ Links ]

López Pastor, V.M.(2006). El papel de la evaluación formativa en el proceso de convergencia hacia el E.E.E.S.: Análisis del estado de la cuestión y presentación de un sistema de intervención. Revista Interuniversitaria de Formación del Profesorado, 20(3), 93-119.         [ Links ]

Martínez Rizo, F. (2009). Evaluación formativa en aula y evaluación a gran escala: hacia un sistema más equilibrado. Revista Electrónica de Investigación Educativa, 11 (2). Recuperado de http://redie.uabc.mx/vol11no2/contenido-mtzrizo2.html        [ Links ]

Marzano R. & Kendall, J. (2007). The new taxonomy of educational objectives. Thousand Oaks, California, EUA: Corwnin Press.         [ Links ]

Mazzarella, C. y Monsanto, R. (2009). Uso de mapas mentales en la construcción de un concepto actualizado de ciencia. Revista de Investigación, 33 (66), 95-118. Recuperado de http://www2.scielo.org.ve/scielo.php?script=sci_arttext&pid=S1010-29142009000100006&lng=es&nrm=is        [ Links ]

Moreno Olivos, T. (2002). Cultura profesional del docente y evaluación del alumnado. Perfiles Educativos, 24 (95), 23-36.         [ Links ]

Näsström, G. & Henriksson, W. (2008). Aligment of standards and assessment: A theoretical and empirical study of methods for alignment. Electronic Journal of Research in Education Psychology, 6(3), 667-690. Recuperado de: http://www.investigacion-psicopedagogica.org/revista/articulos/16/english/Art_16_216.pdf        [ Links ]

Nicol, D. & Macfarlane-Dick, D. (2006). Formative assessment and self-regulated learning: a model and seven principles of good feedback practice. Studies in Higher Education, 31(2), 199-218.         [ Links ]

Perrenoud, P. (2001). La formación de docentes del siglo XXI. Revista de Tecnología Educativa 14 (3), 503-523. Recuperado de http://www.unige.ch/fapse/SSE/teachers/perrenoud/php_main/php_2001/2001_36.html        [ Links ]

Quesada Castillo, R. (2006). Evaluación del aprendizaje en la educación a distancia "en linea". Revista de Educación a Distancia, 5 (6), 1-15. Recuperado de http://www.um.es/ead/red/M6/quesada.pdf        [ Links ]

Rebich, S. & Gautier, C. (2005). Concept mapping to reveal prior knowledge and conceptual change in a mock summit course on global climate change. Journal of Geoscience Education, 53 (4), 355-365.         [ Links ]

Romero, E. y Rodríguez, Y. (2006). Evaluación formativa durante la práctica intensiva de docentes en educación integral. Revista Venezolana de Ciencias Sociales, 10 (001), 256-268. Recuperado de http://redalyc.uaemex.mx/src/inicio/ArtPdfRed.jsp?iCve=30910115&iCveNum=5798        [ Links ]

Sadler, D. (1998). Formative assessment. Revisiting the territory. Assessment in Education, 5 (1), 77-84.         [ Links ]

Shepard, L. (2000). The role of assessment in a learning culture. Educational Researcher, 29 (7), 4-14. Recuperado de http://www.ied.edu.hk/obl/files/The%20role%20of%20assessment%20in%20a%20learning%20culture.pdf        [ Links ]

Stiggins, R. (2008). Assessment manifesto. A call for the development of based assessment system. Princeton, New Jersey: Educational Testing Systems.         [ Links ]

Wiggins, G. (1998). Educative assessment. Designing assessment to inform and improve student performance. San Francisco, California: Jossey-Bass Publisher.         [ Links ]

Wolff, L. (2007). Los costos de las evaluaciones en América Latina. Programa de Promoción de la Reforma Educativa en América Latina y el Caribe. Recuperado de http://www.oei.es/evaluacioneducativa/costos_evaluacion_aprendizajes_AL_wolff.pdf        [ Links ]

Evaluar para mejorar: sistema de evaluación externa para escuelas de bajo logro académico. Tecnológico de Monterrey. Recuperado de http://www.tecvirtual.com.mx/convenio/tabasco/homedoc.htm        [ Links ]

Ministerio de Educación de Colombia. Campus virtual. Recuperado de http://aplicaciones.colombiaaprende.edu.co/campus_virtual/        [ Links ]

Ministerio de Educación del Perú. Programa Perú Educa. Recuperado de http://www.perueduca.edu.pe/web/visitante/docentes        [ Links ]

Plan Nacional de Educación 1995-2000. Recuperado de http://info4.juridicas.unam.mx/ijure/nrm/1/331/72.htm?s=iste        [ Links ]

Secretaria de Educación Pública. Área para docentes. Recuperado de http://www.sep.gob.mx/swb/sep1/docentes        [ Links ]

Secretaria de Educación Pública. Catálogo Nacional de Formación Continua y Superación Profesional para Maestros de Educación Básica en Servicio versión 2010-2011. Recuperado de http://www.snteseccion19.org.mx/wp-content/uploads/2011/08/CatalogoNacional-23Ago111.pdf        [ Links ]

Secretaria de Educación Pública. Comunicado de prensa 060 sobre Catálogo Nacional de Formación Continua y Superación Profesional para Maestros de Educación Básica en Servicio versión 2010-2011. Recuperado de http://www.sep.gob.mx/wb/sep1/C0600510        [ Links ]

Secretaria de Educación Pública. Reforma Integral de la Educación Básica. Recuperado de http://basica.sep.gob.mx/reformaintegral/sitio/index.php?act=rieb        [ Links ]

Universidad Virtual del Tecnológico de Monterrey. Recuperado de www.tecvirtual.itesm.mx        [ Links ]

 

NOTA

¹* Agradecemos el apoyo brindado por la Academia Mexicana de Ciencias para la formación de jóvenes investigadores y a la doctora María Soledad Ramírez Montoya, directora de la cátedra en Innovación en Tecnología y Educación de la Universidad Virtual del Tecnológico de Monterrey.