nueva página del texto (beta)
Español (pdf)
Artículo en XML
Referencias del artículo
Traducción automática
Enviar artículo por email
Citado por SciELO 
Similares en
SciELO 
Permalink
Introducción
En la actualidad, la educación en general y la universitaria en particular constituyen una de las herramientas fundamentales para mejorar las condiciones de la sociedad (Calderón et al., 2017; Organización de las Naciones Unidas [ONU], 13 de diciembre de 2017), ya que contribuyen a la preparación no solo de ciudadanos, sino también de profesionales y científicos que potencian el desarrollo de las ciencias y las humanidades. Estos profesionales, de hecho, deben estar capacitados para proponer soluciones que respondan a los cambios sociales, políticos, económicos, ideológicos y culturales que ocurren en el mundo.
Debido a estas trasformaciones constantes, las instituciones de educación superior deben adaptarse a las nuevas tendencias para ser más efectivas y eficientes, como señala Villalba (2017), quien destaca el aumento de la exigencia en la búsqueda de calidad en los programas académicos en los últimos años. En concordancia con estas exigencias, el Tecnológico Nacional de México en Celaya, en su plan de desarrollo institucional 2020-2024, se ha comprometido a acreditar sus carreras a través del Consejo de Acreditación de la Enseñanza de la Ingeniería (CACEI) (15 de febrero de 2019) con el objetivo de consolidar la calidad y la competitividad de su oferta educativa. Esta acreditación implica someter los programas educativos a una evaluación periódica y permanente por parte de organismos externos como el CACEI, un proceso voluntario, pero fundamental para la mejora continua de los procesos educativos.
Según Durán (6 de junio de 2017), estos organismos están regulados por el Consejo para la Acreditación de la Educación Superior (COPAES) y tienen como objetivo otorgar reconocimiento formal y supervisar organizaciones para acreditar programas educativos de nivel superior. En el caso específico del CACEI, su marco 2018 establece 30 indicadores distribuidos en seis categorías para evaluar la calidad de los programas de ingeniería: 1) personal académico, 2) estudiantes, 3) plan de estudios, 4) valoración y mejora continua, 5) infraestructura y equipamiento, y 6) soporte institucional.
Ahora bien, en el caso del programa educativo (PE) de Ingeniería Mecatrónica del TecNM en Celaya, en diciembre de 2021 obtuvo su acreditación por tres años, sin embargo, dado que este proceso es parte de una actualización constante, es crucial realizar evaluaciones intermedias, especialmente en la categoría 4 (valoración y mejora continua). De hecho, en la próxima evaluación el objetivo es demostrar, mediante evidencias, que el PE ha permitido a los estudiantes adquirir las competencias necesarias de acuerdo con los atributos establecidos en el programa.
No obstante, dado que el PE actual no está completamente consolidado, en este proyecto se propone desarrollar una herramienta que facilite la recopilación de información a través de encuestas y rúbricas que permitan su análisis de forma automática. Además, se planea utilizar un dashboard para manejar los datos y gráficos, lo que facilitará el análisis y la toma de decisiones por parte de la academia del PE. Asimismo, se contempla la creación de una base de datos histórica que registre las evaluaciones semestrales de las materias predefinidas del PE para simplificar este proceso, dado que estas evaluaciones se llevan a cabo de manera regular.
La pregunta formulada para procurar cumplir con los anteriores propósitos fue la siguiente: ¿es posible medir los atributos de egreso mediante métodos semicuantitativos que faciliten su análisis y la toma de decisiones? Con el fin de responder a esta pregunta, se estableció el objetivo de desarrollar un modelo de evaluación de los atributos de egreso del PE de Ingeniería Mecatrónica del TecNM en Celaya. Esto se plantea como una propuesta de mejora continua para fortalecer las competencias que debe tener el egresado del programa. Igualmente, se formuló una hipótesis nula, la cual sugiere que los resultados de las evaluaciones realizadas por los profesores hacia los alumnos y la autoevaluación de los alumnos no son diferentes.
Antecedentes
En los últimos años, ha habido un aumento en el número de instituciones de educación pública superior que han llevado a cabo la evaluación de atributos de CACEI con la finalidad común de mejorar la calidad educativa para formar profesionales capaces de desenvolverse en un entorno globalizado, de acuerdo con los planes de estudio de las carreras de ingeniería (Murrieta, 2019). Un caso particular es el de la Universidad Autónoma de San Luis Potosí (UASLP), donde Espericueta et al. (2019) llevaron a cabo la evaluación de atributos de egreso para la carrera de Ingeniería Mecánica Administrativa.
Para realizar este proceso, se seleccionaron tres materias obligatorias (Proyecto integrador IMA, Sistemas de gestión de calidad y mejora continua y Diseño mecánico) y dos optativas (Tópicos avanzados de fabricación y Seminario). Además, se implementaron actividades de aprendizaje por materia con el fin de alcanzar los atributos deseados, las cuales consistieron en un examen individual en la plataforma Didactic, ejercicios de técnica PBL (Project Based Learning), trabajo colaborativo a través del software Kahoot y un taller de DMAIC.
El sistema de evaluación se diseñó para obtener valores entre 1 y 4, que se interpretan como nulo, insuficiente, suficiente y sobresaliente, respectivamente. El propósito establecido era que el 85 % de los alumnos alcanzara valores entre 3 y 4. Después de completar las evaluaciones, se llevó a cabo un análisis de los resultados mediante una ecuación de regresión, que reveló un promedio del 86 % en las medias de los atributos de egreso. Esto indica que los datos recabados en el proceso de evaluación fueron satisfactorios.
En otro caso, en la carrera de Ingeniería Industrial y de Sistemas del TecNM en Sonora, se utilizó el lenguaje de programación Visual Basic para aplicaciones junto con fórmulas y funciones para la generación de tablas y gráficos dinámicos en formato de dashboard. Además, mediante formularios de Google se evaluaron los atributos e indicadores establecidos específicamente para los estudiantes de la carrera. Tras evaluar a un total de 423 estudiantes se encontró, en promedio y a través de una evaluación por cohortes, que los atributos se cumplen de manera parcial. Asimismo, se observó que de los 7 atributos declarados ante CACEI, los números 4, 6 y 7 obtuvieron un mejor desempeño que los atributos 1, 2 y 3. Según los evaluadores, esto sugiere que los estudiantes han desarrollado mejor las competencias genéricas transversales que las habilidades críticas para el programa en los primeros semestres. Aunado a ello, se identificó que la mayor debilidad se encuentra en el atributo 1, relacionado con la solución de problemas, lo que indica que a los alumnos de los primeros semestres les resulta difícil identificar variables, aplicar modelos de referencia y/o integrar conocimientos para formular y resolver problemas (Carballo y Arellano, 2019).
Por otro lado, Soto et al. (2022) aplicaron un proceso de evaluación a distancia de los atributos de egreso en el TecNM en Celaya, específicamente en la carrera de Ciencias Económico Administrativas (CEA). El estudio se enfocó en la evaluación del atributo 3 del CACEI en la materia Finanzas en las Organizaciones. Utilizando una escala de 1 a 4 (con la descripción en escala de Likert de deficiente, inicial, medio y avanzado), se evaluaron los niveles de logro del atributo. Los valores promedio obtenidos por materia fueron los siguientes: 0 % en deficiente, 1.8 % en inicial, 18.4 % en medio y 79.8 % en nivel avanzado, partiendo de un nivel meta por alcanzar de al menos un 70 %.
Después de presentar los resultados ante el Consejo Consultivo y la academia del CEA, se concluyó que los datos estaban a la altura de la meta propuesta por la academia. Como propuestas, se sugirió continuar trabajando en la mejora del proceso y la implementación de nuevas propuestas en el plan de estudios, así como brindar capacitación constante a todos los involucrados en el proceso de acreditación.
En concordancia con lo anterior, Mora (2004) señala que la evaluación constante en cualquier institución debe ser un proceso fundamental que puede ser utilizado de diversas maneras según los propósitos u objetivos planteados, tales como control, medición y valoración del objetivo. Asimismo, para Lara (13 de septiembre de 2018) la función de la evaluación es proporcionar información sobre el rendimiento de los programas al detectar brechas entre la realidad y lo ideal, así como fortalezas y debilidades para que los tomadores de decisiones puedan proponer mejoras en la gestión.
Para que la evaluación sea exitosa se debe efectuar mediante la recolección sistemática de datos centrados en indicadores, los cuales permiten señalar el grado de cumplimiento y monitorear o dar seguimiento a objetivos y metas (Castaño et al., 2006). Según Cecchini (2005), estos indicadores pueden ser de hechos y percepciones, cuantitativos o cualitativos, simples o compuestos. En este sentido, los sistemas informáticos de apoyo a la toma de decisiones son herramientas muy útiles para el cálculo y visualización de estos indicadores. Por ello, su diseño debe garantizar la generación de informes dinámicos, flexibles e interactivos de manera rápida, es decir, con tiempos de respuesta cortos para analizar grandes volúmenes de información. Además, deben permitir la generación de información histórica para comparar los datos actuales con los de periodos anteriores para facilitar la toma de decisiones (Tundidor et al., 2010).
En la actualidad, es crucial que la información requerida para mantener el nivel de acreditación de un programa educativo se proporcione de manera automatizada mediante herramientas que estandaricen esta tarea y que se utilicen uniformemente en formatos y criterios de evaluación de los atributos de egreso.
El presente trabajo, por tanto, se justifica porque busca alcanzar al menos una de las metas establecidas en el programa de desarrollo institucional del TecNM en Celaya, es decir, “incrementar y mantener el número de programas académicos de licenciatura reconocidos a nivel nacional e internacional por su calidad a través de la acreditación”. Para el desarrollo del proyecto se han considerado los siguientes objetivos:
Objetivo general
Desarrollar un modelo para evaluar los atributos de egreso del programa educativo de Mecatrónica como una propuesta de mejora continua para el fortalecimiento de los programas de licenciatura del TecNM en Celaya.
Objetivos específicos
Realizar una encuesta de salida a los alumnos del programa en las materias preestablecidas y de acuerdo con los atributos de egreso que impacten en la rúbrica elaborada por parte de la academia.
Elaborar una herramienta para que el profesor evalúe a los alumnos de acuerdo con una rúbrica establecida por parte de la academia.
Diseñar una base de datos para guardar información histórica del análisis de la encuesta de autoevaluación a los alumnos.
Crear un dashboard para comparar la información obtenida tanto de los alumnos como de los maestros.
Analizar mediante estadística descriptiva y herramientas computacionales la información recabada para su posterior discusión y toma de decisiones.
La hipótesis que se estableció para este trabajo fue la siguiente:
Hipótesis nula: Los resultados producto de las evaluaciones de los maestros hacia los alumnos y la propia autoevaluación de los alumnos no son diferentes.
Metodología
En el trabajo desarrollado, se empleó la técnica de investigación documental exploratoria para revisar el estado de la cuestión y buscar información en diversos espacios alternativos. Esto incluyó la consulta de documentos del CAEI para obtener los criterios de acreditación de carreras, la revisión de archivos de acreditación del programa de Mecatrónica, así como la exploración de estudios realizados en otras instituciones que han pasado por procesos similares de acreditación. Para llevar a cabo la evaluación de los atributos, se siguió una metodología basada en seis fases, como se muestra en la figura 1.
Asimismo, se desarrolló una encuesta para autoevaluación en escala de Likert con el fin de valorar los atributos del CACEI en tres niveles: introductorio, medio y avanzado. En cada caso, se establecieron las características que el estudiante debe tener para considerar el nivel de logro del atributo en tres niveles de salida: no alcanza, alcanza parcialmente y alcanza. Además, para cada ítem planteado se identificaron los indicadores asociados a cada atributo, medidos como el porcentaje de alumnos que logran o superan cada atributo definido. Con estos elementos de apoyo, se propuso un esquema de evaluación para el Departamento de Ingeniería Mecatrónica del Tecnológico Nacional de México en Celaya.
La encuesta se aplicó en línea a través de cuestionarios en Gmail y se difundió a los correos institucionales de alumnos y profesores. Además, se utilizó equipo informático y un sistema de almacenamiento a través del Drive departamental. Para determinar el tamaño de la muestra, se estimó una población objetivo de 630 alumnos, considerando las 21 materias seleccionadas con un promedio de 30 alumnos por materia. Sin embargo, solo 256 alumnos respondieron a la encuesta. A pesar de que únicamente el 41 % de la población objetivo participó, se consideró que esta cantidad constituye una cantidad significativa según el criterio de muestreo no probabilístico intencional a juicio del experto o facilitador (Hernández y Mendoza, 2018).
Metodología de análisis
En términos generales, la metodología empleada para evaluar los atributos de egreso del CACEI consiste en seleccionar materias del programa de Ingeniería Mecatrónica, y al finalizar el semestre aplicar encuestas a los estudiantes. Además, los maestros evalúan los atributos con base en las rúbricas establecidas para cada materia.
En el diagrama mostrado en la figura 2 se presenta la idea final de evaluación de ambas partes: del maestro hacia el alumno y la autoevaluación realizada por el propio alumno. La diferencia entre estas proporcionó la información necesaria para determinar si existe concordancia entre la evaluación del maestro y la percepción de los alumnos.
En la tabla 1 se muestra la relación de los atributos de egreso y las materias del plan de estudios de acuerdo con el consenso realizado en la academia de Ingeniería Mecatrónica.
Tabla 1 Relación de atributos de egreso por materia evaluada
| Atributo de egreso | Nivel | Materias por evaluar |
|---|---|---|
| AE1 | I M A |
Estática Dinámica de sistemas Robótica |
| AE2 | I M A |
Diseño de elementos mecánicos Diseño asistido por computadora Electrónica de potencia aplicada |
| AE3 | I M A |
Análisis de circuitos eléctricos Instrumentación Electrónica de potencia aplicada |
| AE4 | I M A |
Fundamentos de investigación Circuitos hidráulicos y neumáticos Taller de investigación II |
| AE5 | I M A |
Taller de ética Sistemas inteligentes Taller de investigación I |
| AE6 | I M A |
Electrónica digital Programación avanzada Protocolos de comunicación industrial |
| AE7 | I M A |
Electrónica analógica Microcontroladores Controladores lógicos programables |
Niveles: I = Introductorio M = Medio A = Avanzado
Fuente: Elaboración propia
En la tabla 2 se muestran los criterios definidos en academia y alineados a los atributos del CACEI, en donde se indica cuántos tiene cada uno de ellos y los detalles de cómo se evaluarían.
Tabla 2 Criterios de desempeño de los atributos de egreso del CACEI
Fuente: Academia de Mecatrónica
El instrumento de medición utilizó en la autoevaluación una ponderación de 1 a 4, asociada con un nivel de alcance mediante una escala de Likert según se muestra en la tabla 3.
Tabla 3 Ponderación del atributo en la escala de Likert
| Nivel de alcance | Escala 1 a 4 |
|---|---|
| Nunca | 1 |
| Casi nunca | 2 |
| Casi siempre | 3 |
| Siempre | 4 |
Fuente: Elaboración propia
La tabla 4 presenta los niveles obtenidos en función del promedio final, según las evaluaciones realizadas por los profesores y la autoevaluación de los alumnos. Estos niveles se utilizan para verificar el grado de dominio alcanzado por los estudiantes en relación con el atributo de egreso después de completar la materia. La tabla 4 muestra los niveles en función de los rangos.
Tabla 4 Promedio-nivel
| PROMEDIO | NIVEL |
|---|---|
| Menor de 1 | No alcanza |
| Entre 1 y 2.99 | Alcanza parcialmente |
| Mayor o igual de 3 | Alcanza |
Fuente: Elaboración propia
Después de considerar los acuerdos de la academia y la propuesta del coordinador del proceso de acreditación, se llegó a un consenso para evaluar solo un atributo por materia, con la excepción de Electrónica de Potencia Aplicada, donde se evaluarían dos atributos. La evaluación semestral de atributos a los alumnos de las materias seleccionadas se lleva a cabo actualmente en un Drive departamental compartido por los maestros, utilizando un formato de Excel. La figura 3 enseña un ejemplo del formato empleado por los maestros para evaluar el atributo en una de las materias a través de un archivo compartido en el Drive.
La tabla 5 que a continuación se muestra, presenta ejemplos de los cuestionarios de autoevaluación aplicados a los alumnos de la carrera de Ingeniería Mecatrónica para el atributo 1 en su nivel introductorio. Estos cuestionarios se estructuraron en tres dimensiones: la primera, destinada a recabar información general como nombre, género y semestre cursado por el alumno; la segunda, enfocada en los ítems relacionados con el nivel del atributo, y la tercera, compuesta por ítems de información genérica para determinar si los maestros están empleando las evaluaciones conforme al reglamento y entregando resultados de manera puntual, entre otros aspectos. La tabla 5 también muestra un ejemplo de los cuestionarios utilizados para la evaluación del atributo de egreso en sus tres niveles.
Tabla 5 Ejemplo de cuestionario del atributo de egreso 1 en su nivel introductorio
| ATRIBUTO DE EGRESO: AE1 | |||||
|---|---|---|---|---|---|
| Materia: Estática Nivel: Introductorio | |||||
| N.º | Pregunta | Siempre | Casi siempre | Casi nunca | Nunca |
| 1 | Reconoces la teoría involucrada en la solución de problemas y la aplicas adecuadamente para proponer alternativas de solución. | ||||
| 2 | Realizas desarrollos matemáticos de problemas claramente estructurados y comprendes la importancia de dicho planteamiento. | ||||
| 3 | Requieres ayuda para aplicar el principio físico que construye el desarrollo de un modelo matemático. | ||||
| 4 | Resuelves problemas de ingeniería que se encuentran claramente estructurados donde se investiga, elige y establecen las variables y parámetros que intervienen en el sistema. | ||||
| 5 | Utilizas una metodología para resolver problemas de ingeniería y planteas alternativas de solución. | ||||
| 6 | Aplicas herramientas de cómputo para simular sistemas. | ||||
| 7 | Requieres ayuda para obtener resultados a problemas de ingeniería. | ||||
| 8 | Validas los resultados al correlacionar los análisis teóricos y computacionales. | ||||
| 9 | Al correlacionar los análisis teóricos y computacionales explicas claramente el porqué de las similitudes o diferencias en los datos obtenidos. | ||||
Fuente: Elaboración propia
Cabe destacar que se prepararon cuestionarios similares para cada uno de los seis atributos de egreso restantes, según el formato presentado anteriormente. La evaluación por parte de los docentes se realizó mediante un archivo de Excel alojado en una carpeta compartida en el Drive destinado a los maestros de la academia de Ingeniería Mecatrónica. En este archivo, los maestros evaluaron a los alumnos con respecto al atributo de egreso correspondiente a su nivel en cada materia.
El dashboard desarrollado para este propósito se utiliza como una herramienta de gestión de la información para monitorear, analizar y visualizar de forma gráfica los indicadores clave de los atributos, así como las métricas y datos esenciales para realizar un seguimiento del alcance de los atributos de egreso. La finalidad de este dashboard es automatizar y estandarizar el proceso de evaluación tanto para los maestros como para los alumnos, y establecer un comparativo entre lo que enseñan los maestros y la percepción de lo que aprenden los alumnos a través de su autoevaluación del mismo atributo.
Asimismo, vale señalar que se han creado dashboards diferentes para los profesores y los alumnos, los cuales están ubicados y compartidos en el Drive de Google. Esto permitirá a los profesores calificar a los estudiantes directamente en cada atributo asignado por el CACEI. La figura 4 muestra una parte del dashboard con los botones básicos para que los docentes evalúen a sus alumnos en la materia y atributo de egreso correspondiente. Una ventaja significativa de este dashboard es que los maestros pueden evaluar a los alumnos de manera directa, utilizando la misma lista generada previamente en Excel o PDF desde el mismo Drive en el que se trabajó anteriormente.
Figura 4 Listado parcial del contenido de la interfaz gráfica del dashboard para la evaluación por parte de los maestros.
El dashboard cuenta con varias funciones importantes que permiten realizar y gestionar las evaluaciones de los atributos de manera eficiente. A continuación se describen estas funciones junto con los botones correspondientes y las acciones que realizan:
Activar atributos: Este botón permite seleccionar los atributos que se evaluarán en cada materia. Se pueden activar los atributos del 1 al 7 según las necesidades de la evaluación.
Evaluación: Al presionar este botón, se llevan a cabo las evaluaciones correspondientes de los atributos seleccionados en las materias específicas.
Traer lista en Excel: Esta función permite importar y descargar las listas de alumnos en formato Excel.
Traer lista en PDF: Con este botón se puede seleccionar las listas de alumnos en formato PDF.
Obtener promedios: Al activar esta función, se calculan los promedios por atributo y el promedio general de promedios.
Guardar datos: Este botón permite guardar la evaluación realizada, lo que facilita su uso en un dashboard y la creación de gráficas estadísticas correspondientes.
Limpiar datos: Esta función, opcional, permite limpiar los datos del dashboard para realizar otra evaluación o guardarlos para continuar en otro momento con la evaluación.
Se identifican otros campos importantes en la interfaz gráfica, como aquellos destinados al llenado del nombre del profesor, la materia, el grupo, el semestre y el periodo. El software, en su estructura base, ya incluye el tipo de atributo por evaluar una vez que se selecciona la materia, y mediante un botón se elige el criterio de evaluación correspondiente, que automáticamente incorpora la materia y el nivel de evaluación, ya sea introductorio, medio o avanzado. En el dashboard se puede observar el estado final de las evaluaciones, lo que destaca su interactividad y facilidad de uso.
El presente reporte incluye un ejemplo de los resultados obtenidos a través del dashboard, así como las gráficas generadas por esta herramienta. Una de las ventajas notables es la posibilidad de realizar evaluaciones directamente en el dashboard, incluso si no se han realizado previamente en el Drive, lo cual demuestra la intención futura de emplear exclusivamente el dashboard como plataforma de evaluación.
Para evaluar la confiabilidad del instrumento se aplicó la prueba alfa de Cronbach (Hernández y Mendoza, 2018), que produce un coeficiente entre 0 y 1 (se recomienda que sea superior a 0.8). La prueba realizada en SPSS arrojó un valor de 0.831, lo que indica una alta confiabilidad de los cuestionarios y garantiza la fiabilidad de la información recopilada, lista para ser utilizada en la toma de decisiones. Además, la validación del instrumento se reforzó mediante consultas con especialistas en el tema, incluyendo a dos coordinadores del proceso de acreditación del Departamento de Mecatrónica y al coordinador institucional de dicho proceso.
En la figura 5 se muestra una parte de la interfaz gráfica del dashboard utilizado para la evaluación de los alumnos por parte de los maestros.
Resultados
Para efectuar las evaluaciones utilizando el dashboard, se accede a la aplicación destinada a los maestros, donde se halla la siguiente interfaz con estos botones como se muestra en la figura 6.
A continuación, se proporciona una breve descripción de cada uno de los botones presentes en la figura 6:
Obtener evaluaciones: Permite importar archivos del Drive que contienen evaluaciones realizadas por los maestros. También permite realizar nuevas evaluaciones directamente en el dashboard para capturar datos.
Juntar información: Después de importar los datos de forma exitosa, se utiliza este botón para combinar la información. Esto es importante hacerlo para que los datos recolectados no se segmenten ni se alteren.
Crear tabla: Una vez que se ha reunido la información, se utiliza este botón para generar tablas estadísticas donde se mostrarán los promedios obtenidos en las evaluaciones.
Tabla de indicadores: Al presionar este botón se puede obtener información sobre cómo se están manejando los atributos del CACEI dentro de las materias. Esto permite identificar áreas de mejora en el desempeño académico de los estudiantes.
Inicialmente, se importan los datos del profesor y los alumnos ya evaluados para tener toda la información necesaria en el archivo de la aplicación. Posteriormente, se pueden observar las gráficas de las evaluaciones en las figuras 7, 8 y 9.
La tabla 6 muestra etiquetas de valores sobre el alcance del atributo de egreso en los niveles de alcanza, alcanza parcialmente y no alcanza (enero-junio 2023).
Tabla 6 Etiquetas de valores que alcanzan, alcanzan parcialmente y no alcanzan (ene-jun 2023)
| Nivel de alcance | Etiquetas en enero-junio 2023 | % del logro del atributo de egreso | Clasificación de si se alcanza o no el atributo de egreso |
|---|---|---|---|
| Alcanza | 340 | 63.32 | 92.74 % alcanza |
| Alcanza parcialmente | 158 | 29.42 | |
| No alcanza | 39 | 7.26 | 7.26 % no alcanza |
| Total | 537 | 100 | 100 |
Fuente: Elaboración propia
De acuerdo con la Tabla 6, se puede observar que de las evaluaciones realizadas durante enero-junio de 2023, el 63.32 % de los estudiantes alcanzó el nivel solicitado por el atributo de egreso, mientras que el 29.42 % lo alcanzó parcialmente y el 7.26 % no lo alcanzó. En términos de un alcance mínimo del atributo de egreso, estos resultados se pueden interpretar como que el 92.74 % de los estudiantes lo alcanzan y el 7.26 % no.
Una vez recopilados los datos de todas las materias evaluadas por docentes y alumnos, se procedió a establecer un comparativo entre ellos para verificar la hipótesis propuesta. Los datos se introdujeron directamente en el software SPSS para realizar un análisis estadístico debido a su facilidad en el manejo de los datos y la generación de gráficos (en este trabajo se utilizó el software SPSS versión 22 y AMOS V20). A continuación, se presenta un ejemplo de la evaluación estadística descriptiva de la materia Análisis de Circuitos Eléctricos (ADCE) incluida en la evaluación.
Asimismo, se proporciona un resumen de resultados que incluye estadísticas descriptivas, prueba de homogeneidad de varianzas, tabla de ANOVA y gráfica de medias. La tabla de descriptivos permite observar el comportamiento de las evaluaciones tanto de los alumnos como de los maestros, lo cual muestra una mínima diferencia entre ambos grupos como se muestra en la tabla 7.
Tabla 7 Descriptivos de la materia ADEC con 95 % del intervalo de confianza.
| Descriptivos Evaluación ADCE | ||||||||
|---|---|---|---|---|---|---|---|---|
| N.º | Media | Desviación estándar | Error estándar | 95 % del intervalo de confianza para la media | ||||
| Límite inferior | Límite superior | Mínimo | Máximo | |||||
| Maestros | 12 | 3.3500 | .78682 | .22714 | 2.8501 | 3.8499 | 2.20 | 4.00 |
| Alumnos | 12 | 3.0658 | .31590 | .09119 | 2.8651 | 3.2665 | 2.56 | 3.67 |
| Total | 24 | 3.2079 | .60405 | .12330 | 2.9528 | 3.4630 | 2.20 | 4.00 |
Fuente: Elaboración propia
En el caso de la prueba de homogenedidad de las varianzas, se explica que el valor de p de la prueba de Levene es superior a 0.05, por lo que indica que las varianzas no son significativamente diferentes entre sí. En otras palabras, se cumple el supuesto de homogeneidad de la varianza según se muestra en la tabla tabla 8.
Tabla 8 Prueba de Levene de homogeneidad de varianzas
| Evaluación ADCE | |||
|---|---|---|---|
| Estadístico de Levene | gl-1 | gl- 2 | Sig. |
| 12.958 | 1 | 22 | .07 |
Fuente: Elaboración propia
Por otro lado, la tabla 9 muestra una tabla de ANOVA para la evaluación de la materia en cuestión ADCE e indica que las medias entre grupos son iguales debido a que la F obtenida de los datos de la materia es 1.348 y el valor crítico de la tabla estadística es de 4.30, es decir, se confirma que las medias son iguales.
Tabla 9 Tabla de ANOVA (materia ADCE)
| EVALUACION ADCE | ||||||||
|---|---|---|---|---|---|---|---|---|
| Evaluación | Suma de cuadrados | gl | Media cuadrática | F | Sig | |||
| Entre grupos | (Combinado) | .485 | 1 | .485 | 1.348 | (Combinado) | .258 | |
| Término lineal | Contraste | .485 | 1 | .485 | Término lineal | Contraste | .258 | |
| Dentro de grupos | 7.908 | 22 | .359 | |||||
| Total | 8.392 | 23 | ||||||
Fuente: Elaboración propia
La gráfica de la figura 10 muestra el resultado final comparativo de medias obtenidas entre la evaluación realizada por los maestros y la autoevaluación de los alumnos.
Con base en la gráfica presentada en la figura 10, se puede concluir que no hay una diferencia sustancial en los valores medios, los cuales son 3.34 y 3.06, respectivamente. Esto respalda la validez de la hipótesis nula, que establece que no hay una diferencia significativa entre los valores obtenidos en las evaluaciones realizadas por los alumnos y los maestros con respecto a la evaluación de atributos.
Después de describir cómo se obtuvo la prueba de homogeneidad de las varianzas y la tabla ANOVA, en la tabla 10 se presenta un resumen de medias y valores críticos de todas las materias evaluadas. Solo se evaluaron 16 de las 21 materias propuestas debido a la falta de evaluación por parte de los maestros o a evaluaciones inconsistentes que no contribuyeron a la estadística del estudio.
Tabla 10 Resumen de medias y valores críticos obtenidos en SPSS de todas las materias evaluadas.
| Materias | EST | ADCE | CHYN | DAC | DS | DISC | DE | EA | ED | INS | MIC | PA | PCI | PLC | ROB | TI | TII |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| gl entre grupos | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 |
| gl dentro de grupos | 58 | 22 | 14 | 16 | 20 | 16 | 10 | 8 | 38 | 14 | 14 | 30 | 18 | 6 | 18 | 16 | 8 |
| Media cuadrática entre grupos | 0.432 | 0.485 | 0.092 | 0.938 | 0.289 | 0.247 | 0.19 | 0.006 | 0.127 | 0.018 | 0.263 | 3.713 | 1.568 | 0.045 | 0.409 | 1.105 | 0.404 |
| Media cuadrática dentro de grupos | 0.254 | 0.359 | 0.263 | 0.071 | 0.268 | 0.093 | 0.15 | 0.266 | 0.081 | 0.367 | 0.193 | 0.271 | 0.149 | 0.185 | 0.446 | 0.211 | 0.241 |
| Sig | 0.198 | 0.258 | 0.565 | 0.002 | 0.312 | 0.123 | 0.287 | 0.882 | 0.218 | 0.83 | 0.263 | 0.001 | 0.004 | 0.639 | 0.351 | 0.036 | 0.231 |
| F (datos) | 1.699 | 1.348 | 0.348 | 13.243 | 1.076 | 2.657 | 1.266 | 0.024 | 1.572 | 0.048 | 1.358 | 13.701 | 10.555 | 0.243 | 0.918 | 5.239 | 1.678 |
| valor crítico Tabla F (con α = 0.05) | 4 | 4.3 | 4.6 | 4.49 | 4.35 | 4.49 | 4.96 | 5.32 | 4.06 | 4.6 | 4.6 | 4.17 | 4.41 | 5.99 | 4.41 | 4.49 | 5.32 |
| Diferencia | 2.301 | 2.952 | 4.252 | -8.753 | 3.274 | 1.833 | 3.694 | 5.296 | 2.488 | 4.552 | 3.242 | -9.531 | -6.145 | 5.747 | 3.492 | -0.749 | 3.642 |
Fuente: Elaboración propia
En la tabla 10, el primer renglón muestra las materias evaluadas, mientras que los siguientes renglones enseñan los grados de libertad entre grupos, los grados de libertad dentro de grupos, la media cuadrática entre grupos, la media cuadrática dentro de grupos y el nivel de significancia. El valor F (1.348), obtenido de la tabla estadística ANOVA, y el valor crítico de la tabla F (4.32), indican que la diferencia entre estos dos últimos renglones. Además, el hecho de que el valor de F de la tabla sea mayor que el de ANOVA nos permite determinar si hay correlación entre las variables de la evaluación realizada por los maestros y la efectuada por los alumnos.
De la tabla 10 vista previamente, se observa que en 12 de las 16 materias evaluadas se registran valores positivos de la diferencia, mientras que en cuatro de ellas la diferencia es negativa. Esto indica que el 75 % de ellas tiene una proximidad de valores entre las evaluaciones realizadas por los maestros y la autoevaluación de los alumnos, lo que sugiere que los valores de la evaluación realizada por los maestros coinciden con la percepción de los alumnos sobre su propio desempeño.
Por otra parte, las posibles causas por las cuales el 25 % de las materias no coinciden con la evaluación podrían incluir lo siguiente:
Evaluaciones inconsistentes realizadas por los maestros. Es decir, no todos llevan a cabo la evaluación de manera uniforme o con los mismos criterios. De hecho, algunos docentes pueden no realizar la evaluación en el formato correspondiente.
La autoevaluación de los alumnos está influenciada en cierta medida por la forma en que son evaluados en su materia, independientemente del atributo de egreso que se está evaluando.
Discusión
Los resultados estadísticos obtenidos en este estudio muestran una coincidencia general en el alcance de los atributos de egreso por parte de los estudiantes de la carrera de Ingeniería Mecatrónica, cuando se comparan con estudios similares realizados en otras instituciones como la UASLP, el TecNM de Sonora y el TecNM en Celaya en el Departamento de Ciencias Económico Administrativas CEA. De hecho, se observó que en cada una de estas instituciones se alcanzaron los valores esperados del logro del atributo, con un promedio del 92.7 %, lo que refleja un cumplimiento satisfactorio de las metas propuestas en este trabajo.
Sin embargo, se destacan algunas diferencias significativas en la metodología utilizada para evaluar los atributos, así como en la depuración de los criterios para definir los ítems en las encuestas. También se observaron variaciones en la denominación de los atributos evaluados, con términos como introductorio, medio y avanzado en algunos casos, y se alcanza, se alcanza parcialmente o no se alcanza en otros. De hecho, la discrepancia más notable se halló en el método de evaluación de los atributos de egreso, pues en la UASLP se evaluó únicamente una materia, mientras que en el TecNM en Sonora se realizaron evaluaciones por cohorte, con un enfoque exclusivo en el impacto de estos atributos en las competencias de los alumnos. Por otro lado, en el TecNM en Celaya, en la carrera de CEA, se evaluó un atributo (AE3) en una materia que cual obtuvo un puntaje del 79.8 % en nivel avanzado. Contrastando con estos enfoques, en el presente trabajo se evaluaron los siete atributos de egreso en 16 materias, los cuales abarcaron los niveles introductorio, medio y avanzado, con un promedio de logro del atributo “alcanzado” del 92.7 % en todas las materias evaluadas, lo que se considera altamente satisfactorio.
Otra distinción de este estudio respecto a trabajos anteriores radica en el empleo de tablas dinámicas a través de un dashboard, así como en la comparación entre la autoevaluación de los alumnos y la evaluación realizada por los docentes en la misma materia. En tal sentido, este análisis estadístico reveló una mínima diferencia entre las medias, lo que respalda la hipótesis nula que sugiere que no existen diferencias significativas entre ambas percepciones. Este hallazgo es crucial, ya que demuestra una concordancia en la percepción entre lo que se enseña y lo que se aprende.
Por otro lado, dado que se ha alcanzado un límite en el uso de los criterios establecidos actualmente, es necesario ampliar la evaluación de los atributos en las materias seleccionadas. Esto implica evaluar no solo un atributo, sino los dos o tres que originalmente se plantearon en academia, con diferentes niveles de alcance. Además, cabe destacar que el uso del dashboard presenta desafíos, ya que requiere un mantenimiento continuo para su actualización y adaptación a las necesidades cambiantes del plan de estudios. Aun así, esta herramienta ofrece interesantes posibilidades en cuanto al manejo de bases de datos, la recopilación y evaluación de información en un solo archivo, así como la integración de datos históricos.
Conclusiones
Este trabajo ha logrado satisfactoriamente el alcance del objetivo general, ya que se ha desarrollado un modelo para la evaluación de los atributos de egreso del programa educativo de Ingeniería Mecatrónica, así como una propuesta de mejora continua que puede extenderse al resto de los programas del TecNM en Celaya. Para alcanzar dichos objetivos se llevaron a cabo diversas actividades que contribuyeron al éxito del proyecto, como la realización de una encuesta de salida a los alumnos sobre los atributos de egreso con impacto en la rúbrica elaborada por la academia, la implementación de un dashboard para que los profesores evalúen los atributos de egreso en las materias seleccionadas, la creación de una base de datos para almacenar información histórica del análisis de la encuesta de autoevaluación de los alumnos, y la elaboración de un dashboard para comparar la información obtenida tanto de los alumnos como de los maestros.
En tal sentido, se ha demostrado, en primer lugar, que los valores de las medias en la evaluación de atributos por parte de los maestros no difieren significativamente de los obtenidos por los alumnos, lo que evidencia una alta correlación en la tabla de ANOVA entre las medias. Además, los resultados de la prueba de homogeneidad de las varianzas sugieren que estas no difieren significativamente entre sí, con lo cual se cumple el supuesto de homogeneidad de la varianza.
Sugerencias y recomendaciones
Dado que un dashboard proporciona representaciones gráficas que facilitan la interpretación de los resultados, se sugieren las siguientes acciones para promover su uso posterior: dar valor y accesibilidad de los datos, involucrar a otros departamentos de la institución en la evaluación de los atributos de egreso, tener una visión global de la información y conseguir informes que sean fáciles de entender y eficientes en su presentación.
Asimismo, para maximizar el uso efectivo del dashboard, se recomienda realizar las actualizaciones necesarias que permitan ahorrar tiempo y esfuerzo en su utilización, lo cual lo puede convertir en una herramienta fundamental para monitorear las estrategias planificadas.
Además, se sugiere continuar trabajando en el desarrollo de una herramienta a nivel institucional que estandarice toda la información necesaria para efectos de acreditación en todas las carreras. Esto facilitará la recopilación documental requerida por entidades certificadoras como el CACEI u otros organismos.
Es importante señalar que actualmente existe variabilidad en la forma en que cada carrera evalúa los atributos de egreso, lo que destaca la necesidad de proporcionar capacitación continua a los profesores en este proceso, especialmente dada la frecuente rotación de materias y docentes. Se recomienda, por ende, procurar que todos los profesores evalúen las materias de manera oportuna y utilicen criterios consistentes en sus evaluaciones.
Finalmente, como futura línea de investigación, se sugiere retomar la propuesta de una matriz que relacione atributos, materias y niveles de alcance. Para este propósito, será necesario ajustar el instrumento de medición a los nuevos criterios e ítems derivados de esta propuesta, de modo que se pueda generar una situación multidimensional que permita evaluar varios atributos en diferentes niveles y obtener correlaciones más avanzadas para optimizar continuamente el proceso de acreditación de las carreras.
