Introducción

La calidad educativa es uno de los temas que más preocupa a los mexicanos, ya que de ella depende, en gran parte, el futuro del país. Según ^{Duarte-Mora (2019)}, la calidad educativa es un concepto multidimensional, relativo y fuertemente influido por diversos factores, los cuales se pueden orientar hacia dos ramas principales:

Ahora bien, existen organismos internacionales que han desarrollado una serie de indicadores educativos con el objetivo de comparar y observar la mejora de los niveles educativos entre países, como el Programa Mundial de Indicadores Educacionales de la ^{Organización para la Cooperación y el Desarrollo Económico (OCDE) (2017)}, el cual proporciona una gran cantidad de indicadores actualizados y comparables que reflejan el estado actual de la educación a escala internacional.

Desde el punto de vista económico, ^{Nikolaevna et al. (2020)} llevaron a cabo una investigación para establecer indicadores de la actividad económica de las instituciones educativas. Ese estudio requirió determinar los ingresos de cada departamento, calcular sus costos y flujos de efectivo, valorar los activos fijos invertidos en cada uno, así como determinar los coeficientes de significancia de los componentes del indicador de eficiencia. Estos componentes fueron evaluados por expertos, los cuales consideraron las condiciones específicas de funcionamiento de la universidad y los objetivos marcados por las autoridades de las instituciones.

Por su parte, en el caso de la ^{Universidad Nacional Autónoma de México (UNAM) (2019)}, cuenta con un catálogo de indicadores de actividad y desempeño. Entre los primeros se incluyen la demanda, la población escolar, los egresos, las titulaciones, el número de proyectos de investigación, los productos de investigación, así como la asistencia a actividades de difusión y extensión, entre otros. En cuanto a los indicadores de desempeño, se mencionan la relación demanda/cupo, la regularidad, la eficiencia terminal, los índices de aprobación/reprobación, la producción bibliográfica por investigador, y las variaciones en la asistencia a actividades de difusión o extensión, entre otros. Estos indicadores son utilizados para tomar decisiones sobre la continuidad de proyectos, la asignación de recursos, la comparación entre instituciones y para la rendición de cuentas estándar.

Asimismo, se han desarrollado investigaciones que clasifican las instituciones de educación superior según su desempeño utilizando indicadores educativos. Por ejemplo, en Colombia, el Ministerio de Educación Nacional implementó un esquema donde se asignan fondos según el desempeño de las instituciones, calculado a través de un modelo matemático que genera un índice de desempeño sintético basado en el análisis de múltiples factores. Con este índice se pueden clasificar las IES, analizar su trayectoria en un momento dado, revisar su evolución en el tiempo, y detectar sus fortalezas y debilidades (^{Visbal et al., 2020}).

^{Dhir (2020)} también desarrolló una escala para medir la eficacia institucional de las escuelas de negocios de la India mediante análisis factorial exploratorio. En dicho estudio se utilizaron 15 ítems distribuidos en cuatro grandes factores que permitieron evaluar y mejorar los resultados de una institución en términos de planificación, desempeño y efectividad. La escala fue validada en cuanto a su contenido, constructo y validez de criterio, con puntajes de confiabilidad satisfactorios en cada factor.

Igualmente, ^{Cornejo (2018)} propuso un conjunto de indicadores básicos para caracterizar los procesos estratégicos de vinculación, académicos, de planeación, administración de recursos y calidad. Estos indicadores fueron diseñados para medir la calidad educativa en los IT del Tecnológico Nacional de México (TecNM) y determinar las áreas prioritarias de crecimiento de cada institución.

No obstante, a pesar de que se han propuesto diversos modelos matemáticos para medir la calidad educativa en el nivel superior, aún no se ha establecido un esquema de medición para los IT del TecNM. Por esta razón, en este trabajo se presenta un modelo matemático de correlación desarrollado para estimar el índice de desempeño y calidad de los institutos que conforman el TecNM, utilizando información reportada en los anuarios de los años 2015 a 2018. El modelo ha sido desarrollado mediante análisis factorial exploratorio, análisis factorial confirmatorio y regresión lineal múltiple. Tras su validación, el modelo ha permitido realizar un análisis de la evolución de los indicadores y el comportamiento de los procesos estratégicos durante ese periodo.

Materiales y método

Método

En este trabajo se desarrolló un estudio cuantitativo con diseño no experimental y longitudinal. Utilizando la información reportada en los anuarios durante el periodo 2015-2018, se calcularon los indicadores detallados en la tabla 1 para cada IT y cada año. Luego, se efectuó un análisis estadístico exploratorio mediante el análisis de componentes principales para estimar los factores significativos y su asociación con los índices mencionados en la tabla 1 (modelo base). Posteriormente, se empleó un análisis factorial confirmatorio (CFA) para validar el modelo base y verificar la consistencia de las variables latentes (factores) con los datos de los otros años (^{Brown, 2015}). Además, se aseguró que los modelos obtenidos cumplieran con los criterios de ajuste incluidos en las tablas 2 y 3 (^{Hu y Bentler, 1999}).

Tabla 2 Pruebas de bondad de ajuste para el análisis factorial confirmatorio 

Parámetro	Valores limitantes
Chi cuadrada /Grados de libertad CMIN/DF (Byrne, 2016).	< 3 bueno < 5 algunas veces permitido
CFI Índice de ajuste comparativo	> 0.95 excelente > 0.90 tradicional > 0.80 algunas veces permitido
SRMR Raíz cuadrada estandarizada del promedio del cuadrado de los residuales	< 0.09
RMSEA Raíz cuadrada del error de aproximación	< 0.05 bueno Entre 0.05 y 0.10 moderado > 0.10 ajuste pobre
Pclose P valor para el modelo	> 0.05

Fuentes: ^{Hu y Bentler (1999)}, ^{Hair et al. (2014)} y ^{Byrne (2016)}

Tabla 3 Criterios para la confiabilidad y validez del modelo 

Parámetro	Valores limitantes
Varianza media extraída (AVE)	AVE > 0.5
Validez de constructo (CR)	CR > 0.7
Máxima varianza compartida (MSV)	MSV < AVE

Fuente: ^{Hair et al. (2014)} y ^{Gaskin (2016a)}

Empleando el modelo desarrollado, se determinaron las cargas de cada factor para cada IT utilizando los softwares AMOS y SPSS 24 para el análisis de datos generados. La suma de las cargas de cada IT representó el índice total, que fue normalizado usando el mayor de los índices obtenidos para todos los IT. Con los índices totales normalizados se ordenaron los IT en orden decreciente y se analizó la posición de cada IT en el periodo considerado.

Finalmente, para desarrollar un modelo predictivo del índice total de cualquier tecnológico, se llevó a cabo un proceso de regresión lineal múltiple empleando las cargas de los factores de todos los tecnológicos analizados.

Resultados

El análisis factorial exploratorio se efectuó con el software SPSS 24, utilizando el método de extracción de componentes principales y seleccionando como factores significativos aquellos con valores propios superiores a 1. En la tabla 4 se presentan los valores propios, las sumas de extracción de cargas y la suma de rotación de cargas para los cuatro componentes principales significativos para los datos del año 2015. El valor propio más grande (8.117) corresponde al factor más significativo, el cual puede explicar hasta el 47.749 % de la varianza total. Al considerar los cuatro factores con valores propios superiores a la unidad, la varianza acumulada alcanzó el 78.415 %. Además, la rotación de ejes fortaleció la asociación de los indicadores con los factores principales correspondientes.

En la tabla 5 se muestra la matriz de comunalidades de los indicadores extraídos en cada año utilizando el método de rotación Varimax y normalización Kaiser. Los indicadores que presentaron comunalidades inferiores a 0.5 fueron eliminados en las etapas siguientes del análisis debido a su baja correlación con cualquiera de los cuatro componentes principales (factores).

En la tabla 6 se distribuyen los 17 indicadores en los cuatro factores significativos identificados en la etapa exploratoria: investigadores, institución, docentes y alumnos. Los indicadores asociados al factor investigadores incluyen lo siguiente: SNI, total de posgrados, matrícula del posgrado, cuerpos académicos, total de docentes con doctorado e índice de absorción. Para el factor institución, los indicadores asociados fueron total de carreras con licenciaturas, programas educativos totales, matrícula total, solicitudes de licenciatura y antigüedad. En cuanto al factor docentes, los indicadores fueron profesores de tiempo completo con posgrado, total de docentes con posgrado y profesores de tiempo completo. Finalmente, para el factor alumnos se asociaron los indicadores servicio social, índice de egreso y residencias.

Al repetir el procedimiento de extracción de componentes principales con los datos de otros años, se observó que cuatro componentes principales resultaban significativos y que la asociación de indicadores y factores era similar. Al concluir el análisis factorial exploratorio, se determinó que para cualquier año existen cuatro componentes principales significativos, y que el número de indicadores se redujo de 21 a 17 con la eliminación de los indicadores carreras de licenciatura acreditadas, total de programas en PNPC, índice de titulación y total de profesores con perfil deseable, cuyas cargas resultaron ser menores a 0.5.

En la segunda etapa, se realizó un análisis factorial confirmatorio utilizando el modelo base con 4 factores, el cual fue validado con el software AMOS 22 y el plugin Model Fit Measures de ^{Gaskin (2016a)}. En este análisis, se encontró que de los 17 indicadores iniciales solo 9 podían ser asociados a los cuatro factores y cumplir con los estándares establecidos (^{Gaskin, 2016c}).

La figura 1 muestra una representación gráfica del modelo en la etapa confirmatoria, donde se incluyen los valores de las covarianzas entre las variables de los factores y entre los factores. Los indicadores asociados a cada factor son los siguientes: al factor investigación se asociaron SNI y total de cuerpos académicos; al factor docentes se asociaron profesores de tiempo completo y profesores de tiempo completo con posgrado; al factor institución se asociaron programas educativos totales, matrícula total e índice de absorción, y al factor alumnos se asociaron residencias y servicio social.

Fuente: ^{Villalobos (2020)}

Figura 1 Modelo obtenido para 2015 después del análisis factorial confirmatorio 

En la tabla 7 se presentan los índices de bondad de ajuste para los cuatro años analizados. Los resultados indican que el modelo cumple con los criterios de ^{Hu y Bentler (1999)} excepto el valor RMSEA en 2017. El plugin sugiere eliminar el indicador PTC para que el valor RMSEA se aproxime a los criterios de validación; sin embargo, se decidió conservar el indicador en el modelo, pues se consideró que otros autores como ^{Gaskin (2016b)} mencionan criterios más flexibles para la aceptación de los modelos, y que el modelo cumple con el criterio para los otros tres años analizados. Además, la eliminación del indicador PTC dejaría el factor con solo un indicador, lo cual no es adecuado para la representación del modelo en general.

En la tabla 8 se muestran los resultados de la validación de la confiabilidad y validez para cada modelo. De acuerdo con los criterios presentados en la tabla 3, se concluye que los modelos presentaron buenos resultados, aunque existe validez convergente porque la RC del factor institución es menor que la del AVE (^{Gaskin. 2016c}).

Con el modelo obtenido para cada año, se calculó la carga factorial para cada uno de los institutos tecnológicos utilizando el software AMOS 22. En la tabla 9 se presentan los resultados parciales para los IT que obtuvieron los mayores puntajes con información del año 2015. El índice total fue normalizado utilizando el valor más grande entre todos los IT en cada año. Los valores de los índices totales máximos para los años 2015-2018 fueron 215.05, 208.66, 237.01 y 217.42 respectivamente.

Para los datos del 2015, solo 6 IT obtuvieron un índice mayor o igual a 0.7, mientras que 21 presentaron un índice menor a 0.3. Esta información se detalla en la tabla 10, que muestra las contribuciones porcentuales de cada factor en el modelo para cada IT con datos del 2015. Luego, con estos valores se calculó la contribución promedio de cada factor en el modelo.

Para obtener el modelo lineal de regresión múltiple se utilizaron las cargas de cada factor por cada tecnológico. La tabla 11 muestra las ecuaciones estructurales de predicción de las regresiones lineales múltiples para cada factor, así como la ecuación del índice global de desempeño normalizada. Los coeficientes de las ecuaciones para cada año se presentan en la tabla 12, mientras que los porcentajes de contribución de cada factor por año se muestran en la tabla 13. Se observa que el factor docentes tuvo el mayor impacto con una tendencia decreciente, lo cual podría explicarse por las normativas de contratación de nuevo personal de tiempo completo con posgrado, donde las diferencias entre los IT se van reduciendo.

Por otro lado, el factor institución presentó una tendencia creciente durante el periodo de análisis. Los IT consolidados tienen mayor posibilidad de incrementar el número de nuevos programas e incrementar su matrícula en comparación con los de reciente creación.

El factor investigadores mostró una participación baja en 2015 y se fortaleció durante los años siguientes debido al impulso que ha tenido la investigación y los diversos programas de financiamiento otorgados por TecNM, Conacyt y Prodep, entre otros.

Con los índices totales normalizados se construyó una lista con la posición de cada IT para cada año. La primera posición fue ocupada por el IT con el índice total normalizado igual a la unidad. En la tabla 14 se muestra de manera parcial el listado con las posiciones de cinco IT en el periodo analizado.

Discusión

Respecto a los índices de bondad de ajuste, se observó que para 2016 se cumplen perfectamente con los criterios de validez de ^{Hu y Bentler (1999)} presentados en la tabla 2. En los periodos 2015 y 2018, los modelos cumplían ampliamente con los criterios de validación, es decir, los valores de los índices de bondad de ajuste se encontraron dentro de los límites de tolerancia establecidos por ^{Hu y Bentler (1999)}. Sin embargo, en 2017 los resultados muestran que el modelo cumplía con los criterios de validez de ^{Hu y Bentler (1999)}, según lo indica la tabla 2 (Cutoff Criteria), excepto para el RMSEA, cuyo valor fue de 0.11, el cual es superior al límite superior de 0.08 establecido. A pesar de esto, el modelo se conservó debido a que otras opiniones -como la de ^{Hooper et al. (2010)} - recomiendan para el RMSEA valores límites en el rango de 0.05 a 0.10. Respecto a la validez y confiabilidad para el modelo de cada año, se observó que los modelos cumplen con los criterios establecidos en la tabla 3 de este trabajo.

Para cada año se construyó un modelo con ecuaciones estructurales, mediante los cuales se puede calcular el efecto de cada factor de manera global, es decir, en todos los tecnológicos, así como por institución. De manera global, se encontró que la participación de cada factor para cada año se comporta de la siguiente manera: el factor más impactante es el de docentes, seguido muy de cerca por el de institución y el de investigadores, y, por último, con muy baja contribución el factor alumnos. Estos resultados son consistentes en los tecnológicos de la muestra.

Los tecnológicos que cuentan con posgrados consolidados realizan investigación y sus miembros participan en actividades diferentes a las que se llevan a cabo en los tecnológicos sin posgrados consolidados. En la misma línea, el factor docentes muestra esta diferencia.

Con respecto al factor alumnos, su contribución global al modelo es pequeña debido a que los índices actuales corresponden a acciones que se han desarrollado durante muchos años en los institutos tecnológicos. Las diferencias en los indicadores de este factor entre todos los institutos tecnológicos son muy pequeñas. Sin embargo, el modelo es capaz de distinguir esas pequeñas diferencias.

Es importante señalar que este tipo de modelos proporciona un punto de partida para otras investigaciones basadas en el análisis de indicadores educativos. En otras palabras, el análisis en sí no mejora la calidad educativa, pero sirve como fuente de información para comparar el desempeño de todos los institutos tecnológicos del TecNM y tomar acciones sobre el rumbo que cada instituto podría tomar en un contexto global.

Por último, no fue posible comparar los resultados de este trabajo debido a la falta de referencias de otros índices calculados, propuestos y/o publicados por otras instituciones de educación superior.

Conclusiones

En este trabajo se analizaron 21 índices de desempeño publicados en los anuarios 2015-2018 de los institutos tecnológicos. Para ello, se emplearon estrategias de análisis factorial exploratorio y confirmatorio con el fin de determinar los factores estadísticamente significativos con mayor impacto, los cuales fueron nombrados como investigadores, docentes, institución y alumnos.

De los 21 indicadores reportados originalmente en los anuarios, solamente fueron necesarios 9 para integrar los cuatro factores. Asimismo, se desarrollaron ecuaciones estructurales mediante regresión lineal múltiple para cada factor y se cuantificó un índice total para cada Instituto Tecnológico. De esta manera, cada instituto tecnológico puede tomar las medidas necesarias para mejorar los indicadores que describen la actividad institucional realizada por cada uno de ellos y, como consecuencia, superar su desempeño institucional.

Con base en lo anterior, se sugiere que, de acuerdo con los planes de desarrollo del TecNM, se incluyan nuevos indicadores en los anuarios que permitan fortalecer los modelos de predicción de desarrollo institucional. Por ejemplo, actividades relacionadas con la vinculación con otras instituciones educativas y empresas, la participación de estudiantes en proyectos de desarrollo tecnológico e investigación, la inclusión de alumnos en publicaciones científicas y de divulgación, la movilidad y el intercambio de estudiantes entre instituciones, así como la participación en programas de educación dual, congresos, concursos, etc.

Asimismo, en la medida en que se cuente con nuevos datos proporcionados por los institutos tecnológicos, se podrá mejorar el modelo al incluir nuevos índices que lo enriquezcan y perfeccionen. En tal sentido, es crucial que estos indicadores se difundan entre las instituciones del TecNM para promover mejoras tanto a nivel institucional como a nivel general. Además, el uso de nuevas tecnologías y la gestión de bases de datos permitirán sistematizar la información y los modelos para garantizar datos veraces y actualizados de manera inmediata para la toma de decisiones oportunas en el camino hacia la mejora institucional.

Por otro lado, respecto a las limitaciones encontradas, se puede mencionar que el tipo de información disponible al público en el TecNM no se publica regularmente. Los anuarios correspondientes a los años 2019, 2020 y 2021 que genera el departamento de planeación, se publicaron recientemente, por lo cual no se incluyó el análisis de estos años en esta investigación.

Además, la información disponible no es óptima para generar indicadores que representen plenamente cada proceso estratégico del TecNM. Se observó que se requieren otro tipo de datos que fortalezcan la información relacionada con el desempeño de los estudiantes, el desarrollo de proyectos de investigación, los vínculos interinstitucionales y con la industria y los procesos administrativos.