Introducción

En la educación superior el problema de la deserción escolar involucra múltiples factores, y el compromiso del estudiante es uno de ellos. Este juega un rol esencial, ya que impulsa el aprendizaje y puede predecir su éxito en la escuela (^{Reschly y Christenson, 2012}). El compromiso de un estudiante únicamente ocurre si este tiene el deseo de comprometerse; en otras palabras, un estudiante puede querer algo y, sin embargo, no hacer nada para obtenerlo (^{González y col., 2016}). Por lo tanto, la motivación influye en el compromiso y este guía al desempeño del estudiante (^{Martin, 2012}). La teoría de la expectativa-valor de ^{Pintrich y de-Groot (1990)} muestra cómo interviene la motivación en la realización de metas. Esta teoría concibe a la motivación con dos componentes. El componente de expectativa (autoeficacia y control de la creencia del aprendizaje), que se refiere a la confianza de los alumnos en su capacidad para realizar una tarea y que ellos son los responsables de su propio rendimiento. El componente de valor se refiere a la motivación extrínseca e intrínseca hacia una meta, así como el valor que el alumno otorga a una tarea.

El estudio teórico sobre el compromiso del estudiante ha mostrado que es un constructo formado por varios componentes (^{González y col., 2016}). ^{Skinner y Belmont (1993)} y ^{Reschly y Christenson (2012)} propusieron estudiar el compromiso del estudiante a través del componente de comportamiento y el componente emocional, mientras que investigadores como ^{Fredricks y col. (2004)}; ^{Appleton y col. (2006)}; ^{Appleton y col. (2008)}, además de los anteriores, agregan un componente cognitivo. Por otro lado, está el término opuesto del compromiso del estudiante conocido como desafección o desapego (en inglés disaffection) (^{Skinner y Pitzer, 2012}; ^{Fernández y col., 2013}; ^{Salmela-Aro y Upadyaya, 2014}). Los estudiantes que se encuentran en un estado de distanciamiento muestran emociones negativas tales como aburrimiento, depresión, ansiedad o incluso enojo. Normalmente, los estudiantes no comprometidos son pasivos y no se esfuerzan ante los retos escolares (^{Skinner y Belmont, 1993}).

^{Reschly y Christenson (2012)} definen al compromiso conductual como la participación de los estudiantes en actividades académicas, sociales o extracurriculares. El compromiso cognitivo se refiere a la inversión psicológica y esfuerzo del estudiante en el aprendizaje involucrando el uso de estrategias de aprendizaje (^{Newmann y col., 1992}; ^{González y col., 2016}). Es decir, se basa en la autorregulación y el esfuerzo por el dominio del tema (^{Fredricks y col., 2004}; ^{Reschly y Christenson, 2012}). El compromiso emocional se define como las respuestas afectivas de los estudiantes, ya sean emociones positivas o negativas a las tareas escolares (^{Fredricks y col., 2004}), considerando también la interacción con maestros y compañeros de clase (^{Reschly y Christenson, 2012}).

Desde el punto de vista psicológico se ha demostrado que la motivación y las emociones se influencian una a la otra de forma directa (^{Mayer y col., 1997}). En un contexto escolar esto puede observarse cuando un estudiante que está muy comprometido con sus actividades escolares despliega emociones positivas tales como entusiasmo, optimismo, curiosidad e interés (^{Skinner y Belmont, 1993}). Sin embargo, cuando se encuentra desinteresado puede mostrar aburrimiento (^{Skinner y Pitzer, 2012}; ^{Symonds y col., 2016}). El desinterés del estudiante hacia su trabajo escolar y su escolaridad está relacionado con factores emocionales, personales y sociales (^{Symonds y col., 2016}). De hecho, es importante evaluar el desinterés emocional de los estudiantes, ya que este se encuentra relacionado con un bajo rendimiento académico (^{Li y Lerner, 2011}). Los efectos de la motivación en los estudiantes también han sido estudiados en el compromiso académico. Por ejemplo, ^{Wang y Eccles (2013)} demostraron que el ambiente escolar impactó la motivación y, a su vez, impactó a los tres tipos de compromiso, conductual, emocional y cognitivo.

La investigación de ^{Chatzistamatiou y col. (2015)} registró, que los estudiantes que valoraron las actividades de matemáticas y se sintieron eficaces en matemáticas (valor de la tarea y autoeficacia, componentes motivacionales) usaron estrategias cognitivas y metacognitivas para lograr su rendimiento académico. Asimismo, en el estudio de ^{King y McInerney (2016)} se observó que existe una relación entre la motivación, las estrategias de aprendizaje (compromiso en el aprendizaje) y el desempeño académico de los estudiantes.

Al proceso de captura, almacenamiento y análisis de datos para predecir patrones de aprendizaje que se usan como fuente de información significativa para mejorar los procesos educativos se le conoce como analítica del aprendizaje o análisis del aprendizaje (learning analytics). Investigadores como ^{Siemens y Gasevic (2012)} y ^{Gasevic y col. (2015)} definieron la analítica del aprendizaje como las técnicas para medir, recopilar, analizar e informar los datos producidos por el estudiante, que junto con el análisis de modelos se usan para descubrir información y relaciones sociales que predicen y optimizan el aprendizaje. Para extraer la información valiosa de grandes volúmenes de datos de los estudiantes, la analítica del aprendizaje hace uso de la minería de datos educativa (educational data mining). Las técnicas de minería de datos incluyen a la regresión lineal y la logística, así como herramientas de clasificación como son las redes neuronales (RN), Naïve-Bayes, máquina de vector soporte (VSM, por sus siglas en inglés: Support Vector Machine) y árboles de decisión (^{Urbina-Nájera y Mora, 2017}; ^{Tanuar y col., 2018}). Las técnicas mencionadas poseen ventajas sobre las técnicas estadísticas tradicionales, ya que estas últimas deben cumplir con requisitos como normalidad, linealidad, multicolinealidad y homocedasticidad sin embargo, estos requisitos muchas veces se omiten, lo que provoca que un modelo tenga un ajuste deficiente (^{Ramirez-Arellano y col., 2019}). Por lo tanto, y considerando el compromiso académico y la motivación, se podría preguntar: ¿Las técnicas de learning analytics podrían predecir con la misma efectividad el desempeño académico de los estudiantes que las técnicas estadísticas tradicionales como la regresión lineal?

Autores como ^{Yadav y col. (2012)} han usado técnicas de minería de datos, como árboles de decisión, para predecir el desempeño académico de los estudiantes. Otros investigadores también han usado estas técnicas para predecir patrones en el compromiso académico de los estudiantes (^{Wong y Chong, 2018}; ^{Vytasek y col., 2020}), así como para analizar el compromiso académico y la motivación del estudiante (^{Caruth, 2018}). El trabajo de ^{Moubayed y col. (2018)} mostró que existe una correlación significativa entre el nivel de compromiso del estudiante y su rendimiento académico en un grupo de alumnos inscritos en un curso de aprendizaje mixto, usando un algoritmo de reglas de asociación a priori.

En la misma línea, el trabajo de ^{Arnold (2010)} demostró que el uso de técnicas de analítica de aprendizaje ayudó a hacer predicciones de cómo dar asesoría a los estudiantes de un curso abierto masivo en línea (MOOC, por sus siglas en inglés: Masive Online Open Course) de programación. También, la investigación de ^{Halibas y col. (2018)}, examinó el compromiso del estudiante dentro y fuera del salón de clases mediante el uso de técnicas de analítica de datos y radio frecuencia. Asimismo, el estudio de ^{Liu y col. (2013)} analizó el compromiso conductual de los estudiantes en un curso sobre escritura mediante un sistema de analítica de datos para visualizar patrones del comportamiento de los estudiantes mientras escribían.

El objetivo del presente estudio fue comparar la eficiencia de la regresión lineal contra dos técnicas de minería de datos para predecir el rendimiento académico de los estudiantes en la educación superior.

Materiales y métodos

En este estudio participaron estudiantes universitarios matriculados en diversas unidades de aprendizaje de las licenciaturas de Ingeniería Industrial y Administración Industrial de una institución pública de la Ciudad de México. Se obtuvo una muestra de 222 alumnos. Para obtener una calificación aprobatoria, los estudiantes acreditaron la unidad de aprendizaje realizando 3 exámenes y diversas tareas académicas, como exposiciones en clase y escritura de ensayos. Después de cada examen, se pidió a los estudiantes que respondieran dos instrumentos (se explican en la sección de instrumentos). Los datos se recopilaron de septiembre a diciembre de 2018. A todos los estudiantes se les hizo saber el objetivo de esta investigación, participaron voluntariamente y dieron su consentimiento para que sus respuestas fueran consideradas para este estudio.

Análisis de datos

Los resultados de los instrumentos SED, MSLQ y de la calificación global de cada alumno se usaron para construir una vista minable con 27 constructos, incluyendo 20 constructos del instrumento SED - disfrute, entusiasmo, interés, diversión, autorrealización, aburrimiento, frustración, desinterés, ansiedad, tristeza, atención, esfuerzo, involucramiento, pasividad, distracción, desapego mental, compromiso emocional, desapego emocional, compromiso conductual y desapego conductual - y 6 constructos del instrumento MSQL - motivación intrínseca, motivación extrínseca, valor de la tarea, control de las creencias de aprendizaje, autoeficacia, ansiedad a los exámenes - y la calificación global. El proceso de análisis de datos se muestra en la Figura 1.

Figura 1 Proceso de análisis de datos. 

Figure 1 Data Analysis Process. 

Después de seguir el proceso de análisis de datos propuesto en la Figura 1, en la primera etapa, de construcción, se consideraron los 27 constructos de la vista minable (datos principales) para construir los modelos de la analítica del aprendizaje (RN, SVM) y para el modelo de regresión lineal (RL) se seleccionaron los constructos que tuvieron un nivel de significancia (P < 0.01) con el desempeño académico o calificación global de cada estudiante.

Siguiendo en la etapa de construcción, se realizó un análisis de los constructos para determinar los valores de multicolinealidad del modelo resultante RL y la verificación de que estuvieran dentro de rango aceptable. Según ^{Meyers y col. (2006)}, los valores aceptables para que un modelo no presente multicolinealidad son: índice de condición, con valores menores a 20; proporciones de varianza, con valores por debajo de 0.90; valores de tolerancia mayores a 0.1; y valores del factor de inflación de la varianza menores de 10.

Posteriormente, se realizó un análisis de regresión jerárquico (método por pasos), que tuvo por objetivo explicar las relaciones entre el compromiso emocional, conductual, emociones y el rendimiento académico. Para ello, se usó el paquete estadístico para ciencias sociales (SPSS, por sus siglas en inglés: Statistical Package for the Social Sciences) versión 22.

Asimismo, durante la primera etapa, a través de las técnicas de analítica de datos (minería de datos) se determinaron los constructos que predicen el rendimiento académico del estudiante. Para ello, se construyeron 2 modelos con los 27 constructos de la vista minable, usando las técnicas de analítica del aprendizaje como redes neuronales (RN) y máquinas de vector soporte (SVM). Se usó el software entorno Waikato para el análisis del conocimiento (WEKA, por sus siglas en inglés: Waikato Environment for Knowledge Analysis) (^{Hall y col., 2009}).

Durante la etapa de verificación se compararon las técnicas de minería de datos y el modelo de regresión lineal usando la validación cruzada. Es decir, de los datos recabados se seleccionaron de manera aleatoria, alrededor de 60 % para construir los modelos y el 40 % restante se usó para evaluar su exactitud. Este proceso de selección se repitió 10 veces para garantizar que los modelos no tuvieran un sobreajuste, ofreciendo una evaluación confiable de la exactitud de los modelos. Comparar múltiples clasificadores en varios conjuntos de datos es una tarea recurrente para evaluar el rendimiento de las técnicas de minería de datos. Por lo tanto, un análisis de varianza (ANOVA) es una prueba estadística apropiada para determinar cuál técnica es la mejor: la de minería de datos o la de regresión lineal.

Resultados

Los resultados de la fiabilidad de los instrumentos SED y MSLQ obtuvieron valores de alfa de Cronbach en el rango de 0.769 a 0.824. El valor de 0.7 es considerado como el valor mínimo aceptable de fiabilidad (^{Taber, 2018}), por lo tanto, ambos instrumentos mostraron niveles aceptables de fiabilidad. Asimismo, se obtuvieron los resultados de la estadística descriptiva que se presentan en la Tabla 1.

De los 27 constructos de la vista minable (datos principales), se seleccionaron aquellos que tuvieron una correlación de Pearson significativa (P < 0.01) - 14 constructos - con el desempeño académico (Tabla 2). Posteriormente fueron eliminados 11 constructos (compromiso emocional, entusiasmo, disfrute, diversión, autorrealización, interés, esfuerzo, involucramiento, atención, motivación intrínseca hacia la meta, valor de la tarea) al presentar alta colinealidad, por lo que, se excluyeron del conjunto de constructos para el modelo de regresión lineal. La Tabla 3 muestra los tres constructos resultantes del modelo final de regresión lineal de este trabajo, el cual no presentó problemas de multicolinealidad debido a que se obtuvieron valores aceptables del índice de condición, entre 1 y 6.752, proporciones de varianza entre 0.001 a 0.46, valores de tolerancia entre 0.463 y 0.576 valores del factor de inflación de la varianza entre 1.73 y 2.16, ya que en el índice de condición se reportaron valores menores a 20; en proporciones de varianza, valores por debajo de 0.90; en tolerancia, valores mayores a 0.1 y en el factor de inflación de la varianza, valores menores de 10.

En el análisis de la varianza ANOVA de una vía para comparar el coeficiente de determinación ajustado del modelo de regresión lineal (RL) y los obtenidos por las técnicas de minería de datos: RN y SVM (Tabla 4), el efecto principal del modelo en el coeficiente de determinación ajustado fue significativo: F (2 297) = 21.69, P < 0.001, η2=0.127) (Tabla 4).

La prueba post hoc de Tukey (Tabla 4) indicó que no hay diferencia significativa entre los modelos RL y SVM. Sin embargo, el modelo RN tuvo un coeficiente de determinación ajustado significativamente menor que el modelo RL y SVM. Por lo tanto, los modelos RL y SVM pronostican con la misma certeza el desempeño de los estudiantes, lo cual significa que el uso de la regresión lineal es igualmente efectiva que la técnica SVM. La Tabla 5 muestra los resultados.

El resumen de los modelos generados por las técnicas RL, RN y SVM se muestran en la Tabla 6. También se presentan el coeficiente de determinación ajustado (R² ajustado) y la complejidad del modelo de medida con el número de variables que lo componen. Tomando en cuenta el coeficiente de determinación ajustado y la complejidad, el modelo RL podría preferirse sobre el SVM.

Discusión

La comparación entre técnicas de minería de datos y técnicas de estadística tradicional, como la regresión lineal, para predecir el rendimiento académico de los estudiantes universitarios, es un método útil para determinar qué técnica es más adecuada. Dependiendo del objetivo buscado, ambas son útiles para descubrir información y relaciones sociales que predicen y optimizan el aprendizaje (^{Siemens y Gasevic, 2012}; ^{Gasevic y col., 2015}; ^{Reyes y col., 2019}).

En este estudio, el compromiso conductual mostró una relación positiva con el desempeño académico de los estudiantes (Tabla 5). Este hallazgo está en línea con los trabajos de ^{Fredricks y col. (2004)}; ^{Wang (2017)}; ^{Olivier y col. (2018)}. Asimismo, la pasividad -componente del desapego conductual- tuvo efectos negativos en el desempeño académico de los estudiantes (^{Skinner y Belmont, 1993}; ^{Skinner y col., 2008}; ^{Skinner y Pitzer, 2012}), por lo que se puede suponer que cuando los estudiantes se involucran en realizar sus actividades académicas con un gran compromiso, presentan una repercusión positiva y significativa en su desempeño académico. De igual forma, se puede observar que los alumnos que muestran mayor pasividad impactan negativamente su desempeño académico.

Los resultados también revelaron que la auto eficacia, perteneciente al componente de expectativa de la motivación, mostró un efecto positivo con el desempeño académico de los estudiantes (^{Sun y col., 2018}; ^{Ramirez-Arellano y col., 2019}), lo que puede significar que la confianza del estudiante en la realización de sus actividades académicas favorece que obtenga mejores calificaciones.

Por otro lado, se puede observar que la técnica de minería de datos usada (SVM) demostró ser igualmente efectiva que las técnicas de estadísticas como la RL. Sin embargo, cabe destacar que las técnicas de la analítica de datos no necesitan comprobar los supuestos de la multicolinialidad y de las correlaciones significativas, lo cual es necesario en la RL para evitar el sobreajuste. Por otro lado, la técnica de minería de datos SVM generó un modelo más complejo, de 27 constructos (Tabla 6), ya que esta técnica asocia la importancia de las variables con el peso que el algoritmo asigna a la misma. Esto significa que una variable con un mayor predictivo tendrá asociado un mayor peso.

Conclusiones

Los resultados mostraron que el modelo de regresión lineal jerárquico (RL) y el modelo de máquinas de vector soporte (SVM) pronostican igualmente el desempeño académico de los estudiantes. Sin embargo, debe considerarse el objetivo que persigue la construcción del modelo para optar por una de las dos técnicas. Si se busca determinar los factores psicológicos (motivación, compromiso conductual y emocional) que tienen una influencia significativa en el desempeño académico, la RL es la opción adecuada, ya que discrimina las variables no relevantes, produciendo un modelo simple y de fácil interpretación. Por el contrario, el SVM genera un modelo complejo que difícilmente puede ser usado para determinar los factores psicológicos más significativos que inciden en el desempeño académico. Si el modelo tuviese como objetivo el pronóstico del desempeño, la técnica SVM sería la más adecuada, ya que la técnica no requiere la verificación de ningún supuesto estadístico, tal como se pudo observar en la técnica de RL.