Perceptrón multicapa

El clasificador MLP es una red de neuronas conectadas por pesos o parámetros, estructuradas en una capa de entrada (in), una o más capas ocultas (h) y una capa de salida (out). La arquitectura básica de MLP consiste en tres capas (Figura 2). Entre más capas tiene la red, esta es más compleja, y adquiere mayor habilidad para resolver problemas complejos (^{Borkar y Rajeswari, 2014}).

Fuente: ^{Raschka y Mirjalili (2017)}

Figura 2 Arquitectura del clasificador perceptrón multicapa 

El funcionamiento del clasificador MLP consiste en, que dado un vector de datos de entrada x _i con m variables predictoras, en la capa oculta se infieren M funciones; luego, en la capa de salida se determina la respuesta predicha, al aplicar las funciones inferidas en la capa oculta por medio de una transformación no lineal (^{González et al., 2012}). Todas las capas se conectan hacia adelante, y se representan por una matriz de pesos W, que se inicializa con valores aleatorios pequeños. Primero se activa la capa oculta a1(h) por medio de una función de activación ϕ (por ejemplo, una función sigmoide) a los valores de Z (matriz de valores netos), que resulta de la combinación lineal de las variables de entrada con los pesos W; estos valores son las entradas de la capa de salida. La activación de la capa oculta se realiza con las siguientes expresiones:

Donde A ⁽ⁱⁿ⁾ es una matriz de características o muestras x ⁽ⁱⁿ ; W ^(h) es la matriz de pesos, y ϕ⋅ es la función de activación. De manera similar, se genera la activación de la capa de salida:

donde W ^(out) es una matriz de pesos de salida; y A ^(out) es una matriz de probabilidades con las respuestas o clases predichas de la red. Para determinar el error de clasificación, se compara la clase objetivo con la clase predicha. El algoritmo de propagación hacia atrás se utiliza para distribuir los errores y se obtienen las derivadas parciales con respecto a los pesos de la red para actualizar el modelo (^{Raschka y Mirjalili, 2017}).

Clasificador potenciación del gradiente

El clasificador GB consiste en un conjunto de árboles de decisión individuales que se entrenan de manera secuencial, de tal forma que cada árbol mejore los errores de los árboles anteriores. Para predecir una nueva observación se agregan las predicciones de todos los árboles individuales del modelo. GB puede emplear cualquier función de pérdida siempre que ésta, sea diferenciable. Se ajusta un modelo, por ejemplo, f₁ para predecir la variable respuesta, después se calculan los errores y - f₁ (x); luego, se ajusta un modelo f₂ que intenta predecir los errores del modelo anterior; nuevamente se ajusta un modelo f₃ que trata de corregir los errores de los modelos anteriores y esto se repite m veces. Para evitar el sobreajuste del modelo, se emplea un parámetro de regularización, que se denomina tasa de aprendizaje ( λ ), que limita la influencia de cada modelo en el conjunto de ensamble.

La idea que está detrás de la potenciación es ajustar de forma secuencial múltiples modelos sencillos, en donde cada modelo emplea información del modelo anterior para “aprender de sus errores” y mejorar en cada iteración; como valor final se toma el promedio de las predicciones (^{Rogers y Gunn, 2005}).

Bosque aleatorio

RF es un conjunto de árboles de decisión y su objetivo es promediar múltiples árboles de decisión para construir un modelo más robusto que tenga una mejor generalización y sea menos susceptible al sobreajuste (^{Raschka y Mirjalili, 2017}). Para predecir la clase se usan las reglas de cada árbol y se asignan por mayoría de votos (^{Breiman, 2001}). El algoritmo RF se resume como sigue:

Se selecciona una muestra de tamaño n del conjunto de variables predictoras (mediante muestreo aleatorio sin reemplazo, bootstrap), el árbol crece a partir de una muestra inicial; para cada nodo se seleccionan d características sin reemplazo; se divide el nodo con la función que proporcione la mejor división de acuerdo con la función objetivo ganancia de información (IG, por sus siglas en inglés), que se define por:

donde f es la característica para realizar la división; Np es el número total de muestras en el nodo padre; N_l es el número de muestras en el nodo hijo izquierdo; N_r es el número de muestras en el nodo hijo derecho; I es la medida de impureza (gini, entropía o error de clasificación); D_p es el conjunto de datos en el nodo padre; D_l es el conjunto de datos en el nodo hijo izquierdo, y D_r es el conjunto de datos en el nodo hijo derecho.

RF también se usa para determinar la importancia de un conjunto de variables en el modelo. El algoritmo RF crea clasificadores con una selección aleatoria de las características; esto logra una buena exploración de subconjuntos de éstas, en donde se seleccionan aquellas variables con mayor importancia (^{Rogers y Gunn, 2005}).

Criterios de desempeño de los modelos de predicción

Para evaluar el desempeño de los modelos de clasificación MLP, GB y RF las métricas se obtienen a partir de una matriz de confusión (MC) la cual, describe el conteo de los verdaderos positivos (VP), verdaderos negativos (VN), falsos positivos (FP) y falsos negativos (FN). Las filas representan el número de muestras en la clase observada y las columnas el número de predicciones de cada clase. La diagonal de MC corresponde al número de muestras que el algoritmo clasifica correctamente en cada clase. Si MC solo tiene valores positivos en la diagonal, indica que el clasificador clasifica correctamente todas las muestras. La métrica precisión global de clasificación ( PG ) mide la proporción global de muestras bien clasificadas en cada clase y se calcula como:

Las métricas para medir el desempeño del clasificador en cada clase son precisión (P), sensibilidad (S), especificidad (E) y puntaje F1. Se definen con las siguientes expresiones:

En este caso, el valor de F1 resume P y S en una sola métrica, es un estimador apropiado en clases desbalanceadas y varía entre cero y uno. La curva receiver operating characteristics (ROC) es una curva que relaciona valores de S versus 1-E. Los diferentes puntos en la curva corresponden a los puntos de corte utilizados para determinar si los resultados de la prueba son positivos. El valor de AUC_ROC (área bajo la curva ROC) se interpreta como la probabilidad de que en dos muestras, una positiva y una negativa, la prueba asigne una probabilidad más alta a la muestra positiva, clasificación correcta (^{Mandrekar, 2010}). Su valor oscila entre cero y uno; cuanto mayor es AUC_ROC mejor es la clasificación, un valor cercano a 0.50 indica una mala clasificación. La curva P-S es el resultado de graficar P versus S. Ésta permite observar a partir de qué S se tiene una degradación de P y viceversa. El resultado ideal es una curva que se acerque a la esquina superior derecha (alta P y S), lo que genera un área bajo la curva AUC_P-S, que entre más cercano a uno, es mejor el modelo (^{Saito y Rehmsmeier, 2015}).

Entrenamiento y validación de los modelos

Para realizar el entrenamiento de los modelos, cada conjunto de datos se dividió en dos particiones aleatorias, 80 % para entrenamiento y 20 % prueba. Para cada conjunto de datos (ESP2008, MAT2008, ESP2011 y MAT2011) se aplicó el clasificador RF para evaluar la importancia relativa de las características de entrada. En la prueba de los modelos se consideró 20 % de los datos y se presenta el caso de clases desbalanceadas en los extremos (Tabla 4).

Selección de hiperparámetros óptimos

En los modelos de aprendizaje automático, los hiperparámetros óptimos se ajustan en el entrenamiento para obtener el mejor desempeño. La selección de los hiperparámetros óptimos consiste en encontrar la combinación de valores de los hiperparámetros que maximice el desempeño del clasificador con base en una métrica, en este estudio se utilizó PG. La selección de hiperparámetros para cada clasificador se realizó por medio de una validación cruzada (CV). El entrenamiento se realizó con una muestra aleatoria de 80 % del conjunto total de datos. El método CV consiste en subdividir de forma aleatoria el conjunto de entrenamiento en k subconjuntos disjuntos del mismo tamaño. Luego, para cada combinación de valores de los hiperparámetros (Tabla 5), el modelo se ejecuta k veces. En cada iteración k se usa uno de los subconjuntos disjuntos como conjunto de validación y los restantes como conjunto de entrenamiento (80 % entrenamiento y 20 % validación) y se obtiene un valor de la métrica de desempeño PG. Después de evaluar diferentes combinaciones de valores de los hiperparámetros, se selecciona la combinación de valores de los hiperparámetros que maximice la PG promedio obtenida de VC (k = 5).

Posterior a la etapa de selección de los hiperparámetros óptimos de los clasificadores MLP y GB, se realizó la evaluación final del desempeño de éstos. Para determinar la PG de cada modelo se consideró el conjunto de datos completo de cada escenario de entrada (Tabla 3), la combinación óptima de hiperparámetros seleccionada y el procedimiento VC (k = 5). En cada iteración se obtiene un valor PG del modelo; al finalizar las k iteraciones, se calculó el promedio de los valores de PG y su desviación estándar, y las demás métricas propuestas en el estudio.

Importancia relativa de las características de entrada

RF se utilizó para determinar la importancia relativa de las características o variables de entrada para predecir la clase objetivo. RF construye una gran cantidad de clasificadores con base en subconjuntos de variables que se seleccionan al azar. En cada nodo de RF se selecciona una variable de entrada que se usa para dividir el nodo y maximizar la ganancia de información (métrica de desempeño). Las medidas de importancia de variables se utilizan para determinar el desempeño del modelo de aprendizaje automático (^{Rogers y Gunn, 2005}).

Para calcular la importancia relativa de las 13 variables predictoras con el modelo RF, se aplicó el procedimiento VC (k = 5) para seleccionar los hiperparámetros óptimos. Posteriormente, se aplicó la opción feature importance al modelo RF por medio de la librería Scikit-learn de Python. Esta etapa se realizó para los cuatro conjuntos de datos: ESP2008, ESP2011, MAT2008 y MAT2011.

Desempeño de los clasificadores

El desempeño promedio y su desviación estándar en predicción, de los modelos MLP y GB para los cuatro escenarios analizados de la prueba Enlace, en términos de la precisión global de clasificación MLP fue superior a GB con el escenario ESP2008 y GB fue superior a MLP con el escenario MAT2008 (Tabla 7).

El clasificador MLP obtuvo mejor desempeño global que GB para predecir el grado de logro académico de los alumnos en español 2008 y 2011, con una PG de 70.1 % y 61.1 % respectivamente; sin embargo, el desempeño de ambos clasificadores es muy similar en ambas asignaturas en 2008 y 2011 (Tabla 7).

En la asignatura de español, MLP y GB obtuvieron mejor desempeño en 2008 para clasificar las clases 1 y 2, que la clase 0 (F1 de 77.0 % y 75.0% versus 33.0 %, respectivamente). Por otro lado, en 2011, MLP y GB obtuvieron mejor desempeño para clasificar las clases 0 y 1, que la clase 2. Lo anterior se refuerza al observar los resultados de AUCP-S con valores de 0.70 y 0.60 para las clases 0 y 1 (Tabla 8, Figura 3).

Fuente: Elaboración propia

Figura 3 Curvas de desempeño en predicción del clasificador perceptrón multicapa (MLP) en español 2011 por clase (0: insuficiente, 1: elemental, 2: bueno o excelente) A: curvas ROC, B: curvas P-S 

MLP y GB obtuvieron bajo desempeño para clasificar la clase 2 con F1 = 0.41. Esto se confirma al observar las curvas P-S con un valor bajo de AUC_P-S para la clase 2 (Figura 3).

Para el conjunto de datos de matemáticas 2008, GB obtuvo mejor desempeño que MLP, con una PG promedio de 68.8 % (Tabla 3). Las clases 1 y 2 (F1 = 77.0 % y 74.0 %) resultan mejor clasificadas que la clase 0 (F1 = 43 %). MLP obtuvo AUC_P-S de 0.68 y 0.73 para las clases 1 y 2, respectivamente, y 0.50 para la clase 0. GB obtuvo un desempeño muy próximo al MLP.

Con el conjunto de datos de matemáticas de 2011, GB fue ligeramente superior a MLP (GB obtuvo una PG promedio de 63.5 %). GB tuvo mejor desempeño que MLP para clasificar la clase 0 con F1 de 77 %. Ambos modelos tuvieron bajo desempeño para clasificar las clases 1 y 2. De los resultados de AUCP-S, se constata que ambos modelos tuvieron buen desempeño para clasificar la clase 0, y bajo para las clases 1 y 2 (0.37) (Tabla 9, Figura 4).

Fuente: Elaboración propia

Figura 4 Curvas de desempeño en predicción del clasificador potenciación del gradiente (GB) en matemáticas 2011 por clase (0: insuficiente, 1: elemental, 2: bueno o excelente), A: curvas ROC, B: curvas P-S 

Importancia relativa de características

Entre los resultados de importancia relativa de las variables de entrada, determinados con el clasificador RF para los cuatro conjuntos de datos (español y matemáticas, 2008 y 2011), se encontró que las variables de puntaje pun_esp y pun_mat son las más importantes para predecir el logro académico (Figuras 5 y 6). Esto es, existe una fuerte asociación (0.65) entre el puntaje obtenido por un alumno en matemáticas y su grado de logro académico en español (véase los incisos a) de las Figuras 5 y 6). Similarmente, existe una fuerte asociación (0.7) entre el puntaje obtenido por un alumno en español y el grado de logro académico en matemáticas (véase los incisos b) de las Figuras 5 y 6). Esto se preserva al inicio (2008) y al término del periodo analizado (2011).

Fuente: Elaboración propia

Figura 5 Importancia relativa de variables de entrada obtenida con el clasificador bosque aleatorio (RF) A: español 2008, B: matemáticas 2008 

Fuente: Elaboración propia

Figura 6 Importancia relativa de variables de entrada, obtenida con el clasificador bosque aleatorio (RF) A: español 2011, B: matemáticas 2011 

Además de las variables que corresponden a los puntajes en la prueba, las variables de sexo, t_esc particular, pob, lat, lon y alt resultan importantes para los modelos mediante RF. Esto es, son variables que influyen en la clasificación de los alumnos en alguno de los niveles de logro analizados.