Introducción

Para la Universidad Nacional Autónoma de México (UNAM), y en particular la Facultad de Medicina, los estudios de seguimiento de egresados representan un área muy importante por la información que se obtiene de los alumnos que egresan de su plan de estudios y de su posible impacto en la práctica profesional, educativa y social del país. En el plan de estudios vigente de la Facultad de Medicina de la UNAM (Plan 2010) se contempla el seguimiento de egresados para obtener información acerca de las siguientes áreas generales: campo laboral, perfil profesional, ingreso al sistema nacional de residencias médicas y desempeño académico y profesional. El mismo plan de estudios contempla la necesidad de hacer estudios comparativos de sus egresados en su desempeño profesional. Técnicamente, los estudios de seguimiento no son sencillos de realizar por la gran dispersión geográfica de los egresados y las diferentes instituciones laborales, tipo de práctica pública o privada, administración y gerencia en medicina, entre otros factores de los egresados. Por estas razones, en este trabajo de seguimiento de egresados existe interés por estudiar dos áreas de importancia para la Facultad de Medicina: el liderazgo y el éxito académico. El abordaje para estudiar estos dos aspectos es de tipo predictivo, usando técnicas multivariadas que en los últimos años se han comenzado a utilizar en la investigación médica educativa: las redes neuronales artificiales (RNA).

Las RNA son sistemas de procesamiento de información cuya estructura y funcionamiento están inspirados en las redes neuronales biológicas¹. El término «red neuronal» se aplica a una familia de modelos que se caracterizan por un gran espacio de parámetro y una estructura flexible, y proviene de los estudios sobre el funcionamiento del cerebro².

Una red neuronal se define como un conjunto de elementos simples de procesamiento, llamados nodos o neuronas, que están conectados entre sí por conexiones que tienen un valor numérico modificable, llamado peso¹. Dependiendo del modelo de relación que se presente pueden existir una o más capas o nodos que son ocultos o no visibles; estos se comunican unos con otros, por lo que las ponderaciones sinápticas (pesos) no pueden interpretarse fácilmente.

En la red neuronal de un conjunto de variables es importante comprender la arquitectura general de la red. Existen dos tipos principales: la red de perceptrón multicapa y la red de función de base radial. Ambas son funciones de predictores, denominados también entradas o variables independientes, que minimizan el error de predicción de las variables de destino (variables dependientes o salidas).

A diferencia de la regresión lineal, que se caracteriza por un modelo y unos supuestos rígidos, las redes neuronales son flexibles, no plantean hipótesis a priori acerca del tipo de relaciones entre las variables independientes y dependiente, y además no exigen supuestos teóricos en la distribución de los datos. En lugar de lo anterior, la forma de las relaciones entre las variables se determina durante el proceso de aprendizaje de la propia red neuronal, es decir, aprenden de sí mismas.

En la figura 1 se muestra la arquitectura básica de una RNA. Las entradas son los predictores o variables independientes, y la capa de salida son todas y cada una de las categorías de respuesta de la variable dependiente. La capa oculta son los nodos o unidades no observables de las relaciones entre las variables, las cuales son formadas por las fuerzas o pesos de interconexión entre las neuronas (flechas en fig. 1), de las que se muestran como ejemplo algunas líneas intermitentes en color más claro que se interpretan con pesos menores, es decir, con bajo valor de predicción.

Figura 1 Arquitectura básica de una red neuronal artificial. 

De esta forma, una red neuronal es un procesador distribuido en paralelo de forma masiva con una propensión natural a almacenar conocimiento experimental y convertirlo en disponible para su uso. Se asemeja al cerebro en dos aspectos: 1) el conocimiento se adquiere por la red mediante un proceso de aprendizaje; 2) las fuerzas de conexión interneuronal, conocidas como ponderaciones sinápticas, se utilizan para almacenar el conocimiento².

En medicina y educación existen trabajos en los que las RNA se han aplicado como técnica de predicción multivariada; en medicina, destacan diversos escritos al respecto¹,³-¹⁰, y en el caso de la educación se han usado principalmente para predecir el rendimiento de los estudiantes, el éxito académico y la selección de estudiantes de residencias médicas¹¹-²³. No se han encontrado trabajos en los que las RNA se hayan utilizado para predecir el liderazgo en estudiantes.

En el presente estudio se pretende aplicar la técnica de RNA, por lo que no se hace una revisión profunda de los conceptos respecto al liderazgo y el éxito de los egresados de la carrera de Medicina; se remite al lector, en su caso, a los trabajos sobre éxito y liderazgo consultados²⁴-³¹. Al respecto, destaca el trabajo de Sánchez²⁵, realizado en 2015, quien hace una revisión narrativa de la literatura acerca del liderazgo (complejo de definir y con múltiples definiciones en la literatura) y destaca las características del liderazgo como rasgo vs. proceso, o liderazgo asignado vs. emergente; según este autor, el tipo de liderazgo que se consideró en el presente estudio es el liderazgo asignado. Por otro lado, Gatica et al.²⁴ analizaron las variables asociadas al éxito académico en estudiantes de licenciatura de la Facultad de Medicina de la UNAM.

El objetivo del presente estudio fue aplicar un modelo de análisis de RNA para identificar las variables que predicen el liderazgo asignado y el éxito académico en egresados de seis generaciones de la carrera de Medicina de la Facultad de Medicina de la UNAM.

Método

Estudio multivariado, analítico, retrospectivo y comparativo. Participaron 1434 alumnos egresados de la carrera de Medicina, pertenecientes a las generaciones 2004 a 2009, de la Facultad de Medicina de la UNAM. Se elaboró un cuestionario con 62 variables, de las que se seleccionaron 29 variables independientes distribuidas en ocho áreas: demográficas, familiares, trayectoria educativa del alumno media y superior, reprobación de asignaturas, suspensión de estudios, opiniones sobre el plan de estudios de la carrera de Medicina, ingreso al posgrado de medicina en las especializaciones médicas, inserción laboral y desempeño profesional público o privado. Las variables dependientes fueron éxito académico (profesional) y actividades de liderazgo asignado.

Resultados

Se obtuvo información de 1434 egresados de la Facultad de Medicina de la UNAM, de seis generaciones (2004-2009). El lector puede acceder a dos trabajos previos realizados con los mismos alumnos egresados: el primero fue descriptivo³⁶, en el que se describió el perfil general de los 1434 egresados, antecedentes escolares, aspectos laborales y satisfacción con la formación profesional; y en el otro trabajo se analizaron los fenómenos de reprobación de materias y trayectorias discontinuas por medio de análisis discriminante multivariado³⁷.

En la tabla 2 se muestran los resultados obtenidos de error de entropía, pronósticos incorrectos y área bajo la curva ROC (Receiver Operating Characteristic), obtenidos de la RNA calculada, tanto para el éxito académico como para el liderazgo asignado. En la misma tabla 2 se observa que el modelo 1 fue el mejor para el éxito profesional (error de entropía: 176.5 en la muestra de entrenamiento) y el modelo 6 para el liderazgo asignado (error de entropía: 527.5 en el mismo tipo de muestra).

Para identificar las variables independientes más importantes y su correlación con la variable dependiente éxito profesional se calcularon los coeficientes de desempeño del modelo de RNA elegido (número 1 en la tabla 2). Para dicho propósito se realizó un AI, en el cual se asigna un valor de las variables (en unidades z, estandarizadas) según su nivel de importancia y nivel de desempeño. En la tabla 3 se muestran los coeficientes de desempeño de las variables independientes más importantes y bien evaluadas que predijeron el éxito académico (profesional) obtenidos en la figura 2 (cuadrante superior derecho).

Figura 2 Variables independientes según su nivel de importancia y desempeño para predecir el éxito profesional. 

Adicionalmente, se realizó un análisis de AD tipo CHAID (Chi-Squared Automatic Interaction Detector); esta técnica compara las categorías de todas las variables independientes y selecciona solo aquellas en las que encuentran diferencias significativas. En la figura 3 se muestra el AD con el análisis CHAID calculado para las variables independientes que mostraron diferencias estadísticamente significativas en el éxito académico de los egresados.

Figura 3 Árbol de decisión de las variables independientes que mostraron diferencias significativas asociadas al éxito profesional. 

Las variables más importantes en las que se encontraron diferencias estadísticamente significativas relacionadas con el éxito académico fueron tener buen desempeño profesional (p = 0.000), tener 34 años de edad o menos (p = 0.005) y tomar una o más actividades de educación médica continua al año (p = 0.034). La clasificación correcta de casos pronosticados según los observados en el AD fue del 100%.

De la misma forma, para identificar las variables independientes más importantes y su correlación con la variable dependiente liderazgo asignado, se calcularon los coeficientes de desempeño del modelo elegido (número 6 en la tabla 2). En la tabla 4 se muestran los coeficientes de desempeño de las variables independientes más importantes y bien evaluadas que predijeron el liderazgo asignado mostrado en la figura 4.

Figura 4 Variables independientes según su nivel de importancia y desempeño para predecir el liderazgo asignado. 

En la figura 5 se muestran el análisis CHAID y el AD calculado para las variables independientes que mostraron diferencias estadísticamente significativas en el liderazgo asignado de los egresados. Las variables más importantes en las que se encontraron diferencias estadísticamente significativas relacionadas con el liderazgo asignado fueron el sexo (p = 0.000); en las mujeres, realizar actividades con práctica clínica en el servicio social (p = 0.000) y tener un promedio de 9 a 10 en el bachillerato (p = 0.042), y en los hombres, realizar actividades con práctica clínica en el servicio social (p = 0.002) y participar en una o más actividades de educación continua al año (p = 0.011). En este análisis CHAID, la clasificación correcta de casos pronosticados según los observados en el AD fue del 71.9%.

Figura 5 Árbol de decisión de las variables independientes que mostraron diferencias significativas asociadas al liderazgo asignado. 

Discusión

En el área de la medicina, la técnica de RNA se ha usado con diferentes propósitos: Montaño¹ las utilizó en su tesis doctoral para el análisis de supervivencia y conductas adictivas; Trujillano et al.³,⁶,⁷ publicaron su uso fundamentalmente para predecir mediciones cuantitativas de pacientes en la práctica médica (mortalidad, supervivencia, diagnóstico, procesamiento de imágenes, electrocardiogramas, electroencefalogramas, dosis óptimas de fármacos, medicina intensiva y mortalidad hospitalaria); Hernández y Lorente⁸ y Ortiz et al.⁹ usaron la técnica de RNA para el estudio predictivo de factores asociados al cáncer mamario; Palmer et al.¹⁰, para predecir el consumo de éxtasis; y Menacho³⁸ para predecir el rendimiento académico. Por su parte, Basogain³⁹ menciona diversas aplicaciones de las RNA en medicina (procesado de imágenes, diagnóstico médico, robótica y clasificación de datos provenientes de sensores). Estos trabajos referidos usaron las RNA para aspectos de la práctica médica, con un número de variables relativamente reducido y sobre todo de tipo cuantitativo en una escala continua o de razón.

Con el desarrollo de software libre y de propietario en el actual siglo, las RNA han incursionado en las ciencias sociales. En el área educativa, en particular en medicina, existen pocos trabajos reportados en los que se usen las RNA. Menacho³⁸ las utilizó para predecir el rendimiento académico de alumnos de medicina utilizando variables escolares. Otros autores también las han utilizado, principalmente para predecir el rendimiento y el desempeño escolares en diferentes áreas: Cataldi et al.¹¹ aplicaron las RNA para predecir el rendimiento académico en una muestra de 450 alumnos de licenciatura; Zacharis¹² estudió el desempeño académico de 265 alumnos universitarios de ingeniería mecánica; y Salgueiro et al.¹³ presentaron los avances de su trabajo con RNA para predecir las aptitudes de alumnos universitarios. Al parecer, los estudios en los que se han usado las RNA tienen cierta preferencia para predecir el desempeño o rendimiento académico, como se manifiesta en las investigaciones de Ahmad y Shahzadi¹⁵, Bahadir¹⁶ y Baashar et al.¹⁷. Es importante señalar que la mayoría de estos autores consideran como variables independientes de sus modelos de RNA principalmente las calificaciones obtenidas en las materias que cursaron los alumnos. En nuestro trabajo se estudiaron 29 variables distribuidas en ocho áreas, descritas en la sección Método.

En cuanto al éxito académico, Agdelen et al.¹⁴ estudiaron a 154 alumnos de primer grado de ingeniería y arquitectura de nivel universitario; en su modelo de RNA incluyeron 20 variables independientes (de tipo social, condiciones económicas y factores ambientales) y la variable dependiente fue clasificada en cinco niveles de éxito académico, sin especificar el nombre de dichas categorías predictivas. Estos autores usaron el modelo de RNA del tipo función de base radial; en nuestro trabajo se usó el de tipo perceptrón multicapa debido a que es supervisado y se obtuvo una mejor interpretación de los resultados. Los autores referidos¹⁴ solo calcularon un modelo de RNA, pero con diferentes porcentajes de la muestra de entrenamiento y de prueba. En la presente investigación se calcularon 10 modelos aleatorios con los mismos valores (fijos) de porcentajes de entrenamiento (70%) y prueba (30%) como se ha mencionado en la sección Análisis estadístico. Los mismos autores¹⁴ citan a Büyüköztürk y Deryakulu (2002), Begik (1997), Parke y Welsh (1998) y Perçin (1998) como otros investigadores que estudiaron el éxito académico; sin embargo, no utilizaron la técnica de RNA, sino que recurrieron fundamentalmente a la regresión lineal.

López et al.¹⁹ utilizaron las RNA en un estudio con 1614 alumnos universitarios de la carrera de Bioquímica, en el que analizaron ocho variables independientes para predecir el rendimiento académico de los alumnos. Los autores usaron los dos tipos de RNA (perceptrón multicapa y función de base radial) con las mismas variables, y concluyeron que, aunque los dos tipos tuvieron buena capacidad predictiva, los ajustes ofrecidos por las redes de perceptrón multicapa fueron superiores a los obtenidos con las redes de función de base radial. Por otra parte, Borracci y Arribalzaga¹⁸ utilizaron las RNA para la clasificación y la selección de candidatos a residencias médicas, y Porcel et al.²⁰ y Acosta y Pizarro²³ aplicaron las RNA para predecir el rendimiento académico.

Por lo que se refiere a liderazgo asignado en el área de la medicina, no se encontraron publicaciones en las que se hubieran utilizado las RNA. Los trabajos consultados se orientaron a la conceptualización, tipos, importancia, su enseñanza en la carrera de Medicina y otras características acerca de la formación de líderes en el campo de la medicina²⁴,²⁵,²⁷-³¹.

En cuanto a las limitaciones del presente estudio, cabe señalar que los resultados obtenidos no se pueden generalizar, ya que la muestra de egresados no fue aleatoria y de carácter voluntario, aunque tuvo un tamaño grande (1434 médicos egresados de seis generaciones). Por otro lado, un sesgo inherente a la aplicación de encuestas retrospectivas es la posibilidad de obtener información que no es posible comprobar, por lo que se reconoce que existió. Otra limitante fue la forma en que se definieron operativamente las dos variables dependientes (liderazgo asignado y éxito académico); los egresados emitieron sus respuestas de acuerdo a sucesos o hechos por medio de su opinión o percepción personal.

Acerca de las limitaciones de la técnica de RNA, los resultados dependen de los siguientes elementos: número y orden de las variables de entrada (independientes), punto inicial aleatorio del modelo y orden de las categorías que se introducen en las variables independientes. Otra limitante es que las RNA asignan valores de pseudoprobabilidades⁴⁰ a las variables que resultan predictoras de la variable dependiente, por lo que se debe complementar con métodos más robustos que sí lo realizan, como los AD⁴¹ tipo CHAID (Figs. 3 y 5) y el AI⁴², para cuantificar el valor de los coeficientes de desempeño observados en las figuras 2 y 4.

Entre las fortalezas que se pueden señalar de este estudio se encuentra que se calcularon 10 modelos aleatorios de RNA y de ellos se seleccionó como el mejor modelo aquel que menor error de entropía obtuviera. El fundamento para esta decisión fue que la red calculada aprende de sí misma examinando los registros individuales (70% de la muestra en este trabajo), y posteriormente genera una predicción para cada registro y realiza ajustes a las ponderaciones cuando obtiene una predicción incorrecta⁴⁰. Este proceso se repite muchas veces y la red sigue mejorando sus predicciones hasta haber alcanzado uno o varios criterios de parada considerando los valores del algoritmo de optimización lambda y sigma especificados en la tabla 1.

Para comprobar y verificar los resultados de los 10 modelos calculados y que sus valores obtenidos fueran consistentes, se seleccionó un número aleatorio fijo de inicio en el programa estadístico. Estos aspectos no han sido señalados en los artículos consultados y se consideran importantes y necesarios para verificar los resultados obtenidos de los modelos calculados y para que los lectores comprendan los parámetros usados en el estudio, cuyas características de diseño y arquitectura de la red neuronal se refieren en la sección Método y se especifican en la tabla 1.

Otra fortaleza es el tamaño de la muestra de estudio, que consideramos grande (1434 egresados). Esta característica incrementa la capacidad de predicción de la técnica de RNA, ya que se utilizó el 70% de la muestra para «entrenar» a la RNA y «aprender» a predecir las relaciones entre las variables independientes y dependiente. El análisis complementario de la importancia y el desempeño de las variables independientes (AI) permitió obtener los coeficientes de desempeño; sus valores más altos identificaron claramente las principales variables independientes predictoras (siete variables para éxito y ocho para liderazgo).

Calcular 10 modelos de RNA permitió elegir el que menor error de entropía tuviera, lo cual se refleja en las curvas ROC, en las que se explica el rendimiento esperado de un clasificador según las áreas bajo la curva y se sitúa siempre entre 0 y 1; cuanto más alto es el valor, mejor es el clasificador y mayor es el porcentaje de individuos correctamente clasificados (Tabla 2).

Otra fortaleza es haber complementado a las RNA con el análisis de AD⁴¹ tipo CHAID para identificar variables anidadas significativas, y el AI⁴² para determinar los coeficientes de desempeño. Estas técnicas permitieron comprender e interpretar mejor los resultados de las RNA.

Finalmente, una fortaleza adicional es haber seguido los lineamientos generales que indica la Asociación Nacional de Universidades e Instituciones de Educación Superior⁴³ en cuanto al tiempo de espera de los alumnos que egresaron de la carrera (al menos 5 años) para realizar estudios de seguimiento.

Conclusiones

Este trabajo responde a los lineamientos generales del plan de estudios vigente de la Facultad de Medicina de la UNAM, relacionados con la importancia de hacer investigaciones de seguimiento de sus egresados para fortalecer y hacer adecuaciones en su currículo⁴⁴.

Las RNA identificaron las principales variables que predijeron el éxito académico y el liderazgo asignado de los egresados de la carrera de Medicina. La técnica de RNA es sencilla y bondadosa desde el punto de vista de la estadística, ya que no requiere los supuestos teóricos robustos del análisis de regresión lineal; sin embargo, para su uso es conveniente tener capacitación teórica en el tema de redes neuronales. Asimismo, debe complementarse el análisis de RNA con otras técnicas estadísticas, como el AI para medir los coeficientes de desempeño y los AD (variables independientes significativas «anidadas») para identificar con mayor detalle y profundidad el peso específico y de significancia estadística de las variables predictoras.

En este estudio, aplicando la técnica de RNA del tipo perceptrón multicapa, se identificaron las principales variables independientes predictoras (siete variables para éxito y ocho para liderazgo); además, se incursiona en dos líneas de investigación poco estudiadas con las técnicas de RNA en el área de la medicina.