Introducción

El propósito esencial de la evaluación de aspirantes a un programa de posgrado, generalmente, es valorar el grado en que satisfacen el perfil de ingreso y seleccionar a quienes poseen características compatibles con el programa y garanticen el éxito del mismo y el individual. “En sentido estricto, las evaluaciones de aptitud son de índole diagnóstica de capacidades o potencialidades tendientes a predecir el éxito escolar” (^{Ibañez, 2009}). Los procedimientos y criterios de admisión y selección de estudiantes son críticos para medir la calidad organizativa del posgrado e influyen también de forma muy directa en la calidad académica. “No podemos olvidar que la calidad y reputación de un máster están íntimamente relacionadas con la calidad de los estudiantes seleccionados” (^{Bengoetxea-Castro & Arteaga-Ortiz, 2009}).

A nivel mundial existe un amplio consenso en el campo educativo sobre la importancia del proceso de selección de estudiantes para su admisión en estudios de posgrado. En Estados Unidos de América abundan los análisis y metanálisis de los procesos de admisión (^{Kuncel, Credé, & Thomas, 2007}; ^{Kuncel, Wee, Serafin, & Hazlett, 2010}), y entre los resultados más importantes señalan que los exámenes Graduate Record Examinations (GRE-T), Graduate Management Admission Test (GMAT) y Miller Analogies Test (MAT) predicen de manera aceptable la obtención del grado de los estudiantes, la productividad científica y el número de citas. Del mismo modo, la mayoría de los países que conforman la Unión Europea han realizado esfuerzos importantes para la homogeneización de los criterios de selección en los programas de posgrado (^{Davies, 2009}; ^{European University Institute [EUI], 2014}; ^{Kehm, 2006}); sobresalen los temas de equidad, calidad y capacidad para promover la movilidad. La mayoría de los países europeos operan con un sistema dual en el cual las universidades tienen algún control sobre la admisión, pero en el marco de lineamientos gubernamentales en los criterios de selección (^{McGrath et al., 2014}).

En América Latina también se han realizado esfuerzos que expresan la atención al ingreso, demandada por el proceso de selección de aspirantes a estudios de posgrado. En Colombia, ^{Colonia-Duque (2010)} caracterizó el perfil de estudiantes de posgrado y concluye, entre otras cosas, que existe una correlación significativa entre las calificaciones promedio obtenidas en el programa de maestría con variables como hoja de vida, promedio de calificaciones de pregrado, entrevista y prueba de aptitudes. En Chile, se continúan probando instrumentos capaces de medir atributos que complementen los indicadores ya usados para los procesos de admisión de posgrado (^{Santelices et al., 2010}).

En México, un número amplio de universidades utiliza el Examen Nacional de Ingreso (EXANI-III), propuesto en 1996 por el Centro Nacional de Evaluación para la Educación Superior (CENEVAL), para la selección de estudiantes de posgrado. La estructura temática del examen incluye: razonamiento lógico-matemático, razonamiento verbal, metodología y habilidades para la investigación, tecnologías de información para la comunicación (TIC) e inglés. No obstante, aunque se han realizado pocos estudios sobre el tema, se ha encontrado que la capacidad predictiva del examen para la obtención del grado de maestría en los tiempos deseables es muy baja (^{Álvarez-Montero, Mojardín-Heráldez, & Audelo-López, 2014}).

^{García (1995)} destacó que una característica de los estudios de posgrado del país es que las instituciones de carácter público son mucho más selectivas que sus contrapartes del sector privado. Por otra parte, hay un número importante de universidades que han diseñado su propio examen y procedimiento de selección, quienes integran la información relevante para escoger a los estudiantes que reúnan los requisitos del perfil de ingreso; este es el caso del programa de Maestría en Ciencias en Ciencias Forestales de la Universidad Autónoma Chapingo (UACh).

El estado actual del sistema de estudios de posgrado mexicano se explica en gran medida por la política nacional conducida por el Consejo Nacional de Ciencia y Tecnología (CONACYT) mediante el Programa Nacional de Posgrados de Calidad (PNPC), misma que se ha ejercido a partir de 1991 (^{Adalid & de Urdanivia, 2011}). La pertenencia a dicho programa es una condición importante para la existencia y desarrollo de los posgrados, principalmente los de educación pública. La pertenencia se consigue mediante la participación y aprobación de un conjunto de indicadores contemplados en las tres etapas del modelo de evaluación establecido: autoevaluación, evaluación de pares, y la evaluación de resultados e impacto (^{Consejo Nacional de Ciencia y Tecnología [CONACYT], 2013}). En este proceso, la selección de los aspirantes al posgrado es una etapa que puede facilitar el logro de indicadores de calidad si se realiza apropiadamente, mismos que son de vital importancia para ingresar o permanecer en el PNPC.

Bajo este marco, el objetivo de la investigación fue determinar la combinación ponderación-agregación que genere un índice para la selección de aspirantes y sea el más compatible con los criterios del programa de la maestría. Para el propósito se usó la información de 19 solicitantes en el año 2015. La combinación de distintos métodos de ponderación con diferentes métodos de agregación ha sido abordada de manera muy limitada. La literatura reporta pocos casos, específicamente, en el marco de los índices compuestos (^{Chakrabarty & Bhattacharjee, 2012}). Por otra parte, aunque el tema de la selección en el marco de la toma de decisiones es bastante amplio y se ha abordado desde distintas aristas, no se conocen trabajos específicos que analicen combinaciones de métodos de ponderación con agregación en decisiones relacionadas con la selección.

Materiales y métodos

Se utilizaron dos métodos de ponderación de los criterios y subcriterios: Método de Asignación de Puntos (MAP) y Proceso Jerárquico Analítico (PJA). Los resultados de ambas ponderaciones subjetivas se utilizaron para estimar la clasificación de los 19 estudiantes mediante los métodos Technique for Order of Preference by Similarity to Ideal Solution (TOPSIS) y el Método Suma Ponderada (MSP), resultando cuatro combinaciones: TOPSIS-MAP, TOPSIS-PJA, MSP-MAP y MSP-PJA. Posteriormente, la técnica de ordenamiento de Pareto se aplicó para determinar la combinación más compatible con los criterios del programa y, en consecuencia, con la mejor selección de aspirantes.

Modelo de evaluación y selección de aspirantes en la Maestría en Ciencias Forestales de la Universidad Autónoma Chapingo

La selección de los aspirantes es conducida por la Coordinación de Estudios de Posgrado del programa, la cual se integra por un Coordinador y cuatro Vocales, todos miembros de la planta académica. Los aspirantes aceptados son aquellos cuya calificación global es igual o mayor que 80. El proceso de selección considera tres criterios: conocimientos, experiencia y personalidad. Cada criterio comprende a su vez distintos subcriterios (Figura 1) valorados en una escala de 0 al 100.

Figura 1 Componentes del modelo de selección de los aspirantes al posgrado de la Maestría en Ciencias Forestales de la Universidad Autónoma Chapingo. JCR: Journal Citation Reports 

• 1. Examen de conocimientos. Es un examen escrito que consta de 20 preguntas; 15 están relacionadas con las Ciencias Forestales y cinco con otras áreas de interés.

• 2. Examen de habilidades. Examen escrito para identificar las habilidades de los aspirantes en las áreas de matemática, lógica e investigación. El examen tiene cuatro secciones: la primera se refiere a preguntas relacionadas con el razonamiento verbal, la segunda trata aspectos matemáticos, la tercera se relaciona con el planteamiento en resolución de problemas y la última se refiere a las habilidades en investigación. Cada sección se integra de 10 preguntas.

• 3. Examen de diagnóstico del idioma inglés. Se aplica para conocer el nivel que los aspirantes tienen para, luego de ser aceptados, identificar las necesidades de cursos para el buen desempeño en la lectura y comprensión de la literatura de apoyo en cursos e investigación. Generalmente, el examen es una versión del Test of English as a Foreign Language (TOEFL) aplicado por el Departamento de Idiomas de la universidad. La calificación bruta de cada sección se convierte por medios estadísticos en un número; la calificación total del examen en papel se informa en una escala de 310 a 677. Las calificaciones se convirtieron a la escala del 0 al 100, utilizando la técnica de normalización por rango.

El criterio experiencia comprende los siguientes subcriterios:

• 4. Currículo. Se califican los antecedentes y experiencia profesional del aspirante, a través de los documentos probatorios.

• 5. Promedio del grado anterior. El promedio mínimo debe ser 80 puntos en la escala de 0 a 100.

• 6. Habilidades prácticas para la investigación y ejercicio de síntesis y comprensión. Esta tarea consiste en buscar cinco artículos científicos publicados en revistas indexadas, de preferencia incluidas en JCR (Journal Citation Reports). Los artículos deben estar relacionados con el tema de investigación propuesto por el aspirante; dos pueden ser en español y tres en inglés. Los aspirantes deben resumir el contenido de cada artículo correlativamente con su tema de investigación en una cuartilla y entregar en un periodo de cinco días hábiles.

El criterio personalidad agrupa los dos subcriterios restantes:

• 7. Entrevista con la Coordinación del programa. La entrevista se realiza en dos etapas. En la primera, se entrega a cada aspirante un cuestionario que contiene 16 preguntas relacionadas con los siguientes temas: objetivos personales para estudiar la maestría en el programa, inquietudes de investigación y docencia, conocimiento del personal académico del programa y conocimiento sobre otras opciones similares de estudio. La segunda etapa consiste en la entrevista directa con los integrantes de la Coordinación, quienes abundan sobre los aspectos abordados en el cuestionario de la primera etapa y otros pertinentes, para obtener buenos resultados en el programa.

• 8. Examen psicométrico. Este examen se aplica por profesionales de la psicología en la universidad. Los resultados son confidenciales y se expresan en tres categorías: apto, medianamente apto y no apto, a las cuales se asignan las calificaciones 100, 80 y 66, respectivamente.

Resultados y discusión

Las calificaciones de los aspirantes en el proceso de selección y evaluación, por subcriterio, se muestran en el Cuadro 2. Como era de esperar, las calificaciones resultantes expresan conflicto entre los distintos subcriterios considerados; es decir, generalmente, cada criterio señala distintas alternativas (aspirantes) como mejores. Del mismo modo, se observa que prácticamente todos los aspirantes tuvieron calificaciones aceptables en el examen de conocimientos, mientras que las calificaciones más bajas de algunos se obtuvieron en los exámenes de habilidades e inglés.

La ponderación de criterios y subcriterios se colectó mediante una encuesta diseñada especialmente para los expertos, quienes han sido o son integrantes de la Coordinación de Estudios de Posgrado en el que se realizó la selección de aspirantes, lo cual garantiza la experiencia en el proceso de selección. Los resultados obtenidos mediante el método PJA y MAP (Cuadro 3) presentan disparidades significativas en la ponderación de los criterios y subcriterios. Sobresale el caso del subcriterio examen de conocimientos, al cual el método de ponderación PJA asignó el doble del peso que el método MAP. Otro caso que llama la atención es el del subcriterio entrevista de la Coordinación, al cual MAP asigna un peso 3.5 veces mayor que PJA.

La aplicación de los dos métodos de agregación, TOPSIS y MSP, utilizando en cada caso las dos ponderaciones, MAP y PJA, resultó en cuatro combinaciones ponderación-agregación. El Cuadro 4 muestra los valores para los 19 aspirantes evaluados.

Los valores generados por cada combinación de métodos se convirtieron a la escala 0-100, mediante la técnica de normalización por rango (Cuadro 4, valores entre paréntesis), lo cual permitió identificar a los aspirantes que alcanzaron o superaron 80 puntos en la calificación global. De este modo, encontramos que las combinaciones TOPSIS-PJA y MSP-PJA asignan a cinco aspirantes una calificación mayor o igual a 80, mientras que con TOPSIS-MAP y MSP-MAP solo se asignaron a cuatro (Cuadro 5).

En el análisis sobresale que las cuatro combinaciones incluyen en su selección a tres aspirantes; 10, 15 y 18. El aspirante número 15 es el que mejor satisface el perfil de ingreso ya que aparece en el primer lugar de las cuatro selecciones. El segundo aspirante es el número 10, ya que aparece en segundo lugar en tres selecciones y en cuarto lugar en la otra, mientras que el aspirante número 18 resulta incluido en órdenes distintos (Cuadro 5). Otro resultado importante es el hecho de que las combinaciones TOPSIS-PJA y MSP-PJA seleccionan a los mismos aspirantes, pero en distinto orden. De manera análoga, las combinaciones TOPSIS-MAP y MSP-MAP seleccionan los mismos aspirantes, pero exactamente en el mismo orden.

El ordenamiento de Pareto como técnica para identificar la combinación ponderación-agregación más compatible con los criterios usados, de acuerdo con la distancia total o distancia promedio calculada, muestra que el método de agregación MSP-PJA presenta la distancia promedio mínima (Cuadro 6). Este método debe considerarse como el más compatible con los otros tres construidos basados en los criterios incluidos.

El hecho de que la combinación resultante sea MSP-PJA tiene la ventaja de que el método de agregación MSP es de fácil aplicación. Por su parte, el método de ponderación PJA podría presentar dificultades de operación si se incrementa el número de criterios a ponderar; sin embargo, esta posible limitación no ha afectado los resultados obtenidos en la presente investigación.

El ordenamiento de Pareto determina que el índice que genera un ordenamiento cuya distancia es la mínima a los ordenamientos de los demás índices, es el de mayor compatibilidad con los criterios del programa. Lo anterior debido a que cada uno de los índices construidos con diferente combinación, considera los criterios del programa de distinta manera, pero siempre son los mismos. La asociación de estas ideas se desprende de lo siguiente. Por un lado, la asignación de pesos vía PJA o MAP se hace de acuerdo con la interpretación que los expertos tienen de los criterios del programa y, siendo partícipes del mismo, son quienes mejor los conocen y establecen a través de su academia. Por otro lado, los métodos de agregación, lo que incorporan son las valoraciones de los criterios usados en la selección, de modo que, en este aspecto, el índice también los incluye en su construcción. En otras palabras, cada índice trata de manera diferente los criterios que usa y la diferencia está dada por el modo en que se ponderan y se agregan, tomando en cuenta el conocimiento de los expertos y las propiedades algebraicas de los métodos de agregación. De este modo cada índice representa una forma distinta de tratar la información, produciendo un ordenamiento diferente.

Cuando se selecciona el índice cuyo ordenamiento tiene una distancia mínima con el ordenamiento del resto de los índices probados, sin duda, es el más compatible entre los probados con los criterios del programa. Por supuesto, si se ensayaran más métodos de ponderación y agregación, el índice más compatible sería más robusto; no obstante, es importante mantener las opciones entre las más frecuentes y sencillas, que suelen ser las que mejores resultados han producido, así como acotar el número de ellas.

Conclusiones

Los métodos multicriterio representan una buena opción para considerar apropiadamente la gran cantidad de información generada en un proceso de selección. El método de ponderación determinó los aspirantes a elegir, ya que indistintamente de la agregación usada, los estudiantes seleccionados fueron los mismos si las ponderaciones de los criterios fueron las mismas. La combinación de métodos MSP-PJA fue la más compatible con el resto de las combinaciones utilizadas, pues induce una clasificación cuya distancia a otras clasificaciones es mínima. Esto indica que las consideraciones de los expertos para ponderar (PJA) y la técnica utilizada para agregar (MSP) son más compatibles que el resto de las combinaciones. Dado que algunos de los criterios considerados son de carácter cualitativo y susceptibles de ser evaluados mediante etiquetas lingüísticas, una posible dirección en posteriores estudios es el uso de la lógica difusa. Durante los últimos 10 años, los estudiantes de la Maestría en Ciencias Forestales se eligieron utilizando el método de asignación de puntos (MAP) en la fase de ponderación de criterios, y el método suma ponderada (MSP) en la agregación. Los resultados obtenidos mediante esa selección fueron muy buenos, por lo que agregan certidumbre y ofrecen la oportunidad de precisar el procedimiento hasta ahora utilizado.