Introducción

En la actualidad, la tutoría académica se encuentra debidamente formalizada en la mayoría de las instituciones mexicanas de educación superior y forma parte esencial de las actividades que definen la práctica docente (^{Saavedra, Alatorre y Tremillo, 2015}; ^{García, Cuevas, Vales y Cruz, 2011}). Su relevancia es tal, que forma parte de los indicadores que son valorados en los procesos de acreditación de los programas educativos de licenciatura que impulsan los principales organismos existentes en esta materia (^{Consejo para la Acreditación de la Educación Superior [COPAES], 2016}; ^{Comités Interinstitucionales para la Evaluación de la Educación Superior [CIEES], 2018}), así como de los criterios con que se evalúa el desempeño docente, ya sea a través del Programa para el Desarrollo Profesional Docente (Prodep) (^{Gobierno de México, 2020}) o de los programas de estímulos que operan al interior de las propias instituciones de educación superior (IES).

Buena parte de los avances registrados en la diseminación y consolidación de esta práctica tienen su origen en el Programa Institucional de Tutorías (PIT), propuesto por la Asociación Nacional de Universidades e Instituciones de Educación Superior (ANUIES) en el año 2000 (^{Romo, 2011}). En este programa, se planteó la necesidad de impulsar acciones específicas orientadas a apoyar el proceso formativo y el desarrollo integral del estudiantado universitario en aspectos relacionados con los ámbitos académico, personal y profesional, así como incidir en el comportamiento de indicadores educativos tales como la reprobación, la deserción y la eficiencia terminal (^{ANUIES, 2001}; ^{Álvarez y Álvarez, 2015}; ^{Labato y Guerra, 2014}; ^{Martínez, 2017}).

Este programa consideró la incorporación de la función tutorial como complemento a la docencia, en la que el profesor(a) fungiría como un acompañante del estudiantado durante su proceso formativo, desde su incorporación a la institución hasta su egreso, apoyándolo principalmente en la toma de decisiones y en la atención a sus necesidades o problemáticas a lo largo de su trayectoria escolar (^{Álvarez y Álvarez, 2015}; ^{Rodríguez, 2009}; ^{Martínez, 2017}; ^{Da Re, Clerici y Álvarez Pérez, 2017}).

En la actualidad, la tutoría se encuentra establecida formalmente en la mayoría de los modelos educativos de las IES, con amplia presencia en la vida académica de las mismas, lo que ha permitido su desarrollo como consecuencia de un despliegue importante de recursos organizacionales, económicos, tecnológicos y normativos, así como de esquemas institucionales orientados a su formación y actualización (^{Romo, 2015}; ^{Caldera, Carranza, Jiménez y Pérez, 2015}; ^{García et al., 2011}).

El desarrollo de esta práctica institucional en nuestro país no se ha visto acompañada de esquemas y mecanismos que permitan su evaluación a fin de valorar su funcionamiento, contribución y alcances (^{Aguilar, 2012}). Las experiencias evaluativas documentadas tanto por la literatura especializada como por diversas experiencias institucionales reúnen, en lo general, las siguientes características: a) se enfocan principalmente en la interacción entre estudiantes-tutoradas(os) y docentes-tutoras(es); b) consideran principalmente la opinión de las y los tutorados, tutores y responsables institucionales del programa; c) valoran tanto el impacto de esta práctica en el proceso formativo del estudiantado como en función de indicadores asociados con su trayectoria escolar ( ^{García, Ponce, García, Caso et al., 2016}; ^{Ponce, García, Martínez, Islas et al., 2016}).

Entre la escasa investigación orientada a documentar el estado que guardan las tutorías en las instituciones mexicanas de educación superior se encuentra el estudio de ^{Romo (2004)}, quien analizó la operación de programas de tutorías de un grupo numeroso de universidades, centrando su atención en aspectos asociados con la estructura, organización, funciones y plataformas informáticas en que se apoyan las áreas en que estos descansan. En el estudio, se identificaron grandes áreas de oportunidad en la instrumentación de estos programas que involucran cuestiones relacionadas con la necesidad de disponer de más recursos -tanto humanos especializados como financieros-, de actualizar y adecuar los marcos normativos existentes y de conducir con mayor eficiencia los procesos de gestión asociados. Una constante en las instituciones que participaron en este estudio fue el reconocimiento de las limitaciones asociadas con las prácticas de evaluación de la tutoría, las cuales se caracterizaban, principalmente, por adherirse al marco de referencia proporcionado por ANUIES en esta materia, por registrar una participación reducida de estudiantes, y por contar con una pobre retroalimentación a los procesos de tutoría y a los actores implicados (^{Romo, 2004}).

Posteriormente, y con base en el análisis de la percepción de muestras de estudiantes de un segundo trabajo que involucró a otro conjunto de instituciones de educación superior, ^{Romo (2010)} identificó niveles altos de aprobación en lo relativo al funcionamiento de los programas de tutoría y su contribución al proceso formativo y desempeño académico estudiantil. Este análisis también permitió identificar algunos problemas asociados con la acción tutorial, entre los que se encontraban la falta de claridad en los objetivos, alcances y organización de esta práctica, así como en la necesidad de fortalecer aspectos asociados con el desempeño del tutor(a), tales como su nivel de compromiso con el tutorado, sus estrategias de acompañamiento y sus habilidades de comunicación, aspectos referidos en otras investigaciones como una consecuencia de las nuevas funciones que realizan las y los profesores más allá de su participación habitual en la práctica docente (^{Rodríguez, 2009}; ^{García et al., 2016}; ^{Knyazeva, 2016}).

Un hallazgo adicional refiere la ausencia de criterios específicos asociados con la evaluación de la tutoría y de los instrumentos de medición empleados en dicho proceso, así como de sus evidencias de validez y confiabilidad (^{Rosas, 2010}; ^{Rosas y Ramírez, 2013}). Así lo documenta un estudio realizado por ^{Ponce, García, Romo y Aviña (2022)}, en el que se analiza al conjunto de instrumentos utilizados por 28 universidades mexicanas y en el que se da cuenta de la escasa información disponible de sus propiedades psicométricas.

A este respecto, cabe mencionar que la validez es uno de los atributos más importantes de un instrumento de medición (^{Educational Tests Service, 2014}) ya que determina el grado en que la evidencia y la teoría apoyan la interpretación de sus puntajes para los usos propuestos (^{American Educational Research Association, American Psychological Association, National Council on Measurement in Education [AERA, APA y NCME] 2014}). El diseño y desarrollo de todo test debe respaldarse en evidencias de validez y confiabilidad las cuales permiten realizar inferencias a partir de las puntuaciones obtenidas (^{International Test Commission, 2010}).

En este sentido, con el propósito de contar con instrumentos de medición válidos y confiables que apoyen los procesos relacionados con la evaluación de la práctica tutorial en las instituciones mexicanas de educación superior, se propuso el presente estudio con el fin de obtener evidencias de validez y confiabilidad del cuestionario para la evaluación de competencias del tutor (CECT), desarrollado por ^{García et al. (2016)}, así como de contribuir al desarrollo, aún incipiente, de esta línea de investigación. Para ello, se comprometió un conjunto de procedimientos orientados a la obtención de evidencias basadas en la estructura interna del instrumento con el objetivo de determinar el grado de ajuste entre los elementos o componentes del test y del constructo, así como de su confiabilidad. De manera complementaria, se propuso la aplicación de un conjunto de procedimientos para la optimización de la medida sugeridos por ^{Jornet, González y Perales (2012)}, rutina analítica que ha realizado contribuciones importantes en la optimización de constructos complejos en el ámbito de la educación.

Método

Análisis de datos

A fin de documentar las evidencias de validez y obtener las propiedades psicométricas del cuestionario, se realizaron los siguientes análisis:

1. Análisis de confiabilidad del cuestionario mediante el cálculo del coeficiente de consistencia interna alfa ordinal, el cual responde al nivel de medida (ordinal) de los ítems. Los análisis se elaboraron dentro del paquete psych (^{Revelle, 2019}) del programa estadístico R.

2. Análisis de discriminación a través de la estimación de la correlación biserial-puntual (Ptbis) de los ítems con apoyo del paquete psych (^{Revelle, 2019}) del programa estadístico R. Un ítem discrimina cuando registra un valor igual o mayor a 0.20, tal como lo sugieren diversos marcos de referencia (^{Abad, Olea, Ponsoda y García, 2011}).

3. Análisis de unidimensionalidad a fin de determinar la unidimensionalidad de los ítems a través del modelo de Rasch, desde la perspectiva de la teoría de la respuesta al ítem (TRI), considerando índices de ajuste interno y externo aceptables a aquellos ítems con valores dentro del intervalo de .60 y 1.40 (Wright y ^{Linacre, 1994}). Los análisis fueron realizados en el programa Winsteps 3.70.

4. Análisis factorial confirmatorio (AFC), el cual permitió someter a prueba la estructura hipotética del instrumento, por lo que el modelo integró a cada una de las competencias evaluadas, representadas como rasgos latentes, y a los ítems correspondientes, representados como variables observadas (Figura 1). Dado que los ítems tienen un nivel de medida ordinal, los modelos se estimaron con base en la matriz de correlación polícórica y se utilizó el método de estimación de mínimos cuadrados no ponderados (ULS) (^{Luo, 2011}). La estimación del modelo se elaboró dentro del paquete lavaan (^{Rosseel, 2012}) del programa estadístico R.

5. Procedimiento para la optimización de la medida, a fin de contar con una versión reducida del instrumento. Este conjunto de procedimientos es indicado para la optimización de las propiedades psicométricas de constructos complejos, lo que permite conservar los ítems que resultan clave y que aportan más información del constructo objeto de medición, con un elevado grado de confiabilidad y validez, equivalente a la que se obtendría con la aplicación total del cuestionario o de la escala original (^{Jornet, González y Perales, 2012}). El procedimiento propuesto por ^{Jornet, González y Perales (2012)} consta de las siguientes fases: a) exploración del comportamiento inicial de los ítems, b) análisis de confiabilidad y discriminación, c) estimación de la puntuación total de la versión reducida y exploración de su calidad y d) reducción final y validación del micro-instrumento.

Nota: Competencia 1: planificar el proceso de tutoría; competencia 2: gestionar el proceso de tutoría; competencia 3: dar seguimiento, ajustar y monitorear las acciones desarrolladas en la tutoría; competencia 4: utilizar estrategias adecuadas de comunicación para realizar el trabajo de tutoría; competencia 5: valorar el efecto de los procesos de tutoría individual y grupal; competencia 6: evaluación de la tutoría.

Fuente: elaboración propia.

Figura 1 Modelo factorial confirmatorio propuesto para la versión original del cuestionario para la evaluación de las competencias del tutor 

Resultados

El CECT registró un índice de consistencia interna alfa ordinal de 0.989, mientras que las seis competencias que lo conforman registraron índices de confiabilidad con valores en un rango de 0.906 a 0.970. Por su parte, el análisis de discriminación reveló que la totalidad de los ítems que componen cada una de las competencias registraron coeficientes biseriales puntuales superiores a .20 (Tabla 3).

El análisis de unidimensionalidad vía modelamiento Rasch-Masters registró índices de bondad de ajuste aceptables en 74 de los 80 ítems que conforman cada una de las seis competencias, con valores dentro de los parámetros deseables (infit y outfit >.60 y <1.40) para este tipo de instrumentos (^{Linacre, 1994}). Esto seis ítems son: 19 (“Mi tutor/a promovió la participación de todos los estudiantes durante las sesiones de tutoría grupal”), 31 (“Mi tutor/a me citó a sesiones de tutoría individual”), 16 (“Mi tutor/a se interesó sobre situaciones personales que llegaron a afectar mi rendimiento académico”), 70 (“Este cuestionario puede ser más útil que el instrumento electrónico que existe actualmente para evaluar el programa de tutoría”), 66 (“Me parece pertinente evaluar de forma electrónica el programa de tutoría”) y 71 (“Mi tutor/a me solicitó hacer recomendaciones para mejorar el programa de tutoría”).

En el caso del análisis factorial confirmatorio (AFC) se analizó la calidad del ajuste de las respuestas de los examinados al modelo propuesto (Figura 2).

Fuente: elaboración propia.

Figura 2 Modelo factorial confirmatorio para la versión original del CECT 

Los índices de bondad de ajuste utilizados para valorar los resultados del AFC fueron RMSEA (≤ 0.06), TLI (≥ 0.95), CFI (≥ 0.95) y SRMR (≤ 0.08) (^{Abad et al., 2011}). La estimación inicial del modelo registró índices de ajuste satisfactorios con valores RMSEA = 0.27, CFI = 0.997, TLI = 0.997 y SRMR = 0.063, así como valores aceptables en χ2 (258,311, p<.001). Todas las cargas factoriales y las correlaciones entre los factores considerados en el modelo registraron valores estadísticamente significativos (p < .001).

Por otro lado, en lo relativo al proceso de optimización de la medida, en un primer momento se analizó el comportamiento inicial del cuestionario a fin de identificar aquellos ítems que presentaran una ausencia total de varianza o escasa variabilidad (más del 80% de las respuestas de los estudiantes en algún extremo de la escala), registrando seis ítems con esta condición.

En un segundo momento, se descartaron los ítems que presentaron las siguientes condiciones: a) una correlación punto-biserial inferior a .30, b) un incremento del índice de consistencia interna alfa ordinal del cuestionario al eliminarse y c) una correlación superior a .50 con otro(s) ítem(s). Este análisis permitió identificar y eliminar 20 ítems que presentaron redundancias a nivel de contenido, lo que derivó en la obtención de versión preliminar optimizada del CECT.

Posteriormente, se estimó la puntuación de la versión preliminar del cuestionario y se obtuvieron los siguientes indicadores de calidad psicométrica: correlación punto biserial, alfa ordinal al eliminar el ítem y carga factorial en el primer factor como resultado del análisis factorial exploratorio. Una vez obtenidos estos indicadores, los ítems fueron ordenados en función de su calidad psicométrica, seguido de un proceso iterativo de revisión y depuración de ítems orientado por los siguientes criterios: a) uso de la puntuación total, b) capacidad del cuestionario optimizado para clasificar a los examinados y c) mantenimiento de las características teóricas y de calidad métrica del cuestionario (Tabla 4). Este conjunto de procedimientos derivó en la eliminación de 24 ítems adicionales.

La aplicación del conjunto de procedimientos propuestos por ^{Jornet, González y Perales (2012)} permitió conformar una versión optimizada del cuestionario conformada por 30 ítems (Anexo 1), la cual registró una correlación de 0.989 (p<.001) con la versión original del instrumento, un índice de consistencia interna alfa ordinal del orden de 0.976, y un ajuste aceptable al modelo propuesto (Figura 3) de acuerdo con los índices de bondad de ajuste RMSEA (0.001), CFI (.999), TLI (.999), SRMR (.051) y χ2 (42,430, p<.001).

Fuente: elaboración propia.

Figura 3 Modelo factorial confirmatorio para la versión optimizada del CECT 

Finalmente, al clasificar a las y los estudiantes en grupos alto (centil 67) y bajo (centil 33) en función de las puntuaciones totales obtenidas en las dos versiones del cuestionario (original y optimizada), se observó que la versión optimizada coincide en clasificar al 91.8% de los sujetos en el grupo bajo y al 92.5% en el alto en relación con la versión original (Tabla 5). Estos resultados, sostienen la capacidad de la versión optimizada para clasificar a los examinados.

Conclusiones

La presente investigación tuvo como objetivo la validación del cuestionario para la evaluación de competencias del tutor en el contexto de la educación superior, misma que estuvo orientada por procedimientos analíticos fundamentados por estándares y directrices ampliamente aceptados en el ámbito de la medición psicológica y educativa (^{AERA, APA y NCME, 2014}) y diversas consideraciones metodológicas asociadas con la aplicación de procedimientos para la optimización de la medida de constructos complejos (^{Jornet, González y Perales, 2012}).

La primera etapa de esta investigación comprometió la obtención de evidencias de validez y confiabilidad del CECT en su versión original, conformada por 80 ítems. Los índices de consistencia interna y discriminación registrados en las seis competencias que conforman el instrumento resultaron aceptables y dentro de los parámetros que le permiten constituirse en una medida útil para su aplicación a gran escala en el contexto mexicano.

La etapa de optimización de la medida la versión reducida del CECT (k = 30) comprometida en el presente estudio trajo consigo la retención del 37.5% de los ítems (k = 30) y su reorganización en cinco competencias: a) planificar el proceso de tutoría, b) gestionar el proceso de tutoría, c) dar seguimiento, ajustar y monitorear las acciones desarrolladas en la tutoría, d) utilizar estrategias adecuadas de comunicación para realizar el trabajo de tutoría y e) valorar el efecto de los procesos de tutoría individual y grupal. La consistencia interna de estas dimensiones se mantuvo ya que solo se registró una pérdida de 13 centésimas con respecto al índice registrado por la totalidad de los ítems de la versión original. Estos hallazgos confirman lo expuesto por ^{Jornet, González y Perales (2012)}, en el sentido de que quienes defienden este tipo de metodologías consideran que favorece la conservación de cualidades sustantivas del constructo a evaluar, al mismo tiempo que asegurar la correspondencia y representatividad de sus dimensiones.

Esta nueva configuración del instrumento, representada por cinco competencias con sus respectivos ítems, reportó índices de ajuste aceptables en el análisis factorial confirmatorio con valores dentro de los parámetros deseables (RMSEA = 0.001, CFI = .999, TLI = .999, SRMR = .051). El modelo resultante en el conjunto de datos obtenidos por el CECT optimizado configuró un arreglo conformado por cinco de las seis competencias representadas en la estructura teórica-hipotética de su versión original del instrumento, lo que permite concluir que esta versión representa una alternativa válida y confiable para la medición de este constructo. Aunado a ello, la versión optimizada representa una alternativa valiosa que permitirá mitigar las limitaciones relacionadas con el uso de instrumentos extensos en las evaluaciones a gran escala, simplificando los procesos de aplicación y disminuyendo los efectos negativos de una aplicación extensa (^{Balluerka y Gorostiaga, 2012}).

Si bien, los alcances y utilidad de esta metodología se han documentado en diversos estudios y medidas de naturaleza diversa (^{Arregui, Chaparro y Díaz, 2018}; ^{Caso, Díaz y Chaparro, 2016}; ^{Hernández y Caso, 2017}; ^{Ponce, García y Caso, 2016}), es importante señalar que los atributos psicométricos expuestos con anterioridad corresponden a una aplicación que involucró a una muestra reducida de estudiantes en un contexto determinado.

Las aplicaciones futuras que se realicen en otras instituciones de educación superior, tanto de la versión extensa como reducida del CECT, deberán acompañarse del empleo de métodos de muestreo que aseguren la representatividad de la población y de los estratos que las conforman, de nuevos estudios que documenten y confirmen sus propiedades psicométricas, así como de diseños de investigación que aseguren la equivalencia métrica del CECT en caso de aplicarse en contextos distintos y con fines comparativos (^{Gunnell, Wilson, Zumbo, Mack et al., 2012}).

En el contexto actual de la práctica de la tutoría, caracterizada por la diversidad de significados que los tutores(as), estudiantes e instituciones atribuyen a la misma, resulta fundamental la construcción de un eje rector que permita el logro de sus objetivos y su adaptación a la reconfiguración de los perfiles y trayectorias escolares del estudiantado, así como de las nuevas realidades vinculadas con los procesos académicos y dinámicas institucionales. Sin duda alguna la evaluación de la tutoría debe asumir un rol central en la definición de este eje rector.

Con el ejercicio aquí documentado, se hace una contribución a la evaluación de las prácticas de tutoría partiendo de la solidez técnica de un instrumento de medición que se fundamenta teóricamente en el modelo de evaluación de competencias del docente-tutor (^{García et al., 2016}), el cual derivó de la revisión exhaustiva de la literatura especializada, del análisis de un grupo de especialistas en esta materia y de las voces de tutoras(es) vinculados con instituciones mexicanas de educación superior.

La aplicación futura del Cuestionario para la evaluación de las competencias del tutor en la educación superior permitirá, además de caracterizar las actividades que realiza el o la docente en su rol de tutor(a), retroalimentar su desempeño desde los planos áulico, institucional y de política educativa. En lo particular, su aplicación habrá de establecer las bases para el mejoramiento de la práctica docente, orientar los esquemas de formación y actualización de tutoras(es), estimar la contribución que hace la tutoría al proceso formativo y desempeño académico de las y los estudiantes e identificar áreas de convergencia con otros programas, servicios y apoyos institucionales que acompañan al estudiantado en su trayectoria escolar.