Introducción

En este trabajo se presenta la validación por juicio de expertos de un instrumento de evaluación (IE) del tipo lista de cotejo, el cual fue usado para determinar una evidencia de aprendizaje conceptual en torno a una síntesis, entendida esta como la exposición abreviada sobre un tema que debe ser explicado de forma personal por el alumno para facilitar su comprensión.

Dado que la medición es el proceso que vincula conceptos abstractos (variable latente o constructo supuesto), los cuales solo pueden ser medidos mediante variables observables (^{Cupani, 2012}), cualquier instrumento de medición o recopilación de datos debe cumplir tres requisitos esenciales: objetividad, validez y confiabilidad (^{Hernández, Fernández y Batista, 2014}).

La objetividad se refiere al grado en que el instrumento es permeable a la influencia de los prejuicios y tendencias del investigador que lo administra, califica e interpreta, y se refuerza con la estandarización en la aplicación del instrumento (iguales instrucciones y condiciones para todos los participantes) y en la evaluación de los resultados; así como empleando personal capacitado y experimentado en el instrumento.

La validez es el grado en que un instrumento mide realmente la variable que se quiere medir, y en la literatura se identifican tres tipos principales: contenido, criterio y construcción. La validez del contenido por juicio experto es la empleada en este trabajo, entendida como el grado en que un instrumento de medición aparentemente mide la variable en cuestión, de acuerdo con “voces calificadas”.

La confiabilidad se refiere al grado en que su aplicación repetida al mismo individuo u objeto produce resultados iguales. Es importante mencionar que un instrumento de medición puede ser confiable, pero no necesariamente válido; por ello, es requisito que demuestre ser confiable y válido. De no ser así, los resultados no deben tomarse en serio (^{Hernández et al., 2014}).

Ahora bien, en cuanto a la evaluación del aprendizaje con enfoque en competencias profesionales, vale destacar que debe ser objetiva porque integra un conjunto de evidencias que pueden confirmar el alcance de la competencia por el estudiante, es decir, debe basarse en evidencias producidas en las actividades de aprendizaje determinadas por el profesor. Por lo tanto, la evaluación de las competencias es un proceso integral, permanente, sistemático y objetivo que debe servir para determinar si se han alcanzado las metas establecidas en la asignatura (^{Tecnológico Nacional de México [TecNM], 2015}, ²⁰¹⁸).

El profesor, por ende, debe considerar la integración de información cuantitativa y cualitativa, así como los diferentes tipos y formas de la evaluación y una diversidad de instrumentos, de tal manera que los corresponsables del proceso puedan tomar decisiones oportunas en busca de una mejora permanente.

En este sentido, en el Tecnológico Nacional de México (TecNM), para la evaluación de las evidencias (producto del aprendizaje conceptual, actitudinal y procedimental), se recomienda el uso de instrumentos de evaluación. El estándar de competencia EC0772 Evaluación del aprendizaje con un enfoque en habilidades profesionales establece como requisito de certificación que el maestro del TecNM sea capaz de diseñar y aplicar al menos cuatro instrumentos de evaluación: la lista de cotejo, la guía de observación, el cuestionario y la rúbrica. De hecho, también indica las características generales de estos IE.

Se supone que si el profesor utiliza un instrumento para evaluar estas evidencias (donde se indiquen los requisitos/condiciones de calidad esperadas del alumno), el estudiante sabrá con certeza cuáles son las exigencias que debe cumplir, por lo que podrá diseñar líneas de acción para alcanzar tal fin.

Dicho esto, para la validación por juicio de expertos se utilizan pruebas no paramétricas como la de Friedman (análisis no paramétrico de un experimento de bloques aleatorizado), la cual ofrece una alternativa al análisis de varianza de dos factores (^{Granato, De Araújo Calado y Jarvis, 2014}). Los experimentos de bloques aleatorizados son una generalización de experimentos pareados, y la prueba de Friedman es una generalización de prueba de signos pareados.

Metodología

La metodología empleada fue cuantitativa porque se utilizó la recolección de datos para probar hipótesis con base en la medición numérica y el análisis estadístico, realizados por medio de un conjunto de procesos de investigación que implicaron la recolección y el análisis de datos cuantitativos, así como su integración y discusión, con el propósito de lograr un mayor entendimiento del fenómeno estudiado mediante inferencias de los resultados de la información recolectada (^{Bernal, 2010}; ^{Hernández et al., 2014}; ^{Malhotra, 2008}).

Método

Siguiendo una dinámica similar a la propuesta por ^{Romero, Gómez y Parroquín (2016)}, ^{Romero, Matheus-Mari y Poblano-Ojinaga (2017)} y ^{Poblano-Ojinaga, López, Gómez y Torres-Arguelles (2019)}, esta investigación ha sido planificada en tres pasos: en el primero -dado que la medición es un proceso de vincular conceptos abstractos con indicadores empíricos para registrar información o datos sobre las variables, y debido a que un IE registra datos observables que realmente representan los conceptos o variables en estudio- se procedió a identificar los criterios y las condiciones de calidad que debe cumplir una síntesis a través de una revisión de la literatura y mediante la opinión de dos expertos en el tema. De este modo se consiguió un primer borrador de lista de criterios y condiciones de calidad que debe contener el IE.

En el segundo paso (diseño del instrumento de evaluación), con base en la información obtenida en el punto 1 y considerando la estructura requerida en el elemento 4 de EC0772, se definieron los requisitos o condiciones de calidad que debe contener una síntesis, lo que sirvió para preparar un borrador de la lista de cotejo.

El tercer paso fue la validación del contenido a través del juicio de expertos del IE, para lo cual se solicitó a un grupo de expertos que evaluaran la lista de cotejo en cuatro áreas (suficiencia, claridad, coherencia y relevancia), siguiendo el procedimiento recomendado por ^{Escobar-Pérez y Cuervo-Martínez (2008)}.

Para la validación por juicio de expertos se utilizaron pruebas no paramétricas porque se usaron datos nominales, categóricos y ordinales. Asimismo, seleccionamos la prueba de Friedman para determinar las diferencias en la ubicación central (mediana) para el análisis de ensayos con medidas repetidas unidireccionales que tienen tres o más muestras dependientes (^{Granato et al., 2014}); en este caso, para determinar el grado de acuerdo entre los expertos y su valor p para elegir entre dos hipótesis opuestas en función de sus datos recopilados:

H₀: No existe un acuerdo significativo entre los conocedores/jueces.

H₁: Existe un acuerdo significativo entre los conocedores/jueces.

Resultados

En el primer paso se identificaron los criterios y las condiciones de calidad o aspectos a considerar (^{Beltrán, 2005}; ^{Fernández y Bressia, 2009}; ^{Quispe y Melanez, 2018}) para evaluar una síntesis presentada por los estudiantes como evidencia de una actividad de aprendizaje conceptual. Asimismo, se les solicitó a dos docentes (decanos del Departamento Económico-Administrativo del campus La Laguna) la revisión de la lista de condiciones de calidad o criterios de evaluación de la síntesis, así como sus recomendaciones y sugerencias. El resultado de esta etapa fue un primer borrador de la lista de cotejo que incluyó cinco criterios y diez condiciones de calidad (Tabla 1).

En el paso dos (diseño del IE), con la finalidad de elaborar el primer borrador de la lista de cotejo-síntesis, se tomaron en cuenta los comentarios y cambios propuestos por los decanos, así como la estructura requerida en el elemento 4 del EC0772. Los criterios de desempeño se enlistan a continuación:

El resultado de esta etapa fue el instrumento presentado a los conocedores o expertos para su evaluación (Figura 1).

Fuente: Elaboración propia

Figura 1 Instrumento para evaluación de la lista de cotejo-síntesis por juicio de expertos 

En el paso tres (validación del IE por expertos), se solicitó a un grupo de 10 expertos (docentes con amplia experiencia) que evaluaran la lista de cotejo-síntesis en 4 diferentes áreas: suficiencia, relevancia, claridad y coherencia. Aquí se eliminaron 4 evaluaciones por presentar inconsistencias.

La selección de los expertos o conocedores se basó en tres criterios: experiencia docente (al menos 15 años), formación académica (con grado de doctor en educación o área afín, preferentemente) y estar impartiendo cátedra en el momento del estudio (frente a grupo). De ese grupo de 10 docentes seleccionados, 4 evaluaciones se eliminaron por inconsistencias. Una exploración inicial de los resultados de las evaluaciones en los cuatro criterios evidenció que de las 210 asignaciones de un valor a los ítems/criterios, en 90 % de las veces los evaluadores coinciden en asignar un valor de 4 al ítem, y 8.6 % en asignarle un valor de 3, lo que de manera empírica demostraría el acuerdo entre los 6 jueces (Figura 2).

Fuente: Elaboración propia

Figura 2 Resultados de la evaluación de los ítems por juicio de expertos 

A manera de ejemplo, en relación con el criterio claridad, los expertos asignaron a cada ítem un valor (entre 1 y 4) según consideraron correcto o conveniente (Tabla 2).

Posteriormente, los datos de la Tabla 2 se analizaron estadísticamente con la ayuda del software Minitab, versión17, por medio de la prueba de Friedman. Las hipótesis planteadas fueron las siguientes:

H₀: Todos los efectos del tratamiento son cero.

H₁: No todos los efectos del tratamiento son ceros.

*Minitab imprime la estadística de prueba, la cual tiene una distribución aproximadamente chi-cuadrada y los grados de libertad (número de tratamientos menos uno). Si existen empates dentro de uno o más bloques, se utiliza la clasificación promedio y se imprime también una estadística de prueba corregida para empates. Si hay muchos empates, la estadística de prueba no corregida es conservadora; la versión corregida es usualmente más cercana, pero puede ser conservadora o liberal, y muestra una mediana estimada para cada nivel de tratamiento. La mediana estimada es la mediana principal más el efecto del tratamiento.

De la misma manera, se procedió a llevar a cabo la prueba de Friedman para los criterios suficiencia, relevancia y coherencia. En la Tabla 4 se presentan los resultados obtenidos para S (ajustado para vínculos).

Discusión de resultados

Los resultados del análisis estadístico de datos (como se puede observar en la tabla 4) muestran para los criterios suficiencia, relevancia y coherencia el estadístico de prueba S tienen un valor p mayor a 0.050 (no ajustado para las ataduras), y soporta la afirmación de que no hay evidencia suficiente para rechazar H0, dado que el valor p es mayor que el nivel de alfa; por lo tanto, para estos criterios se concluye que los datos respaldan la hipótesis de los efectos del tratamiento son cero. En otras palabras, existe concordancia entre los expertos sobre los elementos que debe evaluar una lista de cotejo para síntesis.

Sin embargo, para el criterio claridad el estadístico de prueba S tiene un valor p menor a 0.050 (no ajustado para las ataduras), de modo que hay evidencia suficiente para rechazar Ho debido a que el valor p es menor que el nivel alfa, es decir, no existe una concordancia entre los expertos, por lo que es necesario revisar y mejorar la lista de cotejo en dicho criterio.

El proceso para hacer posible la validación de contenido de los instrumentos de investigación a través de juicio de expertos resulta más eficiente cuando se especifican claramente los criterios a evaluar por el conocedor o experto, así como cuando se utilizan análisis estadísticos, como por ejemplo la prueba de Friedman.

Conclusiones

Los resultados empíricos de este trabajo de investigación reflejan que a 90 % de los ítems evaluados se les asignó una calificación de 4, valor máximo de una escala de 1 a 4. El análisis estadístico por medio de la prueba de Friedman confirma el acuerdo o concordancia entre los jueces en 3 de los 4 criterios, por lo que la lista de cotejo-síntesis fue revisada y mejorada en el criterio claridad (ver anexo).

Dado que esta investigación parte de la suposición de que si no hay un IE estandarizado, podría afectar negativamente el alcance de la competencia por parte del estudiante (debido a que los criterios de las evidencias que presente el alumno no están formal y/o claramente definidos por el profesor o docente), este objetivo se cumple al contar con un IE l lista de cotejo-síntesis, formal y de fácil uso para los estudiantes y profesores, y debidamente validado por juicio de expertos.

Por otra parte, es importante mencionar que al momento de seleccionar a las personas que participarán en la evaluación del instrumento de medición/evaluación se debe prever que conozcan el tema a tratar, ya sea por experiencia en el campo laboral, por su formación profesional o por su trayectoria académica. También se recomienda anticipar la cantidad de expertos que fungirán como jueces, de acuerdo con las características de la prueba y el análisis estadístico.