1.1 Antecedentes y tendencias en instrumentos de evaluación de la calidad MOOC

El volumen de investigación clave en materia de diseño de instrumentos que puedan evaluar la calidad de los cursos MOOC se inicia en el año 2012 para dar cumplimiento al apartado 6.2 de la ^{Norma UNE-EN ISO 9001} sobre Sistemas de Gestión de la Calidad, al proporcionar la demanda necesaria a sus empleados y garantizar su competencia. En este sentido, se requiere asegurarse de que la formación virtual adquirida cumpla los requisitos de compra especificados de acuerdo con el apartado 7.4 de la norma citada. Por ello, la ^{Norma UNE 66181:2012} pretendió servir como guía para identificar las características de las acciones formativas virtuales, de forma que los usuarios de formación virtual puedan seleccionar los cursos virtuales que mejor se adapten a sus necesidades y expectativas, y que las organizaciones educativas puedan mejorar su oferta y, con ello, la satisfacción de sus alumnos. Así pues, y en base a este estándar, las dimensiones que abarcan los factores de satisfacción de la formación virtual son: Empleabilidad, Metodología de aprendizaje y Accesibilidad.

A partir de ese momento, la línea de trabajo iniciada en la investigación “Innovación docente 2.0 con Tecnologías de la Información y la Comunicación en el Espacio Europeo de Educación Superior”, situada en el marco de la Acción 2 de Proyectos de Innovación y Desarrollo Docente de la Universidad Pablo de Olavide de Sevilla y desarrollado en el Laboratorio de Inteligencia Computacional (LIC) mediante el Grupo de Investigación de Sistemas y Tecnologías de la Información (TEP-240) liderado por el Dr. José Luis Salmerón, presenta un escenario de estudio de comparación entre la citada ^{Norma UNE 66181:2012} y el instrumento ADECUR (^{Baldomero, Salmerón y López-Meneses, 2015}). En esta línea, ADECUR es un instrumento de evaluación capaz de analizar e identificar los rasgos definitorios de la calidad didáctica de los cursos virtuales, desde los baremos proporcionados por el paradigma socio-constructivista, como vía para promover un desarrollo adecuado de los procesos de innovación docente (^{Cabero y López-Meneses, 2009}).

De este estudio se concluye que se podrían acreditar a las plataformas ofertantes con cursos MOOC certificados y evitar la oferta de acciones formativas con debilidades en las metodologías de enseñanza inapropiadas desde las actuales teorías pedagógicas (^{Valverde, 2014}) e impidiendo, en la medida de lo posible, la tendencia a la estandarización del conocimiento y los graves problemas para atender las diferencias individuales debido a la masificación, que conduce a un diseño comunicativo unidireccional, centrado en el docente y basado en el contenido. Así pues, los MOOC se podrían mostrar como una democratización de la Educación Superior, pero con unos intereses pedagógicos que primen sobre los económicos. Posteriormente, el citado LIC analiza la calidad normativa de los cursos MOOC a través del instrumento EduTool¹. Este trabajo llega a las mismas conclusiones que otras investigaciones, donde se evidencia que los MOOC tienen una base pedagógica sólida en sus formatos (^{Glance, Forsey y Riley, 2013}). De forma general se puede afirmar que la valoración de la calidad de los MOOC analizados no sólo estaba por encima de la puntuación media estimada, sino que éstos presentaban una puntuación promedio ligeramente superior a la media (^{Roig, Mengual-Andrés y Suárez, 2014}).

En esta línea, ^{Sánchez-Vera y Prendes-Espinosa (2015)} muestran en su trabajo métodos alternativos de evaluar los MOOC. Asimismo, los autores señalan la necesidad de una complementariedad evaluativa, esto es, consensuar que se hace necesaria la investigación sobre la evaluación en los MOOC y el uso de varios métodos para ello. De esta manera, el problema que produce la masificación se encuentra cuando se considera a la evaluación que forma parte del proceso global de enseñar; es decir, cuando se entiende que evaluar es aprender y que se deben utilizar estrategias procesuales y formativas. Estos autores siguen la misma estela que ^{Sandeen (2013)}, cuando plantea que la evaluación centra el desarrollo de los MOOC desde el principio, pero muy al contrario se cree que muchos MOOC centran su atención en el desarrollo de un contenido de calidad o en el aprendizaje en comunidad, dejando la evaluación y la certificación en un segundo plano.

Por otra parte, algunos estudios afirman que existe una relación inversa entre la motivación mediante insignias o acreditaciones y el aprendizaje adquirido (^{Daniel, Vázquez-Cano y Gisbert, 2015}; ^{Vázquez-Cano y López-Meneses, 2014}). En este sentido, la acreditación abre la puerta a los ingresos de tasas por curso y, por otro lado, se hace necesario conocer cómo se evalúa el aprendizaje y cómo valoran los empleadores dichas certificaciones. Abonando a esta idea, ^{Chen (2014)} lleva a cabo un estudio donde los resultados son desalentadores respecto a la calidad de la evaluación de los MOOC. De esta manera, las universidades de élite están acometiendo cursos MOOC con el fin de ampliar el acceso a la educación superior, la comercialización y la marca, y el desarrollo de nuevas fuentes de ingreso. Sin embargo, como argumenta ^{Daniel (2012)}, a pesar de que las universidades de élite que participan activamente en MOOC ganaron su reputación en la investigación, pueden no tener talento en la enseñanza, especialmente en la enseñanza en línea. En otras palabras, la investigación es diferente a la enseñanza y el hecho de que las universidades de élite alcancen grandes logros en investigación no implica que sean capaces de ofrecer cursos MOOC de calidad. Este autor cuestiona la calidad que deben mantener los MOOC sin que se tenga que pagar ninguna cuota para su inscripción (tan solo para obtener la certificación correspondiente) y que puede verse dañada por la falta de una base común de conocimientos y formación académica entre el estudiantado. Por último, aclara que la realización de evaluaciones eficaces en un MOOC es un gran reto y advierte que los métodos a la hora de engañar en las evaluaciones en línea por parte de los participantes son abundantes, trayendo como consecuencia evaluaciones ineficaces y no válidas.

Con base en lo anterior, se hace necesaria una línea de trabajo en el LIC mediante el Grupo de Investigación de EduInnovagogía (HUM-971), donde se presenta un escenario de estudio de comparación entre el instrumento EduTool® y la herramienta UMUMOOC, que pueda eliminar los posibles defectos de la valoración de la calidad de los cursos MOOC aumentando su ámbito dimensional.

2.1 EduTool

EduTool es un modelo basado en un di seño de investigación cuantitativo no experimental (^{McMillan y Shumacher, 2005}) que adapta la norma ^{UNE 66181:2012} a los cursos MOOC. En esta adaptación no se tomó la información de los niveles de calidad de acuerdo a un sistema de representación acumulativo de estrellas, como marca el estándar normativo. Es decir, un curso MOOC podría incluir indicadores de distintas rúbricas de niveles de calidad superiores sin acumularse. De tal forma que se podría valorar la calidad MOOC cuantitativa con este instrumento diferenciándose de la calidad cualitativa de todos los cursos que contengan la suma de los indi cadores de los mismos niveles de rúbricas anteriores. El objetivo de este instrumento no es corregir la norma sino realizar una valoración de granularidad más fina que la meramente cualitativa.

En este sentido, los MOOC podrían incluir indicadores de distintas rúbricas de niveles de calidad sin la restricción de ser acumulativos. Por tanto, este instrumento valora cualitativa y cuantitativamente las dimensiones que abarcan los factores de los mismos adaptando el estándar normativo mediante una ponderación de los subfactores de cada una de las dimensiones de la norma ^{UNE 66181:2012} a través de Lógica difusa (^{Baldomero y Salmerón, 2015}). Los expertos evaluaron con variables lingüísticas cada uno de los subfactores de las dimensiones del instrumento y la función de pertenencia Gaussiana asociada para cada elemento de x (opinión del experto en la escala de variables lingüísticas) un grado de pertenencia al conjunto difuso. En este escenario, la agregación de las funciones de pertenencia de las variables lingüísticas de los expertos se muestra en la figura 1.

Figura 1 Función de agregación de las funciones de pertenencia de las variables lingüísticas de los expertos 

Los datos de los expertos están basados en conjuntos difusos y se originan por la utilización de calificaciones lingüísticas. De esta manera, la defusificación utilizada se centra en el método del centroide de área. A título de ejemplo para el subfactor 2.2., se devolverá un valor defusificado de una función de pertenencia asociada al valor de la variable x, como se muestra en la fórmula de la figura 2.

Subfactor 2.2=0,6632

Figura 2. Valor defusificado de una función de pertenencia asociada al valor de x  

Con base en lo anterior, EduTool® posee la siguiente estructura tridimensional (^{Baldomero y Salmerón, 2015}): 1) La dimensión del reconocimiento de la formación para la empleabilidad consta de 6 ítems; 2) La dimensión de la metodología de aprendizaje contiene 43 ítems distribuidos en 4 subfactores: el diseño didáctico-instruccional (11), los recursos formativos y actividades de aprendizaje (10), la tutoría (9) y el entorno tecnológico-digital de aprendizaje (13), y 3) La dimensión de los niveles de accesibilidad contiene 21 ítems distribuidos en 3 subfactores: accesibilidad hardware (7), accesibilidad software (7) y accesibilidad web (7).

Cada ítem es dicotómico y mide la claridad de las pretensiones de cada indicador del subfactor de la dimensión correspondiente.

2.2 UMUMOOC

Esta herramienta valora la calidad pedagógica de los cursos MOOC en el contexto de la Universidad de Murcia, por ello se denomina UMUMOOC (^{Guerrero, 2015}). Aunque en una segunda fase se procederá a la validación del instrumento diseñado y se someterá a un proceso de validez de contenidos mediante un juicio de expertos a fin de comprobar las características de este modelo tridimensional, en esta herramienta se han establecido fundamentalmente tres dimensiones en las que se integran varias subcategorías o subfactores e indicadores de cada uno de ellos:

Planificación/gestión. Esta dimensión incluye los requerimientos formales y aspectos básicos de administración y gestión que pueda conllevar la plataforma MOOC utilizada, relacionados con el aprendizaje y en el que se aprecian, a su vez, dos subfactores: Administración/gestión y Acreditación/Certificación. Algunos de los indicadores establecidos son: Información sobre duración, cronograma, certificaciones, acreditaciones a las que da lugar, si son de pago o gratuitas.

Diseño Aprendizaje. La segunda dimensión está relacionada con aspectos de diseño educativo e integrada por cuatro subfactores: Diseño didáctico-instruccional, Contenidos, Recursos y actividades, y Evaluación. Algunos de los indicadores referenciados en estos componentes permiten valorar si los diferentes elementos que se indican en el diseño pedagógico y la elaboración de materiales de aprendizaje se orientan, por ejemplo, a la transferencia de los aprendizajes, al desarrollo y evaluación de competencias, si atienden diferencias individuales y diferentes estilos de aprendizaje, si tienen en cuenta aspectos culturales o contextuales, si fomentan la actividad o participación, la conectividad o la secuenciación del aprendizaje y el diseño modular.

Comunicación-Interacción. La tercera dimensión incluye aspectos relacionados con la implementación, el desarrollo del curso y el seguimiento, y con las herramientas de comunicación/tutorización de las plataformas: foros, blog, wikis, redes sociales, hangouts, que permitan el fomento y desarrollo de una metodología activa, colaborativa y participativa del estudiante. Los subfactores que la componen son la comunicación y la tutoría.

3.1 Análisis de indicadores comunes

Se ha tomado como premisa el análisis de los indicadores comunes de los subfactores de evaluación de calidad de EduTool® y UMUMOOC según las dimensiones del primero. Así pues, en la tabla I se muestran los únicos indicadores comunes de calidad de la dimensión “Reconocimiento de la formación para la empleabilidad” y “Metodología de aprendizaje”, puesto que no hay ninguna otra dimensión que tenga indicadores comunes.

3.1 Análisis de indicadores no comunes

El análisis interno de indicadores no comunes conllevará, al instrumento que no los contemple, unas debilidades. De esta manera, estos aspectos limitan la capacidad del alcance efectivo de dicha dimensión de la herramienta en la evaluación de cualquier curso MOOC. Sin embargo, al instrumento que posea dichos indicadores no comunes le supondrá unas fortalezas, que llevarán consigo una ventaja en la capacidad del alcance dimensional de la evaluación, como se muestra en la Tabla II.

La figura 4 representa gráficamente las fortalezas de EduTool® y de UMUMOOC. Para ello, se simbolizan las dimensiones de los instrumentos como unos nodos de diferentes tamaños entrelazados. A su vez, cada dimensión está conectada a los subfactores integrantes de la misma. De esta manera, se pueden representar las fortalezas de cada herramienta como un mapa de dimensiones y subfactores no comunes. A su vez, el número dentro del nodo de cada subfactor representa los indicadores no comunes de la herramienta que lo conforman y es proporcional al tamaño del mismo. Así, el número dentro del nodo de cada dimensión representa los indicadores no comunes de todos los subfactores que lo integran y también es proporcional a su dimensión.

Fuente: Elaboración propia

Figura 4 Representación gráfica de las fortalezas de los instrumentos analizados 

En este sentido, se puede deducir que EduTool® posee 34 indicadores no comunes de la dimensión 2 y 21 de la dimensión 3. En cuanto a UMUMOOC, posee 2 indicadores no comunes de la dimensión 1, 14 de la dimensión 2 y 3 de la dimensión 3.