Introducción

La evaluación para el diagnóstico del conocimiento de los estudiantes es una de las tareas que tiene que realizar un profesor ^{(Herppich & Wittwer, 2018)}. Esta es una parte fundamental en el proceso de formación ^{(Saiz Manzanares, Garcia-Osorio, & Diez-Pastor, 2019)}, mejora de rendimiento y la satisfacción de las enseñanzas de los estudiantes en el curso ^{(Narloch, Garbin, & Turnage, 2016)}; ya que permite conocer sus debilidades y fortalezas, al comenzar un nuevo curso. Para ejemplo de esto, en el estudio realizado por (Porile, 1976) menciona que en un curso de química, este tiene un promedio del 30% de deserción de los estudiantes, ya que no se les realizó una evaluación temprana; por ende, no pudieron recibir una ayuda adicional y que estos pudieran mejorar su rendimiento en el curso.

En la literatura se exponen distintos tipos de evidencias utilizadas para la evaluación de los alumnos ^{(Gee, 2015}; ^{Slavin, 2017)}, evidencias de producto, evidencia de desempeño ^{(Phillips, 2018)}, evidencia de conocimiento ^{(Hordern, 2019)}. Estas evidencias tienen distintos enfoques en su aplicación. En el presente trabajo se hace énfasis en las evidencias de conocimiento. Las evidencias de conocimiento se basan en especificar reactivos, los cuales contienen diferentes tipos de preguntas. Verdadero /Falso, Opción múltiple ^{(STUPANS, 2006)}, Opción única, Relacionar columnas, Numéricas, etc., las cuales pueden ser combinadas y así generar evaluaciones. Una de las ventajas de este tipo de preguntas es facilitar la revisión por parte del profesor. Este tipo de preguntas, suelen ser utilizadas en las evaluaciones formales como lo es: CENEVAL EXANI II, el cual utiliza preguntas de tipo opción única y numérica.

Aunque los tipos de preguntas antes mencionados son ampliamente utilizados en la actualidad, estos presentan algunas deficiencias, por ejemplo: La realización de este tipo de preguntas conlleva una gran carga cognitiva para los profesores, ya que al tener un gran número de alumnos, es difícil generar una gran cantidad de estas. Son estáticas; es decir, siempre tienen un mismo resultado. Esto da a los alumnos la oportunidad de intercambiar respuestas y esto disminuye la objetividad de la evaluación, complicando el verdadero nivel de eficiencia en el curso ^{(Kayışoğlu & Temel, 2017)}.

Debido a la necesidad anterior, se han propuesto tipos de preguntas que provean mayor versatilidad en las evaluaciones, tal es el caso de las preguntas tipo calculadas y tipo calculadas de opción múltiple. Estas preguntas, a diferencia de las numéricas o de opción múltiple, son capaces de generar diferentes resultados partiendo siempre de un mismo planteamiento. Con esto se da la posibilidad a los profesores de crear evaluaciones dinámicas ^{(Villa-Garzón, Jiménez, & Franco-Arbeláez, 2011)}.

En el presente trabajo se documenta el desarrollo de un método para la generación de preguntas calculadas y calculadas de opción múltiple, implementando expresiones matemáticas, variables, además del uso de métodos para la conversión y análisis de notaciones infijas y postfijas.

Este método se incorpora a un módulo de cuestionario, que pertenece a un sistema de gestión de conocimiento ^{(Rowley, 1999)}, el cual tiene como finalidad conocer el nivel de conocimiento en el área de matemáticas, en alumnos de nivel superior. De esta forma, detectar sus debilidades y fortalezas con el fin de trazar rutas de aprendizaje y mejorar su rendimiento académico.

En la literatura se abarca en gran medida, temas enfocados en la creación de herramientas, que ayuden a los profesores, en las tareas de creación de evaluaciones, versátiles y que eviten las malas prácticas, como lo es el plagio.

En el trabajo ^{(Ullah, Xiao, & Barker, 2018)} se propone la generación de preguntas dinámicas personales con el fin de evitar la trampa por los alumnos en exámenes tomados en línea. La propuesta surge por la observación que los alumnos tendían a usar un tercero para contestar por ellos el examen. Tiene como objetivo fortalecer la autenticación de los estudiantes mediante el uso de preguntas de perfil dinámico que son mostradas.

Múltiples investigaciones se han estado realizando, para mejorar el proceso de aprendizaje de los alumnos, principalmente enfocado en las evidencias de conocimiento, ya que estas son una parte importante en la educación, en ^{(Qayyum & Smith, 2019)} realizan un estudio del como las evidencias del conocimiento son una parte importante en la formación de los alumnos, ya que con esto, los estudiantes se pueden orientar a seleccionar las herramientas correctas para construir un criterio de búsqueda, autoaprendizaje y sean capaces de evaluar la información obtenida, para crear los conocimientos que le sean necesarios.

La plataforma virtual de aprendizaje Moodle posee un módulo, en el cual los profesores tienen la capacidad de generar exámenes de evaluación, para los alumnos de un curso. Los exámenes pueden ser compuestos por preguntas de tipo: Numéricas, abiertas, opción múltiple y preguntas de tipo calculadas, las cuales están basadas en las preguntas numéricas, con la diferencia, que estas obtienen resultados aleatorios, este tipo de preguntas, son creadas con el uso de variables, cuyos valores son sustituidos por valores constantes, al realizar el cuestionario ^{(Villa-Garzón, Jiménez, & Franco-Arbeláez, 2011)}.

Se han estudiado distintos métodos para la generación de evaluaciones confiables en alumnos, en ^{Kasdi, Suprijono, & Zuhriyah (2019)} proponen un nuevo modelo para el uso de preguntas de opción múltiple, las cuales son capaces de medir habilidades de pensamiento crítico de los estudiantes y de distinguir entre respuestas basadas en razones lógicas y las respuestas especulativas. Los resultados mostraron que el modelo de evaluación de preguntas de opción múltiple acompañadas de argumentación libre fue capaz de medir las habilidades de pensamiento crítico de los estudiantes y de distinguir las respuestas basadas en razones lógicas y especulativas, para realizar una comparación entre ellas.

Existen herramientas para facilitar a los profesores la generación de evaluaciones dinámicas, como lo son: Blackboard™, Moodle™, Brightspace™ y Canvas™, estas tienen la capacidad de crear preguntas calculadas, para generar cuestionarios con características algorítmicas. Esto permite a los profesores diseñar preguntas en línea, con un rango de valores, con uno o más parámetros en un problema, de tal manera que cada intento tendrá una respuesta correcta diferente, además de mejorar el tiempo del profesor al crear múltiples preguntas, esto agiliza el tiempo para la calificación. Se trata de una forma eficaz de construir un conjunto de problemas automatizados que pueden ser modificados, para crear nuevos problemas con un mínimo esfuerzo adicional ^{(Nicholls, 2016)}. Una de las principales características de este tipo de evaluaciones, además de las mencionadas anteriormente, es evitar el plagio entre estudiantes; es decir, que los estudiantes puedan comparar sus respuestas, ya que estas no tendrán la misma respuesta en cada intento, aun siendo el mismo planteamiento para ambos.

Se han realizado múltiples investigaciones para el aprovechamiento de las tecnologías en la automatización de las evaluaciones ^{(Adwan, 2016)}, en cada estudio se utilizan distintos enfoques. En el trabajo realizado por ^{(Ramamurthy & Krishnamurthi, 2016)} proponen el uso de la Inteligencia Artificial, para la automatización de evaluaciones, las cuales utilizan medidas de similitud que evalúan las respuestas cortas y largas de los estudiantes, para compararlas con la medida de similitud del coseno y la medida de similitud del n-grama.

Desarrollo

Basado en el estudio de la literatura, se propone un método con el cual se realiza la generación de preguntas calculadas, utilizando distintas técnicas mostradas en la literatura, e implementando cambios para la mejora y funcionamiento de estos. El método propuesto se compone de 3 partes principales, Diseño, Valores y Análisis.

En la Figura 1 se muestran los pasos a seguir para la construcción de preguntas calculadas; este diagrama se divide en 3 secciones principales, de las cuales se realizan en distintos momentos de ejecución, la primera (Diseño) es llevada a cabo por el profesor, al crear una nueva pregunta. La segunda (Valores) y tercera (Ejecución), se lleva a cabo de forma automática, al ejecutar un cuestionario.

Figura 1 Secuencia para la creación de preguntas de tipo calculadas. 

La generación de unas expresiones matemáticas ^{(Alavi Milani, Hosseinpour, & Pehlivan, 2018)} es la parte principal de las preguntas calculadas, ya que de esta dependen las respuestas dinámicas.

En la Figura 2, se representan los elementos que constituyen una expresión matemática, donde los comodines son representados con letras o palabras encerradas en llaves {} y se hace uso de operadores matemáticos: Suma (+), resta (-), multiplicación (*) y división (/).

Figura 2 Fórmula matemática. 

Un punto muy importante de la de las preguntas calculadas, son los comodines, mencionados anteriormente. A diferencia del sistema Moodle, el cual para su funcionamiento, genera un banco de valores aleatorios para reemplazar los valores de las variables y su generación de resultado para su posterior almacenamiento. En el método propuesto se incorpora la generación de los valores, al momento de la aplicación de la evaluación y uso de las preguntas, con esto se garantiza la optimización del uso de almacenamiento, así como la fácil modificación de estas, como de los valores que pueden tomar. Además, es posible incorporar funciones matemáticas. En la Figura 3, se muestran ejemplos del uso de funciones matemáticas.

Figura 3 Ejemplo de funciones matemáticas. 

Es muy importante tener en cuenta la sintaxis de las fórmulas, ya que, si está escrita de forma incorrecta, no se puede continuar con el siguiente paso, que es buscar los comodines. A continuación, se listan las reglas a tener en cuenta, cuando se redacta una fórmula:

Ejemplo:

Existen 2 tipos de valores: los valores por rangos y valores específicos. Los valores específicos, constan de dos valores que conforman un rango, valor inicial del rango y valor final del rango, estos valores son separados por el símbolo ~: valorIncial~ValorFinal; por ejemplo: 1~10, 50~100, 20~300, 1~1000. Dados estos rangos, al ejecutar la pregunta en el cuestionario, se obtendrá un valor aleatorio entre el rango especificado.

Los valores específicos, se componen de una serie de valores separados por una coma, de los cuales, de forma aleatoria, será tomado uno de estos, para asignarse a la variable. Por ejemplo: 1,2,3,4, 10,20,30,40,50, 10,40,50,66,70,20

Ejemplo de la generación de valores, por los dos tipos:

La generación de valores aleatorios es realizada hasta la ejecución de la pregunta en un cuestionario y esta pertenece a la sección de Valores de la Figura 1.

El proceso de la pregunta es similar al de las respuestas, ya que en estas se pueden utilizar los comodines que están incluidos en las respuestas; es decir, si en una respuesta se utiliza el comodín {A}, es posible tomarlo y escribirlo en la pregunta y al presentar la pregunta al usuario, este tomara el mismo valor que el de la respuesta y se mostrara en el texto:

Ejemplo: Si se tiene una pregunta:

Algoritmo para la conversión de una expresión de notación prefija a notación postfija

• 1. Inicialmente se cuenta con una expresión de notación infija, además de una pila vacía.

Figura 4 Algoritmo 1 paso 1. 

• 2. Como muestra el algoritmo, en primer paso, se toma el primer elemento de la expresión infija y se analiza, al ser este un número, se extrae de la expresión infija y se traslada al inicio de la expresión postfija, ver Figura 5.

Figura 5 Algoritmo 1 paso 2. 

Figura 6 Algoritmo 1 paso 3. 

• 3. Se toma el elemento siguiente, debido a que es un operador matemático, se traslada a la pila de operadores, ver Figura 7.

• 4. Se toma el siguiente elemento de la expresión infija y se analiza, al ser este un número, se extrae de la expresión infija y se traslada al final de la expresión postfija, ver Figura 8.

Figura 8 Algoritmo 1 paso 4. 

• 5. Se toma el siguiente elemento de la expresión infija, debido a que es un operador matemático se verifica, al ser este operador de menor precedencia que el ultimo operador almacenado en la pila, se extraen todos los operadores almacenados en la pila y se trasladan al final de la expresión postfija, ver Figura 9.

Figura 9 Algoritmo 1 paso 5. 

6.Una vez trasladados todos los operadores almacenados en la pila, se agrega a la pila el operador seleccionado en la expresión infija, ver Figura 10.

Figura 10 Algoritmo 1 paso 6. 

• 7. Se toma el siguiente elemento de la expresión infija y se analiza, al ser este un número, se extrae de la expresión infija y se traslada al final de la expresión postfija, ver Figura 11.

Figura 11 Algoritmo 1 paso 7. 

• 8. Se toma el siguiente elemento, al ser este un operador con mayor precedencia que el último de la pila de operadores, se agrega a la pila, ver Figura 12.

Figura 12 Algoritmo 1 paso 8. 

• 9. Se toma el siguiente elemento de la expresión infija y se analiza, al ser este un número, se extrae de la expresión infija y se traslada al final de la expresión postfija, ver Figura 13.

Figura 13 Algoritmo 1 paso 9. 

• 10. Se toma el siguiente elemento en la expresión infija, al este ser un operador de paréntesis de cierre, se trasladan a la pila todos los elementos que estén sobre el operador de paréntesis de apertura, además de extraer este de la pila, ver Figura 14.

Figura 14 Algoritmo 1 paso 10. 

• 11. Se toma el siguiente elemento, al ser este un operador con igual precedencia que el ultimo de la pila de operadores, se trasladan todos los operadores almacenados en la pila, a la expresión postfija, ver Figura 15.

Figura 15 Imagen paso 11. 

• 12. Se traslada el parador seleccionado a la pila, ver Figura 16.

Figura 16 Imagen paso 12. 

• 13. Se toma el siguiente elemento de la expresión infija y se analiza, al ser este un número, se extrae de la expresión infija y se traslada al final de la expresión postfija, ver Figura 17.

Figura 17 Algoritmo 1 paso 13. 

• 14. Al no existir más operadores en la expresión infija, se traslada el último operador contenido en la pila hacia el final de la expresión postfija, ver Figura 18.

Figura 18 Algoritmo 1paso 14. 

• 15. Finalmente se tiene como resultado una expresión postfija.

Figura 19 Algoritmo 1 paso 15. 

Una vez obtenida la expresión en notación postfija, esta es analizada por un algoritmo, para así obtener el resultado de la formula.

Pasos para la resolución de una expresión de notación postfija.

• 1. Se obtiene la expresión inicial y se convierte a notación sufija, ver Figura 20.

Figura 20 Algoritmo 2 paso 1. 

• 2. Se toma un elemento, al no ser un operador se agrega a la pila, ver Figura 21.

Figura 21 Algoritmo 2 paso 2. 

• 3. Se toma el elemento siguiente de la expresión, y al corroborar que este no es un operador, se coloca en segundo lugar de la pila, ver Figura 22.

Figura 22 Algoritmo 2 paso 3. 

• 4. Se toma el elemento siguiente de la expresión, y al corroborar que este no es un operador, se coloca en tercer lugar de la pila, ver Figura 23.

Figura 23 Algoritmo 2 paso 4. 

• 5. Se toma el elemento siguiente y al ser un operador, se toman 2 valores de la pila y son afectados por este, al ser una pila por ende son los últimos 2 valores agregados, ver Figura 24.

Figura 24 Algoritmo 2 paso 5. 

• 6. Al obtener el resultado de los valores afectados por los operadores, este se agrega a la pila, ver Figura 25.

Figura 25 Algoritmo 2 paso 6. 

• 7. Se toma el elemento siguiente y al ser un operador, se toman 2 valores de la pila y son afectados por este, al ser una pila por ende son los últimos 2 valores agregados, ver Figura 26.

Figura 26 Algoritmo 2 paso 7. 

• 8. Al obtener el resultado de los valores afectados por los operadores, este se agrega a la pila, ver Figura 27.

Figura 27 Algoritmo 2 paso 8. 

• 9. Por último, al no existir más elementos en la expresión, se obtiene el único valor en la pila y este es el resultado, ver Figura 28.

Figura 28 Algoritmo 2 paso 7. 

Se toma el siguiente elemento en la expresión infija, debido a que este es un operador de paréntesis de apertura, este se coloca en la pila, a la espera de encontrar el paréntesis de cierre.

Una vez realizados estos pasos, se obtiene un resultado el cual se debe comparar con la respuesta del alumno, para saber si este dio una respuesta correcta o incorrecta.

Conclusiones

El método fue probado mediante la generación de un banco de 80 preguntas sobre el área disciplinar de matemáticas. Las preguntas están basadas en 31 temas de 5 áreas, abarcando distintas funciones matemáticas, distintos operadores, así como distintos valores en las variables, para así poder abarcar la mayor cantidad de combinaciones posibles en las fórmulas.

La validación del módulo se realizó con la aplicación de cuestionarios generados por el sistema de gestión de conocimiento a alumnos del nivel superior en el área disciplinar de matemáticas. Se monitoreó el progreso de un grupo de 10 alumnos para verificar si estos ingresaban respuestas correctas y fueran comparadas correctamente con las arrojadas por el sistema, obteniendo un 100% de resultados satisfactorios.

Por último, las preguntas de tipo calculada simple y calculada de opción múltiple posibilitan la versatilidad en el proceso de evaluación. La adopción de valores aleatorios en este tipo de preguntas asegura el incremento de las instancias diferentes de cada pregunta.