nueva página del texto (beta)
Español (pdf)
Artículo en XML
Referencias del artículo
Traducción automática
Enviar artículo por email
Citado por SciELO 
Similares en
SciELO 
Permalink
Introducción
El cambio climático es uno de los principales problemas a los que se enfrenta la humanidad, una amenaza de carácter ambiental, social, económico, ético y político que, por sus dimensiones globales, requiere de una nueva forma de acción ciudadana a la que las próximas generaciones están llamadas a actuar. Sin embargo, tal y como revelan las últimas encuestas sobre percepción del cambio climático en España y en Europa, el conocimiento del problema es aún limitado y se observa una notable ausencia de compromiso para adoptar medidas de mitigación y adaptación para este fenómeno (Bofferding y Kloser, 2015).
Diversos estudios han revelado que la manera en la que se ha comunicado el cambio climático hasta ahora no ha sido efectiva y que, por lo tanto, existe una necesidad urgente de buscar nuevas estrategias para fomentar la concientización y la acción social (Cooper, 2011; Díaz-Nosty, 2013; Gónzalez-Gaudiano y Meira-Cartea, 2009; Meira-Cartea, 2008; Moser, 2010; Moser y Dilling, 2011; Reckien y Eisenack, 2013). De la misma manera, los programas educativos convencionales deben afrontar desafíos importantes para adaptarse a los nuevos estilos de procesamiento de información y motivaciones de los jóvenes, razón por la cual las instituciones educativas buscan la manera de modernizar sus métodos de transmisión del conocimiento (Aparici y Silva, 2012). Tomando a los jóvenes como sector poblacional objetivo, sería lógico proponer estrategias educativas que se correspondan con el nuevo paradigma comunicativo de las llamadas “generaciones interactivas” (Aguaded-Gómez, 2011) o “nativos digitales” (Prensky, 2001), quienes han crecido en un mundo rodeado de ordenadores, Internet o videojuegos.
El cambio en la forma de interactuar requiere revisar los paradigmas educativos existentes y caminar hacia nuevos formatos educomunicativos que faciliten una interacción natural entre persona, interfaz y entorno. Los videojuegos en general, y los juegos en línea en particular, ofrecen esa posibilidad inagotable de alfabetización científica y ambiental de las nuevas generaciones de jóvenes. Gracias a la interactividad y a su capacidad de inmersión, estas herramientas ofrecen oportunidades para exponer a los jóvenes a los problemas y decisiones que van a encarar en el futuro y experimentarlos de forma directa; por lo general, adoptando roles de personajes que han de ser capaces de tomar decisiones sostenibles. Video juegos bien diseñados pueden promover competencias y habilidades, contribuir a aportar contenidos al currículo y generar experiencias que no serían posibles en la vida real (Gee, 2004). Corresponde a la investigación sistemática mostrar su potencial, establecer tipologías y evaluar su calidad en función de diferentes criterios de uso.
Según un estudio llevado cabo en la Unión Europea, existe un gran potencial en la aplicación de juegos en línea para la enseñanza-aprendizaje y un fuerte interés entre la comunidad educativa en la introducción de enfoques innovadores basados en los juegos; sin embargo, la accesibilidad universal de Internet hace que cada día se multiplique la cantidad de recursos, lo cual no implica que todos ellos sean adecuados para los objetivos docentes (European SchoolNet, 2009). Entre otros aspectos, este estudio resalta que los docentes son escasamente orientados acerca de cuáles son los aspectos y características más relevantes de los juegos disponibles en la red y qué juegos se adaptan a sus necesidades, además, aún cuentan con escasas herramientas de evaluación de los mismos. El presente trabajo aborda estas cuestiones y pretende contribuir a apoyar a la comunidad educativa y a la sociedad en la toma de decisiones ofreciendo un instrumento de evaluación que les ayude a la selección de juegos en línea sobre cambio climático, mediante el conocimiento de sus características y la valoración de su potencial educomunicativo.
El objetivo fundamental de este trabajo se orienta a definir unos criterios consensuados de evaluación de juegos en línea centrados en contenidos sobre cambio climático, a partir del juicio aportado por un grupo de expertos, de cara al diseño de un instrumento validado de evaluación sobre juegos de este tipo. A continuación, presentamos una definición de nuestro objeto de estudio, un marco para la fundamentación teórica del mismo y el proceso metodológico seguido para definir unos criterios consensuados mediante el método Delphi. Como resultado de este proceso se han obtenido un conjunto de criterios, validados empíricamente, que permiten evaluar, desde una perspectiva educomunicativa, la calidad de los juegos en línea sobre cambio climático.
Una aproximación al concepto de juegos en línea sobre cambio climático
A diferencia de la televisión o del cine, donde el espectador es simplemente un consumidor pasivo de información, en los juegos el usuario experimenta por sí mismo, resuelve problemas y situaciones de naturaleza compleja, interactúa con distintos tipos de variables y desempeña diferentes roles a través de personajes o avatares, desde perspectivas que, de otro modo, sería imposible llevar a cabo en la vida real. Pero, ¿qué se entiende por videojuego, y por juego en línea? ¿Qué caracteriza a los juegos sobre cambio climático?
Los videojuegos han sido definidos como juegos electrónicos que se sirven de la tecnología informática y permiten la interacción en tiempo real del jugador con la máquina, donde la acción se desarrolla sobre un soporte visual (Tejeiro-Salguero y Pelegrina del Río, 2003). En este trabajo, utilizaremos los términos videojuego y juego en línea indistintamente, si bien este último constituye una modalidad que cuenta con la particularidad de que se accede a través de un navegador web y está disponible en Internet.
A pesar de que algunos autores no incluyen a los videojuegos educativos (finalidad aprendizaje-enseñanza) dentro de los que tienen un propósito lúdico, en este trabajo se considera que en los educativos el componente lúdico cada vez es mayor por lo que deben considerarse como tales. El usuario de videojuegos pretende divertirse o entretenerse pero, al mismo tiempo, está desarrollando capacidades y conocimientos, especialmente cuando la temática es seria, como es el caso del cambio climático. A este tipo de videojuegos, que van más allá de la diversión e incluyen fines comunicativos y educativos, se les ha denominado también serious games (Katsaliaki y Mustafee, 2015). Los llamados juegos del cambio climático, del clima o del calentamiento global pertenecerían a esta categoría (Reckien y Eisenack, 2013).
Por lo tanto, al referirnos a “juegos en línea sobre cambio climático” nos centramos en aquellos relacionados con dicha temática, con fines comunicativos y científico-educativos, que integran la diversión y el entretenimiento, y que están disponibles en Internet. Estos juegos suelen plantearse objetivos comunicativos como: a) desarrollar familiaridad y conocimiento sobre el tema, b) concienciar sobre causas y consecuencias, c) despertar emociones y reflexiones científicas, d) estimular el desarrollo de ideas creativas y soluciones y e) fomentar el cambio de actitudes y comportamientos.
Existe una gran variedad de juegos en línea sobre cambio climático destinados a los jóvenes y son de acceso gratuito en Internet. Por ejemplo, EnerCities (disponible en 6 idiomas), EcoVille (en 13 idiomas), EfficienCity (en inglés), EnergyVille (en inglés), Clim’Way (en inglés y francés), BBC ClimateChallenge (en inglés), Eco-Agents (en 24 idiomas), o CEO2 ClimateGame (en inglés). La mayoría está disponible en habla inglesa, pero también existe una gran variedad de juegos en español, es el caso de Climántica, Alerta Co2, Misión posible salvar el planeta, My Green Planet, o Actúa con tu consumo.
A pesar del aumento de producción de este tipo de juegos, el desarrollo de proyectos como Climate Reality, de Al Gore, que impulsó el diseño de juegos creativos orientados a difundir mensajes sobre cómo afrontar el cambio climático, o la creación de grupos de investigación como Gaming the Future: Designing video games that change the way people think about climate change, lanzado en 2015 por la organización estadounidense Science for Nature and People (SNAP) con la finalidad de crear un centro destinado al diseño de este tipo de videojuegos, nos encontramos ante un campo de estudio relativamente reciente.
Modelos de análisis de videojuegos
La teoría del videojuego tardó unos 30 años en confirmarse desde que apareció Pong, que se considera el primero de la historia. En 2011, Espen Aarseth, de la IT University of Copenhagen, fundó la primera revista académica para estudiar videojuegos, Game Studies y desde entonces han sido propuestos, desde diversas disciplinas, distintos modelos para analizar y evaluar videojuegos (QTED, en Pérez-Latorre 2010:130): la teoría del diseño de juegos y ludología (Juul, 2005); narratología del videojuego (Murray, 1999); semiótica y análisis discursivo del videojuego (Frasca, 2007); estudios culturales (Taylor, 2006); investigaciones de efectos psicosociales (Tejeiro-Salguero, Pelegrina del Río, y Gómez-Vallecillo, 2009); y análisis sobre educación y serious games (Gee, 2004; Bogost, 2006).
El estudio que hemos realizado está inspirado en el modelo de análisis de la significación del videojuego, de Pérez-Latorre (2010). Desde esta perspectiva se integran una visión del juego narratologista, que entiende este medio como una forma de narrativa y de generar historias, así como un enfoque ludologista, que tiene en cuenta la retórica que oculta el diseño de las dinámicas, mecánicas y elementos del juego. A esto se añade una visión pedagógica, con el fin de evaluar su potencial educativo de cara a su introducción en el aula. Así, conseguiremos diseñar un instrumento de evaluación integrador desde una perspectiva narratológica, ludológica y pedagógica, analizando elementos comunicativos y educativos. Aunque las discusiones sobre el análisis de videojuegos ya han comenzado y varios autores han propuesto criterios de análisis (Liarakou et al., 2012; Liu y Ding, 2009; Martí-Parreño et al., 2015), muchos de estos estudios se centran en características o solo comunicativas o solo pedagógicas, olvidando su integración.
Enfoque metodológico
En este estudio usamos un proceso de recogida de opiniones grupales, consensuadas y fidedignas, mediante el método Delphi, un proceso sistemático, interactivo y colaborativo encaminado a la obtención de opiniones y consenso a partir de experiencias y juicios subjetivos de expertos (Scapolo y Miles, 2006; Pozo-Llorente, Gutiérrez-Pérez y Rodríguez-Sabiote, 2007). Se acude a esta técnica cuando se requiere una clarificación de los criterios de evaluación o categorías de análisis, por ser un campo novedoso y no existir datos suficientes a priori para perfilar la interpretación del objeto de estudio.
Con el método Delphi se pretende maximizar las ventajas que presentan los métodos basados en grupos de expertos y reducir sus inconvenientes, aprovechando la sinergia del debate en el grupo y eliminando interacciones negativas con el fin de alcanzar un consenso entre los expertos (Linston y Turoff, 1975). En cuanto al número óptimo de expertos en el proceso, estudios realizados por la Rand Corporation confirman que un panel formado como mínimo por siete de ellos se considera válido. No obstante, y aunque el error disminuye por cada especialista añadido, no resulta aconsejable recurrir a más de 30, pues el aumento en la previsión es muy pequeño (Astigarraga, 2008). En este trabajo, en el que se ha contado con 13 expertos, el proceso ha sido interactivo, ellos han emitido su opinión y han podido reconsiderar sus posturas al conocer los resultados globales del grupo mediante un proceso de retroalimentación encadenado en varias fases de consulta. Se ha garantizado el anonimato de los participantes en todo momento para evitar influencias. Finalmente, se ha considerado la respuesta estadística del grupo como estrategia.
Proceso metodológico
El punto de partida que aquí se plantea es la existencia de un problema de investigación que requiere de un grupo de expertos cuyos conocimientos y experiencia se consideran de antemano apropiados y pertinentes para alcanzar el objetivo de este estudio. El grupo coordinador de la técnica —constituido por especialistas en comunicación, educación y ciencia— realiza la selección del grupo de expertos, asegurando la mayor participación posible en el estudio. Asimismo, diseña los cuestionarios en función de las respuestas que los expertos aportan en cada fase con el propósito de ir acercando respuestas y disminuir la dispersión y variabilidad de opiniones. En nuestro caso, tres ciclos de consulta a los expertos seleccionados fueron suficientes, empezando con una propuesta cualitativa abierta y concluyendo con un instrumento final más cerrado y pautado:
1) En primer lugar, se planteó una consulta abierta y espontánea no pautada a un grupo de expertos con perfiles profesionales diversos relacionados con el tema de estudio. Tras remitirles información contextual sobre la investigación que se pretendía realizar y la ficha de evaluación preliminar diseñada por el grupo coordinador a partir de una exhaustiva revisión bibliográfica, se les formularon las siguientes dos preguntas abiertas:
Pregunta 1: ¿Qué ventajas puede tener el disponer de un instrumento validado de evaluación de juegos ecológicos centrados en contenidos sobre cambio climático?
-
Pregunta 2: ¿Qué otros criterios de evaluación añadiría a esta ficha de evaluación preliminar?
Así, se consiguió abrir un debate sobre las oportunidades del objeto de estudio, reestructurar la ficha de evaluación e identificar nuevos criterios de evaluación.
2) En segundo lugar, se arbitró una valoración de los criterios de evaluación en términos ordinales (importancia alta, media y baja), a través de un cuestionario en línea, con el fin de calibrar discrepancias y conseguir un primer consenso en la primera selección de las variables de análisis. La selección de criterios en esta etapa se basó en la obtención de un consenso de 90% (porcentaje acumulado de importancia alta e importancia media).
-
3) Finalmente, se solicitó a los expertos un posicionamiento desde sus respectivas áreas de experiencia ante aquellos criterios que no superaron la segunda fase, con el fin de calibrar consenso y confirmar la selección final de criterios. Esta valoración se planteó a través de un cuestionario con preguntas cerradas dicotómicas, en el que los expertos debían responder si estaban de acuerdo o no en que los criterios con un consenso menor de 90% se quedaran fuera del instrumento de evaluación de juegos en línea sobre cambio climático.
Por tanto, el nivel de saturación lo estableció, por un lado, el consenso (grado de convergencia de las estimaciones individuales en un mínimo del 90%) y, por otro, la estabilidad (no variabilidad significativa de las opiniones de los expertos entre rondas sucesivas, independientemente del grado de convergencia). La Figura 1 resume el proceso:
En este proceso se usó la aplicación Google Drive, que es de fuente abierta y permite de forma gratuita diseñar un cuestionario en línea, distribuirlo vía correo electrónico y descargar los datos para su posterior análisis. Para el análisis de datos se empleó el programa estadístico SPSS.
Fase 1: diseño del protocolo
En esta fase se diseñó el protocolo de la técnica Delphi: definición tanto del problema como de objetivos, identificación de variables o criterios, constitución del grupo coordinador, establecimiento de las características y perfiles de los expertos, así como del calendario y de la estrategia de participación con los especialistas. La Tabla 1 resume los descriptores básicos.
La muestra participante (Tabla 2) constó de un total de 13 expertos de cuatro países y contextos culturales diferentes, pertenecientes a tres perfiles de especialidad distintos (comunicación, gamificación y educación).
Fase 2: fase de desarrollo
El instrumento empleado para recoger la información fue el cuestionario, con preguntas abiertas o cerradas. El primero utilizado fue de naturaleza cualitativa y con preguntas abiertas para que los expertos pudieran compartir su opinión con respecto a una primera propuesta de instrumento de evaluación de juegos en línea sobre cambio climático.
Esta primera propuesta consistió en una ficha de evaluación preliminar, inspirada en el modelo de análisis de la significación del videojuego, de Pérez-Latorre (2010). A la visión comunicativa que caracteriza a este modelo, se añade un enfoque pedagógico, con el fin de evaluar su potencial educativo de cara a su introducción en el aula. La ficha de evaluación quedó dividida en cinco dimensiones, que sirven de guía para clasificar los criterios de evaluación desde el prisma comunicativo y educativo: 1) identificación (rasgos que ayudan a identificar y localizar el juego); 2) enunciación (juego como proceso de diálogo); 3) narratología (como narración); 4) ludología (como juego); y 5) didáctica (como recurso educativo).
Los criterios de evaluación (variables de análisis) fueron los elementos a analizar en cada uno de los juegos en línea. Éstos se determinaron tras una exhaustiva revisión bibliográfica desde la perspectiva de su potencial para realizar un análisis de contenido y del discurso de los videojuegos como herramientas de comunicación, además de permitir valorar su capacidad pedagógica, como paso previo a su implementación en contextos educativos. La Tabla 3 presenta cada una de las dimensiones con sus respectivos criterios de evaluación iniciales.
Como se puede observar, la ficha de evaluación preliminar incluyó variables de análisis (que también denominamos criterios de evaluación) diversas, tanto cuantitativas, para registrar la frecuencia de ocurrencias de estas categorías, como cualitativas, con el fin de determinar la presencia o ausencia de ciertas categorías.
Tras la primera ronda, se empleó un segundo cuestionario estructurado en dimensiones con sus correspondientes variables de análisis y su valoración en términos ordinales (importancia alta, media y baja). El análisis del cuestionario Delphi 2 dio lugar a un tercero (Delphi 3) que analizó aquellas variables que no habían alcanzado consenso y, por lo tanto, se quedaban fuera del instrumento de evaluación. En esta ocasión, la valoración de las variables se hizo en términos dicotómicos (sí/no) para que los expertos pudieran confirmar su posicionamiento en favor o en contra. La búsqueda del consenso fue el criterio básico para guiar el análisis de la información aportada por los expertos participantes en esta etapa del proceso, por este motivo, el cuestionario Delphi 3 consideró las variables que presentaron un consenso mínimo, eliminando aquellas otras no compartidas por los participantes.
Fase 3: fase conclusiva
El proceso termina cuando se ha conseguido el grado de estabilidad, saturación y consenso deseado entre las opiniones de los participantes. Por tanto, el proceso se consideró cerrado cuando se les envió a los expertos las respuestas finales del grupo a través de un informe de cortesía que indicaba la propuesta de criterios resultante y que se estimó definitiva.
Resultados: análisis de la información
Las opiniones aportadas por los expertos y el análisis descriptivo llevado a cabo en cada ronda aportaron una valiosa información desde diferentes perspectivas en este contexto. A continuación se presentan los resultados más relevantes,
Ronda Delphi 1
A la primera pregunta que se planteó a los expertos en esta ronda, acerca de las ventajas que puede tener el disponer de un instrumento validado de evaluación de juegos en línea centrados en contenidos sobre cambio climático, las respuestas reflejan los siguientes beneficios para los docentes, en particular, y para las instituciones educativas en general:
1) Ampliar la visión de los aspectos relevantes a tener en cuenta por parte de los docentes a la hora de escoger los videojuegos.
2) Ahorrar tiempo docente al no tener que dedicarlo a la creación de materiales de calidad.
3) Sentar las bases para la creación de un repositorio útil de videojuegos de esta temática para utilizar en el aula o en otros entornos educativos, con criterios de clasificación “homologados” por especialistas en la materia.
Los expertos también valoraron como positivo el disponer de una herramienta de evaluación calibrada y validada que ofrece criterios a docentes, instituciones educativas, creadores, investigadores, agentes sociales y padres interesados en el cambio climático y les dota de argumentos fundamentados para la toma de decisiones en la elección de uno u otro juego, su interés, posibilidades de uso, estructura, funcionalidad, diseño y opciones de empleo de este tipo de recursos.
A la segunda pregunta, acerca de qué aspectos reestructurarían en la ficha preliminar (Tabla 3) o qué otros criterios de evaluación añadirían, los expertos en general partieron de una opinión bastante favorable respecto de las dimensiones y criterios de evaluación. No obstante, plantearon apreciables propuestas tales como:
Sustituir el término dimensión-narratología por dimensión-narrativa, y el término dimensión-ludología por dimensión-jugabilidad.
Integrar marcas enunciativas dentro del análisis narrativo.
Trasladar los criterios nombre y tipo de productor, público objetivo y finalidad comunicativa a la dimensión-identificación, al tratarse de rasgos básicos que ayudan a reconocer el videojuego.
Distinguir entre las dimensiones narrativa y contenidos para esclarecer las diferentes perspectivas del mensaje y sus contenidos.
Añadir el criterio de emplazamiento en la web para favorecer la localización del videojuego y determinar su usabilidad.
Añadir el criterio “gratuidad” para dar a conocer esta circunstancia.
Incluir el criterio de curva de aprendizaje para poder determinar el grado de esfuerzo necesario para el aprendizaje y adaptar su uso al tiempo disponible en clase.
Incluir el criterio de posibilidad de trabajo en grupo, muy útil debido a la falta de ordenadores en algunas aulas.
Incluir el criterio de accesibilidad, que permite calibrar el uso del juego para estudiantes con diversidad funcional.
Añadir el criterio “posibilidad de evaluación del docente” para registrar cuáles son las posibilidades de integración en el aula, a través, por ejemplo, del historial de acciones, registro de intervenciones del alumnado, entre otros.
Tras esa primera fase de consulta, la propuesta de instrumento de evaluación quedó reestructurada con las dimensiones y criterios que se muestran en la Tabla 4.
Ronda Delphi 2
Con el fin de seleccionar aquellos criterios más relevantes y que mayor consenso hubieran alcanzado para la elaboración del instrumento final, se pidió a los participantes que valoraran la importancia de cada uno en términos ordinales (1= baja, 2= media, 3= alta), a través de un cuestionario. Los criterios pre-seleccionados fueron los que habían alcanzado un consenso mayor de 90% acumulado de importancia media y alta. Esta cifra representa un valor robusto de selección de criterios y a la vez discrimina con un margen de tolerancia de 10% las posibles discrepancias entre evaluadores. Además, para obtener mayor información sobre la opinión de los expertos, se procedió a asignar una puntuación a cada criterio, lo que permitió establecer un ranking. Considerando que la importancia baja se valora con 1 punto, la media con 2 y la alta con 3, y que en esta etapa participaron 11 de los 13 expertos invitados, la puntuación máxima para asignar a un criterio fue de 33. Aun teniendo un mismo porcentaje, algunos obtuvieron una puntuación sumativa no coincidente debido a que su cálculo fue resultado del sumatorio de valoraciones medias y altas: algunos criterios tuvieron varias calificaciones de 3 y menor en 1.
La Tabla 5 muestra, organizados en las cinco dimensiones de evaluación, los porcentajes de acuerdo total y la puntuación total para cada uno de los criterios, siendo esta última la base en la que calcular el ranking.
Como se puede observar en la Tabla 5, un total de 14 criterios no alcanzaron el consenso mínimo establecido de 90%. De los resultados se desprende que la dimensión donde hay menos discrepancia de opiniones acerca de los criterios de evaluación es la didáctica, mientras que la que genera más discrepancia es jugabilidad.
En relación con la identificación del videojuego, los criterios mejor valorados, ocupando los tres primeros puestos según el ranking generado, son los relativos a nombre del juego, tipo productor, finalidad comunicativa, público objetivo, breve descripción e idioma.
En la dimensión narrativa destacan los aspectos relacionados con las correspondientes a espacio y tiempo, y representación del entorno, mientras que en la de contenidos, los más valorados tienen que ver con la convergencia con redes sociales, el enfoque del cambio climático, el uso explícito de conceptos científicos así como el tema principal tratado.
Por su parte, las dinámicas, el sistema de feedback, las instrucciones disponibles, el tipo de jugador, la posibilidad de guardar la partida, el sistema de recompensa, la interactividad y la duración son los aspectos que cobran mayor relevancia en la dimensión jugabilidad.
Finalmente, en la dimensión didáctica, destacan los criterios de disponibilidad de guía didáctica, el trabajo en grupo, la necesidad o no de conocimientos previos y la posibilidad de evaluación del docente.
En una visión de conjunto, el criterio peor valorado es el de adaptación curricular, seguido de componentes, uso individual-colectivo y país de origen de la producción del juego.
Por último, el análisis de los porcentajes de acuerdo parcial confirma que, en general, el grado de consenso fue alto y que, además, la mayoría de los criterios fueron valorados con un grado de importancia media-alta próxima a 90% (63.18% alta y 26.67% media), mientras que el porcentaje de los valorados con importancia baja fue de un 10.15.
Ronda Delphi 3
Para finalizar este proceso, tras la segunda ronda de consultas se solicitó a los expertos una valoración final de los 14 criterios que no superaron un consenso mínimo de 90%, con el fin de calibrar discrepancias y confirmar la selección final de criterios que formarían parte del instrumento de evaluación de juegos en línea sobre cambio climático. Así, se llegó a alcanzar una mayor estabilidad en las respuestas tras la segunda etapa del proceso Delphi, y una reducción significativa de la variabilidad de las opiniones de los expertos. En esta ronda, el grado de participación disminuyó y solo participaron 9 expertos: 3 especialistas en comunicación, 3 en educación y 3 en videojuegos y gamificación. A la pregunta de si estaban de acuerdo en que los 14 criterios que no pasaron la segunda ronda se quedaran fuera del instrumento de evaluación, los resultados fueron los que se muestran en la Tabla 6.
Tal y como muestran los resultados, los expertos confirmaron sus posiciones como grupo y concluyeron, por mayoría, que los siguientes criterios de evaluación quedaran fuera del instrumento de evaluación de juegos en línea centrados en contenidos de cambio climático: género, país de origen, nombre del productor, historia por episodios, niveles, misión-objetivos instrumentales, mecánicas, componentes y adaptación curricular.
En el caso de adaptación curricular, que obtuvo la puntuación más baja en la segunda ronda con 17 puntos (porcentaje acumulado de importancia media-alta de 36.40), algunas de las justificaciones de los expertos para su exclusión fueron:
[… ] “el currículo a veces no está ni siquiera adaptado a las necesidades/intereses del adolescente según su desarrollo cognitivo”, “la conciencia y la responsabilidad para con el planeta no tiene por qué tener correspondencia curricular” o “generalmente se busca este tipo de videojuegos ya con un objetivo curricular claro”.
Los argumentos de los participantes para mantener el resto de los criterios fueron los siguientes:
Rol del personaje: aporta matices para una radiografía más ajustada de los contenidos de la muestra; aporta información sobre la historia del juego; importante para entender tu papel como jugador en el juego.
Falsos conceptos: es un elemento que puede afectar mucho a la calidad de los sistemas propuestos; identifica ideas erróneas sobre el cambio climático que puedan confundir al alumnado.
Imágenes: aporta una idea aproximada del universo simbólico del juego.
Uso individual o colectivo: hace referencia a la dinámica interna del juego y por lo tanto puede aportar matices; información fundamental para planificar actividades con el alumnado al evaluar la conveniencia del juego para su aula de acuerdo con los recursos de los que dispone en la misma; la implicación del jugador es distinta en uso colectivo, ya que permite competir.
Misión-objetivos finales: hace referencia a la dinámica interna del juego y por lo tanto puede aportar matices; es un elemento importante para analizar lo divertido y motivador que puede llegar a ser el juego; conocer la meta impulsa el relato.
Aunque los tres grupos de expertos de distintos perfiles de nuestra pequeña muestra coincidieron en la eliminación de los 14 criterios en el instrumento de evaluación, el análisis de las respuestas específicas de esta última ronda para cada criterio pone de manifiesto ligeras diferencias entre los grupos en función del campo de especialización. Destaca el hecho de que los expertos en educación y comunicación fueron los que más optaron por volver a incluir nuevamente esos criterios de evaluación en la selección final, mientras que los especialistas en videojuegos prefirieron excluir la mayoría de ellos. De hecho, estos últimos, a diferencia de los otros dos grupos de especialistas, optaron unánimemente por la exclusión de criterios de jugabilidad (como niveles, misión-objetivos instrumentales y componentes del juego) y, de forma mayoritaria, por la eliminación de criterios comunicativos tanto de narrativa como de análisis de contenido. Cabe destacar cómo la mayoría de los expertos en educación prefirieron que el criterio de adaptación curricular se quedara fuera, a pesar de ser un criterio más de la dimensión de didáctica, a diferencia de los expertos de comunicación que, en principio, optaron por la inclusión de este criterio en el instrumento de evaluación. La Tabla 7 muestra globalmente una correlación ligera en las valoraciones del conjunto de los criterios que hicieron los expertos en videojuegos con los educadores y expertos en educación (r= 0.44), mientras la mayor divergencia se aprecia entre los educadores y comunicadores que discreparon mayoritariamente en sus valoraciones de conjunto como lo muestra la ausencia de correlación (r= 0.061).
Tras esta tercera ronda de consultas, se consiguió acercar diferencias y alcanzar un consenso en la propuesta de instrumento para la evaluación de juegos en línea sobre cambio climático, el cual, tras finalizar el proceso de validación por parte de los expertos, cuenta con un total de 51 criterios. Para una mayor comprensión y facilidad de uso del instrumento, se agruparon los criterios de representación-rol del personaje y de dimensión espacio-tiempo en la dimensión narrativa. Asimismo, la perspectiva sobre cambio climático, temática principal, promoción de acciones, contextualización causas-consecuencias y tono del mensaje se incluyeron bajo el criterio marco del mensaje. La Tabla 8 presenta el instrumento de evaluación con los criterios, una breve descripción de los mismos y opciones de respuesta.
Se incluye una ponderación en función de la relevancia que los expertos dieron a cada uno de los criterios; de esta forma, no tendría el mismo peso un criterio que estuvo por salir del instrumento, que otro que obtuvo la totalidad de aceptación desde la primera fase del proceso Delphi. Dicha ponderación se ha llevado a cabo calculando el punto de corte del tercil 2, cuyo valor es 29; esta puntuación permite seleccionar todos aquellos criterios que están en el tercer tercil. Los que obtuvieron una puntuación igual o mayor de 29, por lo tanto, adquirieron una mayor relevancia por parte de los expertos. Estos criterios son: nombre juego; finalidad comunicativa; convergencia con redes sociales; dinámicas del juego; tipo productor; dimensión-espacio; perspectiva sobre cambio climático; tipo jugador; sistema de feedback; disponibilidad de instrucciones; trabajo en grupo; disponibilidad de guía didáctica disponible; idioma; público objetivo; breve descripción; dimensión-tiempo; uso explícito de conceptos científicos; temática principal; necesidad de conocimientos previos; disponibilidad de aplicación; representación del entorno; uso explícito de fuentes información; promoción de acciones; contexto-causas; y posibilidad de evaluación del docente.
La posible falta de tiempo de los docentes puede ser una limitación a la hora de usar cada uno de los criterios propuestos en la Tabla 8. Ante ello, esta ponderación permite al profesorado una toma de decisión más objetiva y rápida al momento de escoger un juego en línea sobre cambio climático para su uso en clase. Por lo tanto, en caso de no poder usar cada uno de los criterios para evaluar un juego, se recomienda emplear aquellos ponderados como más relevantes.
Conclusiones
El método Delphi nos ha permitido identificar y validar criterios de evaluación para juegos en línea centrados en contenidos de cambio climático, variables que permiten analizar esta herramienta desde una perspectiva comunicativa y educativa. El instrumento de evaluación propuesto contribuye a ampliar la visión de características relevantes a tener en cuenta a la hora de elegir un videojuego para usarlo en el aula y sentar las bases para la creación de un repositorio útil de juegos en línea sobre cambio climático en particular, y sobre temática medioambiental en general. Estos criterios validados pueden ser útiles no solo para docentes sino también para investigadores, diseñadores de juegos y otros agentes sociales de todo el mundo. Además, puede servir como punto de partida para instrumentos de evaluación similares orientados a videojuegos de otras materias y temas.
De este proceso de recogida de información, análisis y discusión cabe destacar el grado de representatividad de los expertos en relación con el nivel educativo, ejercicio profesional y dominio del tema. Se alcanzó un alto consenso entre los expertos en la selección de criterios durante la segunda ronda de consultas, sobre todo aquellos relacionados con narrativa, contenidos y didáctica. Se produjo una valoración positiva acerca de la importancia de los criterios propuestos, con 63.18% valorados como “muy importantes”. Además, globalmente se produjo un aceptable grado de coincidencia en sus opiniones acerca de la eliminación de los 14 criterios en el instrumento de evaluación. Esta coincidencia se ve respaldada por una moderada correlación entre las valoraciones que hacen los expertos en videojuegos respecto de los otros dos grupos de evaluadores, mostrando ausencia de correlación entre las valoraciones que hacen educadores frente a comunicadores.
Por otro lado, reconocemos como limitación en este estudio el descenso gradual de participación a lo largo del proceso, de 13 en la primera ronda a 9 en la última, debido probablemente al periodo vacacional con el que coincidió una de las rondas de consulta.
Recomendamos usar el instrumento de evaluación que hemos diseñado en su conjunto, aplicando todos los criterios de evaluación, pero también existe la posibilidad utilizar aquellas dimensiones o criterios que más se ajusten a las necesidades del evaluador. Además, es recomendable tomar ejemplos y capturas de imagen para una completa valoración de los juegos. Ante la posibilidad de falta de tiempo de los docentes para usar cada uno de los criterios propuestos, el trabajo concluye con una propuesta de ponderación en función de la relevancia de los criterios, lo que permite a los profesores evaluar los juegos de forma más rápida usando aquellos criterios que fueron considerados más importantes.
Futuros estudios en relación con este tema deberían ir encaminados a aportar información precisa sobre cómo aplicar cada uno de los juegos, tanto en clase y contextos de educación formal como en ambientes más informales como pueden ser museos o programas extra-escolares. Otra pregunta que surge de esta investigación es cuál es el impacto de estos juegos en línea sobre cambio climático sobre los jóvenes, cómo perciben los mensajes y si hay efectos en el comportamiento a largo plazo. El reto principal que tienen en común estos juegos es que el usuario traspase el mundo de la ficción, mostrando que lo que han vivido a través del juego es una realidad y que las acciones que han experimentado ofrecen soluciones reales al problema del cambio climático.
