Introducción

Este artículo reflexiona sobre la aplicación en general de la investigación reproducible en las Ciencias de la Información Geográfica y, en particular, se centra en el caso de la conferencia internacional AGILE (https://agile-online.org/). No se trata de un artículo donde se discute la definición del término reproducibilidad científica, y su importancia para la ciencia moderna y nuestra comunidad investigadora. Respecto a la primera cuestión, la definición, existe una extensa bibliografía científica al uso (véase, por ejemplo, ^{Barba, 2018}). Respecto a la segunda, su importancia, no podemos más que subrayar de nuevo la relevancia de la reproducibilidad como un pilar básico de la ciencia. Otros autores también han escrito mucho sobre ello incluyendo un reciente artículo en la Revista Cartográfica (^{Ballari, 2018}), por lo que no vamos a incidir de nuevo en esta cuestión, aunque sí que repasaremos brevemente algunos trabajos recientes que se centran explícitamente en la reproducibilidad en la Ciencia de la Información Geográfica (CIG). A estas alturas, está fuera de toda duda para el lector que la investigación reproducible, la ciencia abierta, la reproducibilidad computacional y replicación son imprescindibles para la buena práctica y la integridad en la investigación y ciencia actual.

Este artículo relata la experiencia de un pequeño grupo de investigadores en la CIG (los autores) para la promoción e incentivación de prácticas en investigación reproducible en la comunidad AGILE. Describimos nuestra historia, las acciones y actividades llevadas a cabo y los logros conseguidos y nos centramos, especialmente, en uno de los recursos generados -las directrices para artículos reproducibles-, que se ponen en práctica por primera vez en la conferencia AGILE 2020. De ningún modo nuestra intención es elevar nuestro ego personal con este artículo. Nuestra intención es mucho más prosaica, regida por la simple idea de compartir experiencias y resultados tanto positivos como negativos.

Queremos que el relato de nuestras actividades y experiencias sirvan de ejemplo de primera mano para aquellos lectores interesados en la investigación reproducible, que las hagan suyas y las adapten a sus entornos. Creemos firmemente que la fórmula para incentivar progresivamente las prácticas en investigación reproducible en una comunidad y/o conferencia en la CIG es exportable y aplicable a otras situaciones y regiones (^{Granell et al., 2018}). Por ello, este artículo incluye una serie de recomendaciones para la puesta en marcha de la investigación reproducible, que puede aplicarse a diversos contextos, como por ejemplo dentro de un grupo de investigación, en un departamento, o incluso a comunidades relacionadas con la CIG de ámbito nacional o supranacional.

Si el primer objetivo es transmitir nuestras experiencias y logros obtenidos en la comunidad AGILE, el segundo objetivo de este artículo es una “llamada” a la comunidad CIG de América Latina en cuanto a la investigación reproducible. En especial, creemos que América Latina está bien posicionada para la adopción de prácticas reproducibles en la investigación, ya que la cultura de lo abierto (acceso abierto, software abierto, etc.) ha estado tradicionalmente bien enraizada en el mundo académico y educativo.

A continuación, introducimos a grandes rasgos el concepto de reproducibilidad en la investigación, citando algunos trabajos recientes en el campo de la CIG, así como recursos docentes relacionados. Luego, enumeramos las actividades realizadas en el marco de nuestra iniciativa para la promoción de las buenas prácticas en investigación reproducible tanto en la comunidad AGILE como en su conferencia anual. Uno de los recursos generados de especial relevancia para la conferencia AGILE son las directrices para autores para la elaboración de artículos reproducibles, que se tratan en una sección aparte. Finalmente, terminamos el artículo con una serie de recomendaciones, dirigidas a los distintos actores que forman parte del proceso de investigación científica (investigadores, universidades, entidades editoras, entidades de política científica, etc.) y que, desde su posición e intereses particulares, pueden influir significativamente en la promoción de hábitos y buenas prácticas en la investigación reproducible.

Breve reseña sobre la reproducibilidad en CIG

En esta sección definimos el término reproducibilidad. Luego, indicamos algunos trabajos recientes o de especial relevancia en la aplicación o estudio de aspectos reproducibles a la CIG, que dan fe del creciente interés de la comunidad investigadora de la CIG en las prácticas reproducibles. Finalmente, a modo informativo, añadimos algunos recursos docentes que se centran en la reproducción desde la óptica de la educación y de la realización de materiales docentes. Este artículo no trata la reproducibilidad como concepto en la docencia, pero definitivamente será un aspecto clave en el futuro próximo para que la próxima generación de científicos y científicas adquieran las prácticas de investigación reproducibles como parte natural de sus actividades diarias.

Nuestro interés en reproducibilidad se centra en las publicaciones en conferencias (como AGILE) y, por lo tanto, nos basamos en la definición adoptada en trabajos previos (^{Ostermann y Granell, 2017}; ^{Nüst et al., 2018}). Otros trabajos como ^{Stodden et al. (2014}), ^{Barba (2018}), Nüst et al. (2018) y la colección de artículos y editoriales de Nature (https://www.nature.com/collections/prbfkwmwvz) abordan en detalle la literatura en cuanto a las diferentes interpretaciones del concepto de reproducibilidad, desde disciplinas y áreas del conocimiento científico dispares. En este trabajo, nos ceñimos a la siguiente definición: “un documento reproducible garantiza que un revisor o lector pueda recrear el flujo de trabajo computacional de un estudio o experimento, incluidos los conocimientos previos y el entorno computacional. El primero implica que el argumento científico es comprensible y sólido. El último requiere una descripción detallada del software y los datos usados, y que ambos están disponibles de forma abierta.” (Nüst et al., 2018: 7).

Con respecto a la literatura científica focalizada en la reproducibilidad en la CIG, ^{Richardson et al. (2015)} ya alertaba de las barreras a la reproducibilidad en la CIG con respecto a la revelación de la localización y otros datos confidenciales de participantes en un proyecto de investigación o experimento. Sin embargo, ha sido a partir de 2018 cuando la comunidad de la CIG ha puesto el ojo con mayor atención a las prácticas de investigación reproducible. Por ejemplo, nuestro trabajo previo, ^{Ostermann y Granell (2017)} y ^{Nüst et al. (2018)} ya ponen el foco en la reproducción y replicación de estudios en la CIG, bien en los datos geoespaciales generados por el usuario o en trabajos de investigación en el marco de la conferencia AGILE, respectivamente. El último de ellos lo trataremos en detalle en la siguiente sección. En la línea de la reproducción de estudios que procesan datos generados por el usuario, ^{Cerutti et al. (2019)} examina la utilidad de los sistemas de gestión del flujo de trabajos científicos para reproducir tres estudios que investigan las redes sociales y los incendios forestales en Australia.

^{Gahegan (2019)}, reflexiona sobre las dificultades de la reproducción desde el punto de la eCiencia (eScience en inglés), donde el campo de la geo-computación es determinante, es decir, la aplicación de análisis computacionales a casos de usos donde las dimensiones espacial y temporal son claves. El autor sugiere distintas aproximaciones para la mejora de la reproducción de flujos de trabajo geo-computacionales. Relacionado con la compartición de análisis computacionales, ^{Konkol et al. (2020)} comparan exhaustivamente una serie de herramientas y aplicaciones para la publicación y ejecución de flujos de trabajos computacionales de forma reproducible.

Otro hilo de trabajos relacionados se centra en el plano teórico en lugar de aspectos prácticos en el uso de herramientas de ayuda a la reproducción, como en los ejemplos anteriores. Los trabajos de Kedron y colegas (^{Kedron, 2019} y ^{Kedron et al., 2018}), se contextualizan en la investigación relacionada con la rama de la geografía humana o económica. Los autores discuten la incertidumbre que va aparejada a las distintas conceptualizaciones e interpretaciones en la difusión y comunicación de los resultados de los análisis geográficos. Todo ello, sin lugar a dudas, afecta seriamente a la reproducción y replicación de estudios y análisis en el campo de la geografía humana y económica. Otro ejemplo destacable es la reflexión de ^{Kray et al. (2019}) con respecto a la investigación reproducible en el campo de la geo-informática. Los autores, se alejan un tanto de la aproximación teórica de los dos ejemplos anteriores, para reflexionar sobre los retos y ventajas de la reproducción en la geo-informática, y en la CIG en general, donde la tecnología y las ciencias de la computación son fundamentales.

Terminamos esta reseña con un guiño a una serie de recursos docentes sobre la reproducción en la ciencia en general y aplicada a la CIG. Cabe destacar la iniciativa FORRT (Framework for Open and Reproducible Research Training, en inglés) (^{FORRT, 2019}) que teoriza sobre las dimensiones y factores a tener en cuenta para la incorporación de prácticas reproducibles en el currículum docente. ^{Crüwell et al. (2018}) mantienen una lista debidamente curada de recursos y artículos relevantes que van desde la problemática inicial hasta cuestiones de análisis estadístico que minan la reproducción. Aunque la lista de recursos tiene un cierto sesgo hacia la psicología, debido a que la reproducibilidad ha sido tradicionalmente un aspecto crítico en esta disciplina, resulta relevante para el diseño y confección de un hipotético currículum sobre la reproducibilidad y replicabilidad de la ciencia.

Si miramos a la CIG, ya empiezan a surgir recursos docentes, en los cuales la reproducción ocupa una posición predominante. Por ejemplo, como parte de la visión que integra la ciencia de los datos y la CIG (^{Singleton y Arribas‐Bel, 2019}), Arribas-Bel (2019) describe un curso completo que incluye módulos didácticos, junto con código y datos, en una mezcla única que aplica técnicas de análisis de datos desde la perspectiva geográfica, atendiendo por supuesto a aspectos de reproducibilidad, especialmente con el uso de Jupyter Notebooks (^{Millman y Pérez, 2014}).

Iniciativa de reproducibilidad en AGILE: experiencias y actividades

En esta sección resumimos las actividades y acciones realizadas en los tres últimos años, desde el primer encuentro del grupo en la conferencia de AGILE 2017 (mayo 2017) hasta las actividades en curso y planteadas para la próxima conferencia de AGILE en 2020. No se trata únicamente de trazar una línea temporal de los acontecimientos, la cual resulta por sí sola interesante, sino de recalcar el hecho de que un grupo reducido y apasionado en la promoción de las prácticas reproducibles en la investigación puede influir de manera considerable en un grupo mucho mayor, la comunidad AGILE, hasta el punto de introducir cambios estructurales en la próxima conferencia, en cuanto a la ciencia abierta y prácticas reproducibles de los trabajos de investigación enviados. El camino no ha sido fácil, y nuestros objetivos iniciales no eran ni mucho menos tan ambiciosos. Como veremos en las actividades realizadas en el resto de esta sección, en todo momento nuestro contexto de actuación se limitó a la comunidad AGILE, y no a otras comunidades CIG en otras latitudes y regiones. Delimitar un campo de actuación manejable y de acorde a las posibilidades, pero a la vez lo bastante ambicioso, ha sido sin duda uno de los factores de éxito de nuestra iniciativa (^{Granell et al., 2018}).

El mensaje que queremos transmitir es que un pequeño grupo puede llevar a cabo grandes cambios, hasta el punto de influenciar la comunidad de la cual forma parte. Esperamos que las actividades y recursos aquí relatados, junto con las recomendaciones expuestas en la próxima sección, surjan de ejemplo para que (pequeños o grandes) colectivos en Latinoamérica impulsen el cambio hacia prácticas de reproducibilidad en sus propias comunidades de ámbito regional o nacional, o incluso, supra nacional, en el ámbito de la investigación en la Ciencia de la Información Geográfica.

Directrices para la redacción de artículos reproducibles

En esta sección nos centramos en las directrices para la redacción de artículos reproducibles para la conferencia AGILE. El recurso de referencia es la versión inglesa (^{Nüst et al., 2019}a), la cual se actualiza periódicamente a media que se incorporan comentarios, aclaraciones y ejemplos de los propios autores. También hay disponible una versión traducida al castellano (^{Granell, 2019}).

Las directrices no son exhaustivas en cuanto a los pasos a realizar. Existen excelentes recursos que describen reglas y pasos concretos para que los datos y análisis computacionales asociados a un trabajo científico sean reproducibles (p.e. ^{Sandve et al., 2013}; ^{Wilson et al., 2017}, ^{Rule et al., 2019}). Sin embargo, las directrices aportan un valor adicional con respecto a estos recursos más generalistas, en cuanto que se centran en las características propias de los trabajos de investigación en la CIG, aportando ejemplos específicos a esta disciplina.

¿Qué elementos o aspectos son los más destacables en las directrices? Por su utilidad práctica, el primero es sin lugar a dudas la lista de verificación de la reproducibilidad de un artículo previo al envío. Los autores/as pueden comprobar fácilmente si algún elemento de la lista todavía requiere su atención. Resulta un recurso muy útil y rápido para asegurar que los artículos enviados cumplen con todos los requisitos pertinentes a la reproducibilidad.

Otro elemento destacable es el contenido de la nueva sección “Disponibilidad de Datos y Software”. Con ella forzamos a los autores/as a indicar dónde se encuentran publicados los datos y el código, para que otros investigadores/as puedan acceder a esos recursos. Evidentemente, la reproducibilidad implica necesariamente el acceso público a los recursos asociados a una investigación. Esta sección por lo tanto permite aglutinar en un único lugar toda la información necesaria para acceder a los datos y código utilizados en el propio artículo. En caso de que existan restricciones, como por ejemplo que los datos utilizados se rigen por una licencia restrictiva que no permite su acceso y compartición, entonces sugerimos que se indique también los motivos. El objetivo de esta sección es que sea homogénea a todos los artículos y que permita fácilmente evaluar el nivel de pre-reproducibilidad (^{Stark, 2018}) de un artículo simplemente leyendo la información de la sección. Las directrices incluyen una plantilla para el contenido de la misma, que puede tomarse como base para otros tipos de documentos como por ejemplo trabajos de maestrías.

Como los datos y el código son elementos clave para la reproducción de un trabajo, el documento de directrices los trata en dos apartados independientes. El apartado de datos se refiere a la información de entrada en una investigación; a los datos intermedios y resultados finales (p.e. mapas, tablas, graficas), que normalmente forman parte del artículo. El segundo apartado engloba tanto el código (o paquete de software, biblioteca, etc.) pertinente al análisis computacional realizado, como al entorno necesario para ejecutar dicho código.

Ambos apartados siguen una estructura similar. Organizamos las sugerencias a los autores en una tabla de dos dimensiones. Por un lado, respondemos los cuestionamientos de: qué, dónde y cómo; y por otro, planteamos para cada una de las tres preguntas anteriores, requisitos mínimos, que todos los autores deben cumplir, y también requisitos ideales. La reproducción de un artículo de investigación no es una cuestión de todo o nada, sino que hay un espectro de posibilidades entre los dos extremos. Por lo tanto, queremos transmitir la idea que la redacción de un artículo reproducible es un proceso gradual, de menos (mínimo) a más (ideal), y reconocemos que los autores sin experiencia se fijen con los requisitos mínimos y, a medida que adquieren experiencia y destrezas en el uso de herramientas y aplicaciones de soporte a la reproducibilidad, tengan en consideración las sugerencias ideales.

Destaca también que ambos apartados incluyen una serie de ejemplos (“que pasa si”) en el contexto de la CIG, que aportan sugerencias concretas a los autores para cada uno de los supuestos planteados. Por ejemplo, si los datos no están debidamente anonimizados y se publican con el nombre de los autores, damos información de cómo crear enlaces anónimos a los datos depositados en repositorios para permitir el proceso de revisión por el sistema de doble ciego. Para que las directrices fuesen un recurso conciso y breve para la comunidad investigadora, mantenemos un sitio web y wiki asociado (https://osf.io/phmce/wiki/home/) donde se incluyen muchos otros ejemplos para que los autores reconozcan su situación particular y sepan cómo actuar para hacer que sus artículos sean (más) reproducibles.

Recomendaciones

Sin lugar a dudas, adquirir un nuevo hábito requiere esfuerzo y persistencia. A diferencia de hábitos que se centran únicamente en el individuo como la adquisición de hábitos saludables, la ciencia actual ya no se limita a la labor de un investigador individual, sino que se ve afectada por un ecosistema de actores con diferentes intereses que moldean el proceso científico. Desde investigadores, grupos de investigación, universidades, asociaciones, pasando por las editoriales que publican las revistas académicas, hasta las agencias públicas y privadas que subvencionan la investigación, y los comités de selección y promoción que evalúan los méritos científicos, todo ellos influyen de alguna manera en cómo se realiza la labor científica diaria. Por lo tanto, para mejorar significativamente la reproducibilidad en la investigación, se deben realizar cambios en cada uno de estos actores, con mejoras en los planes de estudio educativos, en los procesos de laboratorio, la política científica de las universidades, las normas de publicación de artículos de las editoriales de revistas académicas y en los criterios de las agencias de financiación, de modo que los esfuerzos requeridos para llevar a cabo las buenas prácticas en la investigación reproducibles sean reconocidos y debidamente valorados.

Es esta sección no abordamos cada uno de estos actores, sino que nos centramos en recomendaciones para las asociaciones relacionadas con la CIG, que tienen el poder para influir positivamente en una comunidad amplia de investigadores/as en la promoción de prácticas de investigación reproducible. Este aspecto es especialmente relevante en Latinoamérica, por ejemplo, con el Instituto Panamericano de Geografía e Historia (IPGH, https://www.ipgh.org/), ya que puede jugar un papel trascendental a la hora de promocionar la investigación reproducible en la región. Para autores individuales, remitimos a la discusión en ^{Nüst et al. (2018)}, que a su vez incluye una buena selección de recursos para autores.

Por lo tanto, ¿qué pueden hacer las asociaciones relacionadas con la CIG para fomentar la reproducibilidad? Un prerrequisito clave es que las propias asociaciones científicas como IPGH u otras, que proveen soporte para la publicación científica ya sea por medio de revistas académicas o conferencias, reconozcan el papel primordial de las prácticas de investigación reproducible para la comunidad de la CIG. Otra recomendación obvia es que las publicaciones sean en acceso abierto, y con licencias permisivas para los propios autores y para el resto de la comunidad investigadora. En este sentido, las publicaciones periódicas del IPGH ya se licencian en “Creative Commons”, los artículos están en abierto, y el sistema de gestión y publicación de revistas se basa en código abierto (Open Journal System), lo cual allana el camino hacia las siguientes recomendaciones.

Las directrices para autores son un recurso fundamental para sentar las bases de una conferencia o revista reproducible. Como hemos visto en la sección anterior, unas directrices deben incluir instrucciones claras sobre cuándo, cómo y dónde publicar material complementario (datos, código) al artículo escrito. Además, las directrices deben sensibilizar a los autores para que hagan visible la información relacionada con la reproducibilidad para los revisores y otros investigadores, por ejemplo, mediante una sección específica del artículo al estilo de la sección de “Disponibilidad de datos y software”. No hace falta empezar de cero. Las directrices para la redacción de artículos reproducibles (^{Nüst et al., 2019}a; ^{Granell, 2019}) están a disposición de todas las asociaciones y comunidades científicas que editen publicaciones periódicas o que promueven conferencias para que las personalicen a sus particularidades, con el fin de promover la investigación reproducible entre la comunidad de autores. Cabe destacar aquí el trabajo de ^{Liu y Salganik (2019)} que describen con sumo detalle su experiencia como editores de un número especial centrado únicamente en artículos reproducibles. Los retos, problemas, y las recomendaciones que plantean los autores son sin duda una guía práctica de gran ayuda para editores y organizadores de conferencias.

Relacionado con las directrices, las asociaciones tienen a su disposición otros elementos que puede llevar a cabo sin demasiado esfuerzo, pero con un impacto considerable en cuanto a la motivación y reconocimiento de la labor de los autores de artículos reproducibles. Uno de estos elementos son los premios para los mejores artículos reproducibles, similares a los tradicionales premios a los mejores artículos científicos. Esta práctica ya existe en algunas comunidades y conferencias (véase ^{Nüst et al., 2018}), y poco a poco se va instaurando. En el caso de la conferencia AGILE 2020, se pondrá en marcha una sesión especial para los tres mejores trabajos reproducibles, con el fin de visibilizar y reconocer el esfuerzo de los autores y que sirvan de ejemplo para la comunidad AGILE.

Otros elemento son los “badges” o insignias. ^{Kidwell et al. (2016}) demuestran que las insignias han tenido un efecto positivo en la publicación de datos asociados a artículos publicados en la revista Psychological Science. Otras asociaciones de renombre como ACM (Association for Computing Machinery) disponen de un amplio rango de insignias para reconocer aspectos distintivos de los artículos, como por ejemplo la disponibilidad de datos en abierto o que el artículo sea reproducible (https://www.acm.org/publications/policies/artifact-review-badging). En el ámbito de las CIG, ^{Nüst et al. (2019 b)} presentaron recientemente un sistema de insignias integrado en motores de búsqueda de literatura científica como Google Scholar.

Con estas básicas recomendaciones, dirigidas a distintos actores que forman parte del proceso de investigación científica, queremos destacar que la promoción de hábitos en investigación reproducible no es una odisea imposible. Se trata más bien de una cuestión de voluntad y que todos los actores implicados expresen su convencimiento por la instauración progresiva de estas prácticas. Los investigadores y grupos de investigación pueden hacer esfuerzos de forma individual, pero para que despegue definitivamente la cultura de la ciencia abierta y reproducible, todos los demás actores, desde agencias de política científica hasta universidades y asociaciones científicas, deben apostar definitivamente por la investigación reproducible para que la próxima generación de investigadores e investigadoras desarrolle su trabajo de forma transparente, integra y honesta.

Conclusiones

En este artículo hemos presentado nuestras experiencias, actividades y logros en la promoción de recomendaciones para la investigación reproducible, contextualizada a la comunidad AGILE. Destacamos sobre todo las directrices para autores de artículos reproducibles, un recurso disponible para cualquier investigador interesado en reproducibilidad para que pueda adoptarlas a su propio entorno, ya sea de forma individual, en su grupo de trabajo, departamento, universidad, e incluso en la comunidad científica de la cual es miembro.

Este artículo también es una llamada de la comunidad latinoamericana, para que haga suya los recursos descritos en este trabajo y, sobretodo, promocione de forma activa la investigación reproducible en la CIG en su entorno local. Pero es también una llamada a colaboración, para que se establezcan sinergias entre la comunidad AGILE y asociaciones similares en la región latinoamericana. Necesitamos una apuesta clara por la ciencia abierta, la reproducción y replicación, así como por los datos y códigos en abierto y públicamente accesibles, como prevención a una crisis de reproducibilidad en nuestra disciplina.