Introducción

La globalización, uno de los conceptos clave que nos permiten caracterizar el mundo actual, ha permitido, más allá de su origen económico, configurar otros escenarios, como el cultural y el de la comunicación. En este último caso, las TIC han logrado incrementar poderosamente la comunicación científica, facilitando el surgimiento de nuevas revistas -especialmente en formato digital- y diversificando los centros de poder de las revistas tradicionales. A esas facilidades hay que unir las presiones externas que, en bastantes ocasiones, experimentan instituciones e investigadores para publicar más y en mejores revistas mediante estímulos académicos y económicos (^{Towns y Kraft, 2012}). Ello ha supuesto que el repertorio de medios donde informarse y publicar haya crecido vertiginosamente. Pero, ¿lo ha hecho del mismo modo la calidad de estos medios?

La bibliometría ha asumido el reto de describir cuantitativamente el ámbito de las publicaciones científicas, elaborando un conjunto de leyes e indicadores basados en distintos criterios (^{Ardanuy, 2012}). La preocupación por clasificar las publicaciones científicas de acuerdo a criterios relacionados con su influencia en un campo de conocimiento no es nueva, e inicialmente estuvo motivada por razones prácticas como la dotación de bibliotecas. Así, por ejemplo, es bien conocida la denominada ley de Bradford, aplicada por vez primera por su autor en 1934, y que centra su interés en seleccionar aquellas revistas que concentran artículos especializados en una temática, aunque ya existían precedentes en el año 1927 de análisis basados en el recuento de citas recibidas por una revista (^{Restrepo y Urbizagástegui, 2010}). Según estos autores, la aplicación conjunta de ambos criterios (mediante indicadores de dispersión y de visibilidad-impacto, respectivamente) constituiría un buen referente de las revistas más representativas e influyentes. Hoy día se ha dado un salto más, al intentar cruzar datos.

En el mundo de las “ciencias duras” ha existido una tradición en la clasificación de las revistas mediante el manejo de rankings cuantitativos, lo que en cierta manera ha proporcionado pautas claras para los investigadores. A partir de la creación de la empresa Institute for Scientific Information (ISI) por Eugene Garfeld en 1960, el cuasimonopolio de la Web of Science ha imperado aunque con algunas críticas (^{Gámez, 2013}; ^{Dorta y Dorta, 2014}). La actual ISI Web of Knowledge (WoK) pertenece a la compañía norteamericana Thomson Reuters e incluye tres grandes bases de datos:

En las denominadas ciencias sociales la aceptación de esas reglas del juego ha sido más tardía, aunque la aparición de la base de datos especializada SSCI ha facilitado la normalización de estas ciencias denominadas “blandas” (no obstante, autores como ^{Klein y Chiang (2004)} también han puesto en entredicho los procedimientos que se siguen en la clasificación de las revistas, abogando por unos criterios que primen la orientación social y democrática de aquellas).

Con posterioridad a la creación de dicha base de datos, surgió Scopus (perteneciente a la empresa editorial holandesa Elsevier y creada en el año 2004), base que amplía el número de referencias de la Web of Science y trata de corregir algunas de las limitaciones detectadas en la misma (^{Gámez, 2013}). Mientras que Scopus ofrece una amplia selección de revistas y una interfaz inteligente, WoS ofrece una mayor cobertura en años (^{Escalona, Lagar y Pulgarín, 2010}).

En definitiva, los investigadores de ciencias sociales disponen actualmente de dos herramientas bibliométricas, junto con otras bases de datos con una aplicación geográfica más limitada (como Latindex, de ámbito iberoamericano, o In-Recs y CIRC -Clasificación Integrada de Revistas Científicas en español-) para fundamentar y publicar sus trabajos.

Al margen de los criterios que las bases de datos manejan para la elaboración de sus índices de impacto, y que dependen de las citas que reciben los trabajos publicados en las mismas, deberían plantearse otros criterios alternativos menos cuantitativos (^{Gorbea y Setién, 1997}; ^{Towns y Kraft, 2012}) que, a nuestro juicio, no son menos relevantes para evaluar la calidad de una revista. Es en esta línea donde se sitúa nuestro trabajo, buscando cubrir un hueco que otorgue una nueva visión cualitativa -complementaria- de los análisis bibliométricos clásicos.

La relevancia del tópico se perfila como un campo de indagación necesario que debiera aportar mejoras sustantivas en los criterios a priori de los procesos de edición científica. Un trabajo reciente situado en esta perspectiva (^{Ruiz-Pérez, Marcos-Cartagena y Delgado López-Cozar, 2014}) sobre una muestra de 37 revistas de prestigio en el campo de la ciencia y la tecnología analiza los criterios sobre autoría, las responsabilidades derivadas, la función de los agradecimientos, el número de autores, orden de firma y la responsabilidad de correspondencia, sacando a la luz importantes déficits en la explicitación de estos criterios en cuanto prácticas editoriales susceptibles de mejora.

La muestra de revistas que se analizan en este artículo se sitúa en el ámbito de la didáctica de las ciencias experimentales, pretendiendo dar respuesta a las siguientes preguntas de investigación:

La calidad de la investigación educativa

Parece lógico pensar que las revistas educativas más prestigiosas manejen como estándares de calidad para los artículos que publican lo que la investigación en este campo considera como tal y que los den a conocer a los posibles autores. Pero, ¿cuáles son esos estándares y qué grado de consenso albergan?

Debido a su incidencia internacional se ha optado por los estándares establecidos por la American Educational Research Association (AERA) en el año 2006, lo que además se corresponde con la vocación anglosajona de la mayoría de las revistas analizadas en este trabajo. Tales estándares constan de 40 items agrupados a su vez en ocho categorías (Tabla I), describiéndose en el documento citado los pormenores de cada categoría y subcategoría. A los criterios referidos añadiremos dos que forman parte de la práctica habitual de las revistas internacionales, esto es, 1) la política editorial, donde se suele explicitar el tipo de artículos o las materias apropiadas para la filosofía del equipo editorial; y 2) la revisión por pares, es decir, cómo se evalúan los artículos, ya sea mediante doble ciego u otro procedimiento establecido al efecto. Ambos criterios son esenciales para que los potenciales autores conozcan a priori lo adecuado de su investigación y el rigor de los procesos de evaluación de la misma.

Tabla I Lista de estándares considerados para la investigación (^{AERA, 2006}) 

Es preciso insistir en que este enfoque de evaluación difiere de otros criterios de calidad como Latindex, más centrados en aspectos formales que han de cumplir las revistas; si bien son recomendables, no entran en detalle sobre las características de fondo que han de satisfacer los manuscritos que se remiten a las revistas (en todo caso, Latindex hace referencia en dos criterios a que se trate de aportaciones originales (^{Román, Vázquez y Urdín, 2002}). Un precedente más próximo a nuestro estudio es el de ^{Tavares de Matos (2011)}, que analiza el cumplimiento de 30 parámetros en la dimensión específica de revisión por pares de una muestra de revistas de ciencias sociales y humanidades; en nuestro caso, el ámbito de conocimiento de las revistas es más coherente y el análisis de la información proporcionada por las revistas posee un carácter más global.

Metodología

Muestra

La selección de revistas de la muestra partió de una consulta en la base de datos Scopus mediante una búsqueda booleana que implicó la combinación dos a dos de las palabras clave agrupadas en [Education, Teacher, Teaching] AND [Science, Physics, Chemistry/Chemical, Biology/Biological, Geoscience]. Ello produjo la identificación de un total de 25 revistas. Se descartaron dos de ellas que carecían de índices de impacto (SJR y SNIP) y figuraban en la base de datos como “coverage discontinued in Scopus”, tampoco se tuvieron en consideración revistas de ámbito interdisciplinar (por ejemplo, Health Sciences) o más particular que las denominaciones del segundo grupo de palabras clave del párrafo anterior (como Cell Biology), así como publicaciones identificadas como Proceedings.

A continuación se hizo una consulta con descriptores similares en el Journals in the 2013 Release in the JCR (^{Thomson Reuters, 2012}). Ello permitió identificar un total de 15 revistas, de las cuales dos no estaban recogidas por la base de datos Scopus. Ello elevó la muestra total de revistas pertenecientes a una u otra base a 27. Sus índices de impacto se obtuvieron de la base de datos del Journal Citation Reports en las categorías de Social Sciences y Sciences.

Fuera de esta selección quedaron revistas de este ámbito publicadas en otros idiomas (Enseñanza de las Ciencias -JCR-, en español, o Revista Brasileira de Ensino de Física -JCR, en portugués, por ejemplo).

En la Tabla II detallamos la relación final de las revistas junto con las bases de datos de referencia y sus índices de impacto.

Tabla II Listado de revistas analizadas con sus índices de impacto en las bases de datos consideradas 

Llama la atención que dos de las revistas consideradas se encuentren incluidas en la base de datos JCR y no lo estén en Scopus, cuando se supone que la primera es más restrictiva.

Procedimiento de análisis

Al enfrentarse a una revisión como ésta, se pueden considerar básicamente tres tipos de criterios de análisis de las revistas:

• Criterios a priori:

  • Políticas editoriales, éticas, deontológicas, identitarias y tipología de artículos.

  • Recomendaciones sobre contenido, metodología o estructura.

• Criterios de proceso:

  • Revisión por pares.

  • Calidad editorial y protocolos de edición.

• Criterios de impacto:

  • Métrica clásica de citas.

  • Métrica moderna basada en aspectos de visibilidad, descargas.

Por los propios objetivos de este trabajo nos centramos sólo en algunos de ellos.

Dejando fuera del análisis todos los criterios de impacto inspirados en los diferentes índices de calidad al uso (JCR, índice H… que utilizaremos sólo como variables de correlación) o de la métrica moderna, así como los criterios formales relativos al proceso de edición (forma de remisión del artículo, normativa APA…), podemos distinguir tres tipos de criterios de calidad que inciden en el valor o mérito de los manuscritos que publican las revistas del campo de la enseñanza de las ciencias: 1) Criterios de identidad editorial y tipología de artículos (política editorial); 2) Criterios de revisión por pares, y 3) Criterios metodológicos y de estructura.

Entre los criterios de identidad destacan todas las consideraciones a priori que contribuyen a difundir artículos que se ajustan a las señas de identidad que definen la política y ética editorial de una determinada revista; ello a su vez constituye una especie de etiqueta y producto con entidad propia que se diferencia en el mercado del conocimiento por ajustarse a una línea editorial con características propias. Se considera igualmente la demarcación disciplinar del campo y el grado de permeabilidad a publicar trabajos propios de áreas exclusivas (enseñanza de la química, geología, biología, física…) o su apertura a trabajos de todo tipo relacionados con la enseñanza de las ciencias en general. Se incluyen también todos aquellos criterios de orden ético-deontológico asociados a principios de plagio, fraude y autoría; también aspectos relacionados con el grado de internacionalización de los trabajos admitidos e, igualmente, normas de cortesía y agradecimiento y reconocimiento explícito de agencias patrocinadoras que aportan fondos financieros para el desarrollo de la investigación. Así, por ejemplo, una de las revistas (R10) señala:

The International Journal of Science Education (IJSE) is firmly established as an authoritative voice in the world of science education. It bridges the gap between research and practice, providing information, ideas and opinion. Special emphasis is placed on applicable research relevant to educational practice, guided by educational realities in systems, schools, colleges and universities... (^{IJSE, s. a.})

Entre los criterios de revisión por pares se incluyen procedimientos claros de revisión previa, revisión externa y a posteriori, cada uno de los cuales dispone de protocolos estructurados de autocomprobación, de mejora progresiva de manuscritos en el proceso de revisión y control final de los mismos antes de la edición definitiva. Un ejemplo es el siguiente (R7 ):

All published research articles in this journal have undergone rigorous peer review, based on initial editor screening and anonymous refereeing by independent expert referees. (^{IJMEST, s. a.})

Entre los criterios de contenido argumental podemos destacar como ideas recurrentes la originalidad de los trabajos, el valor innovador de lo que se propone, la capacidad crítica ante el conocimiento previo disponible en el campo, la metodología empleada... Un ejemplo sería el siguiente (R16):

It is expected that you establish the importance of the study for science teaching and learning with reference to previous literature (including relevant articles from the JRST), provide a link between the problem and the study design, establish and justify the guiding theoretical framework and report the study methodology clearly and concisely. Data should be clearly presented, claims supported by evidence, with findings and implications that are clearly presented and advance the field. (^{JRST, 2016})

Seleccionadas las revistas, se procedió a visitar las páginas web indagando asimismo en los distintos enlaces hasta asegurarnos de que se identificaba toda la información posible sobre la temática y hacer un primer vaciado de información agrupada en tres bloques (o metacategorías) que respondían a los criterios que acabamos de describir:

1. Criterios de política editorial.

2. Criterios de revisión por pares.

3. Criterios metodológicos y de estructura.

Como se ha adelantado, de forma explícita excluimos de este vaciado cualquier referencia a aspectos formales de los artículos (extensión, formato, citación bibliográfica…), ya que estas normas, aunque son necesarias para facilitar y homogeneizar el proceso de edición, no afectan directamente al fondo del artículo y, por lo tanto, a la evaluación de su calidad como investigación.

A partir de ese agrupamiento de la información recabada de las páginas web de las revistas, se procedió a una segunda criba de un modo inductivo en un intento de reducir la información. Para los dos primeros criterios, recopilamos datos de índole cualitativa, dada su naturaleza. Para el tercer criterio cruzamos la información recabada para cada revista con la plantilla formada por los estándares de calidad mencionados con anterioridad (Tabla I). Hay que tener en cuenta que uno de los estándares (dígito 7 Ethics in Reporting) está relacionado con aspectos éticos de la publicación, por lo que no se trató este aspecto dentro de los criterios de política editorial. Ello constituyó un trabajo laborioso que hubo de ser consensuado por los autores de este estudio. Se marcó con un “sí” (1) o un “no” (0) aquellos criterios o estándares indicados explícitamente por cada revista. Por motivos de espacio, en la Tabla III se representan sólo los estándares de primer orden (es decir, con un solo dígito, véase Tabla I). Aparte de ello se fue anotando otro tipo de información que pudiera aparecer en las páginas web de las revistas no vinculada directamente con los criterios establecidos pero que pudiera ser de interés para un análisis posterior.

Tabla III Verificación del grado de cumplimiento de los estándares de calidad del primer orden por parte de las revistas analizadas 

Tras ello se determinaron sendas matrices de correlaciones entre los tres índices de impacto considerados para las revistas y con el total de estándares de calidad cumplidos por aquellas (estándares de un dígito y de dos dígitos, respectivamente; véase Tabla I). Mediante estos cálculos estadísticos se pretendía verificar si tanto los índices de impacto estaban relacionados entre sí, lo que en buena lógica sería de esperar, como si también lo estaban con los estándares de calidad tomados como criterios de contraste. Los resultados se muestran en las Tablas IV y V.

Tabla IV Matriz de correlaciones entre los índices de impacto de las revistas y de estos con los estándares de primer orden (Tabla I) cumplidos por aquéllas (** correlación con un nivel de significación p<0.01) 

Tabla V Matriz de correlaciones entre los índices de impacto de las revistas y los estándares de segundo orden (Tabla I) cumplidos por aquellas (* correlación con un nivel de significación p<0.05; ** correlación con un nivel de significación p<0.01) 

Análisis de resultados

Se presentan en función de los tres criterios definidos con anterioridad:

Criterios de política editorial

Todas las revistas analizadas contemplan explícitamente este criterio; en cambio, no todas incluyen la misma información. La Figura 1 recoge las tipologías.

Figura 1 Histograma de frecuencias de las tipologías de política editorial presentes en la muestra de revistas analizadas 

Como se puede observar, predomina la información sobre las temáticas que abarca la revista, seguida por los objetivos y la tipología de los artículos. Esta información resulta esencial a la hora de que los autores, en función de la investigación realizada, puedan optar por una revista u otra, evitando sorpresas indeseables y retrasos innecesarios en su posible publicación.

Criterios de revisión por pares

Aquí la problemática es más compleja. En la Tabla VI hemos recogido las distintas opciones encontradas junto con sus frecuencias respectivas. Lo hacemos sobre el total de revistas que hacen algún tipo de referencia al respecto (25 sobre las 27 totales) teniendo en cuenta, además, que una revista puede incluir más de una categoría.

Tabla VI Categorías encontradas en el criterio de revisión por pares y su frecuencia (N=25) 

Como se puede apreciar existe una diversidad de procedimientos, tanto en la información ofrecida como en el número de referees y el carácter anónimo o no de aquellos. Aunque minoritario, resalta el hecho de poder sugerir referees (o que no lo sean). Por encima de todos se impone la revisión previa de los artículos por parte del consejo editorial y el anonimato al ser remitidos a los referees.

Conclusiones

En este artículo hemos pretendido hacer una primera aportación al análisis de un ámbito de trabajo que se muestra cada día más como un factor de selección en la investigación en ciencias sociales y que, en nuestro caso, ha estado acotado a una muestra representativa de revistas internacionales sobre didáctica de las ciencias experimentales. La publicación en revistas de prestigio posee una importante y creciente incidencia en la selección y promoción del profesorado, en la clasificación de instituciones educativas e incluso en las fuentes de financiación de ambos colectivos. Se hace preciso, pues, disponer de unos criterios claros, explícitos y transparentes para evitar en la medida de lo posible la subjetividad en el proceso de admisión de los manuscritos, ya denunciada por ^{Toulmin (1997)} en forma de filtros ideologizadores, al comparar este campo con el de las ciencias duras. La creciente política internacional de mejora de la calidad de las revistas en ciencias sociales ha de pasar no sólo por incrementar su visibilidad, sino también por venir acompañada de unos criterios de evaluación de los artículos que sean rigurosos y transparentes.

Retomando las preguntas de investigación que enunciamos originalmente, vamos a tratar de darles respuesta a través de los resultados obtenidos:

Hemos podido reunir tales criterios en tres grupos superiores, a los que hemos denominado:

Tales criterios se han mostrado adecuados para agrupar cualitativa y cuantitativamente la mayor parte de la información contenida en las páginas web de las revistas analizadas. El análisis de contenido al que sometimos a las revistas hizo emerger algunos requisitos no contemplados en los estándares de calidad que se habían considerado inicialmente, esto es, el uso correcto del lenguaje, las implicaciones prácticas de la investigación y la consideración de futuros trabajos de investigación en el seno del artículo remitido para su evaluación. La integración de estos últimos en los indicadores implícitos de los tres criterios previos permitiría disponer de una lista de requisitos que debiera ser conocida por los autores y que operara como mecanismo de preevaluación de sus trabajos, tanto desde los propios comités editoriales como para los evaluadores externos. Este nivel de explicitación añadiría más información que otros criterios con una formulación más vaga, tales como validez, racionalidad, originalidad, rigurosidad, reproducibilidad, relevancia o que proporcione conocimiento para hacer avanzar el área de forma significativa (^{Molina et al., 2011}). El resultado de dicha integración se muestra en el Cuadro 1 y se propone como modelo de buenas prácticas en el ámbito de la edición de revistas de didáctica de las ciencias experimentales. A ello habría que añadir también detalles respecto a cómo se debiera presentar la información de autor en las páginas web de la revista (clara, directa, unificada, separando aspectos formales y de fondo), así como la dirigida a los autores y a los referees. Sin duda estudios como éste pueden contribuir a configurar los requisitos para mejorar las revistas actuales o el diseño de nuevas revistas (^{Voutssas, 2012}).

Cuadro 1 Criterios deseables a incorporar explícitamente por las revistas de didáctica de las ciencias experimentales 

La adecuación referida puede ser contemplada desde dos perspectivas, una interna y otra externa.

Respecto a la primera, se ha detectado, mediante el análisis de contenido al que sometimos las páginas web de las revistas, una gran variabilidad en cuanto a la cantidad y calidad de la información suministrada a los potenciales autores de artículos para tales revistas, algo ya detectado también por ^{Tavares de Matos (2011)} en revistas de más amplio espectro. Esto se manifiesta igualmente en la propia heterogeneidad de los estándares de calidad que verifican las revistas analizadas, evidenciada en su recuento.

En cuanto a la perspectiva externa, está representada en nuestro caso por el análisis de correlaciones. En lo que respecta al cumplimiento de estándares de calidad, en general no se aprecia una correlación significativa entre el número de aquellos cumplidos y los índices de impacto de las revistas, a lo que se une su gran variabilidad entre la muestra de revistas considerada, lo que confirma los hallazgos de otros autores (^{Gámez, 2013}). Esto resulta llamativo y debiera ser resuelto con urgencia por sus respectivos comités de redacción, por cuanto aporta una gran carga de discrecionalidad en cuanto a la aceptación de artículos se refiere. La alternativa ofrecida en el Cuadro 1 sería, en nuestra opinión, un buen punto de partida para avanzar en esa deseable coherencia para las revistas representativas de una comunidad de investigadores. Sugerencia que se complementaría con otras buenas prácticas ya señaladas por ^{Delgado López-Cózar, Jiménez Contreras y Ruiz-Pérez (2007)} y ^{Tavares de Matos (2011)} que, en definitiva, pretenden contribuir a la homogeneidad y transparencia de los procesos que acompañan a un artículo desde que es enviado a la revista hasta que se conoce el resultado final de su evaluación y es publicado.

Una conclusión indirecta es la alta significatividad de la correlación entre las bases de datos Web of Science y Scopus a través de los índices de impacto que incorporan, lo que refleja criterios comunes para jerarquizar las revistas incorporadas a dichas bases y una alta consistencia en las fuentes de información para el cálculo de los índices que emplean.

Por último, estimamos que los resultados de este estudio podrían ser en gran medida extrapolables a otros ámbitos de investigación psicopedagógica y de las denominadas didácticas específicas (didáctica de la matemática, de las ciencias sociales, entre otras).