Introducción

La máxima “Errar es humano, pero perseverar en el error es diabólico”, atribuida a Séneca, ha sido adoptada por la ciencia. Un artículo científico es una invitación a discutir y contrastar abiertamente los pensamientos y resultados de la investigación. La cuidadosa exposición de los supuestos y las razones para usarlos desencadenan la propuesta de nuevas ideas en un proceso continuo de correcciones y mejoras (^{Niiniluoto, 2015}). En este contexto, las teorías pueden reemplazarse, en algunos casos, por otras más generales, sin perder su validez para los casos particulares para los que fueron creadas y, por lo tanto, sin ser necesariamente consideradas erróneas. Algo similar sucede con los datos experimentales, que son reemplazados por datos más precisos, sin que se les considere erróneos, incluso si la nueva precisión nos permite extraer conclusiones diferentes que con los datos menos precisos.

Con el objetivo de hacer ese proceso efectivo, los errores son evitados lo mayormente posible, y cuando ocurren deben ser corregidos. Desde el punto de vista bibliográfico, este último paso corresponde a la publicación de errata o erratum, las cuales tienen como propósito corregir errores identificados en publicaciones previas (^{Nature, 2006}).

Aun cuando esto es parte fundamental del proceso de investigación científica, no hay mucha investigación sobre este tema. La mayoría de la investigación se ha hecho sobre el papel de las erratas cuando un artículo es retirado. Por ejemplo, ^{Teixeira y Bornemann-Cimenti (2016: 1)} observaron que hay artículos retirados que continúan siendo citados después de ser dados de baja de las revistas. Aunque unos años antes, ^{Budd et al. (1999)} reportaron que, aparentemente, este comportamiento no depende de la razón por la que el artículo fue retirado. En esa dirección, las razones para retirar un artículo son variadas, pero una de las principales es la mala conducta en la investigación (^{Wager y Williams, 2011}), mientras que menos de la mitad de los artículos que son retirados se debe a errores sin intención (ibíd.).

Otro acercamiento al estudio de las erratas es su relación con el factor de impacto de la revista en la que se publican. ^{Hauptman et al. (2014: 1)} encontraron una correlación positiva (0.8) entre revistas de alto impacto en ciencias médicas y el porcentaje de erratas publicadas por la revista. Como pasa con los artículos retirados, los artículos con equivocaciones siguen siendo citados, pero ésta no es citada, además, la tasa de citas para esos artículos puede no disminuir después de publicada la errata (^{Thomsen y Resnik, 1995}).

De manera similar a las razones para retirar un artículo, las correspondientes para publicar una errata son muy variadas y dependen del área del conocimiento. Otro elemento importante sobre el análisis de las equivocaciones es que cada revista tiene una manera particular de reportarlas (^{Hauptman et al., 2014}), lo cual dificulta su análisis. Por su parte, la publicación electrónica también tiene sus propias particularidades, ya que cada revista implementa de manera diferente los métodos para en- contrar las erratas asociadas a un artículo y, en algunas ocasiones, este proceso de búsqueda es muy complicado (^{Poworoznek, 2003}).

La mayor parte de las investigaciones sobre equivocaciones se ha hecho en áreas del conocimiento muy específicas, un estudio detallado en química (^{Chirico et al., 2013}) mostró que, alrededor de un tercio de las publicaciones analizadas, tenían algún error, aunque la mayoría no eran graves. Sin embargo, no es claro si esta proporción u otras son representativas de la ciencia (^{Allison et al., 2016}).

Por otra parte, ^{Chirico et al. (2013)} también mostraron que hay revistas que no tienen publicada ni una sola errata, y no es claro si hay otro proceso mediante el cual se corrijan los posibles errores.

En esta investigación exploramos el uso de información bibliométrica sobre erratas, como una herramienta complementaria que permita diferenciar áreas de investigación, así como algunas características propias de las revistas. En ese sentido, abordamos la investigación desde dos acercamientos: uno global, sobre los porcentajes de aquéllas por área de investigación, y otro más particular, sobre los porcentajes por revista en cuatro áreas.

En el segundo apartado presentamos las fuentes de los datos que utilizamos, así como una descripción general de su obtención, manejo y análisis.

Desde una perspectiva global, en el tercer apartado presentamos la fracción de erratas y su evolución en un periodo de dieciséis años, para las veintisiete áreas en que se dividen las publicaciones científicas, en la base de datos Scopus. Con esta información, tenemos un primer acercamiento a la caracterización de las áreas del conocimiento con base en las erratas.

De acuerdo con la agrupación anterior, en el cuarto apartado, sobre erratas, revistas y factor de impacto, indagamos cuatro áreas del conocimiento, revisando la frecuencia de erratas por revista, su distribución dentro de cada área y la correlación del factor de impacto con el porcentaje de desaciertos.

Nuestros resultados dejan abiertas preguntas que presentamos en la discusión (quinto apartado) y finalizamos con las conclusiones. En los anexos presentamos los métodos y resultados de carácter más técnico.

Datos y métodos generales

Los datos fueron obtenidos de dos bases de datos: Scopus y Web of Science (WoS). A continuación se detalla el proceso de la adquisición. Para tener una visión general del uso de las erratas en las áreas de investigación y su variación temporal, usamos las veintisiete áreas en que se dividen las publicaciones científicas en Scopus. En adelante cuando hagamos referencia a estas áreas, sólo escribiremos “las áreas”. En esta base, cada área tiene una clave (Cuadro 1), así como etiquetas para el tipo de documento: artículo (article), errata (erratum), entre otros. Para los primeros análisis obtuvimos datos de Scopus del año 2015, pero los resultados que presentamos corresponden a datos actualizados hasta enero de 2018.

Usando la búsqueda avanzada de Scopus, seleccionamos cada área con el campo llamado SUBJAREA. Con ello realizamos una consulta para el número total de publicaciones en cada año, así como el subconjunto de documentos marcados como artículo (ar) o errata (er) por cada área. Usamos las siguientes estructuras de búsqueda:

donde X es una de las 27 claves. Para cada consulta usamos el comando “Analizar los resultados de búsqueda” y obtuvimos los datos por año.

La principal razón en usar Scopuspara el análisis inicial fue la facilidad para obtener los datos, dada la división de las publicaciones científicas en veintisiete áreas, esto permite tener datos suficientemente desagregados y los tipos de documentos de manera inmediata por cada una de esas áreas. Aunque hay un equivalente con las clasificaciones en Incites, es más laborioso obtener todos los tipos de documentos por cada área, y en algunos casos no es posible. Directamente de la WoS sólo se tienen dos divisiones: una de 151 áreas y otra de 252 categorías. El periodo de tiempo seleccionado (2003- 2017) responde a dos cosas: la cantidad de artículos y erratas publicados es suficientemente grande para considerar los resultados independientes de fluctuaciones temporales; y refleja las prácticas actuales sobre el proceso para publicar aquéllas.

Con los datos de Scopus hicimos una caracterización de las áreas del conocimiento, basándonos en la distribución del porcentaje del número total de erratas respecto del de los artículos publicados en el periodo. De aquí selec- cionamos cuatro áreas: Computer Science (COMP), Mathematics (MATH), Physics and Astronomy (PHYS) y Multidisciplinary (MULT). Una por cada cuartil, para saber si los resultados que habíamos encontrado dependían de la base de datos seleccionada, para ello usamos la información de WoS.

Con base en las cuatro áreas seleccionadas, obtuvimos información adicional de WoS para analizar la distribución de las erratas en cada área, pero ahora considerando las revistas. La razón para cambiar de Scopus a WoS en este último análisis obedece a dos cosas: obtener el listado de todas las revistas por área y sus respectivas erratas, así como el factor de impacto de las revistas. Esto último para comparar el factor de impacto con el porcentaje de erratas.

Para obtener la información de WoS usamos la búsqueda avanzada y la hicimos en la colección principal de WoS. Establecimos el mismo periodo que en la búsqueda de Scopus: 2013-2017. Aunque en WoS hay una nomenclatura distinta a la de Scopus, estas áreas son fáciles de identificar, sólo hay dos diferencias importantes, PHYS en WoS sólo es Physics, no incluye Astronomía, y MULT no está como área de investigación, sino como una categoría, llamada Multidisciplinary Sciences. Usamos la siguiente estructura de búsqueda por cada área:

En el caso de MULT hay que cambiar SU por WC. Luego, por cada área filtramos los tipos de documentos, artículo (article) y corrección (correction). Este último es el equivalente a errata (erratum) en Scopus. Finalmente, usamos el comando: “Analizar resultados” para obtener los datos por año y por revista. De manera similar a los datos de Scopus, para los primeros análisis obtuvimos datos de WoS, en el año 2015, pero los resultados que presentamos corresponden a datos actualizados hasta enero de 2018. Finalmente, usamos la clasificación del factor de impacto por revista (JIF, por sus siglas en inglés) del reporte de citas (JCR) correspondiente al año 2017.

Todo el manejo de los datos, así como los cálculos y figuras los realizamos en R (R, 2017), usando las librerías que se detallan en los anexos. De manera general, los métodos se dividen en dos partes:

Erratas en las áreas del conocimiento

El Cuadro 1 contiene las veintisiete áreas de investigación científica que maneja Scopus, así como el número total de artículos y erratas en cada área durante el periodo 2003-2017, también contiene el porcentaje de erratas respecto del número de artículos. Cabe recordar que las áreas no son exclusivas, y un artículo o revista pueden pertenecer a más de un área.

Los resultados totales del periodo 2003-2017 mostrados en el Cuadro 1, permiten ver diferencias claras entre las áreas que publican más y menos erratas, el porcentaje más alto (2.08 por ciento) corresponde al área Multidisciplinaria (MULT); mientras que el más bajo (0.38 por ciento) corresponde a Ciencias de la Computación (COMP). La media del periodo es 0.85 por ciento, y la mediana 0.75, el primer cuartil está en 0.55 por ciento y el tercero en 1.08. Así que, una primera tasa promedio de erratas, para artículos científicos, estaría alrededor del 0.8 por ciento.

Una aproximación inicial para usar las erratas como un posible indicador de las diferencias entre las áreas, con base en el porcentaje de erratas (Cuadro 1) y los indicadores estadísticos mencionados en el párrafo anterior, se presenta en la Gráfica 1, en la que dividimos las áreas en cuartiles:

Fuente: Elaboración propia.

Gráfica 1 Evolución temporal del porcentaje de erratas en cada área por año, en el periodo 2003-2017. Las áreas se dividen en cuartiles del porcentaje promedio de erratas del periodo y siguen un orden decreciente. 

La Gráfica 1 permite ver que las áreas con más erratas (Q4) se clasifiquen en ciencias biológicas y de la salud (BIOC, HEAL, IMMU, MEDI, NEUR, NURS), más el área multidisciplinar que se encuentra en el mismo cuartil. Además, el resto de las áreas dentro de las ciencias biológicas y de la salud (AGRI, DENT, PHAR, PSYC, VETE) se encuentran en el tercer cuartil (Q3).

Mientras que las áreas de tecnología y ciencias de la ingeniería (ENGI, ENER, MATE, COMP) están el cuartil más bajo (Q1). Sólo la ingeniería química (CENG) está en Q2. El resto de las áreas en Q1 son de ciencias sociales y humanidades (BUSI, DECI, ECON). Mientras que las ciencias exactas y naturales (PHYS, CHEM, MATH) se encuentran en los porcentajes intermedios. Esto es, las erratas permiten agrupar las áreas de investigación como tradicionalmente se han clasificado, lo cual refleja las prácticas científicas de publicación de erratas.

Aunque esa primera clasificación sólo está basada en el porcentaje promedio de los quince años, la Gráfica 1 también refleja que la mayoría de las áreas muestran una evolución temporal más o menos constante, esto es, su porcentaje no cambia demasiado en el tiempo. Para evaluar esto, hicimos una prueba estadística (Cox-Stuart) que permite diferenciar las variaciones aleatorias de una posible tendencia, ya sea creciente o decreciente (los detalles de la prueba se hallan en el Anexo 1). Los resultados indican que sólo en siete áreas se considera que las variaciones no sean aleatorias. En seis: ARTS, BUSI, CENG, ENER, ENGI y MATE, la tendencia es creciente, aunque, como se observa en la figura 1, salvo ARTS, las otras cinco se estabilizan en los últimos años, es decir, ya no aumenta el porcentaje. Y sólo HEAL mostró una tendencia decreciente, aunque también en los últimos años se estabiliza. Por lo tanto, podemos decir que los promedios de las veintisiete áreas, en el periodo analizado, son suficientemente estables.

Comparación entre Scopus y WoS

Las observaciones anteriores implican que la información sobre erratas se puede usar para identificar diferencias en las prácticas científicas de las áreas. Antes de continuar con ese argumento, indagaremos sobre la independencia, respecto de la base de datos, del comportamiento que observamos. Para ello, en la Gráfica 2 comparamos cuatro áreas del conocimiento de Scopus con su correspondiente más cercano en WoS.

Fuente: Elaboración propia.

Gráfica 2 Comparación entre Scopus y WoS del porcentaje de erratas en cada área, por año, en el periodo 2003-2017. 

Tomando en cuenta que las áreas no son definidas exactamente de la misma manera en las dos bases de datos y que las diferencias son esperadas, las tendencias cualitativas son muy parecidas entre las dos bases de datos. La diferencia más grande se ve en MULT, entre los años 2014 y 2016, donde en WoS hay prácticamente el doble de erratas que en Scopus. La razón es que en 2014 se empezaron a contabilizar las erratas de la revista PLOS ONE en WoS, mientras que en Scopus esta revista no está en la categoría MULT y el 65 por ciento de las erratas emitidas por PLOS ONE y registradas en WoS fueron en 2014 y 2015. Una vez entendido el origen de esa diferencia, la comparación entre Scopus y WoS nos da confianza sobre los patrones observados en los datos del Cuadro 1, esto es, que no son un artefacto de la base de datos elegida.

Erratas, revistas y factor de impacto

Los resultados y observaciones de la sección anterior sugieren mirar más de cerca las áreas y, en particular, las revistas que emiten las erratas correspondientes a las cuatro áreas que usamos en la sección anterior.

El número de revistas activas (publicando artículos) durante el periodo 2003- 2017 en WoS fue 6,719 en COMP, 5,329 en MATH, 2,974 en PHYS y 683 en MULT. Sorpresivamente para nosotros, el número de revistas con al menos una errata fue 458,661, 424 y 94, respectivamente; para un porcentaje de revistas sin una sola errata de 93.18, 87.59, 85.74 y 86.23 por ciento, respectivamente.

No es claro cuál es el origen de esos números. Algunas revistas cambian de nombre y sólo mantienen uno por un tiempo corto. Otras sólo tienen un periodo de vigencia corto. Algunas tienen características más particulares, como la revista Acta Numérica en MATH, que publica un solo número al año. Pero, teniendo en cuenta estos casos, el número de revistas sin erratas registradas en WoS es muy grande. Las erratas son esperadas, por lo que la idea de una revista que no publica con erratas es extraña.

Distribución de las erratas por revistas

¿Cuál es la distribución de erratas por revista en un área? Si seleccionamos una revista A con más artículos publicados que una revista B, podemos esperar más erratas en A que en B. Si suponemos que la fracción de erratas respecto del número total de artículos en cada revista es parecida, entonces esa fracción debería ser casi una constante entre las revistas o, siendo más flexibles, una distribución normal podría ajustarse bien a los datos.

Para analizar la distribución, seleccionamos revistas con al menos una errata y calculamos el porcentaje de erratas respecto del número de artículos. Luego, seleccionamos un subconjunto de revistas con al menos cien publi caciones en el periodo. Esto para evitar valores atípicos ingenuos, es decir, revistas con un porcentaje alto de erratas, debido a un número muy pequeño de publicaciones. El número de revistas con al menos una errata y cien publicaciones es 417 en COMP, 598 en MATH, 387 en PHYS y 69 en MULT.

La Gráfica 3 muestra la densidad estimada (Anexo 2) del porcentaje de erratas por revistas en cada área. Es claro que la distribución del porcentaje de erratas no sigue una distribución normal.

La densidad estimada es un acercamiento inicial a la distribución de los datos, lo cual permite descartar posibles distribuciones, sin embargo, no nos dice cuál es la distribución. Para ello usamos los métodos descritos en el Anexo 2. Encontramos que las distribuciones se ajustan a una log-normal.

Como la distribución del porcentaje de erratas por revista no es normal, el promedio por área no es representativo de los porcentajes de las revistas en cada área (Cuadro 2). Y no sólo eso, las diferencias entre los mínimos y los máximos son hasta tres órdenes de magnitud. Por lo tanto, la tasa promedio (0.8 por ciento) que mencionamos en el tercer apartado debe tomarse con cautela.

Fuente: Elaboración propia.

Gráfica 3 Densidades estimadas del porcentaje de erratas por revista en cada área. 

Cuadro 2 Estadísticos básicos de los porcentajes de erratas por revista en cada área. 

Área	Mínimo	Q1	Mediana	Promedio	Q3	Máximo
MULT	0. 068	0. 336	0. 767	1. 667	1. 771	10. 002
PHYS	0. 032	0. 354	0. 610	0. 859	0. 949	11. 277
MATH	0. 040	0. 389	0. 670	0. 802	1. 023	4. 429
COMP	0. 003	0. 297	0. 470	0. 576	0. 739	4. 412

Fuente: Elaboración propia.

Discusión

Los porcentajes promedios mostrados en el Cuadro 1 nos permitieron ver las diferencias entre áreas de investigación en el número de erratas publicadas. Estas diferencias son aún mayores entre revistas. Recordemos que el porcentaje de publicaciones sin erratas fue mayor al 85 por ciento en las cuatro áreas, lo cual no necesariamente implica que en ese gran porcentaje de revistas no hay errores. Por ejemplo, ^{Linton (2013)} analizó 107 artículos del área de ingeniería, materiales y ciencias de la computación, y encontró errores en un tercio de esos artículos, los cuales no tenían una errata publicada por la revista. Cabe señalar que esas áreas son las que aparecen con los porcentajes de erratas más bajos (Gráfica 1).

La pregunta básica es ¿existen otros mecanismos mediante los cuales las revistas corrijan los errores? De acuerdo con ^{Allison et al. (2016)}), no es claro que esos mecanismos existan, al menos no en el área de medicina. Ellos identificaron seis problemas relacionados con la ausencia de erratas:

Con base en los resultados de ^{Linton (2013)} y ^{Chirico et al. (2013)}, los problemas reportados por ^{Allison et al. (2016)} irían más allá del área médica y ser la razón por la que la mayoría de las revistas no tienen erratas, al menos en los registros de las bases de datos que usamos. La demanda de una política consistente de corrección entre las revistas es válida (^{Linton, 2013}), porque aun cuando tales políticas existen, no siempre se siguen (^{Teixeira, 2016}).

Si las erratas no son reportadas, ¿qué afectaciones conlleva para la ciencia? La discusión se mueve hacia consideraciones éticas, esto es, se puede considerar la ausencia de erratas como un indicador potencial de irresponsabilidad y mala conducta en el proceso de publicación científica (^{Teixeira, 2016}). Aunque la perspectiva ética va más allá de los alcances de este artículo, cabe mencionarla, ya que abre otra ventana de investigación: las implicaciones de no tener ninguna errata sobre el desarrollo del conocimiento y la ciencia, incluida una posible pérdida de credibilidad.

Por su parte, la correlación entre el porcentaje de erratas con el factor de impacto no es tan fuerte como el de investigaciones anteriores (^{Hauptman et al., 2014}). En nuestro caso, la correlación más alta se encuentra en 0.58, en el top 20 de las revistas de física. Mientras que en el área de ciencias de la computación la correlación es negativa, p=-0.05 y p20=-0.33. En esa dirección, es importante entender el significado de publicar una errata en las diferentes áreas de investigación, ya que la correlación negativa con el factor de impacto puede indicar que en esas áreas es mal visto publicar erratas, o correlaciones cercanas a cero que las erratas no son importantes.

También conviene señalar los alcances de las fuentes de datos. Aunque Scopus y WoS son un buen punto de partida para los análisis, tienen ciertas limitaciones. Por ejemplo, Scopus tiene algunos artículos retirados catalogados en el campo de erratum, aunque tiene un campo específico para las retractaciones. Por otra parte, hay revistas en WoS que no tienen asociada una errata, sin embargo, cuando revisamos la página web de las quince revistas que más publican en el área de Física, encontramos que la revista en el lugar número 13 no tiene registrada ni una errata en WoS, pero en la página web de la revista sí tiene erratas publicadas. Entonces, los registros etiquetados como errata en estas bases de datos son un indicador potencial, no una certeza.

Conclusiones

Los errores son parte inevitable de la investigación. Entonces, es importante comprender los mecanismos que usa la ciencia para corregirse a sí misma.

Uno de estos mecanismos es la publicación de erratas. Hemos encontrado que, dada su importancia, hay pocos trabajos de investigación sobre este tema. En este artículo, desde el punto de vista bibliométrico, hemos brindado una mirada más cercana a este tema.

Una visión global del número de erratas en todas las áreas de investigación nos reveló tendencias generales, pero también diferencias en lo particular, lo que sugiere que las erratas serían un indicador útil de algunos aspectos relacionados con la práctica científica. En efecto, las áreas de ciencias biológicas y de la salud tienen los porcentajes más altos de erratas, mientras que las áreas de tecnología y ciencias de la ingeniería los más bajos.

Asimismo mostramos que la distribución del porcentaje de erratas por revista, en cuatro áreas, se ajusta bien a una log-normal, lo que implica que las diferencias entre las revistas que publican menos erratas y las que más publican es muy grande, hasta más de tres órdenes de magnitud. Sobre las correlaciones entre el porcentaje de erratas por revista y el factor de impacto, es claro que en cada área son muy distintas. En este sentido, abogamos por más investigación relacionada con las erratas para entender esas diferencias.

Por otra parte, también es necesario mejorar las bases de datos, no sólo en los registros de las propias revistas, sino en la diferenciación de los errores, esto es, recomendamos mejorar las herramientas de búsqueda para identificar erratas, incluyendo la distinción entre los errores de los autores en el proceso científico y los inherentes al proceso editorial.

Creemos que el estudio de las erratas es importante, pues la práctica científica y la comunicación de sus resultados se basan en un concepto de confianza. Para mantener y nutrir esta confianza, debemos prestar atención a que “errar es humano, pero perseverar en el error es diabólico”.