SciELO - Scientific Electronic Library Online

 
vol.37 número95Aproximaciones a la biblioclastia en México: siglos XX-XXI índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Indicadores

Links relacionados

  • Não possue artigos similaresSimilares em SciELO

Compartilhar


Investigación bibliotecológica

versão On-line ISSN 2448-8321versão impressa ISSN 0187-358X

Investig. bibl vol.37 no.95 Ciudad de México Abr./Jun. 2023  Epub 27-Maio-2024

https://doi.org/10.22201/iibi.24488321xe.2023.95.58710 

Artículos

Productividad científica y visibilidad de El Colegio de la Frontera Sur: 26 años de investigación multidisciplinaria en México

Scientific productivity and visibility of El Colegio de la Frontera Sur: 26 years of multidisciplinary research in Southeastern Mexico

Alberto de Jesús-Navarrete* 

José Santos Gómez-Morales** 

Gabriela Zacarías-de-León** 

Brianna Jacobson*** 

* Departamento de Sistemática y Ecología Acuática, Grupo: Estructura y Función del Bentos Unidad Chetumal, México. anavarre@ecosur.mx.

** Sistema de Información Bibliotecario de ECOSUR, Unidad Chetumal, El Colegio de la Frontera Sur, México. jsantos@ecosur.mx, gzacaria@ecosur.mx.

*** Investigadora independiente, Canadá. briannajjacobson@gmail.com.


Resumen

La ciencia es una actividad social que debe ser evaluada para determinar su desempeño. El objetivo de este trabajo fue evaluar el desempeño institucional de la productividad científica de ECOSUR utilizando información de la Web of Science (WoS) de 1995 a 2020. Durante este periodo, ECOSUR produjo 3 753 publicaciones, en su mayoría orientadas a las ciencias naturales. Hubo una tendencia creciente en el número de trabajos de investigación producidos durante el periodo de estudio. 2018 fue el año con el mayor número de publicaciones (336 artículos). Un alto porcentaje (>70%) se publicó en inglés, un 26% en español y el resto en otros idiomas. Más del 60% de los artículos fueron publicados en revistas con un factor de impacto (FI) superior a uno. El FI más alto fue de 10.464 pero con pocos artículos. La productividad no fue homogénea: el 38% de los investigadores publicaron más de 50 trabajos de investigación, y muchos otros, menos de 20.

Palabras clave: Evaluación científica; Web of Science; Productividad científica; Impacto social; Indicadores; Conocimiento; Multidisciplina

Abstract

Science is a social activity that must be evaluated to determine its performance. This study aimed to evaluate the institutional performance of ECOSUR’s scientific productivity using information from the Web of Science (WoS) from 1995-2020. During this period ECOSUR produced 3,753 papers, mostly oriented towards natural science. There was an increasing trend in the number of publications produced during the study period. 2018 was the year with the highest number of publications (336 articles). A high percentage (>70%) was published in English, 26% in Spanish and the rest in other languages. More than 60% of the articles was published in journals with an impact factor (IF) higher than one, the highest IF was 10.464 but with few articles. Productivity was not homogeneous: 38% of researchers published more than 50 research papers, and many others fewer than 20.

Keywords: Science evaluation; Web of Science; Scientific productivity; Social impact; Indicators; Knowledge; Multidiscipline

Introducción

La investigación científica y tecnológica es una actividad importante en la sociedad moderna. La generación de conocimiento básico y la tecnología deben mejorar las condiciones de vida (OCDE, 2018). Esta actividad, junto con la docencia, se realiza en centros de investigación públicos y privados, y en instituciones de educación superior, y requiere un presupuesto monetario y un plan director (Déctor-Gutiérrez, 1998). Naturalmente, las agencias financieras desean saber que su dinero se está invirtiendo adecuadamente y tratan de evaluar la calidad de la investigación producida para tomar decisiones informadas sobre futuras inversiones (Moed, 2010; Romanelli et al., 2018).

El proceso de investigación científica debe ser evaluado para determinar su calidad, eficiencia y aportes a la sociedad, permitiendo así justificar la inversión económica y diseñar políticas administrativas para el sector académico (Butler, 2008; Moed y Halevi, 2015). La cantidad de artículos publicados, la calidad de las revistas en las que éstos se han publicado y el número de veces que se cita cada artículo se utilizan a menudo para evaluar la productividad científica (Hayer et al., 2013). Actualmente, la producción académica se determina utilizando los informes de evaluación de una institución académica, al menos en las áreas de ciencias naturales y de la vida, así como varios indicadores bibliométricos: cantidad de publicaciones, factor de impacto (FI) y con qué frecuencia se cita un artículo (Bornmann, 2013). La información generada en redes sociales o académicas (ReserchGate.net, Academia.edu, etc.), blogs, bases de datos y otros medios electrónicos (también llamados "métricas alternativas" o altmetrics) son otras formas de medir las actividades científicas individuales, grupales o institucionales (Neylon y Wu, 2009).

El proceso de evaluación de la ciencia es complicado, y aunque existen muchos indicadores cienciométricos, como FI, índice H, Eigenfactor, SJR, SNIP, Cite Score o Altmetrics (Bergstrom, 2007; Elsevier, 2016; Garfield, 1979; González-Pereira, Guerrero-Bote y Moya-Anegón, 2010; Hirsch, 2005; Daniel, 2005; Moed, 2010; Bornmann y Haunschild, 2017), el proceso dista de ser perfecto. Se presentan sesgos a la hora de obtener información de bases de datos nacionales o internacionales y hay falta de uniformidad en los datos sobre autores e instituciones. Estas limitaciones afectan negativamente la evaluación del desempeño de un individuo, grupo de investigación o institución académica (Abramo, Cicerón y D'Angelo, 2012).

Los índices de FI de las revistas se siguen utilizando para comparar la productividad de las instituciones y los individuos; sin embargo, cuando se utilizan como herramientas para evaluar la productividad científica de los individuos, estas métricas son deficientes y pueden afectar los procesos de promoción o contratación. Para las evaluaciones individuales, los comités deben evaluar la calidad de la investigación, si el estudio fue revisado por pares académicos, si se generaron otros productos (e. g., bases de datos) y si el estudio es útil para las decisiones de política pública relacionadas con el campo de investigación (DORA, 2012; sfdora.org).

Las evaluaciones bibliométricas de la productividad académica son limitadas en América Latina y se utilizan principalmente en países sudamericanos (Da Luz et al., 2008; Herrera-Vallejera et al., 2017; Rojas-Sola y Jordá-Albiñana, 2010; Sancho, 1992; Shrum, 1997; Sidone, Haddad y Mena-Chalco, 2017; Spinak, 1996; Vílchez-Román, 2014), en Centroamérica y en Cuba (Arencibia-Jorge y de Moya-Anegón, 2010; Monge-Nájera y Ho, 2018). En México se han realizado evaluaciones del número total de artículos producidos en áreas específicas (Arvanitis, Russell y Rosas, 1996) y de las correlaciones entre autores mexicanos y publicaciones internacionales (Lima, Liberman y Russell, 2005). Más recientemente, se analizó el impacto de las publicaciones mexicanas en las áreas de bio-medicina (Castillo-Pérez et al., 2015) y ciencias computacionales (Uddin et al., 2015; Luna Morales et al. 2021), y la situación actual de la ciencia en México fue estudiada por Lancho Barrantes y Cantú-Ortiz (2019); sin embargo, no se dispone de información del análisis de la productividad académica en los Centros Públicos de Investigación (CPI) del Conacyt.

El Colegio de la Frontera Sur (ECOSUR) tiene sedes en Chiapas, Campeche, Tabasco y Quintana Roo (todas en el sur de México) y es uno de los 26 CPI. Un total de 343 miembros académicos (162 investigadores y 181 técnicos) están afiliados a este CPI y, junto con 350 estudiantes de posgrado, han generado conocimiento científico sobre Conservación de la Biodiversidad, Sistemas de Producción, Biotecnología, Salud Humana, Sociedad, Cultura y Sostenibilidad, entre otros temas. Es un centro multidisciplinario que examina los problemas ambientales y socioeconómicos a lo largo de la frontera sur de México (CONACYT, 2018). ECOSUR cuenta también con cuatro programas de posgrado que contribuyen a la formación de capital humano. En este contexto, ECOSUR ha realizado aportes durante los últimos 26 años a la investigación y la formación de recursos humanos. Sin embargo, estas acciones deben ser evaluadas para medir su contribución a la generación de conocimiento regional e internacional. En este contexto, el presente estudio tiene como objetivos: 1) evaluar la productividad medida por los resultados de las publicaciones internacionales, 2) evaluar el desempeño institucional, y 3) mejorar los indicadores existentes que aumentan la presencia institucional en los ámbitos regional, nacional e internacional.

Métodos

Producción científica

Utilizamos la plataforma Web of Science (WoS), de Clarivate Analytics, para determinar la productividad científica de investigadores académicos, técnicos y estudiantes de posgrado, desde 1995 hasta 2020.

Se realizaron búsquedas avanzadas en las bases de datos: Web of Science Core Collection, Derwent Innovations Index y SciELO Citation Index. En la Web of Science Core Collection fueron utilizados: Science Citation Index, Expanded & Emerging Sources Citation Index, Social Sciences Citation Index y Arts & Humanities Citation Index.

En cada búsqueda se utilizaron las variantes relacionadas con el nombre de la institución (ECOSUR, El Colegio de la Frontera Sur, etcétera) para identificar cada producto. Las bases obtenidas se exportaron a un formato Excel y se revisaron una por una para evitar duplicados. Aun así, estas búsquedas arrojan resultados aproximados debido a las limitaciones de la WoS en relación con la diversidad de nombres de autores e instituciones de afiliación.

Se realizó un análisis para ciencias de la vida y biomedicina, y otro para ciencias sociales. Este análisis incluyó la cantidad de artículos publicados por año, el idioma de publicación, el tipo de documento (artículo, revisión, nota científica, informe extenso), en qué revista se publicaron la mayoría de los documentos, el FI (2020) y los autores de la publicación, así como la producción normalizada para cada período. Los datos se clasificaron en áreas de investigación (artes y humanidades, ciencias de la vida y biomedicina, ciencias físicas, ciencias sociales, multidisciplinarias, y tecnología).

Desempeño institucional

Con esta información analizamos la productividad científica y determinamos el promedio de citas, la producción normalizada, la contribución al conocimiento global, el total de artículos en coautoría y el índice de colaboración. Con el programa VOSviewer, desarrollado por la Universidad de Leiden (Van Eck y Waltman 2014), se elaboró un mapa de frecuencias y co-ocurrencias de los principales temas de la productividad científica de ECOSUR a partir de las palabras clave asignadas por los autores. Esta técnica de agregación da como resultado un mapa bidimensional (2-D) que usa una matriz de co-ocurrencia de palabras clave generadas a partir de la presencia de co-ocurrencias y su frecuencia, que se relaciona con su proximidad espacial; el tamaño del círculo está determinado por el número de artículos que se han publicado sobre ese tema. La distancia entre líneas muestra la relación entre temas (círculos), y las líneas cortas muestran una relación más fuerte entre los temas.

Resultados

Producción científica

Se identificaron 3 753 productos de investigación. La productividad ha aumentado de 12 publicaciones de artículos en 1995 a 325 en 2020. El mayor número de publicaciones fue de 336 artículos en 2018 (Tabla 1 y Figura 1).

Tabla 1 Resumen de la producción científica de ECOSUR durante el periodo 1995-2020 

Year/
products
P(n) C(n) Without
Self-citations
CitAver CitAv e
Without
H-Index ExpCitval Norm % Articles
Published
ExpF TCA
instituciones
Icolla PnoCited All
journals
No Journals published in
1995-1996 31 781 774 25.19 25 16 NA NA NA NA 16 0.017 NA NA 25
1997-1998 72 2,316 2,306 32.17 32 21 29.06 1.11 0.753 0.0083 39 0.008 1 6,906 52
1999-2000 126 3,290 3,259 26.11 26 32 24.06 1.09 0.9957 0.0108 49 0.003 4 7,131 71
2001-2002 134 4,119 4,087 30.74 31 35 19.24 1.6 1.0287 0.0164 86 0.005 1 7,291 75
2003-2004 176 5,260 5,232 29.89 30 37 17.83 1.68 1.3008 0.0218 84 0.003 8 7,380 96
2005-2006 212 4,988 4,953 23.53 23 38 16.55 1.42 1.7076 0.0243 88 0.002 11 7,613 130
2007-2008 264 6,566 6,521 24.87 25 39 14.05 1.77 2.0894 0.037 142 0.002 11 8,232 172
2009-2010 269 7,345 7,308 27.30 27 40 21.19 1.29 1.6971 0.0219 245 0.003 11 10,312 175
2011-2012 342 5,417 5,351 15.84 16 32 17.02 0.93 1.7557 0.0163 170 0.001 16 10,936 192
2013-2014 389 5,272 5,201 13.55 13 32 12.87 1.05 1.9018 0.02 339 0.002 28 11,200 213
2015-2016 486 5,798 5,716 11.93 12 27 8.23 1.45 2.3244 0.0337 377 0.002 41 11,487 267
2017-2018 593 5,148 5,024 8.68 8 25 5.74 1.51 2.6139 0.0395 562 0.002 95 11,898 311
2019-2020 659 2,874 2,720 4.36 4 20 3.1 1.41 1.6147 0.0227 556 0.001 154 20,994 339
1995-2020 3753 59174 58452 21.09 21 30.308 15.745 1.36 1.6486 0.0227 0 381 121,380 2118

Figura 1 Producción científica de ECOSUR durante el período 1995-2020 

ECOSUR produjo principalmente artículos de investigación, memorias de congresos científicos (Figura 2), informes técnicos y tesis de grado, aunque estos dos últimos géneros no están incluidos en nuestro análisis. Durante el periodo de estudio, 3 378 artículos científicos correspondieron a ciencias de la vida y biomedicina, y 867 correspondieron a ciencias sociales o a enfoques multidisciplinarios (Figura 3). Debido a la clasificación de algunas publicaciones como "multidisciplinarias", puede haber repeticiones, y el número de artículos obtenidos puede no coincidir al agregar ciencias de la vida y biomedicina, y ciencias sociales.

Figura 2 Número de publicaciones por tipo de documento durante el período 1995-2020 

Figura 3 Número de publicaciones de dos categorías generales de Web of Science 

La Tabla 1 muestra la producción científica de ECOSUR de 1995 a 2020. Se hace evidente un aumento constante de la producción de artículos, pasando de 31en 1995 a 659 en el periodo 2019-2020. Esto también ocurrió con el número de citas, que pasó de 781 en 1995 a 2874 en 2020. El número de autocitas en los artículos no fue significativamente diferente, lo que llevó a una citación promedio que osciló entre 25.19 y 4.36, con una tendencia a disminuir en años más recientes (2015-2020), ya que los artículos recientes no se citan de manera tan inmediata.

Considerando las revistas en las que ECOSUR ha publicado, y los temas de investigación de la institución, la producción de ECOSUR está por encima del valor promedio mundial (1.0) (Norma). Esto indica que el desempeño institucional es adecuado, y representa el 36% del promedio internacional durante 1995-2020.

Sin embargo, al comparar la contribución de ECOSUR en los diferentes campos del conocimiento (ExpF), las aportaciones son bajas. Todos los valores son inferiores a 1.0 (la media internacional).

Por otro lado, el índice de colaboración (Icolla) también es bajo, a pesar de que se han producido trabajos de los investigadores de ECOSUR en colaboración con otros centros de investigación o universidades nacionales e internacionales.

Algunos artículos producidos por ECOSUR no llegaron a ser citados (PnoCited), sin embargo, esto representa un porcentaje bajo cuando se compara con el total de citas por año (C[n]).

WoS mostró que la mayoría de los documentos se han publicado en inglés (71%) y en español (27%), aunque también hay algunos en portugués, en francés y en alemán (Figura 4).

Figura 4 Número de publicaciones por idioma 

La mayoría de estos artículos (90%) fueron publicados en revistas con factor de impacto. El FI 2020 más alto (11.205) correspondió a Proceedings of The National Academy of Sciences of The United States of America (dos publicaciones registradas), seguido de Global Environmental Change-Human and Policy Dimensions (cuatro publicaciones registradas) (9.523). Otras revistas con un alto FI en esta área, y en las que se publicaron dos artículos, fueron: International Journal of Epidemiology (7.196) y Ecosystem Services (5.45) (Figura 5).

Figura 5 Revistas con mayor número de publicaciones 

Se publicaron 3 378 artículos científicos en ciencias de la vida y biomedicina. La Revista de Biología Tropical (0.723 FI) publicó el mayor número de artículos de ECOSUR (125); seguida por la Revista Mexicana de Biodiversidad (0.716 FI) con 109 artículos; Zootaxa (1.091 FI) publicó 95 artículos. La cantidad de artículos en revistas con un FI superior a 2 disminuye notablemente (de 53 a 10 artículos). Éstas incluyen a PLOS ONE, Biological Control, Agriculture, Ecosystems & Environment, Forest Ecology and Management, Hidrobiología, y Biotrópica (Figura 5).

El número de publicaciones y citas por año también ha aumentado. Esto es evidente en la cantidad de documentos encontrados en WoS y en el número de veces que se citaron artículos de ECOSUR (59 174) (Figura 6).

Figura 6 Número de publicaciones y citas recibidas por año 

El número de publicaciones refleja la actividad de los grupos académicos de la institución y de los departamentos generales en los que se divide ECOSUR: Agricultura, Sociedad y Ambiente; Ciencias de la Sustentabilidad; Conservación de la Biodiversidad; Salud; Sistemática y Ecología Acuática; Sociedad y Cultura. Aquí encontramos un mayor número de artículos que los reportados en el número total de publicaciones por año porque cada artículo incluye palabras clave pertenecientes a más de un área. Así, más del 80% de las publicaciones son sobre ciencias ambientales y ecología (Figura 7).

Figura 7 Número de publicaciones por áreas de investigación de Web of Science 

A pesar de que la productividad académica de la institución debe ser un esfuerzo colectivo y homogéneo, tres investigadores publicaron más de 100 documentos, 13 investigadores tuvieron más de 48 contribuciones y 36 investigadores tuvieron más de 24. El resto publicaron menos de 23 artículos, aunque no se incluyeron en la Figura 8.

Figura 8 Producción científica por autor en ECOSUR 

El mapa de VOSviewer refleja las principales actividades de ECOSUR y muestra cuatro clústers principales. El primero y más pequeño está relacionado con la taxonomía y sistemática de los invertebrados, como poliquetos, copépodos y zooplancton marino. Hay un segundo clúster más grande, donde destacan los artículos relacionados con conservación, diversidad y ecología. El tercer clúster está dominado por el manejo y la conservación de la biodiversidad y el último clúster incluye artículos ligados con el control biológico de plagas e insectos. Sin embargo, hay muchas otras publicaciones que tienen relación con agroforestería, servicios ecosistémicos y biogeografía, pero con menos co-ocurrencias. En el área social, destacan las publicaciones sobre migración (Figura 9).

Figura 9 Mapa de redes temáticas de investigación en ECOSUR, con datos obtenidos de Web of Science 

Discusión y conclusiones

La actividad científica es un proceso importante para el desarrollo de las naciones y debe ser evaluada de manera objetiva para crear mejoras y aumentar su eficiencia (Wilsdon et al., 2015). La información obtenida debe utilizarse para mejorar los procesos de investigación (Bornmann, Leydesdorff y Mutz, 2013).

La productividad académica de ECOSUR ha aumentado gradualmente desde su fundación (1994) hasta la actualidad: una producción creciente a pesar de una disminución crítica en el presupuesto para ciencia desde 2010. Evidentemente, el aumento en la cantidad de personal académico también es un factor importante para el crecimiento del número de publicaciones, al igual que lo ha hecho la productividad científica nacional durante los últimos cinco años (Lancho-Barrantes y Cantú-Ortiz, 2019). Esto podría indicar diferencias en la cobertura de cada revista en cuanto a su relación con las áreas en las que ECOSUR se enfoca a nivel internacional (Bornmann, 2013), aunque, en general, la producción científica puede ser juzgada de muchas otras maneras, no sólo por el número de citas (Ardler, 2007; Daniel, Mittag y Bornmann, 2007).

La productividad de ECOSUR es adecuada, al ser comparada con los valores esperados de cada una de las revistas contenidas en la Web of Science. En promedio, a lo largo del período de estudio (1995-2020), tuvo un valor de 1.36, lo que indica que sí hay contribución académica, según el promedio internacional (Bornmann, Leydesdorff y Mutz, 2013). No obstante, debemos recordar que las bases de datos internacionales tanto de Web of Science como de Scopus no contienen todas las revistas e incluso tienen sesgos importantes cuando se trata de publicaciones en ciencias sociales y humanidades, lo que podría indicar una limitación en infraestructura informática para la evaluación de trabajos latinoamericanos (Collazo et al., 2008).

Un alto porcentaje (>70%) de los artículos de ECOSUR fueron publicados en inglés, seguido por los escritos en español. En efecto, el idioma de publicación no afecta al número de contribuciones, y la variable idiomática no ha tenido un impacto negativo en las publicaciones (Gantman, 2012; Pham y Hyden, 2019). El alto porcentaje de productos de investigación publicados en inglés es un indicador del nivel de competitividad internacional de ECOSUR. Sin embargo, la publicación de artículos en revistas locales, regionales o nacionales no debe olvidarse por completo. Dichos artículos llegan a usuarios potenciales y a quienes colaboran y facilitan la investigación (e. g., pescadores, agricultores, silvicultores, migrantes o comunidades indígenas). Los gerentes o tomadores de decisiones en los programas de manejo y conservación también son una audiencia importante que no siempre cita formalmente artículos científicos (Bornmann, Leydesdorff y Mutz, 2013). Un tema que debe ser discutido más a fondo dentro de la institución y a la hora de crear políticas académicas, es acerca de que la investigación debe aportar datos o procesos que ayuden a mejorar la producción económica y social (Abramo, Cicerón y D'Angelo, 2012). Es importante señalar que los procesos de evaluación académica en Latinoamérica deberían complementarse con información de otras bases, como Catálogo de Latindex, Redalyc, SciELO, DOAJ, entre otras, para recuperar información ausente en WoS (FOLEC-CLACSO 2022).

Se observó una diferencia de productividad entre ciencias sociales/biomedicina y ciencias naturales (dos grandes divisiones de ECOSUR). Esta diferencia es acorde con la proporción de investigadores en cada área, lo que, por supuesto, influye en la productividad académica. Cabe señalar que las publicaciones de ciencias sociales se pueden encontrar en revistas que tienen mayor impacto que las de ciencias naturales (FI= 10.46 vs. FI= 6.55). Si se toma esto en consideración sería recomendable una colaboración inter y multi disciplinaria para mejorar los indicadores bibliométricos en los temas que ECOSUR aborda. Un análisis más exhaustivo de las revistas, los temas y los autores de ECOSUR también podría aclarar estas diferencias en la productividad académica.

A pesar de que el número de publicaciones en ciencias naturales y biomedicina en WoS (3 378) fue mayor que en ciencias sociales, hubo muchas publicaciones en revistas de bajo factor de impacto con una alta presencia regional, como la Revista de Biología Tropical y la Revista Mexicana de Biodiversidad. También hubo un bajo número de publicaciones en revistas con un factor de impacto superior a 5. Los indicadores de ECOSUR pueden considerarse buenos si se toma el número total de artículos publicados. Sin embargo, los indicadores pueden no ser tan buenos si se considera el impacto social de esas publicaciones, ya que un factor de impacto alto no necesariamente refleja una contribución concreta a la sociedad. El objetivo de la evaluación científica debería permitir generar una ciencia de calidad con enfoque social (Collazo et al., 2008).

Muchos artículos están relacionados con la taxonomía y la sistemática, y han sido publicados en revistas como Zootaxa con un impacto aparentemente bajo. Sin embargo, la taxonomía y la sistemática contribuyen al conocimiento regional de la biodiversidad y esto es un aporte importante de ECOSUR. Se debe realizar un análisis de las contribuciones académicas de la institución a la sociedad, lo cual podría lograrse considerando el número de publicaciones de ciencia básica que son importantes para la toma de decisiones en la industria pesquera, las Regulaciones Oficiales Mexicanas sobre especies de importancia comercial o el manejo de áreas forestales y naturales protegidas.

Como se mencionó anteriormente, la evaluación de la productividad científica es compleja y, en muchos casos, depende de la información disponible en las bases de datos locales, nacionales o internacionales. Existen diferencias en los indicadores que utiliza cada base de datos, y se han sugerido diferentes métodos para crear un procedimiento estandarizado (Daniel, Mittag y Bornmann, 2007; García-Pérez, 2010; Waltman et al., 2012; Bornmann, Leydesdorff y Mutz, 2013). Deben evitarse los sesgos que afectan la evaluación del desempeño institucional o de los investigadores (especialmente de los jóvenes profesionales) (Bornmann, Leydesdorff y Mutz, 2013; Schmid, 2017; FOLE CLACSO, 2022). Un proceso estandarizado puede conducir a una menor productividad debido a los parámetros de ajuste (Elsevier, 2016; González-Pereira, Guerrero-Bote y Moya-Anegón, 2010; Moed, 2010).

Aun cuando los indicadores académicos de ECOSUR son adecuados y han sido reconocidos recientemente por el Conacyt (ECOSUR, 2018), la producción de artículos dista mucho de ser homogénea, ya que no todos los investigadores publicaron la misma cantidad. Los casos de baja productividad deben analizarse dentro de la institución para determinar las razones del bajo rendimiento y proponer formas de mejorar.

A pesar de que la bibliometría es una herramienta útil para evaluar a investigadores y sus publicaciones, cuando los temas se plantean a nivel institucional y en sistemas de investigación nacionales (Bornmann, Leydesdorff y Mutz, 2013) éstos se deberían complementar con otras variables que midieran el impacto en la sociedad, como, por ejemplo, el uso de datos para el manejo de especies, tal como se ha mencionado en los foros de FOLEC CLACSO (2022). Los investigadores y las comunidades políticas se enfrentan a la necesidad de encontrar un conjunto de valores fundamentales que se adapten a distintas culturas académicas e institucionales y a un presupuesto menor para realizar actividades científicas. Sin embargo, la bibliometría y el uso de factores de impacto no son herramientas aceptables para los investigadores en todos los niveles y son particularmente problemáticos para los investigadores en etapa inicial y las decisiones de titularidad (Van Dijik, Señorío y Carey, 2014).

En el caso de ECOSUR, a pesar de que el análisis bibliométrico tiene limitaciones, se logró obtener una visión histórica de la investigación realizada en la institución, que ha sido consistente y ha tenido una tendencia creciente de publicaciones académicas, a pesar de la reducción presupuestal. Creemos que estimular al personal para publicar sus resultados y para colaborar con sus colegas aumentaría la cantidad de publicaciones. Se debe alentar a los grupos académicos a incrementar sus publicaciones científicas en revistas de impacto internacional, en proporción a los grupos académicos y aumentar el número de artículos científicos en revistas internacionales.

Por otro lado, el Plan Estratégico de Reestructuración del Conacyt para adaptarse al Proyecto Nacional Alternativo (2018-2024) pretende utilizar "indicadores cualitativos en la evaluación, asignación y seguimiento de los recursos" y señala que "El Conacyt coordinará el establecimiento de un esquema nacional de supervisión del proceso de publicación de resultados científicos, que incluirá la elaboración de estándares de revistas que revelen el impacto real de la cantidad de publicaciones". Con ello se busca dar mayor importancia a la literatura científica de libre acceso generada con recursos públicos. Esto podría aumentar la productividad científica, no sólo de ECOSUR, sino de todas las instituciones académicas nacionales. Sin embargo, con vista en este nuevo esquema de utilización de indicadores cualitativos, la productividad reflejada por WoS se reducirá.

Agradecimientos:

Este estudio fue financiado por El Colegio de la Frontera Sur, Beca: 4103910758. Agradecemos a José Rogelio Cedeño-Vázquez por la revisión crítica del manuscrito y a dos revisores anónimos por sus comentarios que mejoraron sustancialmente este documento.

Referencias

Abramo, Giovanni, Tindaro Cicero, y Ciríaco Andrea D'Angelo. 2012. "A Sensitivity Analysis of Researchers' Productivity Rankings to the Time of Citation Observation". Journal of Informetrics 6(2): 192-201. https://doi.org/10.1016/j.joi.2011.12.003. [ Links ]

Arencibia-Jorge, Ricardo y Felix de Moya-Anegón. 2010. "Challenges in the Study of Cuban Scientific Output". Scientometrics 83(3): 723-37. https://doi.org/10.1007/s11192-009-0150-7. [ Links ]

Adler, Robert. 2007. "The impact of impact factors". IMS Bulletin 36(5): 4. http://bulletin.imstat.org/pdf/36/5. [ Links ]

Arvanitis, R., J. M. Russell, y A. Ma. Rosas. 1996. "Experiences with the National Citation Reports Database for Measuring National Performance: The Case of Mexico". Scientometrics 35(2): 247-55. https://doi.org/10.1007/BF02018482. [ Links ]

Bergstrom, Carl. 2007. "Eigenfactor: Measuring the value and prestige of scholarly journals". College & Research Libraries News 68(5): 314-16. https://doi.org/10.5860/crln.68.5.7804. [ Links ]

Bornmann, Lutz, y Robin Haunschild. 2017. "Does Evaluative Scientometrics Lose Its Main Focus on Scientific Quality by the New Orientation towards Societal Impact?". Scientometrics 110(2): 937-43. https://doi.org/10.1007/s11192-016-2200-2. [ Links ]

Bornmann, Lutz. 2013. "How to Analyze Percentile Citation Impact Data Meaningfully in Bibliometrics: The Statistical Analysis of Distributions, Percentile Rank Classes, and Top-Cited Papers". Journal of the American Society for Information Science and Technology 64(3): 587-95. https://doi.org/10.1002/asi.22792. [ Links ]

Bornmann, Lutz , Loet Leydesdorff, y Rüdiger Mutz. 2013. "The Use of Percentiles and Percentile Rank Classes in the Analysis of Bibliometric Data: Opportunities and Limits". Journal of Informetrics 7(1): 158-65. https://doi.org/10.1016/j.joi.2012.10.001. [ Links ]

Butler, L. 2008. "Using a Balanced Approach to Bibliometrics: Quantitative Performance Measures in the Australian Research Quality Framework". Ethics in Science and Environmental Politics 8 (June): 83-92. https://doi.org/10.3354/esep00077. [ Links ]

Castillo-Pérez, José Juan, Luz Muñoz-Valera, Francisco García-Gómez, y Juan Manuel Mejía-Aranguré. 2015. "Análisis bibliométrico de la producción científica sobre la influenza en México, 2000-2012". Revista Médica del Instituto Mexicano del Seguro Social 53(3): 294-301. https://www.redalyc.org/articulo.oa?id=457744937010. [ Links ]

Collazo-Reyes, Francisco, M. E. Luna-Morales, J. M. Russell , y M. A. Pérez-Angón. 2008. "Publication and citation patterns of Latin American & Caribbean journals in the SCI and SSCI from 1995 to 2004". Scientometrics 75: 145-161. https://doi.org/10.1007/s11192-007-1841-6. [ Links ]

CONACYT. 2018. Sistemas de Centros de Investigacion. Consejo Nacional de Ciencia y Tecnología (CONACYT). https://www.conacyt.mx/Sistemas-de-centros-de-investigacion.html. [ Links ]

Da Luz, Mariana Pires, Carla Marques-Portella, Mauro Mendlowicz, Sonia Gleiser, Evandro Silva Freire Coutinho, e Ivan Figueira. 2008. "Institutional H-Index: The Performance of a New Metric in the Evaluation of Brazilian Psychiatric Post-Graduation Programs". Scientometrics 77(2): 361-68. https://doi.org/10.1007/s11192-007-1964-9. [ Links ]

Daniel, Hans-Dieter. 2005. "Publications as a Measure of Scientific Advancement and of Scientists' Productivity". Learned Publishing 18(2): 143-48. https://doi.org/10.1087/0953151053584939. [ Links ]

Daniel, Hans-Dieter, Sandra Mittag, y Lutz Bornmann. 2007. "The potential and problems of peer evaluation in higher education and research". En Quality Assessment for Higher Education in Europe, editado por Alessandro Cavalli, 71-82. Portland Press. https://portlandpress.com/DocumentLibrary/Umbrella/Wenner%20Gren/Quality/0010071.pdf. [ Links ]

Déctor-Gutiérrez, Piedad. 1998. "Indicadores científicos: evaluaciones negativas proposiciones positivas". Investigación Bibliotecológica: archivonomía, bibliotecología e información 12(25). https://doi.org/10.22201/iibi.0187358xp.1998.25.3888. [ Links ]

DORA. 2012. San Francisco Declaration on Research Assessment. (http://sfdora.org.) [ Links ]

ECOSUR. 2018. Informe Anual 2018. El Colegio de la Frontera Sur (ECOSUR). https://www.ecosur.mx/wp-content/uploads/2019/03/Informe-anual-2018.pdf. [ Links ]

Elsevier. 2016. CiteScore metrics FAQs. https://supportcontent.elsevier.com/RightNowNextGen/Scopus/Files/5221_CiteScore_FAQ.pdf. [ Links ]

FOLEC-CLACSO. 2020. Declaración de principios, Foro Latinoamericano de Evaluación científica. http://biblioteca.clacso.edu.ar/Argentina/folec/20210528054549/FOLEC-Diagnostico.pdf. [ Links ]

García-Pérez, Miguel A. 2010. "Accuracy and Completeness of Publication and Citation Records in the Web of Science, PsycINFO, and Google Scholar: A Case Study for the Computation of h Indices in Psychology". Journal of the American Society for Information Science and Technology 61(10): 2070-85. https://doi.org/10.1002/asi.21372. [ Links ]

Gantman, Ernesto R. 2012. "Economic, Linguistic, and Political Factors in the Scientific Productivity of Countries". Scientometrics 93(3): 967-85. https://doi.org/10.1007/s11192-012-0736-3. [ Links ]

Garfield, Eugene. 1979. Citation Indexing - Its Theory and Application in Science, Technology, and Humanities. John Wiley & Sons. [ Links ]

González-Pereira, Borja, Vicente P. Guerrero-Bote, y Félix Moya-Anegón. 2010. "A New Approach to the Metric of Journals' Scientific Prestige: The SJR Indicator". Journal of Informetrics 4(3): 379-91. https://doi.org/10.1016/j.joi.2010.03.002. [ Links ]

Hayer, Cari-Ann, Mark Kaemingk, Jason J. Breeggemann, Daniel Dembkowski, David Deslauriers, y Tobias Rapp. 2013. "Pressures to Publish: Catalysts for the Loss of Scientific Writing Integrity?". Fisheries 38(8): 352-55. https://doi.org/10.1080/03632415.2013.813845. [ Links ]

Herrera Vallejera, Darlenis, Rubén Sánchez Perdomo, Marinelsy Rosario Sierra, y Yaniris Rodríguez Sánchez. 2017. "Estudio cienciométrico de la actividad científica de Cuba en las Ciencias Naturales e Ingeniería y Matemática-Ciencias de la Computación". Investigación Bibliotecológica: archivonomía, bibliotecología e información 31(72): 113. https://doi.org/10.22201/iibi.0187358xp.2017.72.57826. [ Links ]

Hirsch, Jorge E. 2005. "An Index to Quantify an Individual's Scientific Research Output". Proceedings of the National Academy of Sciences 102(46): 16569-72. https://doi.org/10.1073/pnas.0507655102. [ Links ]

Lancho-Barrantes, Bárbara S., y Francisco J. Cantú-Ortiz. 2019. "Science in Mexico: A Bibliometric Analysis". Scientometrics 118(2): 499-517. https://doi.org/10.1007/s11192-018-2985-2. [ Links ]

Lima, Mariana, Sofía Liberman, y Jane M. Russell. 2005. "Scientific Group Cohesiveness at the National University of Mexico". Scientometrics 64(1): 55-66. https://doi.org/10.1007/s11192-005-0237-8. [ Links ]

Luna-Morales, María Elena, Evelia Luna-Morales, y Miguel Angel Pérez-Angón. 2021. "Influence of the international collaboration in the field of metric studies of science and technology: the case of Mexico (1971-2018)." Scientometrics 126: 2485-2511. https://doi.org/10.1007/s11192-020-03522-5. [ Links ]

Moed, Henk F., y Gali Halevi. 2015. "Multidimensional Assessment of Scholarly Research Impact: The Multidimensional Assessment of Scholarly Research Impact". Journal of the Association for Information Science and Technology 66(10): 1988-2002. https://doi.org/10.1002/asi.23314. [ Links ]

Moed, Henk F. 2010. "Measuring Contextual Citation Impact of Scientific Journals". Journal of Informetrics 4(3): 265-77. https://doi.org/10.1016/j.joi.2010.01.002. [ Links ]

Monge-Nájera, Julián, y Yuh-Shan Ho. 2017. "Guatemala articles in the Science Citation Index Expanded: bibliometry of subjects, collaboration, institutions and authors". Revista de Biología Tropical 66(1): 312. https://doi.org/10.15517/rbt.v66i1.29875. [ Links ]

Neylon, Cameron, y Shirley Wu. (2009). "Article-level metrics and the evolution of scientific impact". PLOS Biology 7(11), e1000242. https://doi.org/10.1371/journal.pbio.1000242. [ Links ]

OECD. 2018. "Manual de Frascati 2015: Guía para la recopilación y presentación de información sobre la investigación y el desarrollo experimental". Organisation for Economic Co-operation and Development. https://www.oecd.org/publications/manual-de-frascati-2015-9789264310681-es.htm. [ Links ]

Pham, Ly Thi, y Martin Hayden. 2019. "Research in Vietnam: The experience of the humanities and social sciences". Journal of International and Comparative Education 8(1): 27-40. https://doi.org/10.14425/jice.2019.8.1.27. [ Links ]

Rojas-Sola, José Ignacio, y Begoña Jordá-Albiñana. 2010. "Análisis bibliométrico de las publicaciones científicas venezolanas en la categoría de ecología en la base de datos del Web of Science (1997-2008)". Interciencia 35(8): 619-623. https://www.redalyc.org/articulo.oa?id=33914367011. [ Links ]

Romanelli, João Paulo, Jaqueline Tomiê Fujimoto, Marcilene Dantas Ferreira, y Douglas Henrique Milanez. 2018. "Assessing Ecological Restoration as a Research Topic Using Bibliometric Indicators". Ecological Engineering 120 (September): 311-20. https://doi.org/10.1016/j.ecoleng.2018.06.015. [ Links ]

Sancho, Rosa. 1992. "Misjudgments and Shortcomings in the Measurement of Scientific Activities in Less Developed Countries". Scientometrics 23(1): 221-33. https://doi.org/10.1007/BF02020924. [ Links ]

Schmid, Sandra L. 2017. "Five Years Post-DORA: Promoting Best Practices for Research Assessment". Molecular Biology of the Cell 28(22): 2941-44. https://doi.org/10.1091/mbc.e17-08-0534. [ Links ]

Shrum, Wesley. 1997. "View from Afar: 'Visible' Productivity of Scientists in the Developing World". Scientometrics 40(2): 215-35. https://doi.org/10.1007/BF02457438. [ Links ]

Sidone, Otávio José Guerci, Eduardo Amaral Haddad, y Jesús Pascual Mena-Chalco. 2017. "Scholarly Publication and Collaboration in Brazil: The Role of Geography". Journal of the Association for Information Science and Technology 68(1): 243-58. https://doi.org/10.1002/asi.23635. [ Links ]

Spinak, Ernesto. 1996. "Los análisis cuantitativos de la literatura científica y su validez para juzgar la producción latinoamericana". Boletín de la Oficina Sanitaria Panamericana (OSP) 120(2): 139-147. https://iris.paho.org/handle/10665.2/15499. [ Links ]

Uddin, Ashraf, Vivek Kumar Singh, David Pinto, e Ivan Olmos. 2015. "Scientometric Mapping of Computer Science Research in Mexico". Scientometrics 105(1): 97-114. https://doi.org/10.1007/s11192-015-1654-y. [ Links ]

Van Dijk, David, Ohad Manor, y Lucas B. Carey. 2014. "Publication Metrics and Success on the Academic Job Market". Current Biology 24(11): R516-17. https://doi.org/10.1016/j.cub.2014.04.039. [ Links ]

Van Eck, Ness Jan, y Ludo Waltman. 2014 "Visualizing bibliometric networks". En Measuring Scholarly Impact: Methods and Practice. Berlin: Springer, 285-320. [ Links ]

Vílchez-Román, Carlos. 2014. "Bibliometric factors associated with h-index of Peruvian researchers with publications indexed on Web of Science and Scopus databases". Transinformação 26(2): 143-54. https://doi.org/10.1590/0103-37862014000200004. [ Links ]

Waltman, Ludo, Clara Calero-Medina, Joost Kosten, Ed C. M. Noyons, Robert J. W. Tijssen, Nees Jan van Eck, Thed N. van Leeuwen, Anthony F. J. van Raan, Martijn S. Visser, y Paul Wouters. 2012. "The Leiden Ranking 2011/2012: Data Collection, Indicators, and Interpretation". Journal of the American Society for Information Science and Technology 63(12): 2419-32. https://doi.org/10.1002/asi.22708. [ Links ]

Wilsdon, James, Liz Allen, Eleonora Belfiore, Philip Campbell, Stephen Curry, Steven Hill, Richard Jones, Roger Kain, Simon Kerridge, Mike Thelwall, Jane Tinkler, Ian Viney, Paul Wouters , Jude Hill, y Ben Johnson. 2015. "The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management". SAGE Publications Ltd. https://doi.org/10.13140/RG.2.1.4929.1363. [ Links ]

Para citar este texto: De Jesús-Navarrete, Alberto, José Santos Gómez-Morales, Gabriela Zacarías-de-León, y Brianna Jacobson. 2023. "Productividad científica y visibilidad de El Colegio de la Frontera Sur: 26 años de investigación multidisciplinaria en México". Investigación Bibliotecológica: archivonomía, bibliotecología e información 37 (95): 13-33. http://dx.doi.org/10.22201/iibi.24488321xe.2023.95.58710.

Recibido: 07 de Octubre de 2022; Aprobado: 17 de Febrero de 2023

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons