Consideración
Los autores de esta contribución somos reconocidos como Investigadores Nacionales Nivel III del área VI por el Sistema Nacional de Investigadores (SNI) en México: Biotecnología y Ciencias Agropecuarias (ahora área VII: Ciencias de Agricultura, Agropecuarias, Forestales y de Ecosistemas). Nosotros estamos preocupados por la distorsión potencial que, en el análisis de la valoración integral del impacto del quehacer científico, presupone el uso de la herramienta cuantitativa conocida como “Índice h de Scopus”.
Introducción
“A scientist has index h if h of his or her Np papers have at least h citations each and the other (Np - h) papers have ≤ h citations each” (Hirsch, 2005)
El impacto y la relevancia de los resultados son incuestionables en los casos de pocos investigadores. Sin embargo, esos aspectos en la mayoría de los científicos se someten a procesos de evaluación en los que se involucran registros de publicaciones y de las citas correspondientes (Van Leeuwen et al., 2003). Por ello, algunos índices se han desarrollado. Entre ellos, el índice h (Hirsch, 2005) se ha propuesto en varios sistemas de evaluación en México y en otros países. El índice h parece ser el más usado a nivel internacional. Hirsch (2010 y 2019) propuso otros dos índices (ħ y h α) con el propósito de superar algunas desventajas de h, mismas que se describen en secciones por separado en esta contribución.
En resumen, el análisis de sus procesos de estimación sugiere que el índice h se enfoca en evaluar el impacto amplio del trabajo individual y es el soporte importante de los índices ħ y h α. Sin embargo, ninguno de esos índices muestra si en los artículos científicos, los autores aportan conocimiento nuevo, usos y aplicaciones posibles de dicho conocimiento. Inclusive, esos índices ignoran el nivel de aportación individual de los autores. Por lo tanto, en detrimento de una valoración real de la productividad científica, el uso no equilibrado del índice h es desafortunado entre las diferentes áreas del conocimiento para valorar la contribución real a la sociedad y al avance del conocimiento científico de un investigador cuando se valoran sus aportaciones, toda vez que conlleva sesgos evidentes. El índice h, tal como se ha demostrado considerablemente, depende en buena medida del tamaño de la subcomunidad científica que se dedica al tema específico del investigador en proceso de evaluación, así como de la velocidad de publicación en la temática especifica (Costas y Bordons, 2007). Asimismo, el índice h no mide la contribución relativa de un investigador en las publicaciones; en consecuencia, su valor se incrementa significativamente en el caso de un investigador determinado si esas publicaciones se generan por grupos de entre 80 hasta 700 autores que trabajan en temas de actualidad. Evidentemente, el citado índice omite la consideración de obras como libros y capítulos de libro, las contribuciones en la formación de recursos humanos y de grupos, así como la participación en sociedades científicas. De manera adicional, el índice h desfavorece a quienes realizan investigación orientada a la resolución de problemas locales; tampoco valora los aportes a la innovación, a la difusión y a la divulgación del conocimiento científico. De manera relevante, lo preciso es enfatizar que el índice h no toma en cuenta la contribución científica de un investigador determinado para el establecimiento de políticas, las cuales pueden ser estratégicas y de relevancia local, regional e inclusive nacional. Por lo tanto, la necesidad de gestionar un sistema que considere esos aspectos es imprescindible con el propósito de evaluar el impacto posible de la obra de cada investigador.
El índice h
Al índice h lo propuso el físico J. E. Hirsch (2005) para cuantificar el impacto amplio del trabajo de un investigador. Fundamentalmente, la propuesta de Hirsch se resume en lo siguiente: “Un investigador tiene un índice h si ha publicado h trabajos con al menos h citas cada uno” (Marques, 2013). Por ejemplo, si un investigador ha publicado 50 artículos a lo largo de su carrera con al menos 50 citas cada uno, su índice h es igual a 50 (h 2 es igual a 2500). Si otro investigador ha publicado 250 artículos en toda su carrera, pero sólo 10 de ellos se citaron 10 veces cada uno, su índice h es igual a 10 (nótese entonces que h 2 es igual a 2500, el número total de citas que involucra el proceso de estimación de h). En ambos casos, el índice h al cuadrado (h 2 ) omite involucrar las citas que corresponden al resto de artículos con número de citas menor a h; es decir, h per se omite la consideración del número total de citas de la obra de los investigadores. Entonces, tal como lo establecen Imperial y Rodríguez-Navarro (2005), para obtener un índice h que pudiésemos considerar grande (>50) se requiere publicar artículos, al menos 50, que sean citados ampliamente por los colegas de la subcomunidad de su temática de investigación. Por otro lado, si un investigador tiene una producción científica cuantiosa pero la misma es poco citada por su subcomunidad científica, entonces este investigador tendrá un índice h considerado como pequeño (<50). He aquí explícito el primer sofisma de la aplicación a rajatabla del índice h para medir la “calidad” del trabajo científico de un investigador: “la calidad del investigador dependerá exclusivamente de que una cantidad significativa de artículos por él producidos (al menos 50) sean ampliamente citados por su subcomunidad científica (por lo menos 50 veces cada uno de esos 50 artículos”. Por otro lado, las citas pueden ser pocas o nulas después de un período de popularidad, entonces, h omite que la obra del investigador puede citarse en el futuro; aunque posiblemente muchos artículos podrán citarse después de la fecha de estimación del índice h, según lo consignado por Redner (2005). Casos excepcionales como el número mayor de citas de la obra de un investigador puede corresponder a un período posterior a la época que vivió (p. ej. Albert Einstein). En síntesis, solo algunos artículos contribuyen en el valor de h y otros nunca lo hacen.
Hirsch (2005) estimó los valores del índice h correspondientes a físicos receptores del Premio Nobel y a biólogos y biomédicos famosos. En el caso de los físicos, el índice h varió de 16 a 70 y la mediana fue 35. En el caso de biólogos y biomédicos, al considerar una lista de Thompson ISI (1983-2002), el rango de h al considerar los 10 con h’s mayores es de 120 a 191. Por consiguiente, Hirsch (2005) concluyó que los índices h de investigadores de las áreas de biología y biomedicina tienden a ser mayores que los de los físicos receptores del Premio Nobel; aunque, él también consignó que las diferencias de h tienden a ser mayores al involucrar a los valores máximos que a los promedios. Además, lo pertinente sería identificar los perfiles de los investigadores con índice h mayor. La acumulación de citas no solo depende del tamaño de la subcomunidad científica sino también de la velocidad en la cual se generan las publicaciones en cada subcomunidad. Así, no es convincente comparar la velocidad de publicación de un investigador cuya especie de estudio sea una bacteria, toda vez que dicho microorganismo se reproduce cada 20 minutos, con la de otro investigador cuyo objeto de estudio es la gestación de la ballena azul (Balaenoptera musculus), lo cual conlleva un periodo de 12 meses. Para ilustrar y sustentar estas afirmaciones, los autores de esta contribución logramos evidenciar que los 20 científicos laborando en México con los índices h máximos, de acuerdo con la edición del Webometrics (2016), son físicos, de sexo masculino, trabajan en la Ciudad de México, pertenecen a un grupo internacional sólido y publican artículos con un promedio de 47 autores (Cuadro 1). Es tal el sesgo que ninguno de ellos se ubica en el Área VI: Biotecnología y Ciencias Agropecuarias del Sistema Nacional de Investigadores.
Profundidad | pH | P-asim. | MO | Cationes intercambiables | CIC | |||
Na+ | K+ | Mg2+ | Ca2+ | |||||
cm | H2O | mg kg-1 | % | - - - - cmol (+) kg-1 - - - - | cmol (+) kg-1 | |||
0-30 | 5.7 | 154 | 3.32 | 0.21 | 0.53 | 2.05 | 15.78 | 18.21 |
Fuente: Webometrics (2016).
Source: Webometrics (2016).
El análisis de la información del Cuadro 1 coincide con la propuesta de Hirsch (2005), quien propuso la necesidad de realizar investigación para entender similitudes y diferencias de distribuciones del índice h correspondientes a investigadores involucrados en campos científicos diferentes que pueden ser de interés; incluso, los autores de esta contribución, consideramos que es importante identificar los factores que inciden sobre esas distribuciones con el fin de explicar la dependencia del índice h y, en general, el número total de citas, entre otros atributos de investigadores y sus artículos publicados.
La cuantificación de la producción de un investigador mediante el índice h no muestra el impacto o los beneficios de la investigación en el desarrollo de la humanidad. Esto se torna más complejo conforme se incrementa el número de autores de los artículos porque, notoriamente, la contribución intelectual es diferenciada y, en ese sentido, Hirsch (2010) propuso el índice ħ (“hbar”).
El índice ħ (“hbar”)
Hirsch (2010) propuso el índice ħ (“hbar”) para caracterizar la producción científica de un investigador que considera el efecto de autoría múltiple. El índice ħ es definido como el número de artículos de un individuo que tiene un número de citas mayor que o igual que el ħ de todos los coautores de cada artículo. La estimación de ħ consiste en un conjunto de iteraciones con el fin de involucrar citas a los artículos en los que el investigador aparece en el listado de autores con índice h menor que el de él. Por supuesto, el auto consistente ħ es un constructo teórico atractivo, pero carece de valor práctico dado que es extremadamente difícil de estimar. Esa desventaja está asociada al proceso iterativo involucrado porque siempre se incrementa conforme aumenta el número de coautores, aun cuando se tenga un artículo o conjunto de artículos determinado como referencia o clave para el caso del investigador cuyo ħ se desea estimar (Hirsch, 2010). En general, lo esperable es que ħ < h, lo cual puede estar relacionado con obra publicada en la que se involucren menos coautores con h’s menores a los del investigador del caso. Es decir, ħ tiende a representar el nivel de independencia de un investigador; quizás, éste es el aspecto relevante del índice ħ. Sin embargo, ħ es un índice que considera las citas a los artículos en los que el investigador aparentemente fue el integrante con el h mayor; sin embargo, ello no es evidencia que el investigador sea el líder; esto sugiere que ħ tiene casi las mismas desventajas de h, previamente señaladas. Por tales razones, Hirsch (2019) propuso el índice h α, cuya finalidad es cuantificar el liderazgo científico individual.
El índice h α
El índice h α involucra las citas a los artículos en los que el investigador fue el autor que escribió el artículo (Hirsch, 2019), siempre y cuando su índice h sea menor o igual a los h’s de los coautores. En otras palabras, en el caso de cualquier investigador, h α ≤ h. En sí, el proceso de estimación de h α representa desventaja para los investigadores en formación porque son los que generalmente escriben y el crédito se asigna a los directores de tesis. Otra desventaja consiste en que el proceso se complica conforme el número de coautores aumenta. Obviamente, el valor del índice h α tiene menos posibilidad de incrementarse conforme el patrón de coautoría involucra más investigadores. En otras palabras, el valor del índice h α puede depender del perfil, disciplina y área de conocimiento, entre otros aspectos. Por lo tanto, su generalización con fines de uso en evaluación de la productividad científica de investigadores puede involucrar sesgos injustos (Martin, 1996).
Discusión General
El índice h y la calidad académica de un investigador
Un sofisma del índice h consiste en su aplicación como el criterio principal o el prevaleciente para la valoración de la “calidad académica” de la obra de un investigador. El índice h únicamente establece, prácticamente de forma exclusiva, que tan citados son los artículos en los que aparece como autor/coautor (Glänzel et al., 2006). Sin embargo, el índice h no determina de manera absoluta la contribución relativa de un investigador a la generación de un manuscrito. Lo anterior es mucho más evidente cuando se observa que, en el caso de los científicos mexicanos, los primeros cinco clasificados en orden descendente del valor del índice h, publican sus trabajos más citados en promedio con 47 autores. En el campo de la genómica y de la física de partículas, actualmente, lo común es encontrar trabajos publicados con cientos de autores. Lo anterior permite dilucidar otro aspecto que favorece el incremento del índice h de un investigador; si el investigador se educó académicamente en el extranjero y es integrante de un grupo numeroso de investigación internacional que trabaja en un tema de actualidad; entonces sus posibilidades de incrementar su índice h estarán en proporción directa al tamaño del grupo internacional de investigación del cual es miembro.
El índice h y la formación de recursos humanos
El índice h de ninguna manera valora la contribución de un investigador en la formación de recursos humanos, tan necesario para un país como México. Si bien las tesis de doctorado en ciencias redundan en una publicación científica, por lo general, las tesis de maestría en ciencias y las de licenciatura, en el mejor de los casos, redundan en publicaciones en revistas regionales o nacionales, que no se toman en cuenta para el cálculo del índice h, toda vez que no están incluidas en algunos índices y bases de datos bibliométricos dirigidas por compañías editoriales transnacionales, por ejemplo, Scopus de Elsevier.
El índice h y la apropiación social del conocimiento
El índice h también ignora los esfuerzos que, a lo largo de su trayectoria, un investigador desarrolla para contribuir a la apropiación social del conocimiento. Esencialmente todos los artículos de difusión y de divulgación, así como libros y capítulos de libros, a pesar de su repercusión posible a niveles local, regional e inclusive nacional; todo ello simplemente carece de efecto cuantitativo alguno sobre el valor del índice h del autor o autores de dichas obras.
El índice h y la gestión de recursos para el desarrollo de proyectos
El índice h no considera los esfuerzos que un investigador realiza para proponer, gestionar y dirigir proyectos de investigación. Por más esfuerzo que un investigador dedique a dichas actividades, por más relevancia que tenga para una institución la consecución de recursos económicos a través del éxito en la obtención de recursos concurrentes sumados a los recursos propios, nada es útil para incrementar su índice h. Quizás, lo válido es discernir que tales esfuerzos son recompensados con las citas a la obra involucrada en el proceso de estimación del índice h; sin embargo, muchos de estos esfuerzos requieren de tiempo y dedicación que no se manifiesta precisamente en citas bibliográficas en ciertas revistas incluidas en índices y bases de datos con interés meramente comercial de empresas que no financian proyectos de investigación científica (Lewison et al., 1999). No solo es merecedor resaltar la repercusión institucional de que un investigador gestione financiamiento para proyectos cuyos recursos provienen de diferentes fuentes de financiamiento como Consejo Nacional de Ciencia y Tecnología) (CONACYT), Programa Iberoamericano de Ciencia y Tecnología para el Desarrollo (CYTED), University of California Institute for Mexico and the United States (UC-MEXUS) y otros, sino también de que gestione recursos para proyectos ante dependencias como, por ejemplo, la Secretaría de Agricultura y Desarrollo Rural (SADER), la Secretaría de Medio Ambiente y Recursos Naturales (SEMARNAT), la Comisión Nacional de Áreas Protegidas (CONANP), la Comisión Nacional del Agua (CONAGUA) y la Comisión Nacional de Acuacultura y Pesca (CONAPESCA), entre otras. Estos proyectos inciden directamente, por lo general, en recomendaciones precisas para el uso sustentable de los recursos naturales valiosos de México. Sin embargo, ello no contribuye a incrementar el índice h del proponente. Lo demostrado en el ámbito mundial es que los investigadores que desarrollan investigación aplicada son con mucho, significativamente menos que aquellos que trabajan en disciplinas de investigación básica (Imperial y Rodríguez-Navarro, 2005). En México, también se aplica esta condición, motivo por el cual se debe reflexionar en el sentido de que es fundamental que, a través de la investigación científica de calidad, los resultados evidencien un impacto real en la creación y aplicación de políticas y programas públicos.
El índice h, las citas y la generación de conocimiento
La cantidad de citas que le otorga una subcomunidad científica a un manuscrito está indudable y directamente relacionada con el número de investigadores que integran tal subcomunidad. El supuesto de que h cuantifica el impacto amplio del trabajo de un investigador es cuestionable en esta era de inflación de dicho índice por razones diversas. Entre ellas, su estimación se complica porque el número de artículos listados con más autores está en constante aumento, incluso, ya se indica en algunos casos que los dos primeros autores contribuyeron de manera similar y que dos son los autores para correspondencia. Estas limitaciones del proceso de estimación de h se involucran en la estimación de los índices ħ y h α. Por consiguiente, sus usos con fines de evaluación del impacto de la producción de algún investigador pueden ser falible. El índice h excluye el número total de citas de la obra. El proceso de estimación es actual, en otras palabras, h omite que la obra o parte de ella puede ser citada en el futuro; tal puede ser un caso como el asociado al número mayor de citas de la obra de algún investigador puede corresponder a un período posterior al que el investigador vivió. Tal como se practica, el uso de h se traduce en que solo algunos artículos contribuyen en su valor y otros nunca lo hacen. Otra desventaja evidente del índice h es que considera a todas las citas como válidas, aunque los comentarios sobre algún artículo sean negativos. Por ejemplo, muchas citas corresponden a señalamientos concernientes a que los autores falsearon información o cometieron fraude, entre otros aspectos indeseables. Otras desventajas del índice h es que puede involucrar citas de artículos en los que el conocimiento nuevo está ausente y puede omitir citas de artículos con número de citas < h en los que se aporta conocimiento nuevo y se involucran usos y aplicaciones del conocimiento nuevo generado o confirmado. De hecho, la comunidad científica cita frecuentemente artículos que son fuente de problemas científicos (‘gaps’), llamadas revisiones (‘Reviews’) y publicados por autores que, comúnmente, son investigadores reconocidos como líderes en ciertas disciplinas; en general, dichas contribuciones son las más citadas.
El índice h y las comisiones evaluadoras en México
La inquietud esencial que impulsó la redacción de esta contribución es el desasosiego que los autores de este ensayo tenemos sobre el futuro inmediato y a mediano plazo de la investigación científica en México. Algunos investigadores que han solicitado su promoción han expresado que las valoraciones que se hacen a la producción académica de los investigadores del área VI del Sistema Nacional de Investigadores frecuentemente se resumen en una expresión: “…su índice h es insuficiente para recomendar…”. Mediante dicha afirmación o similares, las Comisiones Dictaminadoras de Investigadores Eméritos del Sistema Nacional de Investigadores han tomado en cuenta la aportación de investigadores que generaron cientos de artículos, que graduaron decenas de estudiantes de licenciatura, así como maestros y doctores en ciencias. Asimismo, han dirigido proyectos de investigación y programas de manejo de recursos naturales, que han contribuido a divulgar y a difundir la ciencia a través de decenas de libros, centenas de capítulos de libros, cientos de artículos de divulgación y difusión. El sector académico cuenta también con investigadores que han generado el sustento de políticas públicas para el uso, manejo y preservación de los únicos y muy valiosos recursos naturales de México. Además, las evidencias involucran a investigadores que, por lo mismo, han recibido varios doctorados Honoris Causa.
A varios de los investigadores que se hace alusión, algunas Comisiones Dictaminadoras de Investigadores Eméritos del Sistema Nacional de Investigadores han resumido las aportaciones de toda su vida en una simple, desafortunada y francamente ofensiva frase: “Su índice h es insuficiente” y les han negado la distinción de Investigador Emérito.
Entonces se trata de una aplicación a rajatabla del índice h injusta, desconsiderada, irreflexiva y no ponderada, la cual al parecer es la que seguirá predominando para valorar “la supuesta calidad” de la obra de un investigador mexicano por algunas de las comisiones que recomiendan si se es merecedor o no del emeritazgo en el Sistema Nacional de Investigadores. Entonces, un escenario que tal vez ocurra y que puede ser absolutamente lógico apunta a que los investigadores jóvenes desistan de aportar con sus trabajos de investigación, al desarrollo social de nuestro país, que abandonen la formación de recursos humanos y que se concentren exclusivamente en publicar con grupos internacionales de investigadores compuestos por cientos de autores en temas de actualidad o “moda académica”, con el único propósito de incrementar su índice h. Es desafortunado que vaya a ocurrir tan grave distorsión del quehacer científico en México.
Reflexión Final
El índice h cuantifica en sentido amplio la producción de los investigadores, pero no muestra si el conocimiento generado es innovador o tiene usos y aplicaciones prácticas que beneficien los intereses de la humanidad. Por consiguiente, su uso para cuantificar (y cualificar) el impacto de la obra de los investigadores puede carecer de validez objetiva. A pesar de las desventajas mencionadas, el índice h se utiliza con fines de evaluación de la productividad de los investigadores; tal es el caso del proceso de evaluación implementado por el Sistema Nacional de Investigadores en México. Por lo anterior, la preocupación esencial de los autores de este ensayo concierne a la valoración de la producción académico-científica de los miembros del Sistema Nacional de Investigadores, Área VI, basado en el índice h de ‘Scopus’, pues las evidencias sugieren que este índice es falible en ese contexto. Los criterios específicos de evaluación de las comisiones dictaminadoras y revisoras en esta área con claridad involucran a dicho índice al igual que los de otras comisiones, incluyendo la de Investigadores Eméritos, de manera que nosotros sugerimos que se tome nota de las evidencias compartidas en esta contribución.
Conclusiones
Los procesos de estimación de los índices h, ħ y hα sugieren que su uso en procesos de evaluación del impacto de la obra de los investigadores es falible, dadas las limitaciones sobre sus usos con ese propósito. Estos índices no muestran si la obra citada aportó en términos de conocimiento nuevo, o bien, usos y aplicaciones posibles del conocimiento generado nuevo o confirmado; inclusive, esos índices carecen de soporte con respecto a la aportación de cada autor de la obra publicada, especialmente si las revistas son no válidas, es decir, si las revistas no están incluidas en ciertos índices y bases de datos bibliométricos de empresas editoriales comerciales transnacionales. En otras palabras, el índice h ignora la ciencia que no tiene que ver o que no está citada en un artículo publicado en revista indexada.
¿Qué sucede si un investigador trabaja en un campo que valora más las patentes y desarrollos industriales que las publicaciones, como la química industrial? Un caso así no estaría representado de manera íntegra en su índice h. Lo mismo ocurre con el software, las publicaciones de blogs u otros tipos de resultados académicos "no tradicionales" e incluso uno que se consideraría "tradicional", los libros y capítulos de libros. En otras disciplinas que se relacionan con políticas públicas y otras más, de aplicación regional, incluyendo salud pública, sanidad vegetal, el índice h no revela si se ha ejercido influencia significativa en las políticas públicas o en la mejora de los resultados de salud global, lo cual deja en descubierto las posibilidades de sesgo y subvaloración en los sistemas de evaluación del desempeño académico.
- La necesidad de desarrollar un sistema de evaluación que involucre si cada artículo publicado aporta conocimiento nuevo, usos y aplicaciones posibles, así como el nivel de contribución de cada integrante en la lista de autores es imprescindible con el objetivo de evaluar el impacto posible de la obra de cada investigador.