Introducción

En el artículo tercero del Estatuto Orgánico del Instituto Nacional de Cancerología (INCan), México, se indica que, para el cumplimiento de su objeto, este deberá:

Realizar estudios e investigaciones clínicas, epidemiológicas, experimentales, de desarrollo tecnológico y básicas, en las áreas biomédicas y sociomédicas en la especialidad de las neoplasias, para la comprensión, prevención, diagnóstico y tratamiento de las enfermedades, y rehabilitación de los afectados, así como para promover medidas de salud. Publicar los resultados de las investigaciones y trabajos que realice, así como difundir información técnica y científica sobre los avances que en materia de salud registre.¹

La investigación que se lleva a cabo en el INCan es básica y clínica. Se busca su integración por medio de la investigación traslacional. Además, los médicos clínicos se involucran en la investigación mediante la evaluación de medicamentos y el seguimiento de nuevos protocolos. De 2003 a 2013, en promedio se desarrollaron anualmente 186 protocolos de investigación.² ¿Cómo saber si esta investigación tiene el nivel de “excelencia” que dicta la misión del INCan?

Un recurso es la cienciometría, que aborda el problema analizando las publicaciones científicas mediante técnicas bibliométricas y computacionales, incorporando métodos algorítmicos como el aprendizaje automático y la minería de datos para generar indicadores de productividad y del impacto de la producción científica,³ como la investigación en cáncer.^4-7 En México, cada vez más los investigadores deciden qué investigar y dónde publicar con base en criterios cienciométricos, debido a que con esa misma metodología se evalúa su desempeño. Más aún, los indicadores cienciométricos son el principal sustento para la asignación de recursos destinados a la investigación.

Especialmente cuando los recursos son limitados y los gastos en la atención son tan altos, como en el caso del cáncer,^8,9 la evaluación rigurosa de la actividad científica es imprescindible. Por ello, consideramos que el análisis cienciométrico de la producción científica del INCan es, por un lado, un elemento para el diagnóstico de la situación actual de la investigación en salud en México y, por el otro, un aporte a la toma de decisiones futuras. La metodología que proponemos puede ser trasladada para la obtención del perfil cienciométrico de otras instituciones nacionales de salud donde la investigación sea parte de su quehacer.

Método

Con el software LabSOM, desarrollado por el Laboratorio de Dinámica no Lineal de la Facultad de Ciencias de la Universidad Nacional Autónoma de México, se llevó a cabo un diagnóstico cienciométrico de la productividad científica del INCan a través del análisis de los artículos indexados en la Web of Science (WoS) durante el periodo 2007-2017.

Los indicadores cienciométricos obtenidos fueron los siguientes:

Para poner estos resultados en contexto se hizo una comparación con los resultados obtenidos para otras instituciones. Inicialmente se identificó el total de la producción científica de México indexada en la WoS durante el periodo 2007-2017 por institución, seleccionando mediante InCites los artículos en los que al menos uno de los autores tuviera como adscripción una institución mexicana. Posteriormente se hizo un segundo filtro con el objetivo de enfocarse en la producción científica en el área biomédica. Para ello se filtró la producción por ocho áreas de investigación: Clinical Medicine, Biology & Biochemistry, Immunology, Microbiology, Molecular Biology & Genetics, Neuroscience & Behavior, Pharmacology & Toxicology y Psychiatry/Psychology, de las 22 definidas en el esquema de clasificación del European Scientific Institute. La selección incluye únicamente los artículos científicos en revistas (artículos y artículos de revisión), excluye cartas al editor, correcciones, resúmenes y artículos retractados.

En esta herramienta se eligieron los indicadores descritos anteriormente, se seleccionaron las instituciones de salud y se agregaron dos variables: número de investigadores miembros del Sistema Nacional de Investigadores (SNI) y la producción científica institucional (PC), que se calculó dividiendo el número total de documentos entre el número de investigadores miembros del SNI: Ndoc/SNI.¹⁰

Finalmente, se realizó un análisis computacional multiparamétrico por medio de la metodología ViBlioSOM, que se basa en la familia de algoritmos SOM de las redes neuronales artificiales. Esta metodología, propia de la inteligencia artificial, permitió detectar los perfiles cienciométricos de las instituciones y representarlos por medio de clústers topográficos, según sus similitudes. En resumen, el proceso que lleva a cabo ViBlioSOM consta de cinco pasos: recopilación de datos de la WoS, selección de datos, limpieza e integración de estos, generación del modelo matemático y su procesamiento mediante las redes neuronales. El último paso de la metodología está implementado en la herramienta computacional LabSOM, libremente distribuida en http://www.dynamics.unam.edu/DinamicaNoLineal3/labsom.htm.

Resultados

Durante el periodo 2007-2017, 87 instituciones mexicanas publicaron 146 933 artículos indexados en la WoS. Tomando en cuenta solo el total de artículos, el INCan ocupó el lugar 33 con 1405 documentos. De estos, 49 008 artículos pertenecieron a las áreas biomédicas. En este ranking, el INCan ocupó el lugar 11 con 1323 artículos.

La Tabla 1 condensa la información referente al INCan. En ella se puede observar un crecimiento gradual constante en el número de documentos, número de citas y número de colaboraciones internacionales; excepto por dos años, en los que hubo leve regresión, 2010 y 2014, y dos en los que hubo un crecimiento atípico. Esto se debe a que en 2008 cuatro artículos acumularon entre sí un total de 705 citas, que representan 39.1 % de todas las citas a los 78 artículos publicados ese año. El otro año es 2015, cuando fue publicado el artículo más citado en todo el periodo: Nivolumab versus docetaxel in advanced nonsquamous non-small-cell lung cancer, publicado en 2015 en el New England Journal of Medicine, revista ubicada en el cuartil 1, como resultado de una amplia contribución internacional. Este artículo concentró 1460 citas (69.9 %) de las 2086 obtenidas por 142 artículos publicados ese año (Tabla 1).

Contrario a lo que se podría esperar, el artículo mencionado fue un highly cited paper, no un hot paper. No se encontraron hot papers en todo el periodo. Los 11 highly cited papers describen y discuten resultados comparativos entre tratamientos en pacientes oncológicos y son resultado de colaboraciones interinstitucionales internacionales. En el periodo se registraron 926 colaboraciones con 609 diferentes instituciones, como se muestra en la Figura 1.

Como es natural, Oncología es la categoría temática de la WoS en la que más publicaron (589) y más citas recibieron (6004) los investigadores del INCan. Dentro de esta, las subtemáticas más destacadas para el periodo fueron Oncology, Respiratory system,- Dentistry, Surgery y Obstetrics and Gynecology.

Figura 1 Vínculos de colaboración del Instituto Nacional de Cancerología (INCan) durante el periodo 2007-2017. Fuente: Elaboración propia con información de la Web of Science utilizando la herramienta de software libre VOSviewer (http://www.vosviewer.com). 

El ranking global del impacto normalizado (CNCI) es un indicador que permite hacer comparaciones del impacto entre diferentes áreas, ya que normaliza los estilos de citación. Por medio de él es factible comparar instituciones con producción en áreas diferentes, como matemáticas y biología. La Figura 2 muestra que la producción en biomedicina ha obtenido consistentemente más citas que la media nacional. Además, en 2012, 2013, 2015 y 2016, el indicador CNCI para biomedicina se encuentra por arriba de 1, lo que indica que superó al promedio mundial. En cuanto al INCan, si bien de 2010 a 2013 sus trabajos tuvieron un impacto bajo, en seis de los 11 años del periodo su impacto superó la media nacional y en cinco a la media internacional (Figura 2).

Figura 2 Impacto normalizado por categoría temática (CNCI). Fuente: Elaboración propia con datos de la Web of Science. 

Con el objetivo de comprender mejor los resultados obtenidos para el INCan, se les ubicó en el contexto nacional del desempeño cienciométrico en el área biomédica. En la Tabla 2 se exponen los resultados obtenidos para las 10 instituciones mexicanas de salud indexadas en la WoS durante el periodo 2007-2017. En este ranking, el INCan ocupa el lugar cinco de 10.

Los datos de la Tabla 2 fueron procesados por medio de la metodología ViBlioSOM para practicar un análisis multidimensional con el fin de hallar los diversos perfiles de desempeño cienciométrico de las instituciones y representarlos en clústers topográficos según sus similitudes. Se escogieron cinco indicadores para representar a cada institución: PC, %HP, %EXC, CNCI y %CI. En consecuencia, para la red neuronal cada institución es un objeto matemático (vector) de cinco dimensiones. Durante el entrenamiento, la red considera simultáneamente las cinco dimensiones para organizar las instituciones en el mapa, colocando en una posición cercana a las instituciones más parecidas.

La red neuronal artificial genera automáticamente los mapas que se muestran en la Figura 3. En el mapa A el INCan está agrupado con el Instituto Nacional de Ciencias Médicas y Nutrición “Salvador Zubirán” (INCMNSZ), esto quiere decir que en el periodo de estudio estas instituciones exhibieron un perfil cienciométrico semejante. Por el contrario, el comportamiento de las demás instituciones difiere lo suficiente para ser posicionadas en clústers diferentes. Los mapas B a F corresponden a uno de los cinco indicadores. El color verde corresponde al valor más bajo, el amarillo a la media y el rojo al más alto (Figura 3).

Figura 3 Mapas topográficos que resultan del análisis multiparamétrico con ViBlioSOM. Fuente: Elaboración propia con datos de la WoS utilizando la herramienta LabSOM. 

El color anaranjado del INCan en el mapa B indica que se encuentra en el grupo de las segundas instituciones más productivas, es decir, con mayor número de artículos por miembro del SNI, después del Hospital General de México, el Hospital Infantil de México “Federico Gómez” y el INCMNSZ. En cuanto a impacto, el mapa E ubica al INCan en la media, junto con el Instituto Nacional de Cardiología y el INCMNSZ. El indicador CNCI señala que el INCan supera a la media mundial en cuanto a impacto. Los indicadores de los mapas C y D son indicadores de calidad y en ambos, el INCan tiene valores bajos. Durante el periodo estudiado produjo poca investigación de excelencia (%Exc) y poca investigación de alto desempeño (%HP). El mapa F muestra que el comportamiento del INCan respecto a la colaboración internacional es bajo, como en el resto de las instituciones.

Discusión

El hecho de que el INCan se ubique entre las instituciones mexicanas científicamente más productivas es un indicador positivo irrefutable. El primer lugar del ranking está ocupado por el Instituto Mexicano del Seguro Social, institución a la que le fue asignado 49.1 % del presupuesto neto para el Sector Salud. En 2017, el Instituto Mexicano del Seguro Social destinó 727.1 millones a la investigación y tuvo 324 investigadores miembros del SNI, por lo que no sorprende que haya publicado el mayor número de documentos. Dicho lo anterior, la relación entre el presupuesto anual y el número total de documentos publicados no es lineal: el Instituto Nacional de Salud Pública (INSP), el INCMNSZ y el Instituto Nacional de Cardiología recibieron menor presupuesto que el INCan y publicaron más.

El número de investigadores miembros del SNI está más directamente correlacionado con el número de publicaciones que el presupuesto. El ranking de instituciones que se genera por número de miembros del SNI es casi igual al del número de documentos publicados. Esta correlación tiene la ventaja de ser un recurso para comparar las instituciones tomando en cuenta solo los recursos destinados a la investigación. Por ejemplo, aunque el total absoluto de documentos publicados por el Instituto Mexicano del Seguro Social es mucho mayor que el del INSP, la productividad científica institucional y el índice de citas del INSP es mayor. En el ranking de productividad científica institucional, el INCan ocupa el cuarto lugar.

Los mapas de la Figura 3 revelan la discrepancia entre productividad cuantitativa y cualitativa. Las áreas del mapa que corresponden a calidad (zonas rojas de los mapas C, D y E) no coinciden con las de productividad. Si se enlista las instituciones por su índice de citas, el INCan aparece en el número 8 de 10. Al profundizar en el análisis de la producción exclusiva del INCan, encontramos que de los 1323 documentos publicados en el periodo, 633 no tuvieron una sola cita. Es decir, 52.15 % de los documentos publicados generó las 12 243 citas acumuladas.

De hecho, los 11 highly cited papers (0.78 %) generaron 26.9 % de todas las citas. Más atípico aún es el comportamiento cienciométrico del artículo Nivolumab versus docetaxel in advanced nonsquamous non-small-cell lung cancer. Su impacto ha sido tal, que su año de publicación es el único en el que el promedio de citas por artículo en el INCan (11.01) casi duplicó al promedio mundial (5.94), mientras que en todos los demás años estuvo por debajo. Este artículo es un outlet que modifica la dinámica del sistema. Sin él, el INCan ocuparía el último lugar en la lista por índice de citas.

De las 583 instituciones con las que el INCan colaboró, 223 aparecen en la lista una sola vez. La colaboración más intensa en cuanto a número de artículos y permanencia en el tiempo se da con las instituciones mexicanas más productivas científicamente, lo que también es un buen indicador del nivel de los investigadores del INCan. Entre las colaboraciones internacionales con mayor durabilidad y productividad dominan las establecidas con instituciones estadounidenses.

El análisis multiparamétrico indica que la mayoría de las instituciones de salud pública mexicanas ha logrado alta productividad e impacto con un porcentaje bajo de colaboraciones internacionales, con excepción del INSP, que tiene un perfil de poca productividad (PC bajo), pero alta calidad (CNCI alto) y con los valores más altos en producción de excelencia (%Exc), de alto desempeño (%HP) y de colaboración internacional (%CI).

Los temas y las revistas en las que los investigadores del INCan más publican y mayor impacto tienen son los que relacionan la oncología con la investigación clínica. El vínculo entre la investigación y la atención clínica que posibilita un instituto nacional ha sido positivamente explotado por los investigadores del INCan. En cambio, las publicaciones evidencian un déficit en la investigación sobre la enseñanza médica, otra de las actividades primordiales del INCan, y que debe ayudar a afrontar el déficit de oncólogos que tiene México.

Otro tema de investigación soslayado es la medicina social. El cáncer en la población mexicana desfavorecida evidencia las desigualdades sociales y las agudiza. Por ello es prioritario desarrollar investigaciones que contribuyan a diseñar y aplicar programas culturalmente apropiados que tengan en cuenta los determinantes sociales y los factores conductuales que aumentan el riesgo de padecer cáncer, por medio de intervenciones que incluyan enfoques de género, interculturales y comunitarios.

Conclusiones

Si bien la revisión por pares es insustituible y es la que puede establecer conclusivamente la relevancia de una investigación científica, los especialistas en cienciometría se han esforzado por diseñar nuevos indicadores normalizados e independientes de tamaño que permitan medir y comparar justamente la actividad de las diferentes comunidades científicas. Por otro lado, la actividad científica no puede ser evaluada considerando una o dos variables, pues, como cualquier actividad social, es un fenómeno complejo multidimensional. Los perfiles cienciométricos derivados del análisis multiparamétrico con el SOM permiten realizar un diagnóstico institucional, integral, sobre el desempeño científico, considerando varias dimensiones a la vez. Globalmente, el INCan exhibe un perfil cienciométrico de una productividad media alta e impacto normalizado por arriba de la media mundial. Sus áreas de oportunidad se encuentran en la producción de excelencia (%Exc) y de alto desempeño (%HP).