Comentario

La evaluación, los "rankings" internacionales y la moda

El mundo en que hoy vivimos se caracteriza por ser altamente competitivo. La preocupación por lograr un buen posicionamiento con respecto a nuestros pares, no es ajena al mundo académico. Con la publicación en 1975 de las primeras listas de los factores de impacto de las revistas científicas de corriente principal por el Institute for Scientific Information, ISI de Filadelfia, el concepto de los "rankings" llegó para quedarse al campo de la Bibliotecología y la Información como una de las formas de ubicar publicaciones en el contexto global. Alcanzar un alto factor de impacto y estar entre las primeras posiciones dentro de su propia categoría temática, permite a una revista académica atraer la atención de más autores y trabajos de calidad, incrementar el conjunto de manuscritos enviados para su publicación y mejorar la selección de éstos como una manera de elevar la calidad de sus artículos y las oportunidades para que éstos sean citados.

El factor de impacto es una medida que relaciona el número de citas dadas en un determinado año a los artículos publicados por una determinada revista y el número de artículos publicados en los dos años anteriores en esa misma revista. Por tratarse de una medida disponible únicamente para las revistas más citadas a nivel internacional e incluidas en las bases de citas del ISI, solamente cubre un porcentaje muy reducido de la totalidad de revistas científicas publicadas cada año en todo el mundo. Los Journal Citation Reports (JCR), publicación que da a conocer anualmente los factores de impacto de las revistas de corriente principal, se ha convertido en un instrumento de evaluación, no únicamente de revistas sino también de los autores y las instituciones que utilizan estos medios para la publicación de sus investigaciones. La aplicación indiscriminada de este indicador es, justamente, muy criticada en evaluaciones académicas; sin embargo, ha resultado ser una fuente única de datos sobre el comportamiento de las revistas científicas y sus patrones de publicación y citación. Llaman la atención dos servicios de reciente creación: journal ranking.com que se anuncia como el primer servicio interactivo en línea que permite a los usuarios configurar los "rankings" de revistas de acuerdo con sus propios intereses, producido por el Hong Kong University of Science and Technology: http://www.journal–ranking.com/ranking/web/index.html y el Eigenfactor: Ranking and Mapping Scientific Knowledge: http://www.eigenfactor.org/index.php, un recurso que basa sus calificaciones de revistas utilizando las redes sociales como factor de ponderación.

En la actualidad, la moda por los "rankings" está muy presente en el ámbito universitario. Ser pronunciado como el número 1 o lograr las primeras posiciones en una escala basada en la aplicación de una serie. La evaluación, los "rankings" internacionales y la moda determinada de criterios, pueda ser visto como una manera de lograr un acrecentado prestigio, el cual arroja beneficios tales como mejor colocación para atraer fondos, artículos o alumnos. Prueba del interés que hay en el tema de los "rankings" de las universidades, es la existencia de una página web: University Ranking Watch http://www.rankingwatch.blogspot.com/ para el análisis y la discusión del tema, y de la calidad de la educación superior en general.

En cuanto a las instituciones que se dedican a publicar las escalas de los "rankings" de las universidades a nivel mundial, quizás el más conocido es el Times Higher Education Supplement (THES): http://www.thes.co.uk/worldrankings/. Desde 2004, se pretende ofrecer una visión consistente y sistemática de las mejores universidades en el contexto de la globalización de la educación superior. Los "rankings" se fundamentan en los siguientes seis grupos de criterios: 40% en la opinión de pares en cuanto a las instituciones de más prestigio en sus respectivas especialidades; 20% acerca del impacto de la investigación (número de citas por académico); 20% referido a la relación numérica entre el personal académico y los alumnos; 10% corresponde a la opinión de los sectores reclutadores de personal acerca de los egresados; 5% con relación a la proporción de personal académico extranjero, así como otro 5% con relación a la proporción de alumnos extranjeros. Tan populares han resultado estos "rankings" que se han convertido en un negocio que requiere pagar una suscripción para consultarlos en línea. Los datos son recabados por un grupo de consultores especializados en la aplicación de metodologías de evaluación en el entorno académico–científico, y el análisis de citas basado en los datos del ISI.

El "Academic Ranking of World Universities" (ARWU) publicado anualmente desde 2004 por el Instituto de Educación Superior de la Universidad de Shanghai Jiao Tong (SJTU), China: http://ed.sjtu.edu.cn/ranking2006.htm se lleva a cabo por la propia institución y sin intereses comerciales, por lo que los resultados están disponibles libremente. La calificación para el año 2006, se basa en los siguientes criterios y porcentajes: calidad de la educación (10% basado en los graduados de la institución ganadores de los premios Nóbel y otros premios en su campo); calidad de los académicos (20% académicos de la institución ganadores de los premios Nóbel y otros premios en el campo de las matemáticas y 20% académicos que reciben un elevado número de citas en 21 categorías temáticas generales); producción en la investigación (20% con respecto a los artículos publicados en las revistas de Nature y Science, salvo en el caso de aquellas universidades enfocadas a las humanidades y ciencias sociales y 20% artículos en Science Citation Index Expanded y el Social Science Citation Index) y, finalmente, el tamaño de la institución (10% con base en el desempeño académico con respecto al tamaño de la institución). A diferencia de los "rankings" del Times Higher Education Supplement, se utilizan datos de terceros por lo tanto disponibles para cualquier persona que quisiera verificarlos.

Una alta visibilidad a nivel internacional de las universidades es representada, hoy en día, también por una importante presencia en el web. Un recurso que desde 2004 proporciona el Centro de Documentación e Información Científica, CINDOC, de Madrid, son los web "rankings" de las universidades basado en un amplio rango de actividades vistas a través de los sitios académicos que complementen los indicadores bibliométricos tradicionales: http://www.webometrics.info/index.html. Los indicadores web demuestran, entre otras consideraciones, el compromiso de las instituciones de publicación en el Internet, ya que uno de los criterios utilizados es la disponibilidad de archivos en formato html, pdf en los sitios de las universidades y otros centros académicos.

De más reciente creación, se pueden agregar la lista de las 100 mejores universidades publicadas por la revista Newsweek, basada en ciertos de los criterios empleados por el THES y el SJTU, pero incorporando, notablemente uno nuevo, el número de volúmenes en sus bibliotecas que representó el 10% del puntaje final: http://www.msnbc.msn.com/id/14321230/site/newsweek/.

Los diferentes sistemas de "rankings", a pesar de estar basados en parámetros propios y pertinentes al mundo académico y con una clara tendencia de dar mayor peso a la calidad de la investigación, ofrecen visiones distintas debidas a la aplicación de diferentes metodologías que forzosamente son arbitrarias por ser tan selectivas y, de ninguna manera, permiten una evaluación exhaustiva y sin sesgos. En el sistema SJTU se asigna mucho peso a logros personales como es el número de recipientes de importantes premios, otorgados por toda una trayectoria en la investigación. En otras palabras, apremia más el pasado que el presente de la institución, perjudicando a las instituciones de más reciente creación. Éste último grupo de universidades tampoco va a salir muy favorecido por las revisiones por pares, indicador muy presente en el esquema del THES, por ser un proceso reconocido como susceptible a emitir opiniones subjetivas, puesto que la mayoría de los pares provienen de las instituciones de mayor tradición. Asimismo, son muy reconocidos los problemas asociados al uso de los criterios de publicación y citación basados exclusivamente en las base de datos producidos por el ISI. Para mencionar únicamente los más graves son: la poca representatividad de la producción total en Humanidades y Ciencias Sociales (el THES no aplica el indicador de citas para estas áreas), de las revistas publicadas en idiomas que no sean el inglés, así como de las revistas publicadas en los países en desarrollo.

En todos los sistemas, la visión es global por lo tanto los criterios son aquellos que permiten comparaciones a nivel internacional y que no toman en cuenta los contextos específicos, tanto económicos, políticos, culturales y sociales de las instituciones de cada región del mundo y, en particular, las circunstancias muy especiales que vive la educación y la ciencia en los países en desarrollo. No obstante, como es una consideración en cualquier evaluación a cualquier nivel, es imperativo declarar desde un principio los objetivos y alcances que pretende la evaluación y diseñar una metodología adecuada para lograr dichos propósitos. Cuando es de interés conocer el posicionamiento de una de las universidades mexicanas en el entorno global el cual implica la aplicación de criterios capaces de permitir una evaluación con estas características, se puede recurrir a sitios como son el THES y el SJTU. Lo importante es no perder de vista lo limitante que es esta visión en comparición con una evaluación holística e integral.

No obstante, las razones para considerar los "rankings" disponibles tanto de universidades como de revistas, como visiones parciales y sesgadas, la cultura de la competitividad aunada con la característica muy humana de querer ser el mejor, el número uno, nos sugieren que los "rankings" no nos van a dejar. Al contrario, podemos esperar una verdadera ola de recursos en Internet que ofrecen nuevas y variadas formas de posicionamiento de instituciones y otros artefactos del entorno académico. Siempre hay que manejar estas estadísticas con cierta cautela y no considerar ninguno de estos "rankings" como una panacea, una verdad absoluta o como sustituto de una verdadera evaluación apegada a todo el rigor que exigen estos ejercicios de valor indiscutible en la planeación del quehacer universitario.

Jane M. Russell Barnard