nueva página del texto (beta)
Español (pdf)
Artículo en XML
Referencias del artículo
Traducción automática
Enviar artículo por email
Citado por SciELO 
Similares en
SciELO 
Permalink
Introducción
En México, es notoria la brecha entre una minoría de productores que compiten en el mercado agrícola y una mayoría de pequeños productores que recurren a la pluriactividad porque sus ingresos son insuficientes (Grammont, 2010). Además, dado que estos últimos poseen superficies pequeñas y marginales, son especialmente vulnerables a los efectos del cambio climático (Cohn et al., 2017; Harvey et al., 2018). Por ello, se considera esencial desarrollar tecnologías que fortalezcan la sostenibilidad y resiliencia de sus sistemas productivos.
En ese contexto, los Centros Públicos de Investigación Agrícola (CPIA) juegan un papel central, pues generan conocimientos que atienden los problemas sociales y ambientales de las áreas rurales (Rivera, Dutrénit, Ekboir y Vera, 2016). En específico, se espera que experimenten, validen y transfieran tecnologías para desarrollar las capacidades de los productores agrícolas (Ekboir, Dutrénit, Martínez, Torres y Vera, 2009).
Esos son objetivos complejos, sobre todo en escenarios donde aunque agricultores innovadores adopten las tecnologías, no se puede deducir que se insertarán con éxito en las cadenas productivas (Ekboir et al., 2009). Por ello, entender los procesos de cambio tecnológico e identificar los resultados obtenidos son conocimientos indispensables para las investigaciones agrícolas orientadas al desarrollo (Glover, Sumberg, Ton, Andersson y Badstue, 2019).
Dada esa necesidad, las evaluaciones de la investigación agrícola pueden utilizarse con dos audiencias en mente. Por un lado, aportan información a los investigadores sobre cómo sus proyectos influyen tanto en el bienestar de los productores como en el manejo sostenible de los recursos. Con este conocimiento pueden mejorar la efectividad de sus proyectos (Benoit, Colinet, Gaunand, Lemarié y Matt, 2016; Weißhuhn, Helming y Ferreti, 2017). Sin embargo, si bien se confía en que las evaluaciones sirvan para que las organizaciones aprendan1, con frecuencia esta expectativa no se cumple. Una de las razones que explican dicha situación es el uso de las evaluaciones con fines exclusivamente sumativos, asumiendo desde una lógica simplista que, si los proyectos son bien ejecutados, deben conseguir los resultados esperados (Mackay y Horton, 2003).
Por otro lado, las evaluaciones brindan información a tomadores de decisión sobre los beneficios de los proyectos de investigación financiados (Hall, Sulaiman, Clark y Yoganand, 2003). En la rendición de cuentas de actividades científicas ya no se considera suficiente que la evaluación se restrinja a la valoración entre pares. Ahora se espera que las organizaciones académicas se responsabilicen de las consecuencias prácticas del conocimiento que generan. Por ello, se demanda que adopten enfoques orientados a la obtención de resultados (Nowotny, Scott y Gibbons, 2003; Sarewitz, 2016; Ekboir, Blundo y Sette, 2017). En el caso de la investigación agrícola, la evidente falta de adopción del conocimiento ha promovido cambios en los esquemas de financiamiento, pasando del financiamiento a ciegas a la solicitud del cumplimiento de efectos mensurables y previamente acordados (Polastri y Savastano, 2020).
En México se ha estudiado poco la forma en que se evalúan los proyectos de vinculación e investigación aplicada de universidades públicas. El énfasis se ha puesto en la influencia de la política científica federal sobre el comportamiento de los investigadores (Galaz y Gil, 2013; Suárez y Muñoz, 2004). Con la finalidad de disminuir esa brecha de conocimiento, el artículo analiza las evaluaciones con las que interactúa un CPIA que opera dentro de una reserva de la biosfera del centro de México. En ese sentido, se incluyen tanto las evaluaciones externas de sus proyectos financiados con recursos públicos, como el sistema interno de evaluación de la universidad a la que pertenece.
Es importante señalar que esta investigación no pretende evaluar el impacto de los proyectos del CPIA. En cambio, busca responder las siguientes preguntas: a) ¿Cómo y para qué se hacen evaluaciones? y b) ¿Qué factores influyen en el propósito de las evaluaciones utilizadas? Debido a que las evaluaciones suelen relacionarse con la reputación de las organizaciones se tomó la decisión de garantizar el anonimato de la universidad estudiada como un principio ético de la investigación.
La información se organiza de la siguiente manera. Primero, se detalla la metodología utilizada para responder las preguntas de investigación y después se describe el marco conceptual a partir del cual se estructura el análisis. En la sección de resultados se desarrollan las características de los diferentes tipos de evaluación asociados al CPIA. En la discusión, se contrastan los hallazgos con la literatura sobre el tema, se resaltan las áreas de oportunidad identificadas y se hace una propuesta de mejora procedimental para la evaluación de proyectos de investigación agrícola en la universidad estudiada. Finalmente, en la conclusión se sintetizan los mensajes centrales del artículo.
Metodología
Los estudios de caso son un tipo de investigación cualitativa que analiza fenómenos en su propio contexto, lo que permite relacionar datos empíricos con planteamientos teóricos (Yin, 2009). Por ello, un caso permite contrastar supuestos sobre el valor intrínseco de las evaluaciones con lo que sucede en la práctica.
La metodología seleccionada para abordar el caso es la Perspectiva de Aprendizaje (PdA) propuesta por Eyben (2009). Esta es un enfoque etnográfico para estudiar organizaciones que conducen proyectos de desarrollo. En lugar de limitarse a la descripción de cómo funciona el desarrollo, la PdA asume que existe un área interesante de uso práctico, si se combinan la crítica de la perspectiva etnográfica con la instrumentalidad de aquellos que desean mejorar la práctica de las organizaciones. Por ello, al estudiar una organización, esta metodología se interesa simultáneamente en atender problemas organizacionales, promover el desarrollo de capacidades en sus integrantes y generar conocimientos ciwentíficos. En este caso, los investigadores interactuaron con el personal de la organización para explorar el uso de evaluaciones y, a la vez, proponer cambios que permitan responder a modelos deseados de desempeño organizacional.
Las técnicas de investigación que se utilizaron fueron:
Revisión de documentos. La recopilación de documentos relacionados con el CPIA y las evaluaciones de la universidad se realizó a través de una exploración de su página web institucional. De esa manera, se tuvo acceso a convocatorias, documentos de planeación estratégica y formatos de registro de proyectos de investigación. Además, a través de solicitudes de acceso a la información, se recopiló información sobre proyectos con financiamiento externo.
Entrevistas semiestructuradas. Las entrevistas se hicieron a personal directivo y operativo que labora o laboró en la universidad. El criterio de selección de las personas entrevistadas fue la relación con diferentes procedimientos de evaluación. Sin embargo, la selección incluyó personal que se encuentra en diferentes posiciones, dada la posible existencia de diferencias intraorganizacionales. Las entrevistas permitieron recolectar información sobre la puesta en práctica de las evaluaciones, entremezclada con la opinión y reflexiones de los propios entrevistados en torno al tema.
Observación participante. A través de ella, fue posible explorar la cotidianidad e interacciones del personal de la universidad. Esto permitió hacer descripciones detalladas de diferentes aspectos relacionados con su cultura organizacional. De manera específica, se asistió a múltiples reuniones trabajo, algunas de ellas facilitadas por los investigadores, y se propusieron procedimientos para reorientar partes del sistema evaluativo del CPIA. De manera particular, se aprovechó la invitación para colaborar en un proyecto para ofertar una evaluación de diseño que mejorara la descripción de sus impactos.
Evaluaciones en centros de investigación
En función del propósito que se tenga, existen diferentes formas de evaluar la investigación agrícola. Por ello, para enmarcar el estudio se presenta una síntesis proveniente de la literatura sobre el tema. Primero, se desarrollan las características de evaluaciones de desempeño, distinguiendo entre enfoques basados en la obtención de productos y enfoques que miden interacciones productivas (Spaapen y Van Drooge, 2011). Acto seguido, se contrastan los objetivos de evaluaciones de impacto y evaluaciones formativas, señalando sus fortalezas y limitaciones (Cuadro 1).
Cuadro 1 Diferentes tipos de evaluación asociados a la investigación agrícola.
Fuente: Elaboración propia.
La selección de uno u otro tipo de evaluación depende de factores ligados al solicitante, el cual define cómo, por quién y para quién se conduce una evaluación. Por ello, el contexto organizacional y los arreglos institucionales juegan un papel clave (Hall et al., 2003; Taut, 2007).
En México, una parte de la investigación agrícola se realiza en Universidades Públicas Estatales. Estas son organismos públicos descentralizados que cuentan con autonomía institucional para llevar a cabo las funciones de docencia, generación y aplicación del conocimiento. Por ende, son capaces de decidir por sí mismas las características de su sistema de evaluación científica (Olvera, Piña y Mercado, 2009).
Sin embargo, cuando reciben recursos externos para la ejecución de proyectos, precisan ceñirse a los procedimientos evaluativos de donantes, normalmente entidades gubernamentales. Un porcentaje importante de este financiamiento proviene del Consejo Nacional de Ciencia y Tecnología2 (CONACYT), dependencia que maneja fondos competitivos para promover proyectos (Vera, Dutrénit, Ekboir, Martínez y Torres, 2008).
Evaluaciones de desempeño
Para evaluar los resultados inmediatos de proyectos de investigación, con frecuencia se recurre a productos académicos como publicaciones en revistas de prestigio y presentaciones en congresos. Este enfoque, predominante en la política científica latinoamericana, asume que los artículos sujetos a un proceso de arbitraje y los índices globales de citas miden adecuadamente la calidad e influencia de las investigaciones (Vasen y Lujano, 2017). Después de todo, se espera que los investigadores generen conocimientos, por lo que parece lógico que su efectividad se mida con los medios a través de los que difunden sus hallazgos.
No obstante, se ha señalado que ese tipo de indicadores tienen múltiples problemas cuando se utilizan como única medida de evaluación (Bensing et al., 2013; Chavarro y Rafòls, 2018). En campos naturalmente inclinados hacia la investigación aplicada, como las ciencias agrícolas o ambientales, es necesario que el conocimiento incida en el comportamiento de otros actores (Netherlands Organization for Scientific Research, s.f.). Sin embargo, no se puede dar por hecho que los grupos involucrados accederán, entenderán y utilizarán los artículos científicos para tomar decisiones (Salafsky, Margoluis y Redford, 2001). En el fondo, si solo se utilizan indicadores ligados a la productividad académica, la valoración de los investigadores se fundamenta en cifras y no en juicios que analizan el efecto del conocimiento generado (Hicks et al., 2015).
En las ciencias agrícolas, se ha señalado que la mayor parte de las publicaciones no proveen soluciones para las necesidades de pequeños productores locales. Esto ocurre, en parte, por las prioridades del financiamiento internacional en investigación agrícola, y por tendencias en la agenda de investigación internacional (Ekboir et al., 2009; Nature, 2020). Los investigadores, interesados en publicar en revistas de prestigio para avanzar en su carrera académica, encuentran que el sistema de evaluación menosprecia actividades de intercambio fuera del ámbito científico, lo cual entorpece la colaboración con otros actores clave para la innovación agrícola (Vera y Dutrénit, 2016; Rivera et al., 2016).
Para superar las limitaciones anteriores, se han desarrollado evaluaciones que valoran las interacciones entre investigadores y usuarios del conocimiento (Spaapen y Van Drooge, 2011). Estos enfoques analizan los mecanismos de intercambio utilizados por el investigador y buscan pruebas de que su aporte al conocimiento influyó en la toma de decisiones de otro actor u organización (LSE Public Policy Group, 2011). En ese sentido, los indicadores monitoreados van más allá de los medios a través de los cuales se mantuvo contacto con los grupos interesados. Asimismo, se incluye evidencia del uso del conocimiento o el grado en que los grupos interesados valoran los resultados de la investigación (Spaapen et al., 2011).
El supuesto del que parten tales enfoques evaluativos es que la intermediación y el uso de conocimientos son condiciones necesarias para que el impacto pueda ocurrir, por lo que pueden utilizarse como indicadores proxy del impacto de una investigación (Spaapen y van Drooge, 2011). Además, se considera que el análisis del proceso arroja información valiosa para retroalimentar las investigaciones, de forma que sirven simultáneamente para rendir cuentas y aprender. En ese sentido, pueden incorporarse reportes de autoevaluación donde los investigadores reflexionen sobre el cambio conseguido y especifiquen ajustes para obtener mejores resultados (Van der Meulen et al., 2010).
Este enfoque evaluativo implica ajustar el rol esperado del científico, de forma que no solo se comunique con sus pares, sino con otros actores del sistema de innovación agrícola (Ekboir, 2016). Por ello, además de generar evidencia y probar nuevas tecnologías, los equipos de investigación precisan habilidades para facilitar actividades de intermediación del conocimiento. Por ejemplo, saber facilitar procesos, organizar reuniones efectivas y trasladar la demanda de conocimiento de los actores a preguntas científicas (Turnhout, Stuiver, Klostermann, Harms y Leeuwis, 2013).
Evaluaciones de impacto
A nivel internacional, la baja efectividad de los proyectos de investigación agrícola promovió la adopción de evaluaciones que demostraran el valor público generado. El paradigma dominante desde la década de los 80 fue la estimación de los impactos económicos a través de cálculos de costo-beneficio (Ekboir, 2003; Benoit et al., 2016; Weißhuhn et al., 2017).
Existen distintas metodologías para estimar los beneficios generados. Por un lado, se encuentran estudios de adopción tecnológica que identifican el grado en el que las innovaciones son utilizadas. Esto permite medir su efecto sobre la productividad o los ingresos. Por el otro, se encuentran métodos econométricos que aíslan el efecto del conocimiento científico sobre la productividad, con la finalidad de calcular el retorno de la inversión en proyectos de investigación (Hall et al., 2003).
Se han identificado algunas limitaciones de este enfoque evaluativo. En primer lugar, si bien se puede calcular el impacto económico de investigaciones relacionadas con la innovación y la transferencia de tecnología, es muy difícil estimarlo en el corto plazo por problemas de atribución o de latencia (Oslo Institute for Research on the Impact of Science, 2016). Esta situación se acentúa si consideramos que la norma es evaluar proyectos que han tenido entre uno y tres años de duración, los cuales no vuelven a evaluarse tiempo después.
En segundo lugar, se considera errónea su visión simplificada del proceso de cambio, al asumir una relación directa entre financiamiento (input), tecnología innovadora (output), adopción (outcome) e incrementos en las ganancias (impact). El problema es que, al enfocarse solo en el “punto de llegada”, se soslaya el contexto de las investigaciones (Ekboir, 2003). Normalmente, estas tienen un alto grado de incertidumbre, por ende, si se solicitan resultados en plazos determinados se puede desincentivar el surgimiento de proyectos novedosos que asuman mayores riesgos, a veces fallen, pero que tengan el potencial de generar beneficios en el largo plazo (Ekboir, 2016).
Finalmente, se considera que el sesgo de estos enfoques evaluativos hacia resultados económicos coloca dentro de cajas negras los procesos y consecuencias del cambio tecnológico. En este sentido, se ha criticado el uso simplista de la tasa de adopción como indicador de efectividad. Este concepto, normalmente considerado en términos binarios, anula la agencia del usuario de la tecnología, al asumir que un cálculo racional debería conducir a su selección. Sin embargo, los usuarios utilizan múltiples criterios para adaptar la tecnología a sus aspiraciones, modificando aspectos con base en un proceso dinámico de aprendizaje y experimentación (Glover et al., 2019). Además, medir la adopción no registra las ramificaciones del cambio tecnológico, incluyendo impactos no intencionados, tanto positivos como negativos (Glover et al., 2019).
Evaluaciones formativas
Este tipo de evaluación, basada en casos, complementa la identificación de los efectos de las investigaciones con un análisis de los procesos involucrados en su generación (Mackay y Horton, 2003; Benoit et al., 2016). Su propósito es retroalimentar la forma de trabajar para incrementar la probabilidad de obtener los resultados deseados (Ekboir et al., 2017).
El enfoque hace énfasis en las interacciones, agencia y capacidades de múltiples actores involucrados en el desarrollo y uso de las tecnologías (Glover et al., 2019). Además, se basa en la combinación de cadenas de resultados y actividades de monitoreo, con la finalidad de identificar desviaciones e implementar acciones correctivas (Guijt, 2008; Alvarez et al., 2010).
Una característica importante de este tipo de evaluaciones es la promoción de capacidades de aprendizaje en los equipos de trabajo, lo cual implica crear oportunidades para que los investigadores reflexionen, intercambien conocimiento y transformen su práctica. En este sentido, los proyectos “fallidos” no se ocultan, sino se valoran como una fuente de información (Ekboir, 2016). Esto implica revisiones introspectivas de la forma en la que la comunidad académica opera, así como de las interacciones que tiene con su contexto institucional (Hall et al., 2003). Por estos motivos, tales evaluaciones se han propuesto como parte esencial del modelo de gestión de centros de investigación (Ekboir, 2016).
Descripción del caso
Diferentes rankings posicionan a la universidad pública estudiada como una de las mejores del país, en términos de su productividad académica. En diferentes documentos institucionales de las dos últimas administraciones (2012-2021) se hace referencia a la investigación como una actividad que refleja el compromiso de las universidades públicas por resolver problemas de su entorno. Por tanto, tiene sentido que su modelo de gestión organizacional sea el de la Responsabilidad Social Universitaria, enfoque que busca manejar los impactos generados por la universidad (Vallaeys, 2014).
Una de las manifestaciones visibles de este interés ha sido el reconocimiento de actividades de vinculación realizadas por sus académicos. Por ello, la universidad cuenta con procedimientos que financian y recompensan proyectos que busquen mejorar las condiciones del entorno. Otra política universitaria que refleja su interés en procesos de desarrollo ha sido el establecimiento de campi en varios municipios del estado. La intención ha sido acercar licenciaturas ad hoc y promover investigaciones que atiendan problemas locales.
El CPIA analizado es un ejemplo de esta vocación, pues se estableció en una zona históricamente marginada del territorio estatal, la cual, fue declarada como reserva de la biosfera por su patrimonio natural y cultural. Para construir el CPIA, en 2013, la universidad concursó en un programa de financiamiento que unificaba recursos del CONACYT y el gobierno estatal. El hoy extinto fideicomiso conocido como Fondo Mixto, tenía dos propósitos: apoyar la investigación científica orientada a la solución de problemas locales y consolidar las capacidades científicas de los estados.
Los términos de referencia de la convocatoria solicitaban la creación de un centro de investigación que, a través de la transferencia tecnológica, mejorara los procesos productivos de la región del estado en donde se encuentra la reserva de la biosfera. En 2014 el proyecto recibió el financiamiento y el CPIA comenzó a construirse en un terreno de 21 ha. donado por uno de los municipios de la región.
Actualmente, el CPIA cuenta con cuatro módulos especializados en el ámbito pecuario, agrícola, acuícola y forestal. El modelo de gestión del CPIA se basa en un enfoque multidisciplinario, colaborando en éste diez profesores-investigadores con perfiles complementarios (ciencias biológicas, agropecuarias y sociales) (Cuadro 2).
Resultados
En esta sección se presentan las distintas evaluaciones asociadas a la operación del CPIA. En primer lugar, se describen las evaluaciones externas que formaron parte de la gestión del proyecto financiado por el Fondo Mixto CONACYT-Gobierno Estatal. Después, por congruencia lógica, se presenta la propuesta de evaluación interna elaborada por la propia universidad. En ambos casos, el objeto de la evaluación fue el proyecto global para establecer el CPIA.
De ahí, se transita hacia los procedimientos que emplea la universidad para evaluar los proyectos específicos que generan los investigadores que forman parte del CPIA. Finalmente, por su influencia sobre el comportamiento de los investigadores, se incluye también una descripción del sistema de evaluación con el que la universidad valora el desempeño de su personal académico. La diferencia entre ambos es el objeto de evaluación. En el primero de los casos, el énfasis está en el proyecto registrado; en el segundo, está en el personal de la organización. El Cuadro 3 sintetiza la información que se presentará.
Cuadro 3 Evaluaciones asociadas a la operación del CPIA.
| EVALUACIÓN | OBJETO | TIPO DE EVALUACIÓN |
PROPÓSITO |
|---|---|---|---|
| Fondo Mixto | Proyecto del CPIA | Evaluación ex ante de diseño | Verificación de estándares de calidad |
| Evaluación ex post de desempeño | Rendición de cuentas con base en resultados inmediatos | ||
| Plan de desarrollo del CPIA | Proyecto del CPIA | Evaluación formativa | Aprendizaje organizacional |
| Investigaciones | Proyectos de investigación registrados | Evaluación ex ante de diseño | Verificación de estándares de calidad |
| Evaluación ex post de desempeño | Rendición de cuentas con base en resultados inmediatos | ||
| Ingreso y Permanencia de Personal Académico | Investigadores | Evaluación de desempeño | Toma de decisiones de contratación y promoción laboral |
Fuente: Elaboración propia.
Fondo Mixto
En las reglas de operación de Fondo Mixto se establecen los criterios de evaluación con los que se determinará la calidad técnica de las propuestas (ex ante) y los resultados generados (ex post). Con respecto de la primera, las reglas de operación establecen dos valoraciones: la primera, en términos de pertinencia, verifica que los productos entregables comprometidos atiendan las expectativas de la demanda establecida en el Fondo Mixto; la segunda evalúa la calidad científica de la propuesta. Para ello, se valora su carácter innovador, la congruencia entre actividades, productos, metas y las capacidades del grupo de trabajo.
Una vez financiado el proyecto del CPIA, se realizaron evaluaciones de desempeño intermedias, con el objetivo de verificar los avances, y una evaluación final que revisó la entrega de una lista de productos comprometidos (Cuadro 4). Como se ha dicho, la demanda del fondo mixto solicitó la construcción de un centro público de investigación y desarrollo tecnológico que diera respuesta a los requerimientos del sector agropecuario de la región.
Cuadro 4 Algunos productos entregables comprometidos en el proyecto del CPIA.
Fuente: Elaboración propia
Si bien, la convocatoria del Fondo Mixto solicitaba, entre los entregables, la formalización de vinculaciones con empresas, organizaciones gubernamentales y otros centros de investigación, sin embargo, en el convenio final no quedaron plasmados estos productos. En cambio, en la propuesta elaborada por la universidad, se incluyeron productos académicos como parte de los entregables (tesis, publicaciones).
Con respecto de la evaluación de impacto de los proyectos financiados por el Fondo Mixto, las reglas de operación establecen que su propósito es conocer la efectividad del programa al medir el beneficio generado con las inversiones. El manual de procedimientos del Fondo establece que la valoración de los beneficios puede ser tanto prospectiva como retrospectiva, preferentemente, después de tres años del término del proyecto. Sin embargo, este tipo de evaluación no es obligatoria, siendo decisión del secretario técnico del fideicomiso si se asigna un presupuesto para ello.
Aun así, los términos de referencia de cada convocatoria del fondo establecen los indicadores de impacto con los que se realizaría la evaluación. De esta manera, los términos de referencia de la convocatoria 2013 establecieron una serie de indicadores para la demanda a la cual postuló el proyecto del CPIA (Cuadro 5).
Cuadro 5 Indicadores para establecer el impacto de la operación de un Centro de Investigación y Desarrollo Tecnológico.
Fuente: Demandas específicas del Fondo Mixto convocatoria 2013
Además de esos indicadores, el proyecto sometido al Fondo Mixto por la universidad contemplaba métricas adicionales para establecer el impacto. En la propuesta, se estimaba que el CPIA incrementaría en el mediano plazo los ingresos de 4,000 ganaderos de doble propósito, 15,000 productores agrícolas, 850 acuicultores y 1000 productores forestales. Esto implicaba conseguir un aumento de 20,000 toneladas en la producción agrícola, 35,000 toneladas de carne en canal y 500 toneladas anuales de producción acuícola, adiciones que sumarían más de 250 millones de pesos. Por otro lado, se estipuló que el CPIA contribuiría en la conservación de 100,000 hectáreas forestales de la región. Independientemente de estas métricas, a la fecha no se ha realizado ninguna evaluación del impacto que han tenido las actividades del CPIA.
Plan de desarrollo del CPIA
Entre 2015 y 2018 la Dirección de Planeación de la universidad reestructuró la forma en la que se realizaba la planeación institucional al interior de esta. Se consideró que los Planes Institucionales de Desarrollo, promovidos por programas de subsidio federal, solo generaban información para comunicar al exterior, sin que fueran útiles para retroalimentar el quehacer universitario. Por ello, se promovieron planes de desarrollo participativos en diferentes escalas, esperando que las evaluaciones servirían simultáneamente para verificar la obtención de resultados y para adaptar continuamente los planes.
Siguiendo lo anterior, en 2016 se promovió que los investigadores desarrollaran un plan trianual de desarrollo del CPIA, mismo que permitiera incrementar su impacto en el entorno. En concreto, el plan debía contener los mecanismos de vinculación entre el CPIA y los problemas de su zona de influencia. Por ello, en el plan resultante se incorporaron actividades de los módulos como la elaboración de diagnósticos de sistemas productivos, el desarrollo de paquetes tecnológicos y la implementación de talleres de fortalecimiento de capacidades con pequeños productores.
El plan estableció indicadores para medir la obtención de resultados inmediatos. Además, estipulaba que se realizaría una evaluación anual para verificar el cumplimiento de las acciones, reflexionar sobre su efectividad y rediseñar tanto las estrategias como los indicadores de evaluación. Sin embargo, el plan de desarrollo del CPIA nunca fue evaluado, ni por los propios investigadores, ni por la Dirección de Planeación de la universidad.
Proyectos de investigación registrados
En la universidad, el registro de proyectos de investigación se basa en dictámenes entre pares para evaluar ex ante su validez científica. Para ello, se maneja un protocolo estandarizado que solicita indicar las consecuencias prácticas del conocimiento a generar. En este sentido, pide plantear la aplicabilidad de la investigación, pensando en su relevancia social. Por otro lado, el protocolo es dictaminado por un comité de ética de la investigación, instancia que valora el cumplimiento de estándares que garanticen la protección de los actores involucrados, por ejemplo, presentar su consentimiento previo, libre e informado.
Por su parte, la evaluación ex post de los proyectos registrados se concentra en revisar la entrega de productos académicos comprometidos (artículos, tesis, patentes, ponencias). Ligado a lo anterior, en 2019 comenzó a operar un procedimiento para incentivar la generación de cierto tipo de productos. Al momento de registrar proyectos de investigación, los investigadores tienen una descarga de más horas si comprometen publicaciones en revistas indizadas reconocidas por su impacto (JCR o SCOPUS), si dirigen tesis de doctorado o si registran patentes. En comparación, su descarga es menor si publican en revistas arbitradas, dirigen tesis de licenciatura o realizan ponencias por invitación.
A su vez, la universidad permite a los investigadores el registro de proyectos de vinculación con financiamiento. En estos proyectos, se debe explicitar la búsqueda de beneficios para actores específicos. En cuanto al procedimiento de evaluación, la universidad no realiza distinciones con respecto de los proyectos de investigación, utilizando el mismo protocolo estandarizado y requiriendo la entrega de algún producto académico como resultado.
En relación a la estimación del impacto, la universidad reconoce las limitaciones de su sistema de evaluación. Una revisión de la estrategia para orientar la investigación hacia la resolución de problemas sociales, contenida en el Plan Institucional de Desarrollo 2015-2018, concluyó que la institución no cuenta con mecanismos para medir el impacto de los proyectos.
Desempeño del personal
La universidad utiliza un sistema cuantitativo a través del cual valora el desempeño académico de su personal. Con base en él, se busca dar una base objetiva a las convocatorias a través de aquellas en las que los investigadores concursan por plazas de tiempo completo, reciben estímulos y obtienen promociones laborales. El sistema también valora aspectos ligados a la docencia, como cursos de formación pedagógica. No obstante, destacan por su valor, criterios ligados a la productividad académica tales como publicaciones, direcciones de tesis, ponencias en congresos y registros de propiedad intelectual.
Uno de los objetivos del sistema es promover en los investigadores un comportamiento alineado a los indicadores con los que se evalúa el desempeño de la universidad en programas de gobierno que le brindan fondos extraordinarios. Un ejemplo es el Programa para el Fortalecimiento de la Calidad Educativa (PFCE), el cual utiliza indicadores de capacidad académica para estimar los avances de las universidades en relación al desempeño de sus académicos de tiempo completo. En específico, el programa valora que los investigadores cuenten con posgrado, sean parte de Cuerpos Académicos y formen parte de esquemas de transferencias monetarias condicionadas, como el Programa de Desarrollo del Profesorado o el Sistema Nacional de Investigadores (Vidaurri y Luna, 2017). Como resultado, en la convocatoria de plazas de tiempo completo, un porcentaje importante de la evaluación se vincula a métricas del Programa de Desarrollo del Profesorado. Esto con la finalidad de garantizar que el investigador podrá participar sin inconvenientes en la convocatoria, una vez que obtenga la plaza.
La mayor parte de los investigadores del CPIA no tienen una plaza de tiempo completo, por lo que tienen presentes las reglas de las convocatorias de ingreso. Algunos de ellos reconocieron la influencia del sistema, tanto sobre el comportamiento individual, como en los equipos de trabajo a los que pertenecen. En la búsqueda de certidumbre laboral y de mejores ingresos, los investigadores identificaron desafíos para balancear las expectativas de tener proyectos de vinculación con productores locales y, simultáneamente, una alta productividad académica.
Queramos o no, estamos ceñidos a los indicadores de productividad que nos están pidiendo… Tenemos que seguirlos si queremos seguir avanzando en la universidad. (Investigador #1, comunicación personal)
En el año 2019 se tuvo una reunión, facilitada por investigadores de otro campi, con el objetivo de conformar un equipo de trabajo que colaborara en torno de un Cuerpo Académico que se pretendía formar. Una de sus intenciones era la participación grupal en proyectos conjuntos de investigación, de forma que puedan generarse colaboraciones que resulten en publicaciones compartidas. La idea fue presentada como un mecanismo para hacer carrera profesional dentro de la universidad, al cumplir con uno de los principales indicadores de desempeño: la productividad académica.
Como parte de la propuesta, se compartieron algunos acuerdos de integridad para el funcionamiento del Cuerpo Académico. En el documento se señala que los integrantes tienen el derecho a la participación en proyectos de investigación y dirección de tesis, que para ser coautor, al menos, se debe haber participado en la redacción de un 20% del texto y que, en torno de los proyectos de investigación, se tiene que incluir a todos los Profesores de Tiempo Completo. Al momento de la investigación, esta propuesta de organización no había sido retomada por los investigadores del CPIA.
Discusión
La universidad estudiada, aunque goza de autonomía institucional, ha transferido el enfoque evaluativo de la política científica federal a sus procedimientos de contratación y promoción laboral. Esto coincide con lo señalado para otras universidades del país (Gil, 2014; Gil y Contreras, 2017). Esta decisión es comprensible, pues los fondos extraordinarios cubren parte de la brecha financiera desde la que operan. La universidad destina el 100% del subsidio ordinario (federal y estatal), y buena parte de los recursos que genera por sí misma, para pagar sueldos y prestaciones de su personal. En ese contexto, los programas concursables de la federación son cruciales para financiar su desarrollo.
Si bien, es útil contar con estándares para tomar decisiones objetivas, la producción académica, medida en términos cuantitativos, tiene limitantes. No es posible ligar la cantidad de investigaciones con el impacto que se ha tenido en el entorno (Sivertsen y Meijer, 2020). Por ello, si la evaluación de desempeño empleada por la universidad es útil para promover comportamientos deseados en los investigadores, no lo es para establecer la efectividad de las investigaciones.
Uno de los mayores riesgos es que se confundan los indicadores (productos académicos) con los objetivos (resolver problemas sociales), incentivando que se publique como una meta en sí misma (Hatch y Schmidt, 2020). Otras investigaciones han mencionado que esto puede provocar un comportamiento administrativo estratégico en los académicos, mismo que los lleve a destinar más tiempo en cumplir con requisitos para tener estabilidad laboral o generar ingresos adicionales, que en la ejecución de proyectos de largo plazo (Suárez y Muñoz, 2004; Galaz y Gil, 2013; Alonso y Davidsen, 2014).
En el caso de la universidad, investigaciones previas han reconocido que existe una desvinculación entre la producción de conocimientos y la mejora de las condiciones de la reserva de la biosfera. En este sentido, algunos investigadores del CPIA han reconocido una tensión entre mantener una alta productividad, objetivo que les sirve en su carrera académica, y dedicar tiempo a actividades orientadas a problemas locales, esfuerzo que no podrán publicar en las revistas especializadas de su disciplina. Un aspecto a destacar de la reunión en donde se promovió la conformación de un Cuerpo Académico en el CPIA, es que en ella se habló sobre la importancia laboral de incrementar el número de publicaciones, pero nunca se mencionó la relevancia social que estas tendrían en la reserva, en caso de conseguirlo.
Otros estudios también han señalado el riesgo de que la vinculación no sea una prioridad de los académicos mexicanos (Galaz, Padilla, Gil y Sevilla, 2008). Sin embargo, la universidad cuenta con varias políticas que buscan modificar esta tendencia al revalorizar proyectos que usen el conocimiento para atender problemas prácticos y actuales, a escala local y regional. Por un lado, permite el registro de proyectos de vinculación financiados, los cuales tienen el mismo valor que los proyectos de investigación en los tabuladores de evaluación académica. Por el otro, a través de los campi regionales, promueve la inmersión de los investigadores en el entorno que se desea intervenir. Aun así, la universidad recurre a los mismos indicadores de productividad académica para evaluar los resultados de proyectos de investigación y de vinculación. Como ya se ha dicho, esto es insuficiente para estimar los efectos de proyectos de conservación o de transferencia tecnológica.
Por su parte, la evaluación externa del proyecto para establecer el CPIA, financiado por el Fondo Mixto, basó la rendición de cuentas en la obtención de productos previamente acordados (infraestructura, productos académicos, documentos de planeación y operación). Evidentemente, estos indicadores son insuficientes para establecer el valor público generado. Recientemente, la dirección del CONACYT cuestionó la calidad de las evaluaciones de los Fondos Mixtos. Esto al no poder identificar si servían para resolver los problemas señalados en las demandas establecidas en las convocatorias (Clemente, 2019).
Por problemas de latencia y atribución, es difícil evaluar en el corto plazo el impacto de proyectos relacionados con innovaciones en el sistema agrícola (Ekboir, 2016). Por ello, se considera prioritario garantizar que los proyectos tengan un diseño causal riguroso, el cual permita dar seguimiento a cambios que, se considera, sean condiciones necesarias para tener éxito. De ahí el interés del campo del desarrollo por los modelos lógicos, pues estos representan la causalidad, permiten identificar supuestos y planificar el monitoreo (Margoluis et al., 2013).
Como parte de estándares mínimos de evaluaciones ex ante, estas teorías del cambio servirían tanto al CONACYT como a la universidad para evitar la entrega de recursos a proyectos que exageren, sin evidencia alguna, sus posibles efectos. Esto se debe, en parte, a la responsabilidad de los donantes, ya que es una práctica frecuente que las organizaciones, para asegurar el financiamiento, presenten propuestas románticas que prometen generar profundos cambios sociales, a pesar de que no sea posible conseguirlos con el tiempo y los recursos disponibles (Guijt, 2008). En el caso del CPIA, sin que mediara una cadena de resultados que lo justificara, se estimó un aumento de 35,000 toneladas en la producción de carne, la conservación de 100,000 hectáreas forestales e ingresos adicionales para los productores locales por más de 250 millones de pesos. Aún ahora, no cuenta con un sistema de monitoreo en marcha para verificar avances en estas metas.
Como parte de estándares mínimos de evaluaciones ex post, tanto el CONACYT como la propia universidad, podrían, con base en lo establecido en la teoría del cambio de los proyectos, solicitar pruebas de interacciones productivas con otros actores. Ejemplo de esto podrían ser indicadores que reflejen la influencia que el conocimiento ha tenido, tales como el desarrollo de habilidades, el comienzo de acciones o el establecimiento de consensos (Kumar, Coombes, Vovides y Crabbe, 2018). Por otro lado, podrían emplearse indicadores que reflejen el reconocimiento obtenido, mediado a través de financiamiento adicional gestionado o la invitación a participar en un espacio de toma de decisiones (Bensing et al., 2013).
Es interesante constatar que varios indicadores para medir el cumplimiento de la demanda original del Fondo Mixto tenían esta visión (número de redes científicas en las que participa el centro, número de programas transmitidos en radio y televisión, convenios de colaboración con otras organizaciones, manuales de buenas prácticas con calendarios de capacitación, estrategias para atender intereses de productores). Sin embargo, la mayor parte no se utilizó en la evaluación final del proyecto, además de que la mera entrega de un documento con procedimientos organizacionales no garantiza su uso en la operación cotidiana.
En este mismo sentido, la investigación mostró una brecha en la implementación de evaluaciones orientadas al aprendizaje, las cuales se plantearon en el papel para retroalimentar el plan de desarrollo del CPIA, pero no se llevaron a cabo. Para trascender las buenas intenciones, se requiere que el procedimiento se incorpore como parte del modelo de gestión del CPIA, que los investigadores conciban las evaluaciones como una herramienta valiosa y que en el equipo exista personal con la función y la capacidad de facilitar evaluaciones formativas.
Al interior de la universidad, para vincular la medición del desempeño con la orientación a resultados se requiere del apoyo de las autoridades para transformar las reglas del juego. Por un lado, al asignar recursos para desarrollar capacidades de evaluación en equipos multidisciplinarios de investigación. Por el otro, al modificar el sistema de incentivos, de forma que los investigadores sean recompensados por evaluar la efectividad de sus proyectos.
A continuación, se presenta un ejemplo del tipo de mecanismos que se podrían emplear. Para ello, se retoma el caso de un proyecto actual del CPIA, el cual tiene el objetivo de recopilar y promover la diversidad biocultural de la reserva a través de una estrategia de conservación ex situ. El proyecto, financiado por CONACYT, reunirá en el CPIA varias colecciones de especies arbóreas, no maderables y de sistemas productivos tradicionales.
Después de revisar el diseño del proyecto, se identificó que la lógica causal de los cambios esperados quedó en una caja negra, pues no se mencionaba con claridad cómo las estrategias de difusión servirían para interactuar con actores específicos y cómo en consecuencia se generarían resultados medibles. La descripción de resultados del proyecto finaliza con una serie de productos entregables (Figura 1).
Fuente: Elaboración propia
Figura 1 Representación de la lógica causal del proyecto de conservación ex situ
En concreto, se propone integrar rutas de generación de impactos como un estándar de calidad en el diseño de proyectos de investigación aplicada. Esto permitiría fortalecer las cadenas de resultados y transparentar el proceso de cambio esperado. Se propone la integración de los siguientes elementos, retomados de varias metodologías para evaluar la intermediación de conocimientos (Alvarez et al., 2010; Van der Meulen et al., 2010; Spaapen et al., 2011; Kumar et al., 2018; Tilley, Ball y Cassidy, 2018; Glover et al., 2019).
1. Especificar los conocimientos que se espera transferir, los cuales pueden ser materiales (plántulas de especies nativas, infraestructura de irrigación) y/o técnicas (pastoreo racional, producción de bioinsumos). Enunciarlos permite identificar a los actores involucrados y evidenciar los supuestos que están detrás de las intenciones de cambio (los ganaderos están interesados en sistemas silvopastoriles, siempre y cuando incrementen la disponibilidad de forraje). En el Cuadro 6 se ejemplifica su uso en el contexto del proyecto de conservación ex situ.
Cuadro 6 Ruta de generación de impacto del proyecto de conservación ex situ (I).
| Conocimientos | Actores | Supuestos |
|---|---|---|
|
|
Unidades domésticas de comunidades de la región | Algunas viviendas tienen solares abandonados con el potencial de integrar especies nativas en traspatios agroforestales. |
|
|
Ayuntamientos de la reserva | Los ayuntamientos pueden destinar recursos para programas de subsidio que fomenten el uso de especies nativas. |
Fuente: Elaboración propia
2. Especificar las estrategias de interacción con los actores involucrados, así como los efectos esperados al interactuar con el conocimiento. Al hacerlo, hay que clarificar el tipo de cambio, el grado de dificultad y el indicador con el que se mediría. Esto implica, por necesidad, preparar instrumentos para identificar los cambios que se pretende generar. En el Cuadro 7 se ejemplifica su uso en el contexto del proyecto de conservación ex situ.
Cuadro 7 Ruta de generación de impacto del proyecto de conservación ex situ (II)
| Estrategias de interacción |
Tipo de cambio |
Cambio esperado | Indicador | Grado de dificultad |
|---|---|---|---|---|
| Taller de transferencia tecnológica | Desarrollo de habilidades | Los participantes planifican lo que desean para su solar y aprenden cómo mantener un traspatio agroforestal. | % de participantes que, 3 meses después de los talleres, formalizaron la solicitud de especies nativas para establecerlas en su traspatio. | Se espera observar |
| Asistencia de pares | Comienzo de acciones | Los participantes instalan un traspatio agroforestal en su vivienda. | Número de traspatios agroforestales en funcionamiento, dos años después de su instalación. | Se desea observar |
| Evaluación del retorno social de la inversión | Generación de beneficios | Los participantes obtienen beneficios económicos y sociales por rehabilitar sus solares. | Monetarización de los productos obtenidos del traspatio agroforestal (forraje, leña, plantas medicinales, hortalizas, material de construcción) | Sería excelente observar |
| Diálogos multi-actor | Establecimiento de consensos | Existe respaldo para elaborar un reglamento intermunicipal de forestación. | Reglamento elaborado y aprobado por los cabildos. | Se desea observar |
Fuente: Elaboración propia
En conjunto, el procedimiento propuesto sentaría las bases de:
Evaluaciones participativas ex ante, a través de las cuales se coloque en el centro la capacidad de agencia de la población objetivo en el diseño de las investigaciones.
El monitoreo de la dinámica del proceso, a medida que se desarrollan las intervenciones.
El uso de evaluaciones como una herramienta de mejora continua, pues el aprendizaje obtenido serviría para retroalimentar los proyectos.
Sin embargo, el uso de esta propuesta, como parte de los procedimientos del CPIA, requiere cambios organizacionales más amplios. Si la universidad a la que pertenece no ajusta su sistema de evaluación, los investigadores invertirían tiempo en actividades no valoradas por su organización, ralentizando el avance en su carrera profesional. De esta manera, un análisis costo/beneficio por parte de los investigadores podría obstaculizar su adopción.
Por este motivo, sería necesario que la universidad vinculara la valoración del desempeño con indicadores de resultado. En específico, se propone que equipos interdisciplinarios de investigadores sean evaluados con base en indicadores seleccionados por ellos mismos, los cuales, a su parecer, reflejen tanto la relevancia de sus proyectos como el proceso de aprendizaje que han tenido.
El medio de rendición de cuentas serían autoevaluaciones donde los equipos de investigación sinteticen el cambio que han conseguido, valoren la efectividad de los mecanismos de intercambio, identifiquen desviaciones y acuerden acciones correctivas para obtener mejores resultados. La intención del procedimiento es estimular el trabajo colaborativo e interdisciplinario orientado hacia la obtención de resultados.
Actualmente, los investigadores de la universidad comprometen productos académicos. La propuesta de mejora es complementar esa métrica con indicadores que indiquen que sus interacciones han sido productivas (Cuadro 8). Para integrarla dentro de sus procedimientos, la universidad podría emplear distintos mecanismos, desde convocatorias que condicionen el financiamiento a su cumplimiento, hasta el rediseño del reglamento de ingreso y promoción del personal académico de la universidad, de forma que se integren indicadores que recompensen la trayectoria de académicos orientados a la transformación de su entorno.
Cuadro 8 Propuesta de indicadores para valorar el desempeño de investigadores
| INVESTIGACIÓN | RELEVANCIA | |
|---|---|---|
| Demostrar la generación de un producto | Artículo en revista indizada | Evidencia de talleres, programas de radio, videos, notas periodísticas |
| Demostrar el uso del conocimiento | Índice h | Indicadores seleccionados que reflejan cambios en la toma de decisiones de actores involucrados |
| Demostrar el reconocimiento | Financiamiento, premios | Financiamiento, premios, invitación a un comité, Altmetrics |
Modificado a partir de Bensing et al. (2013) y Hicks et al. (2015).
Conclusiones
Las evaluaciones asociadas al CPIA tuvieron tres propósitos: verificar la relevancia de los proyectos antes de su aprobación, rendir cuentas sobre los resultados inmediatos, obtenidos con los proyectos, y tomar decisiones laborales sobre el personal académico. No se han realizado evaluaciones para estimar los cambios generados, ni para retroalimentar los proyectos con la finalidad de mejorarlos.
Se considera necesario reformar el sistema de evaluación al interior de la universidad, de tal manera que mida el valor público generado mediante los proyectos de investigación agrícola desarrollados en el CPIA. Para empezar, hay que cambiar la forma en la que se concibe la calidad de las investigaciones. El paradigma actual asume que la productividad académica es algo inherentemente bueno y, por tanto, una medida suficiente para que la ciencia rinda cuentas. Lamentablemente, si la valoración del desempeño de los investigadores no promueve que se aboquen a la consecución de valor público con sus proyectos, se corre el riesgo de que algunos de ellos prioricen acciones que «dan puntos», más allá del impacto social que puedan tener sus investigaciones (Suárez y Muñoz, 2016).
En cambio, un esquema orientado al impacto promovería que los investigadores, más allá del cumplimiento de los estándares metodológicos de su disciplina, formen equipos interdisciplinarios e inviertan en actividades de intermediación del conocimiento (Bensing et al., 2013). Esta perspectiva ampliada de la rendición de cuentas requiere que el investigador aporte pruebas de que está comprometido con los objetivos que desea conseguir. El artículo presentó una propuesta procedimental para hacer realidad esta visión. Se considera que la universidad estudiada tiene el suficiente margen de maniobra para integrar los cambios sugeridos.
