nueva página del texto (beta)
Español (pdf)
Artículo en XML
Referencias del artículo
Traducción automática
Enviar artículo por email
Citado por SciELO 
Similares en
SciELO 
Permalink
La evaluación de políticas públicas es un proceso relativamente reciente en México. El sistema de evaluación de las políticas públicas nacionales se construyó en las últimas dos décadas y se consolidó con la creación del Consejo Nacional de Evaluación de la Política de Desarrollo Social (Coneval) en 2005. Este organismo realizó más de 1 100 evaluaciones durante el periodo 2007-2013. Simultáneamente, aparecieron líneas de investigación en los centros de educación superior del país, lo cual incentivó la creación de programas como el Center for Learning on Evaluación and Results Latin America (CLEAR). Estos acontecimientos permiten reconocer que en México se ha consolidado un sistema nacional de evaluación de políticas públicas.
Empero, la evaluación como proceso no ha tenido la misma evolución en los gobiernos subnacionales, debido principalmente a tres factores: escasa cultura de evaluación, altos costos para llevar a cabo estos procesos, y falta de recursos humanos calificados.1 A pesar de estas limitaciones, existen esfuerzos por parte de los gobiernos locales para realizar ejercicios de evaluación en sus espacios de competencia, tal es el caso de la Ciudad de México2 y Jalisco.
Por lo anterior, el objetivo de este trabajo es analizar las evaluaciones de política pública que se han realizado en el estado de Jalisco, desde el enfoque evaluación, ejecución y resultados, y uso de la información generada durante el proceso.
En el primer apartado se revisa de manera general el concepto de metaevaluación y se definen los alcances del presente trabajo; en el segundo apartado se contextualiza cómo y cuándo se comenzaron a evaluar las políticas públicas en Jalisco de manera sistemática. Posteriormente se presenta la metodología que se utilizó para realizar la metaevaluación y en el cuarto apartado se reflejan los resultados de la misma. Por último se muestran las conclusiones de este trabajo.
Un acercamiento a la metaevaluación
La teoría de la evaluación como campo de estudio se desarrolló ampliamente en Estados Unidos a partir de la década de 1950 con el propósito de reconocer los efectos de las políticas de la posguerra. La evolución de esta corriente teórica se ha diversificado al punto de reconocer la necesidad de evaluar las propias evaluaciones. Michael Scriven, uno de los máximos exponentes y precursores de la teoría de la evaluación, acuñó en la década de 1960 el concepto de metaevaluación, cuya aplicación se ha extendido mayormente en el campo de la evaluación educativa.
La metaevaluación es “la evaluación de las evaluaciones”.3 A partir de diversos autores, Coosky y Caracelli definen la metaevaluación como “[...] una revisión sistemática de evaluaciones para determinar la calidad de sus procesos y descubrimientos”.4 De manera general, la metaevaluación “[...] enjuicia la calidad y el mérito de lo que hacen los evaluadores profesionales, persigue el perfeccionamiento de sus trabajos y promueve una mayor comprensión de los mismos”.5 La metaevaluación, a diferencia de otros conceptos como meta-análisis, va más allá del estudio de los resultados y “mide el mérito o valor de una evaluación dada”.6
Bustelo7 identifica cuatro tipos de metaevaluaciones atendiendo al elemento en que se centra: el rol del evaluador, el contenido de la fase del programa evaluado, el momento de la evaluación, y la naturaleza del evaluador. De manera general, la literatura reconoce dos tipos de metaevaluación: la formativa, que tiene como propósito apoyar a los evaluadores a planear, conducir, poner en marcha y analizar los reportes de sus evaluaciones; y la sumativa, dirigida a las audiencias para que tengan acceso a las logros y debilidades de las evaluaciones.
Dado que una metaevaluación implica la determinación del mérito o calidad de la evaluación, entonces se requiere establecer los criterios por medio de los cuales se estimarán estos elementos. Scriven8 desarrolló un checklist en el cual se establece que una metaevaluación debe estudiar la validez, credibilidad, claridad, consistencia, temporalidad, efectividad, costo-factibilidad, costo-efectividad y generalidad. Stufflebeam desarrolla una definición operativa donde señala los criterios que se deben analizar en una metaevaluación: “utilidad, viabilidad, conveniencia, y exactitud de la evaluación y su naturaleza sistemática, la conducta competente, integridad/ honestidad, respeto y responsabilidad social”.9
En el mismo ámbito, Schwandt y Halpern10 determinan que los datos de una evaluación deben ser estudiados a partir de su relevancia, confiabilidad, suficiencia, representatividad y temporalidad. Por su parte, el Joint Committee on Standards for Educational Evaluation11 establece que los estándares son: utilidad, factibilidad, responsabilidad, precisión, transparencia; mientras que Díaz12 determina que la metaevaluación comprende el análisis del proceso de evaluación, sus resultados, las entidades evaluadoras, el modelo y la metodología seleccionada para realizar la evaluación, así como el paradigma mediante el cual se fundamenta.
La literatura da cuenta sobre algunos ejercicios de metaevaluacion que se han elaborado. Bustelo13 realizó la metaevaluación de 11 evaluaciones de políticas públicas en España a partir de tres criterios: el diseño del proceso de evaluación, elementos clave de la evaluación y el uso de los resultados de dichos procesos. Asimismo, Coosky y Caracelli14 presentan los resultados de la metaevaluación realizada al Consultative Group on International Agricultural Research mediante el análisis de 87 reportes, en los cuales se analizó el enfoque de los estudios y su calidad metodológica, así como el contexto político y cultural en que se desarrollaron las evaluaciones.
Por su parte, Cardozo15 realiza la metaevaluación de 31 evaluaciones de la Secretaría de Desarrollo Social (Sedesol) a partir del análisis de diversos elementos relacionados con el contexto de la evaluación y la metodología utilizada en el proceso. Identifica que, por el lado de los demandantes de las evaluaciones, hay insuficiencias en los términos de referencia y los periodos para realizar la evaluación. También encontró que la información que recibe el evaluador sobre el programa es de baja calidad. Por el lado de los evaluadores, éstos no utilizan técnicas especializadas de evaluación, confunden encuesta con entrevista y no se puede verificar la calidad de la aplicación de los instrumentos. Otra limitación importante es la falta de evaluación de impacto. Finalmente, la autora señala la falta de cultura de evaluación por parte de los promotores de los programas y la baja calidad de los informes por parte de los evaluadores. Este trabajo es relevante porque muestra lo útil de la metaevaluación para el caso de México.
En suma, se puede argumentar que la metaevaluación representa un instrumento de la política pública, ya que implica un proceso de análisis profundo para entender cómo se llevan a cabo las intervenciones del gobierno para resolver problemas públicos. En las definiciones expuestas anteriormente se observa que la metaevaluación se refiere de manera más precisa al proceso que realiza el evaluador, las características que debe tener la evaluación y los criterios que se espera que cumplan.
Este trabajo se inscribe en las metaevaluaciones del tipo sumativa, ya que va dirigido al público interesado en conocer los alcances de las evaluaciones que se realizan a las políticas públicas de Jalisco. Las limitaciones de la metaevaluación son intrínsecas a la complejidad en el manejo de vasta información, de acceso total a todas las fuentes de información a los evaluadores, los promotores de la evaluación y al tipo de metaevaluación a realizar. El presente trabajo definitivamente no representa una metaevaluación se sigue la sugerencia de Scriven,16 de que una metaevaluación parcial es mejor que ninguna. En ese sentido, la presente metaevaluación se acota al análisis del diseño de las evaluaciones, la puesta en operación de éstas y sus resultados, así como a la utilidad de la información.
El sistema de evaluación de políticas públicas de Jalisco
En el 2006 el gobierno del estado de Jalisco llevó a cabo un proyecto de monitoreo a su Plan de Desarrollo Estatal por medio de la construcción de un sistema de indicadores con la intención de observar los logros del gobierno en términos de desarrollo. Simultáneamente se creó un sistema de evaluación de los programas puestos en práctica en 14 secretarías y 20 organismos públicos descentralizados, los cuales llevan a cabo intervenciones que buscan resolver a su vez problemas públicos. Como resultado de estas acciones es posible identificar la existencia de 150 programas y acciones estatales, de las cuales se requiere conocer su efectividad, sus resultados y el impacto que generan.
En el 2013 se puso en marcha un sistema de evaluación de políticas públicas a partir de la creación del organismo auxiliar denominado Comité Técnico Independiente de Evaluación de Políticas Públicas (Evalúa). Las funciones del comité son: definir las estrategias de evaluación de la políticas públicas que desarrollan las diversas secretarías del Ejecutivo estatal, normar criterios de evaluación, asegurar la calidad de las evaluaciones y el monitoreo de las mismas.17 Ese mismo año fue clave para el impulso de Evalúa, ya que se inició el inventario de programas sociales, se diseñó el Plan Anual de Evaluación (PAE) del 2014 y se impulsaron las primeras evaluaciones externas en programas de la Secretaría de Desarrollo e Integración Social (Sedis).
Un año después se recomendó crear un fideicomiso con la finalidad de administrar el fondo para la evaluación de políticas públicas, el cual fue conformado en 2015 y recibió los primeros fondos para soportar el PAE de 2016. Este fondo se alimenta de recursos presupuestales de las distintas secretarías y dependencias estatales, situación que permite asegurar recursos financieros para las evaluaciones y además genera distancia entre el programa a evaluar y quien paga el costo del estudio.
Por otra parte, en 2014, en el marco del comité Evalúa, se aprobaron los primeros modelos de términos de referencia (MTDR) generales para los distintos tipos de evaluaciones. Estos documentos son de gran importancia porque proporcionan las directrices para construir los términos de referencia (TDR) que determinan el diseño del proceso de evaluación.
De manera general, el sistema de evaluación de políticas públicas del estado de Jalisco tiene cinco componentes: 1) el comité Evalúa, conformado por miembros de la Secretaría de Planeación, Administración y Finanzas (Sepaf) y Sedis, como representantes del Ejecutivo estatal; representantes académicos de instituciones de educación superior; representantes nacionales como el coordinador de evaluación de la Secretaría de Hacienda y Crédito Público (SHCP), y un representante del Coneval, entre otros; 2) la Subsecretaría de Planeación, dependiente de la Sepaf, cuyo titular funge como secretario ejecutivo del comité independiente; 3) las unidades de evaluación de todas las secretarías del gobierno del estado que son responsables de definir, monitorear y hacer correcciones a las políticas públicas de su dependencia; 4) un fideicomiso donde se administran los fondos para las evaluaciones; y 5) el grupo de consultores externos que realizan las evaluaciones.
El proceso establecido para que un programa se evalué en el marco del sistema de evaluación de Jalisco es: a) la secretaría inscribe la política a evaluar y el tipo de evaluación que desea en el PAE; b) a partir de los MTDR se construyen los TDR de la evaluación a realizar; c) posteriormente, el comité Evalúa invita a los evaluadores externos inscritos en el padrón de evaluadores a la licitación; d) la Subsecretaría de Planeación sanciona la licitación y determina al ganador; e) el evaluador es contratado y realiza la evaluación en constante comunicación con los responsables del programa; f) al finalizar el ejercicio de evaluación, el evaluador entrega el informe final con recomendaciones; g) se construye la agenda de mejora; h) se mantiene un seguimiento de la agenda hasta su conclusión. El sistema de evaluación va generando información, conocimiento intangible y un proceso de aprendizaje social entre los participantes en el sistema de evaluación de políticas públicas.
Estas acciones han significado la evaluación de 25 programas entre 2013-2015, donde se reconoce un esfuerzo importante en el último año por realizar evaluaciones internas con asistencia técnica externa. En el Cuadro 1 se puede observar que estas últimas han representado 48% de las evaluaciones del periodo, reconociendo que después de éstas existe una preferencia por las evaluaciones de diseño, entre las que se encuentra una con estudio de línea base.
Fuente: elaboración con base en información de la Secretaría de Planeación, Administración y Finanzas (2016) Evaluación de programas [http://sepaf.jalisco.gob.mx/gestion-estrategica/evaluacion/evaluaciones-programas], fecha de consulta: 22 de agosto de 2016.
Cuadro 1 Tipo de evaluaciones realizadas por Evalúa Jalisco
De manera particular, el PAE de 2013 estipulaba la evaluación de tres programas del gobierno estatal; para 2014 la cifra se incrementó a siete programas y, por último, en 2015 se planeó realizar 22 evaluaciones; sin embargo, es importante señalar que el PAE no se ha cumplido de manera estricta. En 2014 se evaluaron nueve programas, de los cuales sólo seis corresponden a lo planeado, ya que la evaluación del programa “Productividad Jalisco: categoría de apoyo al comercio exterior-ferias nacionales” no se realizó; y en el caso contrario los programas “Mochilas con útiles”, “Proyecta” y “Sistema de información de programas públicos”, fueron evaluados a pesar de no estar contemplados en el PAE. En 2015 se presentó un caso similar, ya que sólo se realizaron 12 de las 22 evaluaciones planeadas. La evaluación del programa “Foculta” fue cancelada debido a que el programa dejó de operar; mientras que siete evaluaciones estaban en proceso y en algunos otros casos no se había contratado al evaluador al momento de escribir este artículo.
Los esfuerzos por impulsar el sistema de evaluación en Jalisco han incluido la asignación de recursos financieros para poner en marcha procesos de evaluación. En 2013 se destinaron 494 600 pesos, cifra que ascendió a 2.49 millones de pesos en 2014 y en 2015 disminuyó a 786 300 pesos. En promedio el costo de las evaluaciones pagadas por el gobierno del estado de Jalisco se incrementó, ya que en 2013 se pagaron 164 800 pesos por evaluación, mientras que en 2014 el costo fue de 277 050 pesos; sin embargo, para 2016 el costo promedio de las evaluaciones fue tan sólo de 60 490 pesos.
En relación con los evaluadores externos, se observa que en 2013 dos de las tres evaluaciones realizadas fueron hechas por Indexa S.C. En 2014, dos de los nueve programas evaluados fueron puestos en práctica por Laura Cardona; mientras que, en 2015, 12 de las 13 evaluaciones planeadas se realizaron a través de Arias Marroquín y Asociados, S.C. Lo anterior muestra la necesidad de ampliar el padrón de evaluadores que participan en los procesos de licitación, con el objetivo de crear una competencia que mejore la calidad de las evaluaciones.
En resumen, existen esfuerzos por parte del gobierno del estado de Jalisco para establecer un sistema de evaluación de políticas públicas al que se le han destinado recursos financieros; sin embargo, dicho proceso no está institucionalizado, existen problemas de planeación y cumplimiento de los PAE, así como la entrega de contratos a un número reducido de evaluadores externos.
A pesar de estas limitantes, se considera que el sistema debe mejorar el proceso de evaluación, la calidad, la contratación de evaluadores externos, el diseño, así como la información que se proporciona a los ciudadanos sobre los logros y debilidades de los programas. En suma, se requiere realizar una metaevaluación. En el siguiente apartado se presenta la metodología que se utilizó en este trabajo para realizar la metaevaluación de los programas públicos en el estado de Jalisco.
Metodología para la metaevaluación de los programas públicos en Jalisco
La metaevaluación se realizó a partir de los informes finales de los programas estatales evaluados entre 2013 y 2015. Estos documentos son de carácter público, por lo que se obtuvieron por medio de la página electrónica de la Sepaf. Con esta fuente fue posible identificar 25 informes de evaluaciones finales que se llevaron a cabo durante el periodo señalado.
En un primer filtro se descartaron los informes de evaluación que correspondían a evaluaciones internas, ya que éstas por su naturaleza son realizadas por la organización. Adicionalmente se descartaron las evaluaciones que se encontraban en proceso, para concentrarnos sólo en aquellas que habían concluido, debido a la intención de estudiar el diseño, la realización y el uso que se le proporcionaba a la información resultante del ejercicio de evaluación. Estos filtros permitieron obtener una muestra de 13 evaluaciones, con las cuales se lleva a cabo la metaevaluación presentada en este trabajo (Cuadro 3).
Fuente: elaboración con base en información de la Secretaría de Planeación, Administración y Finanzas (2016), Evaluación de programas [http://sepaf.jalisco.gob.mx/gestion-estrategica/evaluacion/evaluaciones-programas], fecha de consulta: 22 de agosto de 2016.
* Nota: en la página web de la Secretaría de Planeación, Administración y Finanzas se establece que el programa evaluado se denomina “Sistema de información de programas públicos”; sin embargo el documento final de la evaluación se llama “Modelo de evaluación de consistencia global para la agenda de gobierno del estado de Jalisco”. Para los fines de este trabajo se conservará el nombre inicial.
Cuadro 3 Muestra de programas públicos analizados
Con la muestra de evaluaciones definidas para la metaevaluación se construyó una base de datos donde se concentró la información general de cada proceso de evaluación. En esta base se registró el año de evaluación, dependencia a la que pertenecía el programa, tipo de evaluación planeada, tipo de evaluación realizada, entidad evaluadora y costo de la evaluación.
Los alcances de este trabajo planteaban el análisis del proceso de evaluación desde su concepción hasta la posible mejora lograda; por tanto, se realizó el estudio por medio de tres etapas identificadas en el proceso de evaluación: diseño, realización y resultados, y uso de la evaluación. Para obtener la metaevaluación se llevó a cabo un análisis comparativo de los insumos y productos obtenidos en cada una de las tres etapas; así, para el diseño de evaluación, se contrastaron los MTDR con los TDR; en la realización y resultados se compararon los TDR con el informe final de la evaluación y, por último, el uso de la evaluación se contrastó mediante el informe final de la evaluación con la agenda de mejora y el monitoreo de la misma. A continuación se presentan los resultados del análisis por etapa.
Resultados de la metaevaluación
El análisis comparativo de los productos originados a partir del proceso de evaluación se obtuvo mediante la contrastación de las etapas involucradas en dicho ejercicio; adicionalmente, cada una cuenta con una serie de elementos desde los cuales fueron estudiadas. Así, a continuación se presentan los resultados de la metaevaluación de los programas públicos del estado de Jalisco.
Diseño de la evaluación
Para identificar las características del diseño de las evaluaciones de programas en el estado de Jalisco se compararon los MDTR con los TDR con la intención de reconocer si este último documento se apega al modelo señalado, al permitir especificar los lineamientos y criterios que debe seguir el evaluador externo, así como los objetivos y resultados esperados de la evaluación. Es importante señalar que, a partir de 2014, Evalúa Jalisco estableció el MTDR para crear los TDR correspondientes a las evaluaciones de diseño, resultados, así como consistencia y resultados. Estos documentos se han renovado en 2015 y 2016. Mediante este modelo se diseñaron los términos de referencia para siete de las 13 evaluaciones que forman parte de la muestra para la metaevaluación.18
Para analizar el diseño de la evaluación se consideraron los siguientes criterios mínimos básicos en esta etapa del proceso de evaluación: fuentes de información, metodología y tipo de análisis solicitado, requisitos del equipo de evaluación, duración de la evaluación y presupuesto.
En el caso del primer criterio, se identificó que en la evaluación del programa “Mochilas con los útiles”, de 2014, se observa que el MTDR especifica la necesidad de incorporar el enfoque y las fuentes de información que se utilizarán; sin embargo, en los TDR de esta evaluación no se señalan estos apartados.
Al analizar los TDR en materia de metodología y tipo de análisis, se observó que en el caso de la evaluación de diseño se establece que ésta se realizará a partir de la respuesta a 20 preguntas que dan cuenta de los objetivos específicos de este tipo de evaluaciones; sin embargo, en el caso de los TDR de la evaluación del programa “Proyecta”, se omitieron cuatro preguntas correspondientes al análisis de la pertinencia de dicho proyecto. Asimismo, el MTDR de la evaluación de consistencia y resultados establece que los TDR de este tipo de evaluaciones deben incluir un análisis de fortalezas, oportunidades, debilidades y amenazas (análisis FODA); no obstante, en los TDR de la evaluación del programa “Una computadora por familia”, de 2014, no se incorporó este elemento.
En cuanto a la inclusión del perfil requerido para el equipo de evaluación, se observó que en el caso de las evaluaciones de diseño, el MTDR establece que el responsable del equipo que realizará este tipo de evaluación debe contar con experiencia en este campo y adicionalmente tener el grado de doctorado en áreas afines a las ciencias sociales, mientras que el resto de los miembros del equipo deberán tener nivel de posgrado. Este requisito no fue trasladado a los TDR, ya que en dos de las tres evaluaciones sólo se menciona que el responsable de la evaluación deberá tener experiencia en evaluaciones gubernamentales, pero se excluye completamente el requisito del nivel académico para el responsable del proceso y el resto del equipo, mientras que en la evaluación correspondiente al programa “Desarrollo cultural municipal” de 2014 se estableció en el TDR que el evaluador responsable debe tener grado académico de maestro, mientras que los demás miembros del equipo deben contar con estudios de licenciatura.
La duración de la evaluación es un elemento básico que deben contener los TDR; sin embargo, la duración de las evaluaciones es un criterio del MTDR que se alteró en los TDR de las dos evaluaciones de resultados realizadas, al reducir en ambos casos los días que se otorgaron a los evaluadores para completar el proceso.
Por último, los MTDR de las evaluaciones de diseño, resultados y, consistencia y resultados, señalan la existencia de un apartado en el cual se deben establecer el presupuesto de la evaluación y las formas de pago; sin embargo, en los TDR de las dos evaluaciones de consistencia y resultados, así como en las dos evaluaciones de resultados y en la evaluación de diseño del programa “Desarrollo cultural municipal”, fue omitida esta información. De esta forma, de los siete TDR redactados a partir de los MTDR, en cinco no se hace mención al presupuesto de la evaluación y la forma en que se realizará el pago.
De manera general, se puede observar inicialmente que los MTDR establecidos sólo han sido útiles para diseñar los TDR de tres tipos de evaluación: diseño, resultados y, consistencia y resultados; no obstante, se establecieron MTDR para evaluaciones que no se realizaron y, por otra parte, hay TDR que se diseñaron sin un modelo como base, tal es el caso de las evaluaciones de consistencia específicas, y estratégicas sobre consistencia.
Adicionalmente se reconoció que aquellos TDR que fueron diseñados bajo un MTDR no cumplen necesariamente con estos lineamientos, pues se identifica principalmente la ausencia del apartado relacionado con el presupuesto de la evaluación y la forma de pago; mientras que en las evaluaciones de diseño se manifiesta la modificación que se realizó a los TDR para ajustar el perfil del evaluador y eliminar o reducir el grado académico que el responsable del equipo de evaluación debería tener.
Ejecución y resultados de la evaluación
Para analizar el proceso de ejecución y resultados de la muestra de evaluaciones señaladas para la metaevaluación se realizó una comparación entre los TDR y los informes finales de cada evaluación. Las variables que se compararon fueron: objetivo, metodología, alcance, presentación de resultados, conclusiones y recomendaciones.
Al estudiar el objetivo de las evaluaciones se observó que los 13 informes muestran objetivos totalmente similares al título de la evaluación, lo que implica una visión de apegarse estrictamente a los TDR; sin embargo, se observa que los objetivos de estos documentos son similares a los expresados en las metodologías del Coneval. Esta situación favorece la comparación, pero es posible que aporte poco en términos de recomendaciones para transformar los programas a fondo.
La metodología de las evaluaciones es un tema de relevancia en el análisis debido a que se observó que los TDR se apegan a las metodologías importadas desde el Coneval para la evaluación de diseño o resultados; de tal forma que se privilegia el uso de la matriz de indicadores de resultados (MIR) y se favorece el trabajo cualitativo sobre el cuantitativo.
La totalidad de las evaluaciones realizadas utilizaron métodos cualitativos para recopilar y analizar la información usada en el proceso de evaluación. Como parte de estos métodos, las evaluaciones contienen análisis documental o trabajo de gabinete a partir de documentos como reglas de operación, diagnósticos, matriz de indicadores de resultados, padrones de beneficiarios y normatividad, que da sustento a la operación del programa sujeto de evaluación. En tres evaluaciones se especifica que los documentos analizados durante la revisión documental fueron proporcionados por la entidad responsable del programa, lo cual deja entrever la falta de esfuerzo por parte del evaluador externo por adquirir y triangular información.
La entrevista es otro método cualitativo regular en las evaluaciones estudiadas, ya que en 12 de éstas se realizaron para obtener información sobre el programa sujeto de evaluación; en tres se entrevistó a los beneficiarios del programa, mientras que en dos ocasiones se hicieron entrevistas a la población no beneficiada por los apoyos del programa que se estaba evaluando. Sin embargo, se observa que sólo en el caso de la evaluación del programa “Mujeres jefas de familia” la selección de los entrevistados se realizó mediante la estimación de una muestra, mientras que en el resto de las evaluaciones se aclara que la muestra de entrevistados no es representativa. La entrevista a funcionarios públicos involucrados en la operación de los programas es un elemento presente en 11 evaluaciones; sin embargo, en estos casos no se especifican los criterios para seleccionar a los entrevistados.
Otra fuente de información para las evaluaciones, que pertenece a los métodos cualitativos, son los grupos focales, los cuales se utilizaron en tres evaluaciones diferentes. En el caso de la evaluación del programa “Mujeres jefas de familia”, se realizaron dos grupos focales, uno para beneficiarias y otro para no beneficiarias; mientras que en el programa “Mochilas y útiles escolares” el grupo focal se llevó a cabo con población no beneficiaria del apoyo y, por último, el programa “Apoyo a organismos de la sociedad civil” utilizó un grupo focal para 14 organizaciones de este tipo, pero no se especifica si éstas eran parte o no de los beneficiarios del programa.
Por otra parte, en siete evaluaciones se hace uso de métodos cuantitativos, siendo la encuesta la herramienta más utilizada para obtener la información, misma que se utiliza en los programas “Mochilas con los útiles” y “Programa estatal de capacitación, certificación y microemprendimiento para buscadores de empleo”. En el primer caso, se aplicaron las encuestas a población no beneficiaria de la zona metropolitana de Guadalajara y al interior del estado de Jalisco. La estimación de la muestra para la encuesta se realiza con un nivel de confianza de 90% y un grado de error de ±5%; sin embargo, en un pie de página se especifica que los evaluadores estimaron muestras y diseñaron el instrumento para realizar la encuesta, pero la aplicación de éste en el interior del estado la llevó a cabo la Sedis, la cual es responsable del programa sujeto de evaluación. La encuesta utilizada en el “Programa estatal de capacitación, certificación y microemprendimiento” se centró en la población beneficiaria exclusivamente, cuya muestra se basó en un diseño probabilístico polietápico, estratificado y por conglomerados; sin embargo, la muestra sólo se aplicó en la zona metropolitana de Guadalajara.
En el caso de los programas “Sistema de información de programas públicos” e “Instrumentos estratégicos de programas públicos”, se recopiló información para el proceso de evaluación por medio de cuestionarios en línea; mientras que el programa “Desayunos escolares” aplicó cuestionarios a los beneficiarios, al reconocer en este último caso que la información no es representativa.
Otra herramienta considerada dentro de los métodos cuantitativos es el análisis de tendencia que se utilizó en la evaluación del programa “Salvando vidas”, el cual analizó la tasa de crecimiento del servicio prestado por parte del programa, los resultados obtenidos y la percepción de la población sobre las acciones del programa. Para realizar esto se utilizó información obtenida de la red social Twitter y el sitio Topsy.com.
Por último, el programa “Mujeres jefas de familia” especifica que su metodología es cualitativa y cuantitativa, sin embargo, no explica qué herramientas son consideradas cuantitativas, ya que por definición el análisis documental, las entrevistas y los grupos focales son métodos considerados como cualitativos.
Al analizar la presentación de los resultados de la evaluación se observa que 12 de las 13 evaluaciones siguen los lineamientos establecidos por el Coneval, en el cual cada tipo de evaluación cuenta con una serie de preguntas relacionadas con los objetivos de la evaluación. Estos cuestionamientos se deben responder mediante un sistema binario (sí/no), y presentar argumentos para sustentar la respuesta. Adicionalmente se cuenta con una escala Likert de cuatro grados a partir de la cual el evaluador expresa su valoración sobre cada pregunta.
Al tratar de identificar el alcance de la evaluación se observa que en algunos TDR se especifica que las evaluaciones pueden tener cuatro tipos de alcance: exploratorio, para identificar un problema; descriptivo, cuando se presenta evidencia sobre un programa; correlacional, en aquellos casos donde se construye una relación entre diversas variables de un problema; y explicativo, que genera nuevo conocimiento sobre el programa a partir de la comprobación de una hipótesis.
Los informes finales de las evaluaciones analizadas no determinan el alcance de la evaluación que se está realizando; sin embargo, en siete TDR correspondientes a siete evaluaciones diferentes se señala que el alcance de la evaluación es descriptivo con algunos elementos correlacionales. Se reconoce que hasta el momento no se han realizado evaluaciones que mantengan un alcance exploratorio y explicativo.
Las primeras evaluaciones en Jalisco se realizaron en 2013 bajo los términos de referencia del Coneval, razón que justifica el uso del sistema binario y la escala de Likert; no obstante, a partir de 2014, Evalúa genera su MTDR, así como los TDR para las evaluaciones guiadas por esta entidad, y a pesar de eso mantienen la metodología del Coneval para las evaluaciones y por ende se conserva el modelo de preguntas. Esto puede incluso resultar confuso para la presentación de los resultados, ya que algunos informes finales son considerados preguntas de evaluación.
Por otra parte, al analizar las conclusiones a las cuales llegaron las evaluaciones, se observa que existen valoraciones favorables y desfavorables. Las conclusiones favorables a las que llegaron las evaluaciones analizadas versan sobre diferentes tópicos. Cuatro evaluaciones señalaron que en general el programa tenía un buen funcionamiento; tres más determinaron que el programa presentaba congruencia con los documentos de planeación nacionales y estatales, mientras que otros tres determinaron que la estructura organizacional con la que funcionaba el programa sujeto de evaluación era adecuada.
El resto de las evaluaciones arrojaron conclusiones favorables relacionadas con la definición del problema (el problema estaba bien definido), el desempeño de los responsables del programa (los actores se comprometían con el programa, estaban capacitados, se generaba aprendizaje social), los procesos del programa (la selección de los beneficiarios era transparente, la difusión era adecuada, la normatividad era suficiente) y los resultados del programa (el cual tenía un efecto positivo sobre el problema, incentivaba la innovación; la población estaba satisfecha con el programa).
En el caso opuesto, las conclusiones desfavorables de las evaluaciones analizadas para este trabajo apuntaron en cuatro ocasiones a la falta de información sobre el programa y en otras cuatro evaluaciones se identificaron problemas en la focalización de los apoyos que se otorgaban a la población objetivo. Cuatro evaluaciones determinaron que existían problemas en la definición de la población objetivo, a causa principalmente de que ésta no se encontraba correctamente identificada ni cuantificada; mientras que cuatro evaluaciones señalaron que los programas sujetos de evaluación no contaban con mecanismos de monitoreo y seguimiento, y tres evaluaciones señalaban que los programas carecían de un diagnóstico.
Otras conclusiones desfavorables de los programas evaluados se relacionaban con falta de planeación, problemas de diseño (no hay teoría de cambio, el problema no está bien definido, deficiencias en las reglas de operación, se abarcan diversos problemas, problemas que no eran competencia de los responsables, diseños ambiciosos, incongruencia entre mecanismos y objetivos, duplicidad de programas); problemas en la puesta en marcha (falta de procedimientos formalizados, falta de control de la información, falta de coordinación entre actores, poca difusión, problemas en la selección de beneficiarios), así como ausencia de evaluación y participación ciudadana.
Las recomendaciones que los evaluadores emitieron en seis casos se relacionan principalmente con mejorar la coordinación entre los diferentes actores involucrados en el programa. Seis evaluaciones recomendaron la generación de indicadores de monitoreo, seguimiento y evaluación; sin embargo, los mayores cambios sugeridos por los evaluadores se concentraron en el diseño de los programas sujetos de evaluación. En cinco evaluaciones se recomendó mejorar los objetivos; en cuatro se sugirió mejorar o incluso cambiar los apoyos otorgados y en tres más se recomendó atender los problemas de cuantificación de la población objetivo y potencial. Otras recomendaciones relacionadas con el diseño apuntaban a la creación de diagnósticos, mejoras en la matriz de indicadores de resultados y ajustes en la definición del problema.
Por su parte, las recomendaciones relacionadas con los procesos de los programas evaluados apuntaban principalmente a comprobar el destino de los apoyos, mejorar la difusión y los tiempos de las convocatorias, así como la sistematización de la información. Otras recomendaciones hicieron referencia a la necesidad de contar con mayores estudios complementarios, mejorar la normatividad de los programas, capacitar al personal, fortalecer la estructura organizacional e incluso el incremento de la cobertura del programa.
Uso de la información
Para analizar el uso de la información se compararon los resultados y recomendaciones originados en el proceso de evaluación con la agenda de mejora que se construye una vez concluido el ejercicio de evaluación. De manera particular se analizaron el número de recomendaciones convertidas en compromisos y el cumplimiento de estos últimos.
En primera instancia es importante señalar que no todas las recomendaciones son traducidas a compromisos; sin embargo, la entidad responsable del programa debe justificar las razones por las cuales no se atenderán las recomendaciones surgidas del proceso de evaluación. Al revisar las recomendaciones emitidas y la justificación de su ausencia en la agenda de mejoras de los programas públicos evaluados en el estado de Jalisco, se identifican tres principales razones: a) no existen recursos financieros, tecnológicos o institucionales para acatar las observaciones; b) las recomendaciones no son atribuciones de la entidad responsable del programa, y c) diferencias de opinión entre el evaluador y los responsables del programa.
Asimismo, al analizar la agenda de mejora de los programas que fungen como muestra de esta metaevaluación, es posible identificar que el programa con mayor porcentaje de recomendaciones transformadas en compromisos fue el programa “Apoyo al transporte para estudiantes”, en el cual 91% fueron incorporadas a la agenda de mejora; mientras que en el otro extremo se encuentra el programa “Ecos, música para el desarrollo”, en el cual sólo 20% de las recomendaciones fueron acatadas por los responsables del mismo.
Por otra parte, el monitorio que Evalúa realiza de los compromisos adquiridos por parte de la entidad responsable del programa permite identificar los avances realizados a partir de 2014 (Cuadro 5). De esta forma, se puede identificar que inicialmente los compromisos adquiridos eran cumplidos en su totalidad; sin embargo, ya para 2015 se comienza a observar que algunas instancias no cumplen con sus compromisos, situación que se replica en 2016.
Fuente: elaboración propia con base en Dirección General de Monitoreo y Seguimiento (2016), Agenda de Mejora [https://seplan.app.jalisco.gob.mx/agendaMejora/], fecha de consulta: 22 de agosto 2016.
Cuadro 4 Recomendaciones incorporadas a la agenda de Mejora
Fuente: elaboración con base en Dirección General de Monitoreo y Seguimiento (2016), Agenda de Mejora [https://seplan.app.jalisco.gob.mx/agendaMejora/], fecha de consulta: 22 de agosto 2016.
Cuadro 5 Porcentaje de avance de los compromisos adquiridos
Los avances en el cumplimiento de los compromisos adquiridos por la entidad responsable del programa para mejorar el mismo son diversos; sin embargo, se observa que hay programas como “Ecos, música para el desarrollo” y “Proyecta”, que hasta ese momento no habían acatado ninguna recomendación hecha por los evaluadores. No obstante, el problema se agrava al observar el “Programa estatal de capacitación, certificación y microemprendimiento para buscadores de empleo”, ya que durante 2015 se adquirieron 13 compromisos y el año finalizó sin que se lograra concluir alguno de ellos.
Por otra parte, existen programas que han logrado cumplir con los compromisos adquiridos en la agenda de mejora, como “Mochilas con útiles escolares” y “Sistema de información de programas públicos”, los cuales han atendido 100% de los compromisos adquiridos.
Conclusiones
La puesta en marcha del sistema de evaluación de políticas públicas en Jalisco representa un avance relevante para generar una plataforma de mejora de las intervenciones que el gobierno estatal realiza con el objetivo de resolver problemas públicos. En tres años se ha logrado la conformación y funcionamiento de todos los actores involucrados en el sistema, así como el interés y la participación de las secretarías del gobierno estatal que solicitan la evaluación de sus programas.
De manera general se puede reconocer que la conformación del sistema de evaluación ha generado un proceso de aprendizaje social que incentiva la cultura de la evaluación en Jalisco; sin embargo, este sistema no se encuentra institucionalizado, por lo que su continuidad está en riesgo. Adicionalmente se requiere una mayor apertura por parte de Evalúa para incrementar el número de evaluadores externos y esclarecer los criterios de selección de los evaluadores que ganan las licitaciones.
Por otra parte, la metaevaluación presentada en este artículo permite reconocer los aciertos y las debilidades del diseño, ejecución y resultados, así como uso de la información derivada de los procesos de evaluación. En primer lugar, se reconoce la necesidad de desarrollar MTDR para los diferentes tipos de evaluaciones que se llevan a cabo en Jalisco y se debe asegurar que los que ya existan se respeten cabalmente, incluidos los requerimientos del perfil académico del evaluador y las condiciones de presupuesto y formas de pago.
En segundo lugar, se identificó que existe una fuerte dependencia metodológica entre Evalúa y el Coneval. Esta situación es favorable para la comparación, pero inhibe la innovación derivada del aprendizaje social inherente a los procesos de evaluación. Actualmente se reconoce que el sistema de evaluación de Jalisco cuenta con los elementos necesarios para generar metodologías propias que contribuyan conceptual y teóricamente al estudio de la evaluación en México.
En tercer lugar, al eludir los criterios establecidos en el perfil del equipo de evaluación, tiene consecuencias en la ausencia de criterios metodológicos sólidos en los procesos de evaluación; de tal forma que el uso de instrumentos de recolección de información que no tienen representatividad estadística o territorial afecta la calidad de los datos y por ende los resultados que se obtendrán al finalizar el proceso.
En cuarto lugar, se identificó que el alcance de las evaluaciones realizadas en el periodo de estudio se ha limitado a describir los programas y a correlacionar algunas variables afines con los mismos. De esta forma, se han eludido las evaluaciones que tienen un alcance exploratorio y explicativo, situación que ha inhibido obtener información sobre la identificación de problemas y la generación de nuevo conocimiento.
Por último, si bien existen problemas metodológicos con la información obtenida para la evaluación, es importante señalar que Evalúa muestra un importante avance en el uso de la información generada por las evaluaciones, ya que el monitoreo de la agenda de mejora muestra un compromiso por parte de las instancias responsables de los programas para acatar y cumplir las recomendaciones emitidas por los evaluadores externos.
En suma, la metaevaluación es una herramienta de gran utilidad para obtener información sobre un conjunto de evaluaciones. Reconocemos que este trabajo tiene limitaciones al considerar únicamente análisis documental y los productos resultantes del proceso de evaluación; sin embargo, representa el cimiento para generar un proyecto que permita recabar información sobre actores y procesos internos con el propósito de ampliar el ejercicio de metaevaluación, ya que éste es un requisito esencial para hacer más efectivas las políticas públicas que pone en práctica el gobierno de Jalisco.
