La evaluación y las políticas públicas

Dentro de la literatura existen autores que se identifican con la idea de considerar a las políticas públicas como un ciclo, en tanto que otros se decantan por definirlas como un proceso. Al respecto, Aguilar señala que la política pública “es un proceso que se desenvuelve por etapas, cada una de las cuales posee sus actores, restricciones, decisiones, desarrollos y resultados propios, influye en las demás y es afectada por lo que sucede en las otras”.² En este sentido, Anderson aporta una de las descripciones más aceptadas del proceso y lo divide en cinco etapas: identificación del problema y formación de la agenda, formulación, adopción, implementación y evaluación.³

Aunque según Ramos, Sosa y Acosta, desde mediados del siglo XX se han considerado los aportes de la evaluación como integradores de los resultados y efectos de los componentes de las políticas públicas, no es sino hasta la era de la globalización cuando se ha entendido a la evaluación como una herramienta estratégica, tanto para el sector público como para el privado.⁴ Esta etapa es adoptada de manera prácticamente unánime como parte integrante del proceso de las políticas públicas, fortalecida más aún con la evidente tendencia hacia un mayor involucramiento de la sociedad en los asuntos públicos y por consiguiente, más pendiente de los resultados de las políticas.

En la actualidad, la mayoría de los autores coinciden en que toda política pública debe ser evaluada, pero vale la pena examinar el concepto de evaluación desde una perspectiva general para después analizar cómo puede ser entendida y utilizada en un contexto de políticas públicas; entonces, puede afirmarse que la evaluación se da en numerosos ámbitos de las organizaciones, ya sean privadas o públicas, con un fin, si no único, sí determinante: auxiliar en la toma de decisiones.

No existe una definición universalmente aceptada para el concepto de evaluación, aunque la mayoría de los autores coinciden en ciertos elementos. Según la Real Academia Española, el significado de evaluar es “señalar el valor de algo”, así como “estimar, apreciar, calcular el valor de algo”,⁵ concepto del que parte Briones, para quien evaluar es el “acto de juzgar o apreciar la importancia de un determinado objeto, situación o proceso en relación con ciertas funciones que deberían cumplirse o con ciertos criterios o valores, explicitado o no”.⁶ Esto también coincide con la aportación de Bhola, quien considera a la evaluación como una “asignación de valores para juzgar la cantidad, el grado, la condición, valor, calidad o efectividad de algo”.⁷ En cambio, Cohen y Franco van más allá, al describir que la fijación del valor al evaluar requiere un procedimiento para comparar lo que se evalúa con respecto de un criterio o patrón previamente dado.⁸ Por su parte, Cardozo prefiere referirse a la evaluación como

aquella investigación aplicada, de tendencia interdisciplinaria, realizada mediante la aplicación de un método sistemático, cuyo objetivo es conocer, explicar y valorar una realidad, así como aportar elementos al proceso de toma de decisiones, que permitan mejorar los efectos de la actividad evaluada.⁹

Ya en el contexto de evaluación de políticas, Ramos y Villalobos señalan que “consiste en la afirmación de un juicio de valor sobre los productos y los efectos de las políticas públicas”,¹⁰ en tanto que Gertler las define como “exámenes periódicos y objetivos de un proyecto, programa o política programada, en curso o completada […, las cuales] se usan para responder a preguntas específicas, relacionadas con el diseño, la ejecución y los resultados”.¹¹ La importancia que se le da a los efectos de la política la comparte Weiss, cuya noción privilegia la valoración de los resultados de los programas públicos, lo que implica “medir los efectos de un programa por comparación con las metas que se propuso alcanzar, a fin de contribuir a la toma de decisiones subsiguientes acerca del programa y mejorar la programación futura”.¹² Franco coincide, pues integra la idea de los resultados en su concepto de evaluación de políticas, cuando la define como la valoración de “los efectos para determinar cómo ha cambiado una determinada situación una vez que ha culminado la acción del gobierno”.¹³

Por su parte, Salcedo fortalece la idea de que la evaluación de políticas públicas busca medir los efectos que éstas tienen y además hace una división con relación a los tipos de evaluación en este contexto, al considerar evaluación propiamente dicha a aquella que “pretende conocer, descubrir, explicar los efectos o impacto de la gestión pública”, en tanto que define como “auditoría del desempeño” a la investigación que “se instaura para fiscalizar el cumplimiento de los objetivos y metas de una política pública a partir de la rendición de cuentas”.¹⁴ Así, define como evaluación de políticas públicas a “la valoración de la acción emprendida por los poderes públicos para abordar un problema de la agenda pública; pone el énfasis en los efectos reales de la acción gubernamental”;¹⁵ indica que la evaluación implica “la utilización de los métodos de las ciencias sociales para medir y valorar los efectos reales, previstos o no, de las políticas públicas”.¹⁶

Así mismo, dado que con este trabajo se persigue la instauración de un sistema de evaluación para dos programas sociales, es pertinente la revisión de la teoría relacionada con la evaluación de programas. Al respecto, Vara define a los programas sociales como un “conjunto específico de acciones humanas y recursos materiales, diseñados e implantados organizadamente en una determinada realidad social, con el propósito de resolver algún problema que atañe a un conjunto de personas”;¹⁷ la evaluación, por lo tanto, indicará cómo estas acciones humanas solucionan los problemas planteados y alcanzan sus propósitos, calificará su gestión y además valorará si la implementación de los mismos se dio de manera organizada.

Por su parte, Grover en Sosa deduce que “la evaluación puede entenderse como el sistemático examen de un programa para proveer información sobre toda la gama de efectos de corto y largo plazos que tiene sobre los ciudadanos”.¹⁸ Como muestra Bustelo, es posible trascender dicha propuesta, al relacionar la evaluación de programas con algunas etapas del proceso de las políticas públicas, dado que “la evaluación de programas es la aplicación de métodos de investigación sistemáticos para la valoración del diseño, la implementación y la efectividad de un programa”.¹⁹ Acosta, por su parte, señala que la evaluación “proporciona evidencia sobre la eficacia y los beneficios derivados de un programa social”.²⁰

En suma, se observa cierta coincidencia entre los elementos definitorios de la evaluación de políticas públicas y la de programas sociales; con respecto de estos últimos, los autores consultados incluso ofrecen mayor grado de especificidad en cuanto a las diferentes etapas del proceso.

Desde la perspectiva de este artículo, se considera más pertinente la utilización de la definición que aporta la OCDE,²¹ la cual entiende que la evaluación “es una valoración tan sistemática y objetiva como sea posible de un proyecto, programa o política que se está desarrollando o se ha completado, su diseño, implementación y resultados”; tal noción se ajusta a los alcances de este estudio ya que integra tanto el concepto de evaluación como sus características y los tiempos en que se aplica, cuestión que fue determinante para el diseño del sistema que más adelante se propone.

Contexto de los programas Mujeres jefas de familia y en condición vulnerable y Por ti, adulto mayor, del gobierno municipal de Zapopan

Zapopan es el segundo municipio más poblado del estado de Jalisco, con 1 243 538 habitantes -según el censo de 2010-,²² y el primero en extensión territorial de la zona metropolitana de Guadalajara, con 893.15 kilómetros cuadrados. Fue refundado en el año 1542 y reconocido como Ayuntamiento por vez primera en 1821.²³ Su historia ha estado ligada a la del municipio vecino de Guadalajara, capital del estado, con el que ha compartido tanto el desarrollo como la problemática, aunque guardando sus particularidades.

A pesar de su crecimiento económico y demográfico, actualmente cuenta con 190 localidades rurales;²⁴ además el Ayuntamiento reconoce a 12 poblaciones como agencias y a 12 como delegaciones municipales, algunas ya alcanzadas por la mancha urbana.

En ciertos poblados de Zapopan se conservan tradiciones y costumbres ancestrales, como lo son las festividades anuales de los tastoanes durante el mes de julio. Asimismo, el municipio es sede de una de las celebraciones religiosas más concurridas del occidente del país, la romería de la Virgen de Zapopan, cuya asistencia ha oscilado en los dos millones de personas en los años recientes.

En las últimas décadas, Zapopan ha pasado de ser un municipio con preponderancia del sector primario a convertirse en un polo importante de industria, comercio y servicios; se han establecido en su territorio algunos de los centros comerciales más visitados, campus universitarios y zonas industriales.

La presión urbana en ciertas zonas del municipio, como Tesistán, el bosque La primavera, el bosque El Nixticuil y la zona de la carretera a Colotlán -originada por la especulación inmobiliaria-, ha ocasionado la proliferación de fraccionamientos y colonias demandantes de servicios públicos. Además, la geografía de la zona metropolitana ha conformado los cinturones de miseria en los municipios vecinos a Guadalajara, siendo la región conocida como Las Mesas en el norte y las colonias aledañas al cerro El Colli en el sur del municipio las dos regiones de Zapopan con mayor cantidad de colonias en situación de pobreza -tema que se analizará más adelante en este documento. Según datos del Centro de Información Municipal (CIM) de la dirección de Programación, Zapopan cuenta con 506 colonias, cuya clasificación se muestra en la Tabla 1.²⁵ Tal agrupación y su descripción indican los contrastes que existen en el municipio, lo que hace particularmente difícil la creación de políticas públicas que resuelvan la problemática de la sociedad que lo conforma.

Con relación a la situación política, este municipio fue gobernado ininterrumpidamente por el Partido Revolucionario Institucional (PRI) hasta 1995, cuando el Partido Acción Nacional (PAN) obtuvo la mayoría de los votos, conservando su hegemonía hasta el año 2004, cuando el PRI regresó al gobierno. En 2007 el PAN de nuevo consiguió la victoria y el PRI lo relevó en 2010 y en 2012 alcanzó de nuevo la mayoría, aunque en esa elección el Partido Movimiento Ciudadano (MC) consigue por vez primera una importante votación que les permitió contar con tres regidores en el Ayuntamiento. En la elección de 2015, el PRI y el PAN pierden presencia ante MC, que resulta ganador en el municipio; asimismo, se elige al primer candidato independiente a diputado en la historia del estado de Jalisco, en el distrito x con cabecera en Zapopan.

Si bien Zapopan se destaca como uno de los municipios jaliscienses con más actividad económica y buenas condiciones de vida, es también uno de los quince del país con un mayor número de pobres y el segundo en el estado, según datos del CONEVAL.²⁶

En 2010 existían en Zapopan un total de 295 643 personas que subsistían en condiciones de pobreza, equivalentes a 22.8% de sus habitantes. De éstos, 28 012 -que representan a 2.2% de la población- vivían en situación de pobreza extrema en ese año.

Con relación a las cifras de marginación, al comparar la situación de Zapopan con respecto a periodos anteriores, el Consejo Nacional de Población (CONAPO) dio a conocer que en el 2010 el índice de marginación se ubicó en -1.91704, lo que representó una mejoría con relación a -1.684421 que se obtuvo en 2005 (Gráfico 2).²⁷ Con esta cifra, se ubicó como el segundo municipio con menor marginación a nivel estatal, con una calificación de Muy baja marginación. En el ámbito nacional, Zapopan mejoró considerablemente su posición, ya que pasó de ser el lugar 96 de los municipios con menor marginación en 2005, al número 18 un lustro después.

El Consejo Estatal de Población en Jalisco (COEPO) generó cifras de marginación a nivel de lo que se conoce como Área Geoestadística Básica Urbana (AGEB),²⁸ lo cual permite ubicar geográficamente las zonas con más carencias y de prioritaria atención dentro del municipio.²⁹ Así, en Zapopan se tiene que existen 422 AGEB urbanas, de las cuales 22 están clasificadas con marginación “muy alta” y 74 con “alta” (Gráfico 3). La localización de las AGEB con “muy alta” marginación se concentra principalmente en el norte en la zona conocida como Las Mesas, aunque también hay “alta” marginación en el área de Santa Lucía, en San Juan de Ocotán y hacia el sur, en las faldas del cerro de El Colli y en colindancia con el bosque de La Primavera.

Ante un escenario de grandes contrastes socioeconómicos como el de Zapopan, la autoridad municipal, además de seleccionar las zonas geográficas que requerían atención especial dadas sus circunstancias de marginación, identificó a los grupos sociales más vulnerables. Ello se realizaba con el fin de impulsar estrategias y programas focalizados en ellos, según consta en el “Eje 3: Inclusión y equidad” del Plan municipal de desarrollo Zapopan 2012-2015.³⁰ Los grupos de atención prioritaria identificados son: a) la infancia, b) los jóvenes, c) las mujeres jefas de familia, d) los adultos mayores y e) las personas con discapacidad.³¹

El reconocimiento del problema público y su focalización permitieron la asignación de una cantidad considerable de recursos públicos para política social en Zapopan. Según Guillén, con este tipo de acciones, los gobiernos municipales buscan generar “un efecto de corrección en los desbalances sociales, a pesar de la limitada escala de estos programas, que evidentemente depende del grado de desarrollo municipal y de los recursos financieros de los ayuntamientos”.³²

El programa Mujeres jefas de familia y en condición vulnerable

Este programa (MJFCV) fue concebido por el equipo de transición de Héctor Vielma Ordóñez, antes del arranque de su periodo de gobierno (2010-2012).³³ Una vez iniciada la administración, se examinó el presupuesto con que se contaba y se comenzó con la etapa de diseño, para lo cual se crearon las reglas de operación (ROP), en las que se estableció como objetivo “apoyar a las mujeres zapopanas en situación de vulnerabilidad, a desarrollar y aumentar sus capacidades, aptitudes y habilidades otorgándoles oportunidades para su capacitación y protección mediante el acceso a apoyos económicos que pueden ser monetarios o en especie”.³⁴

Asimismo, se planteó como universo a toda mujer habitante de Zapopan que subsistiera en condiciones de vulnerabilidad, con ingresos insuficientes para atender las necesidades básicas de su familia. La meta inicial de atención fue de 10 mil beneficiarias, quienes debieron cumplir con requisitos como ser mujer, habitar en Zapopan, presentar alguna situación de vulnerabilidad, no recibir apoyo alimentario o económico de algún otro programa social y llenar el formato de registro del programa -que incluía estudio socioeconómico. Inicialmente se proyectó que los componentes del programa fueran apoyos económicos, en especie, actividades productivas y de capacitación, así como asistencia médica y legal.

La modalidad de apoyos económicos constaba de la entrega cuatrimestral de mil pesos, mismos que deberían servir para mejorar la cobertura de necesidades básicas; los apoyos en especie suponían la entrega mensual de una despensa con productos para el consumo básico; las actividades productivas y de capacitación se conformaron por instrucción a través de diversos talleres, vinculación posterior a una bolsa de trabajo de acuerdo con el tipo de adiestramiento y canalización para la obtención de microcréditos para emprender un negocio. Asimismo, se pretendía proporcionar asistencia médica, psicológica y legal a las mujeres inscritas en el programa.

Sin embargo, las reglas de operación fueron difíciles de cumplir,³⁵ puesto que surgieron situaciones no previstas y tuvieron que darse cambios durante su implementación.³⁶ Con todo, la Dirección General de Desarrollo Social y Humano se encargó de ejecutar el programa, para lo que se valió principalmente de la Dirección de Programación, que se ocupó de su diseño y de la conformación del padrón de beneficiarias. Asimismo, el Instituto de la Mujer Zapopana fue la instancia encargada de operar el programa.

En el transcurso del año 2011 las inscripciones al programa MJFCV se realizaron directamente en las colonias con los niveles más altos de marginación en el municipio, recabándose más de 50 mil solicitudes, de las que solamente 10 mil fueron aceptadas de acuerdo con su alto grado de vulnerabilidad, mismo que se obtuvo de los resultados arrojados por un cuestionario socioeconómico levantado al momento de la inscripción de las interesadas.³⁷

Durante 2011 y 2012, se otorgó a las beneficiarias un apoyo de mil pesos cuatrimestrales depositados en una tarjeta de débito, así como una despensa mensual; adicionalmente, las participantes seleccionaron de un catálogo el taller de capacitación de su preferencia, para así cumplir con la obligación de asistir a cursos y pláticas, asentada en las ROP.

Así, el programa operó de manera parcial durante los años 2011 y 2012, puesto que el componente de revisiones médicas nunca se puso en marcha formalmente, como tampoco se eligieron los comités de promoción, que harían las veces de vigilancia y promoción comunitaria (Tabla 2).

A raíz del cambio de gobierno, en octubre de 2012 se suspendió el programa de manera temporal y se convocó a las beneficiarias a una reinscripción. La nueva titular en el Instituto de la Mujer, impulsó una revisión del padrón, mismo que se organizó por zonas geográficas a fin de facilitar la entrega de apoyos, sin embargo los cursos de capacitación fueron suspendidos. La dotación de despensas continuó como se precisaba en las ROP, pero los apoyos económicos se limitaron y condicionaron, otorgándosele sólo a las mujeres sin pareja. En febrero de 2015 el padrón estaba conformado por 13 519 mujeres.³⁸

Descripción del programa Por ti, adulto mayor

El PTAM surgió dada la insuficiencia de los programas federales y estatales para atender la problemática de la población en situación más vulnerable; es decir, a pesar de la existencia de los programas 70 y más (federal) y Vive grande (estatal), se detectó que existía aún un número importante de adultos mayores del municipio sin atender.³⁹

Así, en 2010 la dirección de Desarrollo Social y Humano comienza con los trabajos para fundamentar el programa y redactar las ROP, mismas que se dan a conocer a principios de 2011. En ellas se establece que el PTAM tiene como objetivo “mejorar la calidad de vida de los adultos mayores que viven en condiciones de pobreza y marginación en las zonas urbanas del municipio de Zapopan”.⁴⁰ Al poco tiempo, se dio a conocer una convocatoria a través de promotores del gobierno municipal en las colonias con marginación alta y muy alta, en la que se invitó a aquellos

adultos mayores a partir de 70 años y más, que vivan en condiciones de pobreza, marginación y/o desamparo en el municipio de Zapopan, que no reciban jubilación y que no sean beneficiaros de algún otro programa de transferencia monetaria o apoyo alimenticio ya sea federal, estatal o municipal.⁴¹

Por otra parte, es importante puntualizar que si bien hasta 2010 existía dentro de la dirección general de Desarrollo Social y Humano un área dedicada a la atención del adulto mayor, esta se enfocaba en dar seguimiento a los programas federales y estatales; así, ante el surgimiento del PTAM se crea formalmente la jefatura de Atención al Adulto Mayor, que fue la encargada de operar el programa y seleccionar a los beneficiarios según lo establecido en las ROP.⁴²

En principio, se escogieron los primeros 2 000 adultos mayores que conformarían el padrón de acuerdo con los datos obtenidos del estudio socioeconómico aplicado en las instalaciones de la oficina de la jefatura de Atención al Adulto Mayor. Estos datos no fueron verificados en campo; a estos beneficiarios se les otorgaba una despensa mensual y un apoyo económico bimestral de 500 pesos en tarjeta de débito. La entrega de despensas se realizaba por zonas, a fin de evitar largos traslados a los beneficiarios, dada su edad avanzada.

A comienzos del año 2012, el gobierno de Zapopan acordó con la administración federal la inclusión de los beneficiarios del PTAM al programa 70 y más, por lo que el componente económico del programa municipal se dejó de aportar, dada la naturaleza monetaria del apoyo de la Secretaría de Desarrollo Social (SEDESOL). Ante esto, se decide ampliar la cobertura del programa a todo el municipio, sin importar el grado de marginación del polígono de procedencia del adulto mayor, lo que redundó en el incremento del número de beneficiarios.⁴³ En febrero de 2015 el padrón de beneficiarios ascendía a 3 600 adultos mayores.

Con relación a los componentes del programa, a partir de 2012 sólo se otorgan la despensa mensual y la atención médica a quien lo solicita, no así la vinculación productiva, el apoyo económico ni el de defunción (Tabla 3). A fin de hacer eficientes los costos de operación y a solicitud de los beneficiarios, a partir de 2013 se realizó la entrega de dos despensas cada bimestre en vez de una mensual.

Contexto y fundamentos del sistema de evaluación

Existen evidencias de que desde el periodo 1995-1997 de la administración municipal se dio el interés de monitorear las actividades y resultados de las dependencias. Según Ricardo Montes,⁴⁴ desde la Oficialía Mayor Administrativa se operaba el Sistema Permanente de Información Estadística (SPI), mismo que estaba integrado por una serie de indicadores cuantitativos que daban cuenta del número de servicios o actividades realizadas por las dependencias.

Para la alimentación de la base de datos del SPIE existían formatos estandarizados, que se llenaban por cada área y se entregaban de acuerdo con una calendarización determinada. Al final, el uso principal de los datos del SPIE era el de facilitar la integración de los informes de gobierno anuales del presidente municipal. El SPIE estuvo vigente hasta el año 2003, es decir, durante el primer ciclo de gobiernos emanados del PAN.

Por otra parte, durante el periodo 2001-2003, el gobierno del doctor Macedonio Tamez firmó un convenio con la Asociación Mexicana de Municipios, A. C., con el fin de participar en el Sistema de Indicadores del Desempeño (SINDES), que estaba conformado por 70 indicadores desarrollados colectivamente entre los gobiernos participantes y la Asociación Internacional de Administración de Ciudades y Condados (ICMA por sus siglas en inglés), para así medirse y compararse con otros municipios.

Cada indicador del SINDES contaba con una ficha descriptiva, en la que se incluía su nombre, objetivo, fórmula, unidad de medida y significado, entre otros datos. Zapopan participó en el SINDES hasta el año 2003, dado que la administración de Arturo Zamora (2004-2006) decidió suspender su membresía. Los indicadores y mediciones tuvieron poca repercusión en ese periodo, ya que según Ricardo Montes “los indicadores se alinearon a los objetivos para la calidad que en ese momento requerían las 6 áreas implicadas en sistemas de gestión de calidad: dirección de Padrón y Licencias, Alumbrado Público, Cementerios, Rastro Municipal, Aseo Público y Agua Potable y Alcantarillado”.

Las reformas a la Constitución Política de los Estados Unidos Mexicanos que se dieron en 2007, comprometieron al municipio a retomar el tema de las mediciones de resultados, ya que a partir de esa fecha, el artículo 6, fracción V establece que:

Los sujetos obligados deberán preservar sus documentos en archivos administrativos actualizados y publicarán, a través de los medios electrónicos disponibles, la información completa y actualizada sobre el ejercicio de los recursos públicos y los indicadores que permitan rendir cuenta del cumplimiento de sus objetivos y de los resultados obtenidos.

Así pues, durante el gobierno de Juan Sánchez Aldana (2007-2009) se asienta en el Plan municipal de desarrollo, dentro de la estrategia “Modernidad Administrativa”, la línea de acción “5.4.1: Implementación de indicadores de gestión e impacto”. En este contexto, el gobierno de Zapopan renueva su convenio con el ICMA para reintegrarse al SINDES.

La dirección de Calidad y Planeación de Proyectos, área entonces dependiente de la Oficialía Mayor Administrativa, coordinó la creación del Sistema de Indicadores Zapopan (SIZ), mismo que en 2009 estaba conformado por cerca de 400 indicadores (Tabla 4), siendo las direcciones de Desarrollo Social y Humano, Servicios Públicos y Seguridad Pública las que operaban un mayor número.⁴⁵

El SIZ continuó operando a pesar de los cambios de administración y hasta el año 2015 seguía vigente, sin embargo, a partir de 2010 no se le dio impulso alguno y desde esa fecha solamente se ha mantenido la plataforma y se actualizan los indicadores que la contienen de manera periódica.

Por otra parte, la oficina de Coordinación de Gabinete, dependiente del presidente municipal, lleva a cabo el monitoreo y evaluación tanto del Plan municipal de desarrollo como de los programas operativos anuales; para esto, cuenta con formatos establecidos en los que se debe informar mensualmente el seguimiento dado a cada actividad planteada, así como el porcentaje de avance en cada tarea.

En cuanto a evaluaciones externas, Leonardo Gatica y Ricardo Montes identificaron al ejercicio denominado Agenda desde lo local, operado por el Instituto Nacional para el Federalismo y el Desarrollo Municipal (INAFED) de la Secretaría de Gobernación.⁴⁶ Este programa consiste en una metodología que “parte de un diagnóstico integral de la situación en la que se encuentran los municipios en materia de desarrollo local y con base en éste, poder focalizar acciones de los tres órdenes de gobierno que mejoren el nivel y la calidad de vida de la población”.⁴⁷

Agenda desde lo local, está conformado por 39 indicadores y 270 parámetros que miden las condiciones mínimas que no deben dejar de existir en el ámbito local; estos son evaluados por personal del gobierno municipal, que señala la evidencia para cada caso y ubica cada indicador en una métrica tipo semáforo, en la que el color rojo representa un estado no deseable en la situación del municipio, el amarillo indica un escenario donde existen acciones de mejora pero no de manera permanente o continua y el color verde señala una situación mínima aceptable en materia de desarrollo municipal.⁴⁸

Una vez realizado el autodiagnóstico, instituciones independientes validan de manera neutral los resultados, tomando en consideración la evidencia presentada por el municipio y turnan los resultados al INAFED, donde éstos se analizan y se expiden los certificados a los gobiernos que cumplan con los estándares establecidos.

Desde 2008 y hasta 2013, Zapopan participó en la evaluación de “Agenda desde lo local”, obteniendo siempre la certificación del INAFED.

Propuesta para la conformación del sistema de evaluación de los programas Mujeres jefas de familia y en condición vulnerable y Por ti, adulto mayor

Un sistema es un conjunto de elementos organizados y relacionados, que interactúan entre sí para la consecución de un fin; asimismo, la evaluación en sí es un sistema, tal como lo explica Vega:

La evaluación es a su vez un sistema, pero con la característica que es un sistema cognitivo, es decir, mide el comportamiento efectivo del proyecto de acuerdo con el espacio en que éste se realiza. Como tal, la evaluación genera un conocimiento respecto a lo que está evaluando. Los elementos que debe tener el sistema evaluativo están en relación a los elementos que contiene el sistema programa y/o proyecto.⁴⁹

Así pues, se buscó que la propuesta que se presenta a continuación, aportara un engranaje de elementos evaluativos que conformen como tal un sistema que genere información de calidad con el propósito principal de auxiliar en el proceso de toma de decisiones atendiendo la singularidad de los casos de estudio.

Dado que se pretende la consolidación del sistema de evaluación, se buscó un nombre pertinente para el mismo a fin de facilitar el proceso de implementación y su posterior posicionamiento dentro de la administración municipal de Zapopan. Se propone denominarlo Sistema de Evaluación de Programas Sociales, a identificarse con las siglas SIEPSO, utilizadas de manera gráfica para la construcción de la imagen oficial en el software, reportes y papelería.

El objetivo del SIEPSO es evaluar los programas Mujeres jefas de familia y en condición vulnerable y Por ti, adulto mayor, a fin de contar con información que facilite y sustente la toma de decisiones sobre los mismos.

Como premisa, se buscó integrar en el SIEPSO los enfoques cuantitativo y cualitativo de la evaluación de forma complementaria (Figura 1), con el fin de que, al tiempo que se conocen los resultados duros y tangibles propios de una perspectiva positivista -responsable esta de los analistas y estrategas del gobierno-, se obtiene también información subjetiva y descriptiva, que aporte las percepciones del beneficiario.

Una vez realizada la investigación aplicada, se propone que el sistema de evaluación se conforme por tres componentes (Tabla 5):

Conocer el desempeño de los programas sociales es factible utilizando indicadores, aunque no existe un consenso en la literatura con relación a si este tipo de mediciones debe llamarse evaluación o monitoreo; sin embargo, lo que es indiscutible es que la información resultante de estas prácticas puede ser determinante para la toma de decisiones.

Para el desarrollo del monitoreo, utilizando la metodología del marco lógico se reflexionó sobre el problema de la pobreza y marginación en los sectores vulnerables del municipio de Zapopan y cómo los programas PTAM y MJFCV buscan aminorarlo y mejorar las condiciones de vida de sus beneficiarios. Asimismo, se realizó un análisis puntual del cómo estos programas operan a fin de precisar los indicadores que describieran su desempeño en forma integral y que por lo tanto tuvieran más utilidad para la toma de decisiones.

El resultado es la creación de 12 indicadores, de los cuales 5 son compartidos entre ambos programas, 5 son exclusivos del programa MJFCV y 2 de PTAM. Estos indicadores se dividen en dos tipos, según lo que buscan medir: de gestión y de resultados (Tabla 6). De igual forma, se buscó que los indicadores del SIEPSO estuvieran ligados a los objetivos, metas e indicadores establecidos en las ROP, así como a los que ya se manejan en la dirección de Programación.

Con respecto del componente de percepción, es importante el análisis cualitativo, el cual se obtendrá a partir de dos técnicas que aportarán información subjetiva, es decir, desde la perspectiva de los beneficiarios. Una de las técnicas a utilizar para cubrir la parte cualitativa del SIEPSO es el diseño, aplicación y análisis de una encuesta de percepción de los beneficiarios con relación a diversos aspectos de los programas; así, durante la elaboración de este instrumento se consideraron, entre otros, los siguientes temas: difusión, componentes de los programas, efectos, destino de los apoyos y operación.

Para lo anterior se redactaron nueve preguntas, de las cuales seis son simples y tres compuestas.⁵⁰ El cuestionario está conformado de tal manera que puede aplicarse a los beneficiarios de cualquiera de estos dos programas.⁵¹ En diciembre de 2013 se realizó una prueba piloto de la encuesta, consistente en 20 aplicaciones exitosas,⁵² distribuidas entre beneficiarios de ambos programas.

Como herramienta del SIEPSO, se sugiere que el levantamiento de la información sea anual, dado que ese lapso es razonable para la detección de cambios en tendencias, si es que se llegaran a tomar decisiones con base en los resultados de la primera aplicación.

Dado que se conoce el número de beneficiarios de ambos programas, se supone la aplicación de la fórmula para poblaciones finitas con el propósito de obtener el tamaño de la muestra. Así, tomando como base el padrón actual de beneficiarios de cada programa, 95% de confiabilidad y un margen de error de +-5, el número de encuestas a aplicar para el programa MJFCV es de 374, en tanto que para el PTAM es de 347 (ver cuadro metodológico en la Tabla 7).

El método de muestreo a utilizar es el aleatorio simple, mismo que asegura que todos los beneficiarios tengan la misma posibilidad de ser elegidos; dado que los padrones de ambos programas se encuentran en Excel, se sugiere la aplicación de la fórmula =RAND ó =ALEATORIO para determinar los sujetos que serán encuestados. Se aconseja que la aplicación de la encuesta la realice personal previamente capacitado, no vinculado directamente con los programas a fin de obtener datos más veraces.

Otra de las técnicas cualitativas propuestas para operar en el SIEPSO es la de grupos focales, misma que representa “un espacio de opinión para captar el sentir, pensar y vivir de los individuos, provocando auto explicaciones para obtener datos cualitativos”.⁵³ Este tipo de técnicas se realizan de manera grupal, en un ambiente de interacción con otras personas, lo que permite captar el pensamiento de los individuos participantes.

Su integración en el SIEPSO se da, ya que con esta técnica es factible la evaluación cualitativa tanto de retos como de aciertos de los programas, así como la detección de recomendaciones, sugerencias y el conocimiento del grado de satisfacción de los beneficiarios. El punto de partida de los grupos de enfoque del SIEPSO es una matriz FODA, misma que genera información con relación a las fortalezas, oportunidades, debilidades y amenazas de los programas. Se aconseja que el grupo focal se realice anualmente para cada programa por separado; el procedimiento para su ejecución consta de tres fases:

Fase de preparación

Fase de aplicación

Fase de análisis

La evaluación de impacto es un instrumento que permite la utilización de diversas metodologías con el fin de determinar y cuantificar los efectos que el programa logra en sus beneficiarios y conocer si estos cambios son atribuibles al mismo; es decir, la diferencia que pudo darse en las condiciones de los participantes de acuerdo con el cambio buscado, en comparación con la situación hipotética de que éstos no hubieran participado en el programa. Para ello existen diversas técnicas agrupadas en experimentales y cuasi-experimentales.

A continuación se presenta un esbozo con las generalidades de la evaluación de impacto para los programas MJFCV y PTAM, sin embargo es importante clarificar que más adelante en este artículo se reflexionará sobre la factibilidad de la evaluación de impacto para los casos de estudio.

Se propone que el SIEPSO incluya la posibilidad de evaluar el impacto de los programas dados sus objetivos, que buscan generar mejoras en la calidad de vida de las personas; sin embargo, la propia teoría de la evaluación de impacto manifiesta que no todos los programas son susceptibles de su utilización. Al respecto, el CONEVAL solicita que se elabore el Guión del análisis de factibilidad para llevar a cabo una evaluación de impacto a cada programa federal que requiera este tipo de mediciones, antes de brindar su aval. Los casos presentados son municipales y tienen características propias, sin embargo, enseguida se desarrollan los puntos requeridos en ese guión con el fin de facilitar la decisión de medir o no su impacto, a excepción de dos apartados que en el mismo se solicitan, a saber, los antecedentes del programa y el diseño de la intervención, dado que éstos se presentan antes en este documento.

Los objetivos de la evaluación consisten, respectivamente, en estimar en qué medida el programa MJFCV es efectivo en el incremento del ingreso de las beneficiarias, y en estimar en qué medida el programa PTAM es efectivo en la disminución de niveles de pobreza y marginación de los beneficiarios.

Por cada uno de los programas evaluados se integraron distintos padrones que están resguardadas en la dirección general de Desarrollo Social y Humano del municipio de Zapopan.⁵⁸

El diseño de la evaluación de impacto del SIEPSO se basó en la información contenida en las reglas de operación de los programas y sus componentes, tal como lo recomienda Gertler.⁵⁹ En un inicio, ambos programas contaban con un subsidio de transferencias monetarias condicionadas, por lo que se clasificó a los hogares de los inscritos en función de su nivel estimado de pobreza⁶⁰ y aquellos que se encontraron por debajo de un umbral predeterminado fueron seleccionados de la siguiente manera:

Según señala Rosario Ruiz,⁶¹ en el caso del programa MJFCV, Pprimero se eligieron las 10 000 mujeres más vulnerables de las 50 000 inscritas a través de una puntuación del tipo “proxy-mean”.⁶² En un segundo momento, se definió el umbral, mismo que fue determinado por el puntaje de la seleccionada número 10 000. A continuación se informó a las beneficiarias elegidas y se les citó para darles a conocer los pormenores y solicitarles la documentación requerida en las ROP. En cuarto lugar, a aquellas beneficiarias que no se encontraron en su domicilio o a las que no cubrieron los requisitos, se les anuló de la selección y se procedió a sustituirlas por las primeras inscritas que fueron rechazadas en razón de su puntuación, hasta llegar a 10 000.

De acuerdo con la información proporcionada por Emerita Arias,⁶³ en el caso del programa PTAM se eligieron los primeros 2 000 beneficiarios inscritos que cubrieran los requisitos; los solicitantes que acudieron posteriormente al cierre se inscribían en una lista de espera, y se les informaba que serían considerados cuando surgieran vacantes en el programa.

Por lo anteriormente descrito, se deduce que el diseño de MJFCV cumple con los requerimientos para el método de regresión discontinua, recomendado por Gertler “para los programas en los que se clasifica a los posibles beneficiarios mediante un índice continuo y estos son seleccionados según superen o no alcancen un umbral previamente definido”.⁶⁴ Para el caso de PTAM la selección de beneficiarios no se determinó por un umbral, por lo cual este método no es aplicable, siendo el más factible el de comparaciones apareadas, que según el CONEVAL es útil para “cuando no se cuenta con un grupo de control. En éste se aparea participantes y no participantes de un programa con las mismas características observables”.⁶⁵

Los instrumentos a utilizar son los cuestionarios que se incluyen en las ROP de ambos programas, dado que ofrecen los datos socioeconómicos de línea de base, mismos que son los que prevalecían antes de implementar los programas.

Lo que se propone como estrategia de muestreo, es la selección de un grupo con datos recabados al momento de recibir las solicitudes; la muestra será igual para el grupo de control que para el de tratamiento; en el caso del programa MJFCV el grupo de control se tomará del umbral de las personas rechazadas cercanas a ser admitidas, pero que por cuestiones de presupuesto no hayan alcanzado a serlo y para que tenga validez externa e interna se debe dar en forma aleatoria, ya que se produce un grupo de control equivalente al de tratamiento, es decir, de ese conjunto cercano a recibir el apoyo, se hará una aleatorización que permita tener un grupo con características similares al de tratamiento. Asimismo, se deben realizar los cálculos pertinentes para asegurar la potencia de la muestra necesaria para detectar efectos estadísticamente significativos.

Por otra parte, para el programa PTAM se deberán elegir individuos con características similares entre los solicitantes que se aceptaron y los que se rechazaron como beneficiarios del programa, tal como lo requiere el método de comparaciones apareadas (matching methods).

Una vez determinada la estrategia de muestreo, se aplicarán los cuestionarios de seguimiento en los grupos de tratamiento y control a fin de observar si hay impactos y de qué tipo. El tiempo transcurrido desde el levantamiento de la información de base es de cinco años (2010-2015), adecuado para una evaluación de impacto y para poder observar cambios significativos si es que existieran.

Ya realizada la aplicación de la evaluación, se procederá a la captura y análisis de la información obtenida, lo que debe brindar datos que lleven a deducir si el programa ha tenido un impacto o no.

Al final, si se decide evaluar el impacto de estos programas, se sugiere que el procedimiento se lleve a cabo por parte de un organismo externo, con el fin de asegurar la veracidad e imparcialidad de la evaluación, así como reducir los riesgos políticos y cuestionamientos a los resultados de la misma.

Análisis de factibilidad del sistema de evaluación y sus componentes

Dado que este documento busca presentar un sistema de evaluación de los programas MJFCV y PTAM del gobierno municipal de Zapopan, viable técnica, económica y políticamente, es determinante conocer la factibilidad del SIEPSO como se ha propuesto hasta ahora.

Por lo que hace a la factibilidad técnica, este tipo de viabilidad se refiere a la disponibilidad de los recursos técnicos necesarios para llevar a cabo cada tipo de evaluación contenida en el SIEPSO. Para ello, se presenta en la Tabla 8 un análisis en el que se muestran las necesidades y los recursos disponibles para llevar a cabo cada componente del sistema, resultando una apreciación de su factibilidad en escala de alta, media y baja.

Dado lo anterior, se observa una factibilidad alta tanto para el componente de monitoreo como para el de percepción, dado que se cuenta con los recursos necesarios para realizarlos dentro de la administración municipal, sin embargo se aprecian dificultades en la evaluación de impacto, tanto en aspectos de información disponible de ambos programas, como por cuestiones de recursos humanos y tecnológicos; estos últimos pueden ser cubiertos si se contrata a una agencia externa para llevarla a cabo.

Gatica y Ruiz daban cuenta de las dificultades técnicas para la evaluación de impacto de estos programas,⁶⁶ debido a que ésta no se diseñó ex ante, por lo cual la conformación de grupos de tratamiento y control representa serias dificultades y se tendría que recurrir a técnicas como las propuestas -a saber, regresión discontinua para MJFCV y comparaciones apareadas para PTAM.

Por lo que hace a la factibilidad económica, este tipo de viabilidad se refiere a la disponibilidad de recursos económicos para la realización de las técnicas de evaluación contenidas en el SIEPSO. Es sabido que existen procesos determinados para la asignación de presupuesto para efectuar cualquier acción de gobierno; en Zapopan, se realiza el ejercicio de conformación de los “programas operativos anuales” cada año durante los meses de septiembre y octubre. En éstos, se presentan los planes y proyectos de las distintas dependencias y se señala el recurso requerido para llevarlos a cabo. Después, la tesorería analiza los requerimientos de las áreas y realiza una propuesta de presupuestos que presenta ante el Ayuntamiento, donde se negocia entre las diferentes fracciones partidistas la asignación presupuestal.

Cuando no hay cambios sustanciales en el presupuesto solicitado de un año a otro para una misma actividad, no suele haber conflicto en la asignación de recursos, sin embargo, cuando se trata de políticas, programas o acciones nuevos, es muy posible que surjan dificultades para obtenerlos. En la Tabla 9 se presenta un análisis que muestra una factibilidad económica alta para el SIEPSO en los componentes de monitoreo y percepción, dado que pueden realizarse con los recursos existentes, no así para la evaluación de impacto, que implicaría una cantidad considerable de recursos para dar seguimiento puntual a los grupos de tratamiento y control, ya sea que ésta se lleve a cabo por personal de la administración o por evaluadores externos.

Es innegable la importancia del factor político en el proceso de evaluación, por lo que de su factibilidad política depende desde la decisión de evaluar hasta la manera en que se presentan los resultados. Gatica menciona que en Zapopan la decisión de evaluar “difícilmente un gobierno (la) rechazaría, pero creo que es algo que tampoco van a apoyar, o sea, no es algo a lo que le van a estar dirigiendo muchos recursos”.⁶⁷ Esta apreciación implica que en un gobierno municipal con las características del de Zapopan se puede impulsar la idea de evaluar, sin embargo, ésta depende de manera sustancial de los actores involucrados, principalmente los políticos.

Así pues, la voluntad política es determinante a la hora de evaluar, sin embargo se daría una factibilidad alta para la aprobación del SIEPSO y sus componentes si se realiza una propuesta que sea aceptada por las diferentes fracciones partidistas que conforman el Ayuntamiento, sobre todo si se justifican las erogaciones y se logra presentar un proyecto que no requiera una alta asignación presupuestal, es decir, la evaluación de percepción y el monitoreo tienen una alta viabilidad política, sin embargo la evaluación de impacto requerirá un mayor trabajo de negociación, lo cual también implica tiempo y en una evaluación ex post -como lo es la de impacto-, puede darse la situación de que el periodo dado entre la implementación de un programa y la posibilidad y decisión de medir sus efectos sea tan amplio, que rebase los tres años de una administración municipal.

El análisis realizado hasta el momento da cuenta de la alta factibilidad de la implementación del SIEPSO, principalmente en sus componentes de monitoreo y percepción, sin el consumo de recursos adicionales a aquellos con los que ya se cuenta en el gobierno municipal; a continuación se presenta la propuesta de operación del sistema:

Se sugiere que la dirección de Programación, dependiente de la dirección general de Desarrollo Social y Humano sea la que opere el SIEPSO; adicionalmente, las ROP de ambos programas la señalan como el área responsable de la evaluación. En ella existe personal con perfil y experiencia adecuados para la implementación del sistema, principalmente en los componentes de monitoreo y percepción.

Para que el SIEPSO se pueda operar desde el área de Programación, es deseable que el personal comisionado que aparece en plantilla en otras áreas, sea asignado a ésta, es decir, que forme parte del organigrama para que se asegure su permanencia en el proceso; que los servidores públicos del área reciban capacitación constante sobre temas de evaluación, por lo que se sugiere la gestión de un convenio de colaboración con el CONEVAL, a fin de optimizar recursos. Asimismo, se pretende contar con un equipo de cómputo actualizado y que incluya las licencias para el software necesario -SPSS, STATA, ATLAS.ti, ARCGIS-y gestionar la capacitación respectiva del personal en estos programas.

Asimismo, es aconsejable que personal de la dirección de Innovación Gubernamental diseñe la plataforma del SIEPSO, principalmente en su parte de indicadores y percepción, con el fin de facilitar su alimentación, presentación y consulta.

Se propone que la dirección de Programación asegure la asignación de los recursos necesarios para la operación del SIEPSO en el proceso de negociación presupuestal, tales como un vehículo, licencias de software, papelería e impresos, entre otros.

Por otra parte, debe considerarse que para la realización de evaluaciones de impacto se requerirá presupuesto adicional, ya sea para llevarla a cabo de manera interna o mediante la contratación de un organismo externo.

El éxito y trascendencia de cualquier acción gubernamental en buena medida depende de su fundamento legal; si el SIEPSO se adopta oficialmente por reglamento, recibirá los recursos y estabilidad necesarios para su implementación. Al respecto, se sugiere la gestión de la modificación del artículo 116 del Reglamento interno del Ayuntamiento y la administración pública municipal de Zapopan, Jalisco con el fin de incluir en las funciones de la dirección de Programación las labores evaluativas de los programas sociales y la consecuente implementación y operación del SIEPSO.