nueva página del texto (beta)
Español (pdf)
Artículo en XML
Referencias del artículo
Traducción automática
Enviar artículo por email
Citado por SciELO 
Similares en
SciELO 
Permalink
Introducción
La volatilidad de los precios del mercado está relacionada con la crisis mundial alimentaria (Gordillo, 2012). Debido a ello, se han promovido estrategias para minimizar esta problemática, como los Objetivos de la Agenda 2030 para el Desarrollo Sostenible, entre los principales objetivos destacan erradicar la pobreza extrema y el hambre (Faiguenbaum, Ortega & Soto, 2013).
La inseguridad alimentaria afecta a 23.4% de la población en México, equivalente a 28 millones de personas, que carecen de acceso a la alimentación y afecta principalmente a las zonas rurales (Consejo Nacional de Evaluación de la Política de Desarrollo Social [Coneval], 2014).
Existen diferentes programas que atienden a las zonas rurales, estos están concentrados en los sectores de mayor ingreso, generando un déficit de servicios para los pequeños productores; principalmente están enfocados a cuestiones de salud, nutrición y educación. Pocos programas abordan la dimensión productiva. Al respecto, en el reporte presentado por el Coneval (2015) se afirma que los escasos programas con enfoque productivo no han resultado adecuados. Esto se explica por la deficiente dotación de activos productivos, acceso a financiamiento, tecnología, escalas de organización, mercados, así como por una desarticulación y descoordinación de las políticas sociales y de desarrollo productivo que no han logrado contribuir a detonar el potencial de las comunidades rurales.
Ante esta situación de crisis, la acumulación de anomalías políticas podrían generar por sí solas un cambio político, abriendo una ventana de oportunidades (Palau, 2009). En este contexto, la Secretaría de Agricultura, Ganadería, Desarrollo Rural, Pesca y Alimentación (Sagarpa) puso en marcha el Programa Estratégico para la Seguridad Alimentaria (PESA) en municipios y comunidades rurales de alta y muy alta marginación. Inició en el año 2002 como una fase piloto en Michoacán y después se extendió a seis estados de la República Mexicana, y para el 2015 representa un programa nacional al tener presencia en 24 estados (Mackenzie, 2017). La Organización de las Naciones Unidas para la Alimentación y la Agricultura (FAO, por sus siglas en inglés) ha brindado el soporte técnico para el diseño metodológico a través de una entidad denominada Unidad Técnica Nacional (UTN)
Este proyecto se planteó como objetivo
Contribuir al desarrollo de capacidades de las personas y su agricultura familiar en comunidades rurales de alta y muy alta marginación, para incrementar la producción agropecuaria, innovar los sistemas de producción, desarrollar los mercados locales, promover el uso de alimentos y la generación de empleos, a fin de lograr su seguridad alimentaria y el incremento en el ingreso (Diario Oficial de la Federación [DOF], 2013)
La metodología del PESA enfatiza la promoción y planeación participativa con el propósito de identificar, formular, gestionar, poner en marcha y dar seguimiento a proyectos familiares que permitan contribuir a mejorar la salud en el hogar y producir alimentos para el autoconsumo y la generación de ingresos. Para ello, se plantea el objetivo de desarrollar capacidades en la población que vive en comunidades de alta marginación a través de Agencias de Desarrollo Rural (ADR) que promueven, de manera participativa, el desarrollo micro-regional por medio de proyectos y gestión local (Organización de las Naciones Unidas para la Alimentación y la Agricultura [FAO, por sus siglas en inglés], Secretaría de Agricultura, Ganadería, Desarrollo Rural, Pesca y Alimentación [Sagarpa] & Unidad Técnica Nacional [UTN-FAO], 2014).
En el financiamiento de este programa, se han canalizado recursos públicos crecientes por parte de la Cámara de Diputados, pasando de 561 millones de pesos en 2007 a 3017 millones de pesos en 2015. Estos recursos se reparten entre 24 estados de la República Mexicana, pero tan solo Oaxaca, Guerrero y Chiapas absorben más del 40% del presupuesto total. Alrededor del 60% de los recursos públicos se destinan a subsidiar hasta el 90% del valor de las inversiones en infraestructura y equipo que requieran los proyectos productivos, sin rebasar determinados montos por familia o grupo de familias.
Desde que al PESA se le asignaron directamente recursos públicos en el marco del Presupuesto de Egresos de la Federación (PEF) en 2007, estos no han dejado de crecer año con año y para el 2015 ya habían registrado un incremento acumulado en términos reales de más de tres veces su presupuesto inicial (FAO & Sagarpa, 2011).
Además de ser un programa complejo, se han generado ajustes metodológicos, entre ellos el cambio de algunos actores involucrados en la parte operativa del programa, como es el caso de las numerosas evaluaciones. En este trabajo se desea caracterizar las evidencias que ofrecen estas evaluaciones con respecto a los resultados e impactos del programa por medio de una revisión sistemática de los métodos de evaluación, ya que como afirman Moland & Bartsch (2014), se sabe relativamente poco sobre el impacto neto de la mayoría de los programas sociales.
Ante esta situación, el objetivo de la presente investigación es analizar la calidad de la evidencia de las evaluaciones realizadas al programa PESA.
En la primera parte, se presenta el sustento teórico del trabajo, continuando con el método utilizado, finalmente se presentan los resultados y discusión del estudio y las conclusiones.
La importancia de la política basada en la evidencia en un contexto de rendición de cuentas
El interés de esta investigación es abordar el tema de la seguridad alimentaria a partir del análisis de un programa público como el PESA, el cual constituye una de las principales iniciativas de la FAO para reducir el hambre y la pobreza de zonas rurales marginadas a través de proyectos en más de 100 países en todo el mundo. Se parte del enfoque de Política Basada en la Evidencia (PBE) por medio de la revisión sistemática, la cual trata de convertir a la investigación guiada por los estándares de la ciencia en conocimiento aplicable al proceso de política pública (Davies, 2004; Flores, 2013; Wastell, 2006).
A juzgar por la magnitud de la pobreza rural en México y su persistencia, ello a pesar del gasto público canalizado para combatirla, podría suponerse que se carece de suficiente evidencia sobre cómo resolver este problema, toda vez que en lugar de disminuir aumenta año con año. Es decir, parecería que no existe suficiente conocimiento que permita sustentar el diseño de políticas públicas más eficaces (Moland & Bartsch, 2014).
Un aspecto relevante de la evidencia lo constituye el tema de la calidad, la cual depende en gran medida del uso riguroso de metodologías para la generación y divulgación de información como apoyo a la toma de decisiones (Bracho, 2010; Davies, 2004; Head, 2010; Snilstveit, Oliver & Vojtkova, 2012; Strassheim & Kettunen, 2014). Existen escalas de clasificación de la evidencia que ayudan a diferenciar de forma jerárquica los distintos niveles de calidad en función del rigor científico. En este sentido, Jovell & Navarro-Rubio (1995) y Snilstveit et al. (2012) presentan una clasificación de los diferentes enfoques y métodos: 1. ECA (Ensayos controlados aleatorios), 2. Evaluación o estudios cuasi-experimentales, 3. Evaluación o estudio con muestras estadísticas, 3.1. Muestras aleatorias, 3.2. Muestras dirigidas, 4. Evaluación o estudios de caso, Anécdotas o casos únicos, y 5. Evaluación o estudios a través de estimaciones.
La medicina ha sido pionera en la política basada en la evidencia al establecer estándares que permiten hacer ECA con mayor grado de rigurosidad. Además, existen iniciativas como la declaración Consort (Consolidated Standards of Reporting Trials) con las cuales se busca garantizar que cuando se publique un resultado, este se describa detalladamente con exactitud y con transparencia, el diseño, ejecución, análisis y resultados (Cobos-Carbó & Augustovski, 2011; Snilstveit, 2012).
Paulatinamente, estos enfoques se están adoptando más en los trabajos de tipo social, tomando cada vez mayor auge, como lo indican Aarons, Hurlburt & Horwitz (2011), Arai et al. (2007), Flores (2013), Lawrence (2005) y Wastell (2006) . Recientemente, se han realizado simposios internacionales de grupos de políticas basadas en la evidencia en el ámbito social, que proponen y estudian los distintos métodos para presentar las evidencias (Aarons et al., 2011; Head, 2010).
Otras organizaciones que trabajan el enfoque de política basada en la evidencia, como el Centro de Evidencia para la Información y Coordinación de Prácticas y Políticas (EPPI) de la Universidad de Londres (Sutcliffe & Court, 2006) o la Campbell Collaboration (Arild & Littell, 2014) y The Abdul Latif Jameel Poverty Action Lab, cuya misión es reducir la pobreza y mejorar la calidad de vida de las personas creando y difundiendo evidencia rigurosa sobre qué políticas públicas y programas sociales funcionan efectivamente. Estas organizaciones no solo se orientan a revisar el estado de la evidencia en diferentes temas sino también a evaluar su fuerza y el impacto que tienen (Arai et al., 2007; Head, 2008; Lloyd, Poate & Villanger, 2014). Sin embargo, en política pública la calidad de la evidencia apenas constituye un primer elemento para mejorar las políticas públicas pues existen otros factores inherentes a los organismos gubernamentales y al contexto político e institucional que influyen en el proceso de toma de decisiones en temas complejos (Flores, 2013). Como lo han señalado Greenberg, Mandell & Onstott (2000) y Kingdon (1995), la mera disponibilidad de evidencia de calidad no es garantía de que se aplicará en la toma de decisiones. En ella intervienen al menos tres factores que han sido abordados en la literatura por parte de autores como Head (2008; 2010), Jennings & Hall (2011), Kingdon (1995), a saber:
-
Conocimiento político. Para este propósito, el conocimiento político incluye el conocimiento en sí sobre determinado tema, el análisis y el juicio de los actores políticos relevantes (Head, 2008; 2010). Esto significa reconocer que en la mayoría de los países los cambios en las políticas y los programas rara vez se generan principalmente por la investigación, siendo constituidos por juicios políticos. Al respecto, Majone (1989) afirma que el proceso de formulación de las políticas se entiende mejor como un entramado de argumentación y persuasión en el que las diversas modalidades de pruebas y evidencias se entrelazan como parte del debate político. Así, la toma de decisiones políticas conlleva invariablemente una mezcla de ciencias, preferencias de valor y juicios prácticos sobre la viabilidad y legitimidad de dichas decisiones.
Por su parte, Kingdon (1995), precursor del enfoque de corrientes múltiples o ventanas de oportunidad, argumenta que las políticas públicas surgen como resultado de la convergencia de una situación que se identifique como un problema para que sea considerada en la agenda gubernamental. A través de tres criterios: a) el reconocimiento del problema, b) las políticas y c) la formulación de alternativas o propuestas. Cada una de ellas desencadena sus propios procesos, con sus propios actores y gesta sus propias dinámicas.
Misión institucional. Para Brudney & Hedert (1987) así como Jennings & Hall (2011), existen dos tipos de agencias gubernamentales o institucionales. Las que son altamente politizadas en el proceso de decisión, al abordar temas como los recursos naturales y el desarrollo económico, para los cuales existe escaso conocimiento científico que guíe las acciones implementadas; y las menos politizadas, dado que tratan temas relacionados con la salud y la inocuidad que utilizan intensivamente conocimientos y pruebas científicas. En este segundo caso, existe una definición clara del problema y de la misión de las agencias apoyada por la disponibilidad de evidencia científica con un relativo alto grado de validez y fiabilidad.
Capacidad técnica-científica de las agencias. Se refiere a la capacidad de la agencia gubernamental para identificar, analizar y utilizar la evidencia científica disponible. Esta capacidad se ve afectada por la disponibilidad de presupuesto y personal suficiente para recoger e interpretar la evidencia científica adecuada, así como por el ambiente interno de la agencia gubernamental, destacando la cultura de la agencia y su composición laboral.
La cultura de la agencia consiste en los modos dominantes de comportamiento, los valores centrales y los sistemas de creencias que guían la acción. Si la cultura de la agencia está abierta a los cambios y le da importancia a la evidencia científica es de esperarse una mayor atención al enfoque de PBE. Mientras que, si la cultura de una agencia es cerrada o escasa y se preocupa poco por los hallazgos de la investigación científica, entonces es menos probable la utilización de este enfoque (Jennings & Hall, 2011).
Estas interrelaciones deben darse en un ambiente favorable a la rendición de cuentas, el cual está asociado a un conjunto de instituciones, normas y procedimientos que tienen como propósito fortalecer la legalidad y el sentido democrático de las responsabilidades públicas y de esta manera sancionar o incentivar a los actores que las asumen (López & Merino, 2010).
En el esquema de la Figura 1 se muestra la información que sintetiza los argumentos presentados en el apartado anterior.
Fuente: Elaboración propia a partir de Head (2008; 2010), Jennings & Hall (2011) y Kingdon (1995).
Figura 1 Caja negra del proceso decisor de política pública para temas complejos.
La PBE emplea la revisión sistemática que identifica y conjunta toda la evidencia existente en un tiempo determinado referente a un tema o pregunta de investigación. Una vez recopilada la información se procede a evaluar críticamente la calidad metodológica, además de los resultados, y posteriormente se hace una síntesis capaz de responder a la motivación que justifique la búsqueda (Flores, 2013).
Métodos
Búsqueda de información
El método de revisión sistemática se puede aplicar a cualquier tipo de pregunta. En la mayoría de los casos sirve como apoyo para transparentar la metodología, además de permitir la replicación de la revisión de la literatura (Fernández-Ramos, 2016; Rutter, Francis, Coren & Fisher, 2013). Para generar la búsqueda de las investigaciones, se recurrió a bases de datos como Elton B. Stephens Company (Ebsco), Journal Storage (Jstor), Google Academic e instituciones académicas como el Colegio de Posgraduados, la Universidad Autónoma Chapingo, la Universidad del Estado de México, la Universidad Autónoma Benito Juárez de Oaxaca, el Instituto de investigaciones Dr. José María Luis Mora, el Centro de Investigación y Docencia Económica y el Colegio de México. Los términos de búsqueda se limitaron al título y palabras claves.
No se introdujo ninguna restricción en los años de búsqueda, ni en el tipo de documento. Una vez obtenidos los documentos, se procedió a la selección de trabajos pertinentes para la investigación, para lo cual se siguieron los siguientes pasos.
Criterio de inclusión
La búsqueda se enfocó en evaluaciones sobre los resultados de los proyectos y los impactos del programa de seguridad alimentaria PESA en México. Las palabras clave utilizadas para la búsqueda de información fueron: evaluación y seguridad alimentaria; PESA; México. Se excluyeron para el análisis aquellas evaluaciones que no presentan datos de resultados e impactos, ya que son más de carácter descriptivo.
Procedimiento
Una vez conjuntados todos los trabajos, se procedió a su revisión con el objetivo de analizar cuáles cumplían con los criterios de inclusión y las palabras clave, siendo revisados de forma minuciosa con el objetivo de extraer la información pertinente.
Evaluación de la calidad de la evidencia
Esta escala se adecuó para casos de evidencia política y se generó una propuesta de escala de medición en específico para analizar las evidencias del PESA, extraída principalmente de Jovell & Navarro-Rubio (1995). Se generó una escala en la cual en el eje de las x se enfoca el criterio de certeza, otorgándole mayor peso a los trabajos generados con métodos estadísticos en la selección de la población a analizar y su respectiva comparación con un contrafactual (Manning & White, 2014), y menor peso a las estimaciones o estudios de caso donde puede existir un sesgo o direccionamiento de la información (Sanz, 2013).
Se generó en el eje de las y el criterio de objetividad de la evidencia, la cual se refiere a si se verifica en campo la existencia física de los proyectos productivos y sus indicadores de producción, o si simplemente se genera la evaluación a partir de la percepción de los beneficiarios sin considerar la calidad y existencia en campo de los proyectos productivos o servicios.
Resultados y discusión
Los estudios identificados como potencialmente relevantes fueron 170. De ellos se acotó la búsqueda a estudios referidos al programa PESA en México, siendo seleccionados 17. De estos se utilizaron once que presentaron resultados e impactos pertinentes para valorar el desempeño del programa.
En las Tablas 1 y 2 se describen las principales características de los estudios analizados enfatizando el método empleado y las técnicas para obtener la información. Se desglosan los estudios cuya cobertura incluye más de tres estados de la República Mexicana considerados como representativos de la cobertura total del programa y aquéllos que solo incluyen un estado.
Tabla 1 Características de los estudios analizados con más de tres estados
| Institución y año |
Nombre del estudio |
Cobertura | Método empleado | Técnica para obtener la información y tipo de estudio |
|---|---|---|---|---|
| FAO (2009) | Evaluación y análisis de Políticas, PESA, Evaluación específica. | Seis estados. 1. Varios años PESA (Michoacán, Puebla y Yucatán). 2. Pocos años PESA (Chiapas, Guerrero y Oaxaca). | 1. Selección de dos comunidades por estado. 2. Grupos focales por cada comunidad. | Observación de actividades y percepción. |
| Entrevistas abiertas. | ||||
| Estimación a partir de un cálculo simple, donde se multiplica el número de proyectos por los indicadores productivos de “proyectos tipo”. | ||||
| UAEM-Sagarpa (2013) | Evaluación del PESA. | Diez estados: Durango, Chiapas, Chihuahua, Guerrero, Hidalgo, México, Michoacán, Oaxaca, Puebla y Veracruz. | Muestreo probabilístico sistemático aleatorio - tamaño 1078 encuestas, -nivel de confianza 2.58 y error muestral de 3%. | Encuestas en domicilio del beneficiario, percepción antes y después del PESA. Dos momentos: Antes se tomó como línea base y después de la intervención uno o dos años. |
| Encuestas generadas a partir de muestra probabilística. | ||||
| FAO (2011) | Estudio de logros, lecciones y potencialidades del PESA. | Cuatro estados. Puebla, Guerrero, Oaxaca y Chiapas. | Dieciséis comunidades con tres años en PESA; nivel de marginación; condición climatológica y agroecológica; distancia a cabecera no mayor a tres horas; disposición local sobre datos e impactos; diversidad de tipos de proyectos; riesgos en la región - grupos focales por comunidad (nivel socioeconómico, establecido por actores clave). | Consultas participativas para medir antes y después del PESA, el impacto causado por él. Diagrama de Venn (clasificar familias por ingreso); contador antes y después para medir cambio de ingreso y gasto; entrevistas semi-estructuradas para abundar antes y después; calendario estacional; línea de tiempo; estudios de caso. |
| Grupos focales para indagar la percepción de beneficiarios | ||||
| FAO (2009) | La FAO en México. Más de 60 años de cooperación 1945-2009. | Diecisiete estados: Chiapas, Durango, Estado de México, Guanajuato, Guerrero, Hidalgo, Jalisco, Michoacán, Morelos, Nayarit, Oaxaca, Puebla, San Luis Potosí, Tamaulipas, Veracruz, Yucatán y Zacatecas | Estimación de impacto número de proyectos productivos por proyectos tipo. | Estimación a partir de un cálculo simple, donde se multiplica el número de proyectos. |
Fuente: Elaboración propia
Tabla 2 Características de los estudios estatales analizados
| Institución y año |
Tipo de estudio y cobertura | Método empleado | Técnica para obtener la información y tipo de estudio |
|---|---|---|---|
| COLMEX (2009) | Evaluación externa del PESA. Guerrero sin Hambre. Guerrero. | Beneficiarios (tratamiento); y no beneficiarios (control) de programa “Progresa” sin apoyo PESA de 2007 a 2008. Muestreo por conglomerados en dos etapas. Etapa 1, se seleccionan 15 municipios con probabilidad proporcional a su tamaño de la muestra; etapa 2, muestreo aleatorio simple, 30 encuestas por municipio PESA = 450 hogares; grupo control del mismo municipio, 30 encuestas. Nivel de confianza al 95%. Método de Pareo de Puntuación de la Propensión. | Encuestas a domicilio y cuestionario comunitario para saber las características de la localidad. |
| Cuasi experimental a partir de método de pareo de puntuación de la propensión. | |||
| Cepal (2011) | Evaluación del PESA-Guerrero Sin Hambre. Evaluación de impacto. Guerrero. | Beneficiarios (tratamiento); y no beneficiarios (control) son beneficiarios del “Progresa” pero sin apoyo PESA. Muestreo probabilístico, trietapas, estratificado y por conglomerados. Confianza al 90%. Total 1734 encuestas. Definición de grupos se consideró los años de exposición al PESA (1, 2 o 3 años); grupo control: hogares sin PESA, con población entre 50 y 500 habitantes y grado de marginación. | Encuestas en domicilio de beneficiado y no beneficiado a partir de percepción para conocer ingresos, producción, consumo, autoconsumo, ahorro, uso de crédito. |
| Cuasi experimental a partir de método de pareo de puntuación de la propensión | |||
| Instituto Mora (2011) | Chiapas. | Tres municipios, dos de ellos son de los 28 con menor IDH, el restante no es de este grupo. | Estudio de caso a partir de entrevistas a beneficiarios para analizar la focalización, articulación, participación y apropiación del programa. |
| Univas- Sagarpa- SEDAFPA (2012) | Evaluación externa estatal del PESA-Oaxaca (2005- 2010). | Selección al azar, 13 ADR, tres localidades cada una, 6 UPF PESA y 2 control, método aleatorio y matriz de proyectos. | Encuestas y cuestionarios verifica criterios de veracidad, coherencia, congruencia y pertinencia del PESA a partir de percepción. |
| Muestra dirigida | |||
| CECS-UACH (2013) | Elementos de juicio para tomar decisiones sobre el Predictamen de desempeño de las ADR-PESA. Oaxaca. | Proyectos 2011 al 2013: 31 386. | Entrevistas a domicilio del beneficiario. |
| Muestra probabilística calculada por UTN-FAO: 3 466. | Verificación del proyecto a nivel de campo. | ||
| Muestra aleatoria. | |||
| Cruz (2013) | Factores que explican la permanencia de proyectos avícolas familiares en regiones de alta marginación. Guerrero. | 6 909 proyectos avícolas 2007-2009. | Entrevista a domicilio, verificación en campo. |
| Cada proyecto dos momentos. 2010, Muestra aleatoria simple de 107 proyectos. Confianza al 95%. 2012, submuestra 51 proyectos ubicados con mayor proyecto en la muestra inicial. | Muestra probabilistica dirigida. |
Fuente: Elaboración propia
Los resultados encontrados se dividieron en tres apartados: la dimensión productiva, la dimensión económica y las discrepancias encontradas en las distintas evaluaciones.
Referente a la dimensión productiva, se utilizaron seis evaluaciones con similitud en los resultados. Se enfatizó en los proyectos más representativos con respecto a la cobertura, la avicultura y la horticultura de traspatio, los cuales concentran al 39% y 28% de los beneficiarios, respectivamente, y representan casi el 70% del total del gasto público entre los años 2004 y 2012.
Para estimar el valor de los cambios, se utilizaron los parámetros productivos propuestos por la Sagarpa (2012) para los modelos productivos tipo que deberían impulsarse con la finalidad de alcanzar la autosuficiencia alimentaria de las familias.
Para el caso de las hortalizas, solo el 17% de las familias posee un huerto igual o mayor a los 100 m2 que establece el modelo tipo. Mientras que para las aves1, los resultados indican que para el tamaño de parvada solo 13% de las familias alcanzan la meta fijada por el programa. Y para las variables de producción solamente el 7% y 9% de las familias, respectivamente, producen la cantidad de huevos y carne planteado en los proyectos tipo para lograr autosuficiencia (UAEM & Sagarpa, 2013).
Por su parte, los resultados presentados por el Centro de Estudios Científicos Cecs-UACh (2013) reportan que el indicador de huevos/gallinas/semana no registra incrementos a lo largo del tiempo de la intervención del programa, incluso se registra una tendencia a la baja.
Referente a la dimensión económica, se utilizaron tres evaluaciones debido a que fueron las únicas que reportaban resultados de los ingresos monetarios. Los indicadores utilizados fueron ingreso neto, autoconsumo (el ahorro que generan por no comprar) y consumo de alimentos (gasto en alimentos). Para contrastar los resultados se relacionaron las cantidades monetarias reportadas por las evaluaciones con el valor de la canasta básica alimentaria rural propuesta por Coneval2. Así, considerando los alimentos huevo y carne de ave, verduras, legumbres y maíz, resulta que el valor del cambio en autoconsumo apenas contribuye con 1.3%, según la Comisión Económica para América Latina y el Caribe (Cepal) & Gobierno del estado de Guerrero y Sagarpa (2011) 3, o 10%, según el Colmex & Programa de Estudios del Cambio Económico y la Sustentabilidad del Agro Mexicano (Precesam)4 (2009), al valor del consumo diario per cápita considerado para estos alimentos en la canasta alimentaria rural.
Si además de la contribución del componente de traspatio y milpa a la seguridad alimentaria, se considera al resto de los componentes contemplados por el programa, como los proyectos de almacenamiento y conservación de granos y agua, los generadores de ingresos, los de microfinanzas, los de conservación y uso sustentable de suelo y agua, etc., se pueden valorar mejor los impactos. En este sentido, se analizaron los cambios en el consumo total de alimentos en las familias beneficiadas encontrándose que solo se contribuye con el 4.6% al valor del consumo diario per cápita de los alimentos de la canasta alimentaria rural para (FAO & Sagarpa, 2011), mientras que la Cepal et al. (2011) reporta que dicha contribución es de solo 1.2%. Lo que esto sugiere es que dependiendo de cómo se reporten los impactos es como se puede juzgar el valor público de un Programa.
Las diferencias podrían explicarse por el método de estimación empleado para calcular los impactos. El método de Cepal permite atribuir con mayor certeza al programa los impactos debido a que los sujetos de análisis fueron seleccionados de manera aleatoria en comparación con los de la FAO & Sagarpa (2011) que resultan de realizar una simple comparación del antes y después de la intervención en comunidades y familias seleccionadas de manera dirigida, sin discernir si los cambios son atribuibles al PESA o a otras variables.
Las diferencias en el orden de magnitud no solo podrían ser explicadas por los métodos de evaluación empleados, sino también por la forma de calcular y reportar los indicadores aun aplicando el mismo método. Se observa que entre el método empleado por el estudio FAO y Sagarpa y el del Colmex, existen diferencias de hasta nueve veces en el ingreso por día por hogar, siendo marcadamente mayor en el primer caso, pero entre Colmex y Cepal también se observan diferencias hasta de seis veces en favor del segundo estudio (Tabla 3).
Tabla 3 Impacto/cambio en el ingreso por concepto de ventas (pesos constantes de 2010)
| Estudio | Indicador |
Ingreso/ año/ hogar |
Ingreso/ día/ hogar |
Ingreso/día per cápita* |
| Colmex (2009) | Ingreso por ventas agrícolas, ganaderas y de traspatio. |
1295.48 | 3.5 | 0.7 |
| Cepal (2011) | Cantidad producida y vendida. |
8989.1 | 24.6 | 4.9 |
| FAO & Sagarpa, (2011) | Ingreso bruto por venta de productos agropecuarios**. |
13 346 | 36.5 | 7.3 |
| Abiotic Control | 4.010 ± 0.000 b | 2.205 ± 0.021 d |
2.165 ± 0.021 d |
**Promedio de tres niveles de bienestar para diversos productos agropecuarios.
*Cálculo que resulta de dividir el ingreso diario entre 5 personas promedio por hogar.
Fuente: Elaboración propia.
En un contexto de “venta” del valor público del PESA con el propósito de lograr mayores asignaciones presupuestales o simplemente para justificar su continuidad, evidentemente que se recurriría a los impactos reportados por la FAO y Sagarpa y no a los del Colmex o Cepal.
Incluso, entre estudios realizados por FAO & Sagarpa (2009; 2011) se observan grandes discrepancias cuando de juzgar el desarrollo de capacidades se trata. En la primera evaluación se afirma que las Agencias de Desarrollo Rural (ADR) no constituyen una condición necesaria y suficiente para el desarrollo de capacidades, mientras que en la segunda se reporta que en el 68% de los proyectos se aplican los conocimientos adquiridos gracias a los talleres de capacitación y acompañamiento técnico realizado por las ADR y un 33% de las familias no participantes en el programa replican los conocimientos difundidos por las ADR.
Continuando con las diferencias entre los diversos estudios para un mismo indicador (Tabla 4), se observa que los datos de la proporción de familias que producen y disponen de alimentos para cubrir el consumo familiar anual en productos como el huevo y la carne de ave son muy contrastantes. Por ejemplo, mientras que el estudio de la UAEM et al. (2013) reporta un valor de 7% para el caso del huevo, el estudio de FAO y Sagarpa calcula un valor de 60%. Igual ocurre en el caso de la carne de ave.
Tabla 4 Impacto/cambio en estabilidad de alimentos (pesos constantes de 2010)
| Indicador | Estudio | Alimento | % de familias |
|---|---|---|---|
|
Familias que producen y disponen de alimentos para cubrir el consumo familiar anual |
UAEM-Sagarpa, 2013* | Huevo | 7 |
| Carne | 9 | ||
| FAO-Sagarpa, 2011 | Huevo | 60 | |
| Carne | 60 |
*El estudio no reporta directamente el indicador tal y como aquí se presenta, aunque sus hallazgos son la base para calcular este indicador.
Fuente: Elaboración propia
Además de las marcadas diferencias en las órdenes de magnitud para un mismo indicador, también se presentan divergencias en la unidad de medida. Un ejemplo de esto se observa en el Tabla 5 donde la frecuencia de consumo en huevo se reporta en días/semana, pero también en porcentaje de familias que consumen dos o más veces por semana, situación que dificulta valorar el impacto en esta dimensión.
Tabla 5
| Indicador | Estudio | Alimento | Día/semana | Familias que consumen 2 o más veces por semana (% |
|---|---|---|---|---|
|
Frecuencia de consumo |
UAEM-Sagarpa, 2013 | Huevo | - | 29.06 |
| Carne | 0.66 | - | ||
| Huevo | 1.17 | |||
| FAO-Sagarpa, 2011 | Frutas | 1.94 | ||
| Verduras | 2.32 |
Fuente: Elaboración propia
A partir de estos hallazgos, en la Figura 2 se clasificaron las evaluaciones analizadas con base en su objetividad y certeza destacando que al interior de cada nivel no existe jerarquización de los estudios, por ejemplo los estudios de Cepal y Colmex ubicados en la categoría de cuasi experimentales tienen la misma ponderación en certeza de la evidencia.
Al relacionar la magnitud de las discrepancias entre las diferentes evaluaciones en indicadores comparables, se observa que entre menor fuerza y certeza de la evidencia, los resultados e impactos reportados tienden a ser “más enfáticos”, mientras que a mayor fuerza y certeza de la evidencia debido a la rigurosidad del método aplicado, los resultados e impactos son más marginales. Esto sugiere es que dependiendo de cómo se evalúe y cómo se reporten los resultados e impactos, es como se puede juzgar el valor público de un Programa.
Los métodos de evaluación aplicados en Guerrero presentan un estándar consideradamente alto en certeza debido a que cuentan con un contrafactual que permite diferenciar los cambios entre los beneficiarios y no beneficiarios del programa, pero se les resta valor en objetividad en virtud de que los impactos son valorados mediante encuestas basadas en la percepción de los beneficiarios. En contraste, los estudios CECS-UACh (2013) y Cruz et al. (2016) son clasificados con mayor fuerza en la dimensión de objetividad por haberse realizado mediante el cálculo de muestras estadísticas de la población beneficiada y porque los resultados e impactos fueron estimados mediante la verificación en campo, tanto de la existencia de los proyectos, como de los niveles de producción alcanzados, sin embargo, tienen menor certeza por no contar con un contrafactual.
Por su parte, los estudios efectuados a partir de estimaciones solo realizaron sus constataciones al momento de levantar la información pero no garantizan que todos los efectos de los proyectos permanezcan o se mantengan. Solo dimensionan el número de beneficiarios y proyectan cuánto impacto habría por familia beneficiada; el impacto positivo es expresado en kilogramos de carne u hortalizas, dependiendo del tipo de proyecto. A partir de ese tipo de información afirman que existe disponibilidad y acceso a los alimentos de manera significativa en las familias beneficiarias, señalando que el proyecto PESA realmente ha fomentado y propiciado la seguridad alimentaria. Estos son FAO & Sagarpa (2009) y Sagarpa (2012).
Por otra parte, a partir del contexto de la política, principalmente al momento de analizar las evidencias, ya que generalmente no existe un perfil científico de los tomadores de decisión y los diseñadores de los programas y evaluaciones, lo que limita la calidad de la evidencia (Jennings & Hall, 2011). Esta situación se presenta en los gestores del PESA, quienes no tienen una visión eficiente y coherente para utilizar la información generada de las distintas evaluaciones (Cejudo & Michel, 2016), y de esa forma dirigir y focalizar los proyectos de manera efectiva (Baca, Luna & Rodríguez, 2007).
Otro factor, que influye en el proceso de toma de decisiones es el entorno político y las características internas del programa y en particular de las agencias gubernamentales (Jennings & Hall, 2011), ya que al no tener un entorno político transparente y al no existir estrategias claras para llevarlas a cabo, como sucede en la política pública de seguridad alimentaria en zonas rurales marginadas de México, las evaluaciones y auditorías generan información poco útil para tomar buenas decisiones al momento de distribuir el presupuesto, sirviendo para justificar la intervención institucional (Torres, Herrera, Vizcarra & Bruno, 2015)
Conclusiones
El estado de la evidencia de los resultados e impactos de la política pública de seguridad alimentaria en zonas rurales marginadas a través del Proyecto Estratégico de Seguridad Alimentaria muestra que en términos de calidad, existe insuficiente evidencia que justifique el incremento del gasto público sobresaliente que ha tenido este programa. A pesar de que en los diversos estudios analizados existe consenso sobre la mejora de la seguridad alimentaria, se observan considerables discrepancias en torno a la magnitud y relevancia de las mejoras.
La calidad de la evidencia permite conjuntar diferentes evaluaciones y asignarles una ponderación que estima qué tan confiables son. En el caso del PESA, se concluye que existe una tendencia alta a generar evaluaciones con poca objetividad y certeza de la evidencia. Es decir, sin demeritar el esfuerzo invertido en estas, son evaluaciones que se basan en estimaciones o proyecciones y estudios de caso, que dejan de lado los estudios de carácter más cuasi-experimental que permitan obtener el impacto certero del programa sin generar sesgo en la información, pero que implican altos costos y son de mayor complejidad para generar resultados certeros. Así mismo, las evaluaciones en su mayoría presentan sus resultados sin contrastarlos con alguna línea de base o contrafactual, lo que no deja ver el impacto real que puede tener el programa.
De no corregirse esto se seguirá presentando cualquier resultado positivo, por más marginal que sea, argumentándose como satisfactorio y contundente para seguir asignándole presupuesto al programa sin realmente justificar la eficacia y eficiencia del mismo.
