nueva página del texto (beta)
Español (pdf)
Artículo en XML
Referencias del artículo
Traducción automática
Enviar artículo por email
Citado por SciELO 
Similares en
SciELO 
Permalink
Introducción
En la última década la evaluación de programas sociales basados en evidencia ha cobrado relevancia, debido al interés que la ciudadanía ha mostrado en torno al desempeño de los gobiernos y su actuar en pro de cubrir las necesidades de la sociedad. La tecnología está redefiniendo la manera en que los gobiernos y la población interactúan, de ahí que, la demanda social sobre transparencia y rendición de cuentas ha fortalecido la forma de evaluar los programas públicos; lo cual, ha permitido incursionar en formas innovadoras para evaluar el impacto de los mismos.
A la par, se ha estado apoyando en la tecnología para analizar grandes cantidades de datos abiertos, mediante el uso de softwares estadísticos para predecir y comprender tendencias que afectan a la población, obtener información sobre la realidad social, conocer sus necesidades y evaluar si los programas sociales están llegando de manera efectiva y eficiente a las personas beneficiarias. En este contexto, diferentes actores clave de los gobiernos internacionales vanguardistas, han considerado el uso de los macrodatos (big data) para la toma de decisiones basada en la evidencia, debido a su bajo costo y al enorme beneficio en la evaluación de impacto. Asimismo, organismos internacionales como el Banco Interamericano de Desarrollo (BID) se están sumando a esta tendencia para medir la efectividad de los programas sociales que ellos apoyan para mitigar la pobreza y desigualdad social.
El objetivo del presente artículo es realizar un análisis documental sobre las ventajas metodológicas que plantea el uso de softwares estadísticos de análisis de bases de datos para complementar a la Auditoría al desempeño en la evaluación del impacto de los programas sociales en México. El uso de datos y su análisis estadístico es una opción viable y accesible para ser implementada, debido a que muchas de las bases de datos gubernamentales provienen de sus propios registros administrativos, encuestas, estudios de investigación, análisis estadísticos sobre la realidad social, indicadores económicos, entre otros. En este tenor, promover la evaluación de impacto mediante el uso de los macrodatos y el análisis estadístico, ayudará en la consecución de la mejora en el déficit de las evaluaciones de impacto.
Se aborda el origen de la evaluación de la política social mexicana, se presenta un panorama de la evaluación de impacto en el ámbito internacional y los avances en la evaluación de impacto en México. Se describe el enfoque teórico-metodológico de la evaluación y se hace referencia a la teoría del cambio aludiendo su importancia en la valoración de impacto de una política pública y su intervención en la realidad que se quiere transformar, es decir, comparar lo que ocurrió con la implementación de un programa con lo que hubiera ocurrido en ausencia del programa. También se aborda la Auditoría de desempeño como instrumento de evaluación de los programas sociales. Se refiere el uso de la estadística para el análisis de los datos y la toma de decisiones basada en ellos, como una alternativa para evaluar el impacto y el uso de las tecnologías como herramienta de apoyo para lograrlo; se expondrán algunos resultados sobre análisis realizados por el Consejo Nacional para la Evaluación de la Política de Desarrollo Social (CONEVAL) y la Agencia para el Desarrollo A.C. (GESOC) sobre el desempeño de los programas públicos y el uso de las bases de datos. Se concluye de manera general que el uso de softwares estadísticos para el análisis de datos basada en la evidencia es una alternativa viable que complementa a la auditoría de desempeño. Está alternativa es accesible e innovadora y se convierte en una herramienta útil para la medición de impacto de los programas sociales.
Origen de la evaluación de la política social en México
Los primeros acercamientos que tuvo México a la Nueva Gestión Pública (NGP) orientada a resultados fue durante la década de 1980, lo cual dio lugar a la adición al artículo 4, párrafo 8, de la Constitución Política de los Estados Unidos Mexicanos (CPEUM) sobre el diseño, ejecución, seguimiento y evaluación de las políticas públicas dirigidas a la niñez.1
Sin embargo, fue hasta la década del 2000 que se adicionaron y reformaron a la Constitución diferentes párrafos referentes a la obligatoriedad de evaluar los programas públicos; asimismo, se crea en el 2005, el CONEVAL a cargo de la medición de la pobreza y de la evaluación de los programas, objetivos, metas y acciones de la política de desarrollo social. Para Sanabria, esta
adopción de reformas legales claras y ordenamientos administrativos secundarios, contribuyó a que los avances en monitoreo y evaluación de la política social se generalizaran a otras políticas sectoriales, lo que ha logrado caracterizar a México como pionero en la región en el uso de metodologías sistemáticas para evaluar los resultados y el desempeño.2
De esta forma, la medición del impacto de programas y políticas públicas a nivel internacional ha tomado mayor interés en la última década, debido a la importancia de la información que se obtiene mediante la evaluación para la toma de decisiones gubernamentales. En un examen pormenorizado de la bibliografía sobre el uso de las metodologías para la evaluación de impacto realizado por García y Cardozo, se encontró que países como España, Chile, Colombia y México, presentan mayores avances en la realización de evaluaciones de impacto, aplicando diferentes enfoques teórico-metodológicos, mediante el diseño experimental, cuasiexperimental con seguimiento de indicadores, métodos cualitativos, cuantitativos y mixtos, Teoría de Programa, Teoría del Cambio.3
Asimismo, la Organización Internacional de Entidades Fiscalizadoras Superiores (INTOSAI) en su documento INTOSAI GOV 9400 Directrices para la Evaluación de las Políticas Públicas reconoce que organizaciones internacionales como la OCDE (Organización para la Cooperación y el Desarrollo Económicos), la ONU (Organización de las Naciones Unidas) y el Banco Mundial (BM), han desarrollado metodologías globales para la evaluación de políticas públicas y han definido que una entidad implicada en este tipo de evaluaciones debe disponer de una amplia gama de instrumentos para realizarlas; estipula que no deben apoyarse únicamente en indicadores cuantitativos, sino también en estudios comparativos, ensayos controlados aleatorios, datos estadísticos o sociales, encuestas y entrevistas.4
En la actualidad, la evaluación gubernamental en México está a cargo de las entidades fiscalizadoras federales y estatales, quienes programan y realizan anualmente auditorías de desempeño conforme a las mejores prácticas internacionales y al marco normativo de la INTOSAI. Dichas evaluaciones, consisten en la revisión de cumplimiento de normas y de la aplicación adecuada del presupuesto asignado para los programas públicos que permitan coadyuvar en la comprensión de temas de impacto en materia de gestión pública. Gracias a ello, en los últimos años, las entidades fiscalizadoras mexicanas han comenzado a poner atención en el impacto que las políticas públicas tienen en sus beneficiarios y en la importancia de realizar evaluaciones a los programas sociales. Como muestra de ello, se puede mencionar el programa social “Oportunidades” que surgió en el 2002, en el sexenio de Vicente Fox Quesada, programa pionero en realizar evaluaciones metodológicas sobre los efectos de las intervenciones gubernamentales para el mejoramiento de la calidad de vida de la población mexicana. Esta experiencia sirvió de base para la creación del CONEVAL, un órgano autónomo, con personalidad jurídica y patrimonio propios, encargado de coordinar los esfuerzos de evaluación de los programas federales.
La Auditoría Superior de la Federación (ASF), como órgano regulador de la fiscalización nacional y conocedor de la necesidad de la evaluación, se encuentra en una etapa de renovación y reestructuración organizacional con el propósito de fortalecer sus procesos internos para transitar a la mejora de la fiscalización superior. Para alcanzar este propósito pretende acompañarse de la OCDE y el BM, respondiendo a sus recomendaciones sobre la adecuación de la metodología de planeación y programación de auditorías para priorizar la asignación de recursos a temas relevantes.
Dentro de los principales cambios que pretende impulsar, descritos en el documento “Marco de referencia sobre la fiscalización superior, primera entrega de informes individuales de la Cuenta Pública 2017”, es el transitar hacia un nuevo modelo de evaluación de los programas públicos e impulsar un nuevo enfoque de auditoría de desempeño. Esta visión que refieren de largo plazo consistirá en introducir novedosos alcances en el desarrollo de revisiones de desempeño. Lo que describen permitirá innovar en los procesos evaluativos y extender sus líneas de acción, desarrollando e implementando nuevas herramientas de gestión, lo que hará posible el monitoreo y la evaluación de la aplicación de los recursos públicos y el impacto del alcance social de los programas.5
México, en este entendimiento universal de desarrollo sostenido, consciente de la importancia de evaluar y derivado de la renovación de su estructura política; y, por ende, de su actuación pública ampliamente cuestionada, donde la ciudadanía demanda un análisis profundo sobre la calidad de la democracia participativa y el cumplimiento de los derechos universales, que permita alcanzar la justicia social con equidad e inclusión, ha considerado imperante transitar hacia una política económica y social incluyente. Por ello, la evaluación ha de transformarse en un medio imprescindible para valorar los mecanismos sobre el uso de los recursos públicos existentes, la rendición de cuentas y la transparencia en la implementación de políticas públicas, puesto que ambas juegan un papel muy importante en el bienestar social e impactan de manera diferente en el desarrollo del país.
El 18 de julio de 2016 se promulgó un paquete de siete leyes secundarias para hacer operativa la reforma constitucional por la que se crea el Sistema Nacional Anticorrupción (SNA); entre ellas se encuentra la Ley de Fiscalización y Rendición de Cuentas de la Federación (LFRCF), Ley General del Sistema Nacional Anticorrupción (LGSNA), Ley General de Responsabilidades Administrativas (LGRA), Ley Orgánica del Tribunal Federal de Justicia Administrativa (LOTFJA), Ley Orgánica de la Procuraduría General de la República (LOPGR), Código Penal Federal (CPF), Ley Orgánica de la Administración Pública Federal (LOAPF). La promulgación de la Reforma Constitucional publicada en el DOF el 27 de mayo de 2015, crea el Sistema Nacional Anticorrupción, lo que representa un avance histórico para el país en la lucha contra la corrupción, ya que, por primera vez se unen esfuerzos institucionales que, apoyados por la transparencia y rendición de cuentas, buscan fortalecer la confianza de los ciudadanos en las instituciones públicas en un marco de promoción de la legalidad y las buenas prácticas.6
Para lograr alcanzar el ideal propuesto, la ASF concibe la evaluación de impacto como medio para fortalecer la práctica de las auditorías de desempeño con metodologías de análisis, para lo cual, será necesario capacitar evaluadores en el manejo de métodos de investigación, enfoques y técnicas innovadoras que faciliten la evaluación y se logre contar con evidencia que permita fortalecer la toma de decisiones gubernamentales y determinar si las políticas públicas implementadas cumplen con sus premisas.
Evaluación de impacto en el ámbito internacional
Los cambios constantes en las sociedades contemporáneas derivados de la globalización han traído consigo nuevos paradigmas en los procesos de la administración pública; lo cual, ha llevado a repensar la manera en que se implementan las políticas públicas, así como la forma de evaluarlas para la mejora de su desempeño, valorar su impacto social y su rediseño con el objetivo de eficientar los recursos invertidos en ella. Al respecto, Torres-Melo y Santander señalan que la capacidad del Estado para garantizar derechos ciudadanos no solo depende de la formulación e implementación de determinadas políticas públicas, sino además de la percepción que los ciudadanos tengan del cumplimiento cabal de esta responsabilidad.7
Las evaluaciones de impacto forman parte de una agenda más amplia de formulación de políticas públicas basadas en la evidencia. Para Gertler et al, esta tendencia mundial creciente se caracteriza por un cambio de enfoque, ya que en lugar de orientarse en los insumos se centra en los productos y resultados; dicha tendencia está reconfigurando las políticas públicas.8 En este sentido, las evaluaciones de impacto en el ámbito internacional forman parte vinculante y fundamental de la gestión pública, desde el diseño, formulación de políticas y programas hasta su ejecución e implementación. Evaluar impacto, proporciona conocimientos nuevos basados en prueba y error, su importancia radica en medir los cambios en el bienestar de los individuos que se pueden atribuir a un programa o a una política pública.
Según Sanabria, en América Latina la puesta en marcha de la práctica e institucionalización de la evaluación lleva más de una década con experiencias prácticas, diseños y normativas más consolidadas. Así lo manifiesta el diagnóstico sobre la gestión para resultados en el desarrollo: “Avances y desafíos en América Latina y el Caribe” publicado por el BID, donde reconoce que
en la región hasta 2010 sólo Brasil, Chile, Colombia y México contaban con sistemas de monitoreo y evaluación suficientemente desarrollados para aportar a la orientación de la gestión por resultados; otros países, tenían sistemas con distintos grados de madurez, aunque la mayoría se encuentra en fase inicial.9
Déficit en las evaluaciones de impacto mexicanas
El análisis realizado por García y Cardozo muestra una perspectiva sobre los avances de la evaluación de impacto en América Latina, donde los resultados obtenidos arrojan que el promedio anual de evaluaciones de impacto realizadas por Colombia, Chile y México ha sufrido un fuerte retroceso a partir de 2012 a 2016 en los tres países, como se advierte en la Tabla 1.
Tabla 1 Promedio anual de evaluaciones de impacto en América Latina
| País | 2001-2012 Promedio superior |
2012-2016 Promedio inferior |
| Colombia | 2 | 1 |
| Chile | 9 | 0.2 |
| México | 3 | 0 |
Fuente: elaboración propia con datos del estudio.
Según los autores, no se dispone de información que explique esta coincidencia, aunque los motivos pueden ser diversos, es probable que esté influyendo la poca factibilidad de los diseños experimentales predominantes. También, exponen que en México existen programas que han intentado realizar evaluaciones de impacto, pero no han podido cumplir con el requisito del diseño experimental o cuasiexperimental exigidos por el CONEVAL; por tal motivo, no se han autorizado ni se han reconocido las realizadas con métodos alternativos.10
Lo anterior, ha originado que diversos programas sociales en México carezcan de una evaluación pertinente ex-ante (diseño de programas y proyectos), concomitante (ejecución del programa o proyecto) y ex-post (medición del desempeño o impacto); es decir, los programas sociales se formulan sin contemplar la evaluación como requisito indispensable para la valoración de su efectividad; por lo tanto, se tienen programas que no miden sus resultados.
Cuando se diseñan los programas es importante que se cuente con evidencia para determinar su relevancia y el impacto esperado en la población objetivo, así como su medibilidad. Durante la ejecución es relevante dar seguimiento para identificar los ajustes necesarios al programa y al finalizar los informes de evaluación permiten conocer si se alcanzaron los objetivos esperados. De igual manera, las entidades federativas presentan un rezago considerable en la evaluación de sus programas sociales; si bien es cierto, los órganos fiscalizadores realizan auditorías de desempeño que algunas veces abordan la evaluación de programas, los progresos aún son insuficientes.
Auditoría de desempeño como instrumento de evaluación
Cuando se habla de que la administración pública necesita medir el desempeño, eficiencia y eficacia en el cumplimiento de los programas establecidos, así como su relación con el manejo y aplicación de los recursos públicos, se refiere a la obligación institucional de evaluar la gestión pública, mediante la Auditoría Gubernamental. La auditoría gubernamental según Sotomayor,
se puede considerar como el examen que se realiza a dependencias y entidades del sector público a efecto de fiscalizar la correcta aplicación de los recursos y de observar que se ciñan a la normatividad, coadyuvando con ello a la transparencia en la realización de operaciones;11
comprende la evaluación de las operaciones, cualquiera que sea su naturaleza, dichas operaciones serán evaluadas conforme a las mejores prácticas internacionales y al marco normativo de la INTOSAI, las Normas Internacionales de las Entidades Fiscalizadoras Superiores (ISSAI) y la Guía de Auditoría a Resultado de Programas mediante la revisión al desempeño publicada por la Secretaría de la Función Pública el 26 de mayo de 2015, como instrumento de apoyo y marco de referencia en la ejecución de este tipo de auditorías.
Derivado de la importancia, diversidad y complejidad de las acciones del sector público mexicano, aunado al número de operaciones que este realiza, se ha necesitado fortalecer los mecanismos de evaluación y control interno. Por ello, el alcance que actualmente tiene esta disciplina implica que su normatividad y forma de ejecución se orienten no solo a aspectos de tipo financiero; sino que, además integre revisiones del cumplimiento de los programas y el seguimiento del ejercicio del presupuesto, del funcionamiento de los sistemas operacionales y de la legalidad de las operaciones.
Esta nueva orientación de la auditoría gubernamental ha originado la necesidad de fortalecer, igualar y regular su práctica, para unificar criterios en los órganos de auditoría interna de las dependencias y entidades. Esto contribuye principalmente, a que los responsables de la ejecución de los programas conozcan la eficiencia, eficacia y congruencia con la que se han utilizado los recursos para el logro de los objetivos y metas establecidos; permitiéndoles que, con oportunidad, se promuevan las medidas de mejoras o ajustes que sean necesarios. En México, la ASF, realiza tres tipos de auditorías: de cumplimiento, financiera y de desempeño. En particular, sus revisiones se llevan a cabo con base en diversos enfoques: inversiones físicas, auditoría a los sistemas de control interno, forenses, de desempeño, gasto federalizado y tecnologías de la información.12
La auditoría al desempeño evalúa la economía, eficiencia y efectividad del cumplimiento de metas y objetivos de los programas gubernamentales; así como su impacto social, económico y de beneficios para la ciudadanía, Se centra en medir el rendimiento de un programa o del ente que lo administra, se traduce en la relación de recursos y productos. El enfoque de la auditoría de desempeño y el análisis de su metodología, constituyen una herramienta para promover la evaluación en el uso óptimo de los recursos con que se cuenta para alcanzar el bien común. Es decir, su principal propósito es medir los resultados de los programas de alto impacto social, como son los relacionados con la salud, la educación y la seguridad social.
La auditoría del desempeño tiene como fundamento el artículo 134 de la CPEUM, establece que los recursos económicos de que dispongan la Federación, las Entidades Federativas, los municipios y las demarcaciones territoriales de la Ciudad de México, se administrarán con eficiencia, eficacia, economía, transparencia y honradez para satisfacer los objetivos a los que estén destinados. Adicionalmente, dispone que los resultados del ejercicio de dichos recursos serán evaluados por las instancias técnicas que establezcan la Federación y las Entidades Federativas.13
México adoptó en el 2008, el modelo Presupuesto Basado en Resultados (PbR), el cual facilita los procesos de evaluación a la auditoría de desempeño ya que mide los resultados mediante la metodología de la Matriz de Marco Lógico (MML), herramienta que posibilita el proceso de conceptualización, diseño, ejecución, monitoreo y evaluación de programas. Para Jarquín, Molina y Roseth, cuando la existencia de indicadores y métricas de resultados esperados están claramente definidos, abonan hacia una evaluación objetiva y sustentada cuantitativamente.14
Con esta metodología se construye la Matriz de Indicadores de Resultados (MIR), que concentra la información del programa para el proceso de planeación, monitoreo del desempeño y rendición de cuentas. En la MIR se establecen los objetivos y medición de metas orientadas a resultados, información que es de relevante importancia para la toma de decisiones. Pérez manifiesta
que frente a la escasez de recursos es importante ampliar el ámbito de aplicación del PbR y establecer la obligatoriedad de indicadores, además de ampliar la evaluación de programas bajo enfoques diversificados, y mejorar el diseño de la MIR para lograr mayor calidad en la información que proporciona.15
En la práctica de auditoría de desempeño que realiza la ASF es recurrente que se emitan observaciones y recomendaciones a los programas evaluados sobre la construcción y diseño de las MIR, ya sea porque no se encuentran alineados a los objetivos del programa, porque se encuentran orientados solo a la gestión y no a la medición de resultados o al impacto, porque no son congruentes; y, en algunos de los casos, porque no se cuenta con indicadores.
Así mismo, el CONEVAL emite sus propias recomendaciones sobre la mejora de los indicadores, en su estudio sobre la relación entre las fuentes de información y la calidad de los indicadores de los programas, basado en las siguientes cuatro categorías: instituciones ajenas a dependencia coordinadora, encuestas nacionales oficiales, sistemas de información y medios de verificación internos.
Los resultados indican
que 49 % de las fuentes que conforman la categoría medios de verificación internos pertenecen a programas cuyos indicadores no cumplen con los criterios mínimos de aprobación. Por su parte, 58 % de las fuentes de la categoría sistemas de información son utilizadas por programas que obtuvieron un dictamen de aprobación condicionada; es decir, los programas que registran en promedio una mejor calidad de sus indicadores utilizan fuentes de información más sólidas.16
La ASF en el ejercicio de su actividad se apoya en el Sistema de Evaluación de Desempeño (SED), el cual establece los elementos metodológicos que permiten realizar una valoración del desempeño de los programas sociales; es una herramienta que coadyuva en la medición y valoración de los programas presupuestarios del Gobierno Federal. El SED, está vinculado con el PbR, mediante el cual se alinean los objetivos y las metas de los diversos programas federales con el Plan Nacional de Desarrollo (PND), establece los mecanismos de monitoreo y evaluación de los resultados alcanzados por estos programas. De esta manera, el SED contribuye a la instrumentación de una cultura organizacional de gestión para resultados.
El SED tiene como base la MML, la cual establece los principios para la conceptualización y diseño de programas públicos; así como sus herramientas de monitoreo y evaluación, que se plasman en un instrumento denominado MIR. El propósito de este enfoque es orientar la operación de los programas presupuestarios al logro de resultados. La auditoría a resultados de programas mediante la revisión al desempeño utiliza una serie de métodos lógicos o racionales dentro de los que se encuentran el método analítico-sintético, inductivo-deductivo, dialéctico, cualitativo y cuantitativo.
Las evaluaciones de desempeño también son conocidas como evaluaciones de escritorio, describen la situación del programa en un tiempo corto, a través de la sistematización de la información disponible en la MML, es útil para evaluar el cumplimiento de metas de gestión y resultados finales, indicadores de Eficiencia, Eficacia, Calidad, Economía. Este tipo de evaluaciones, proporcionan poca información para medir el impacto y efectividad de los programas de acuerdo con sus objetivos programados y el tipo de población que pretenden beneficiar; tampoco permite conocer con precisión, si es necesario realizar ajustes a los programas cuando ya están en ejecución, ni provee información para tomar decisiones sobre la terminación o suspensión de un programa o política porque no esté funcionando. Sugiere Aguilar que
es necesario priorizar los programas públicos por su orden de importancia pública y descartar programas insignificantes, no hay porque seguir asignando recursos a un programa o proyecto público cuyos productos y/o resultados no representan ningún valor para los ciudadanos y la comunidad.17
Desde hace más de una década se utilizan las MIR para evaluar los programas federales en México, por lo que, existe ya suficiente evidencia para realizar un examen de autoevaluación gubernamental que permita conocer si este tipo de metodología es la más adecuada, accesible, eficiente, de fácil comprensión y congruente con los cambios exponenciales del entorno social, demográficos, económicos, climáticos o de otra índole que afectan a la población vulnerable; además, la dinámica social ha generado nuevas necesidades a la población, por lo que es imperante la medición del impacto de las políticas públicas mexicanas existentes, por lo regular paliativas y no preventivas, que no generan un valor agregado a sus beneficiarios; por tanto, la evaluación aporta elementos para una mayor comprensión para la implementación de nuevos programas sociales que produzcan mejoras sostenibles y cubran necesidades diversas.
Reflexionar sobre los resultados de la auditoría de desempeño, aportaría información relevante sobre el desempeño de la propia gestión pública y su mejora continua, con el fin de determinar qué está o no está funcionando; de esta manera, pensar si es necesario innovar o evolucionar hacia el uso de nuevas alternativas de evaluación que permitan construir e implementar nuevas estrategias metodológicas para evaluar el impacto de los programas, así como obtener nuevos conocimientos y nuevos resultados basados en la prueba y error sobre la medición, con el propósito de mejorar la toma de decisiones gubernamentales basados en la evidencia.
En este sentido, la norma ISSAI 3000 refiere que para llevar a cabo la auditoría de desempeño se debe poseer conocimiento sobre auditoría gubernamental, diseño de investigación, métodos de las ciencias sociales y técnicas de investigación o evaluación, diferentes a los empleados en la auditoría tradicional.18 Retomando a Jarquín, Molina y Roseth, se coincide con ellos en que la auditoría de gestión debe disponer de una amplia selección de métodos de investigación y evaluación para actuar desde una base de conocimientos muy distinta a la de la auditoría tradicional.19
Es necesario comprender que la evaluación de programas como tal, requiere procesos diferentes a las actividades tradicionales o cotidianas de fiscalización que se realizan; incluyendo a las auditorías de desempeño -que se podría decir- son lo más cercano a realizar una evaluación de programas, en un sentido distinto a la fiscalización. La evaluación, ha de tener un sentido amplio para complementar la auditoría de desempeño, que normalmente, no cuestiona a profundidad la implementación de los programas ni el impacto social de las políticas públicas. La evaluación de impacto se ha convertido en una necesidad que muchos gobernantes no han alcanzado a comprender; aún se cree que evaluar es criticar la gestión gubernamental realizada por tal o cual gobierno. Definitivamente, ese no es el objetivo de la evaluación.
Para Gertler et al, la evaluación de impacto es uno de los numerosos métodos que existen para apoyar las políticas públicas basadas en evidencia, incluidos el monitoreo y otros tipos de evaluación.20 Lo difícil de implementar la evaluación en México radica en la polarización de la información gubernamental, la resistencia a proporcionarla; y, en muchas ocasiones, es información poco confiable para el análisis. Las evaluaciones de impacto bien diseñadas pueden proporcionar evidencia suficiente y competente que puede ser utilizada para fundamentar las decisiones de los gobiernos, influir en la opinión pública, mejorar el funcionamiento de los programas y el uso óptimo, eficiente y prudente de los recursos disponibles.
La necesidad de la evaluación para Victora y Santos es relevante desde el punto de vista económico y social; por lo tanto, no podemos dejar de lado el proceso de evaluación y cometer el peor de todos los pecados capitales de la evaluación que es “no evaluar”.21
Enfoque teórico-metodológico de la evaluación
La evaluación se vale de procesos, métodos y técnicas de investigación que proceden de otras disciplinas como las ciencias sociales, el derecho, la lógica, la ética, el desarrollo social, la estadística, la matemática, para medir el impacto de los programas sociales. Así, Suchman, vio la evaluación como la utilización de los métodos y técnicas de investigación científica utilizados con el propósito de evaluar.22
En este contexto y a través del tiempo la teoría de la evaluación ha tenido diversos cambios y ha venido acompañada de importantes teóricos que con sus trabajos han influenciado y enriquecido el aprendizaje de esta teoría. Sus invaluables aportaciones contribuyeron al enriquecimiento del aprendizaje de la evaluación desde diferentes enfoques, como la metodología, uso y valor de la evaluación.
Dentro de los principales exponentes sobre el uso de la metodología de los diseños experimentales y cuasiexperimentales se encuentran, Tyler y Stake. El aporte del primero fue principalmente en el campo educativo, comparando los resultados esperados contra los resultados obtenidos, lo que hoy se conoce como evaluación basada en objetivos. Establece las metas generales, objetivos conductuales y compara los resultados con las metas, utilizando pruebas estandarizadas de medida y el informe de investigación sobre la conveniencia de mantener o modificar los programas. Por su parte Stake, utilizó metodologías cualitativas, el estudio de caso, introdujo la idea de que el valor está ligado al contexto y que los evaluadores deben considerar el contexto al determinar el valor, considerando que la evaluación sirve para descubrir el mérito y las deficiencias de un programa para ayudar a su comprensión y responder a sus necesidades.23
Por su parte, Campbell y Stanley, propusieron reducir el sesgo y buscar la objetividad, utilizaron modelos experimentales y cuasiexperimentales en la investigación social con un enfoque más eficaz, teniendo claro que estos no son tan perfectos, por lo que incluye métodos cualitativos para medir efectos no esperados.24 Ellos consideraron que este tipo de método era aceptable o válido para estudiar la causalidad, aunque los teóricos en la rama de la metodología aceptan que el experimento es ideal si el contexto y las condiciones lo permiten. Este tipo de método resultó más eficaz para llevar a cabo estudios de evaluación que median el impacto de programas.
Para Cook y Reichardt, quien defiende el uso de métodos cuasiexperimentales y menciona la importancia del contexto; propone incluso la combinación de métodos argumentando que cada evaluación es diferente y, por tanto, el método se debe ajustar a ella. Uno de sus principales aportes es que las partes interesadas deberían al menos definir qué se quiere evaluar.
Henry, Mark y Julnes describen su enfoque, como evaluación realista emergente, como un nuevo modelo de evaluación integral donde la metodología es el pilar central. Para ellos, una metodología de evaluación da prioridad al estudio de las causas subyacentes de los cambios que son observados, atentos a múltiples niveles de análisis mediante métodos mixtos apropiados. Ven a la evaluación como una herramienta para el cambio social y político dentro de la democracia.25
Pérez, propone algunas orientaciones metodológicas que pueden servir de guía para realizar una mejor investigación en este campo. Entre ellas está la aplicación de diseños de investigación más adecuados, ya que la aplicación de diseños inadecuados es con frecuencia la causa de que los resultados sean poco relevantes y significativos, aplicar los diseños experimentales de caso único, series temporales, diseños intrasujetos. Asimismo, la utilización de la metodología de investigación tanto cuantitativa como cualitativa y mixta, apropiados a proyectos en los que ambas metodologías son necesarias y donde la recolección y evaluación de datos están dirigidas tanto a los grupos como a la investigación intensiva de situaciones individuales. Además, propone la combinación de diseños múltiples y una aplicación adecuada de la metodología cualitativa.26
Solana, define los métodos cuantitativos como las técnicas experimentales aleatorias, cuasiexperimentales, análisis estadísticos multivariados, estudios de muestras, entre otros. En contraste, y entre los métodos cualitativos, figuran la etnografía, los estudios de caso, las entrevistas en profundidad y la observación participativa.27
De los teóricos analizados se recogen diferentes enfoques de la teoría de la evaluación orientada por el método, algunos defienden la idea de que una evaluación está mejor realizada si se sigue el diseño experimental o cuasiexperimental, otros argumentan que los enfoques cualitativos y cuantitativos servirían mejor a la evaluación. Estas diferentes perspectivas de la evaluación han enriquecido el desarrollo de la evaluación de programas, logrando que los diferentes enfoques coincidan en que la evaluación debe comprometerse con múltiples aspectos y disciplinas.
Para De Miguel, decidir cuál será la metodología a aplicar por los evaluadores supone un análisis en función de las concepciones ontológicas, epistemológicas, y una justificación teórica sobre los conceptos de programa y evaluación.28 La ventaja de la diversidad de enfoques permite que el evaluador plantee diferentes estrategias al realizar una evaluación, ya que cada metodología tiene sus ventajas y desventajas, por lo cual, es necesario que el evaluador precise a la hora de justificar y planificar su trabajo, los procesos metodológicos y teorías a los cuales se apegará para evaluar cada programa.
Teoría del cambio y Auditoría de desempeño
En los últimos diez años, la evaluación de programas sociales basados en evidencia ha tomado fuerza debido al interés que la ciudadanía ha mostrado entorno al desempeño de los gobiernos y su actuar en pro de cubrir las necesidades de la sociedad. La demanda social sobre transparencia y rendición de cuentas ha fortalecido la forma de evaluar los programas públicos, lo que ha permitido conocer su utilidad e impacto en los beneficiarios. Actualmente, los ciudadanos no solo se interesan en saber que los recursos públicos están bien administrados, sino que, demandan conocer si los programas sociales están cumpliendo con sus objetivos y si su intervención tuvo un impacto en la calidad de vida de las personas beneficiadas.
La importancia de la evaluación de impacto está en medir los cambios en el bienestar de los individuos que se pueden atribuir a un programa o política pública. Este tipo de evaluación permite mejorar los programas públicos, conocer cuáles intervenciones del programa tienen más impacto y cuáles no, conocer si el programa está teniendo el efecto deseado y si contribuye a la resolución del problema para el que se creó, entender no solamente si el programa tuvo impacto sino por qué lo tuvo y cuáles mecanismos contribuyeron a cambiar esa problemática. Asimismo, evaluar impacto permite hacer ajustes a los programas cuando ya se implementaron, favorece la eficiencia del gasto público, proporcionan nuevos conocimientos sobre los programas, que pueden ser aplicados en el mejoramiento de estos, promueve la rendición de cuentas y facilita la toma de decisiones gubernamentales.
Por ello, los organismos encargados de evaluar las políticas públicas en México están transitando hacia una nueva forma de evaluar, ubicando a las evaluaciones de impacto como uno de los principales modelos a seguir para conocer los productos generados, los resultados y el impacto final sobre la realidad que se quiere transformar. Aunado a la evaluación de impacto se encuentra la teoría del cambio, la cual se entiende como una secuencia lógica de causalidades que gira en torno a la hipótesis contrafactual, propia de los diseños experimentales. Para Pawson, toda política supone una teoría del cambio que vincula el problema público identificado con la situación que desea obtenerse a partir de la intervención de una serie de instrumentos y acciones que serán usados para lograr ciertos resultados.29
Los principales elementos de la teoría del cambio que están presentes en la intervención de una política pública son los recursos disponibles, las actividades o acciones, los productos, resultados, y el impacto. Para Farré, la evaluación de impacto
es la combinación de dos teorías: la teoría de implementación y la teoría de impacto. La primera sostiene la hipótesis de que, con unos determinados recursos, la intervención va a ser capaz de generar unas actividades y productos concretos, mientras que la segunda asume que estos productos van a tener un impacto en la realidad sobre la que se quiere incidir.30
El objetivo de cada evaluación de impacto es demostrar el efecto causal, es decir, lo que es directamente atribuible a un programa, lo que se le puede adjudicar a las actividades del programa y a ningún otro factor (causa y efecto). La evaluación de impacto considera la comparación de dos o más grupos de beneficiarios de algún programa, uno de los grupos es llamado grupo de control o de comparación (contrafactual) el cual no ha recibido el beneficio del programa, la comparación de los resultados entre el grupo de beneficiarios y no beneficiarios es lo que mide el impacto del programa en la mejora de la calidad de vida de las personas beneficiadas. Lo que hace difícil medir el impacto según Pomeranz, radica en que solo se puede observar lo que ocurrió y no lo que hubiera ocurrido sin el programa, por esa razón el contrafactual es la clave para entender el impacto de un programa.31
Para Rogers, la teoría del cambio es un pilar fundamental de las evaluaciones de impacto, considera que es conveniente una combinación de información y procesos para desarrollarla, y que está teoría puede emplearse con todo tipo de investigaciones dirigidas a inferir la causalidad. Estima que
con los diseños experimentales y cuasi-experimentales, puede identificar variables contextuales significativas que deberían tenerse en cuenta al comparar los grupos de tratamiento y de comparación o control. La teoría del cambio se sirve de un conjunto de datos cualitativos y cuantitativos para respaldar la triangulación de los datos obtenidos a raíz de una evaluación de métodos mixtos.32
En la Tabla 2 se exponen algunas diferencias y similitudes entre la metodología de la evaluación de impacto y Auditoría de desempeño. Según Lomelí, Fuentes, Rosas y Cedeño,
la principal diferencia es que la primera, mide el desempeño en los procesos, los resultados o el impacto que generan determinadas acciones de gobierno, pero para llevar a cabo esa medición, la evaluación de impacto despliega una metodología de investigación más exhaustiva y detallada que sobrepasa a la Auditoría de desempeño como un enfoque evaluativo, ya que está, carece del rigor técnico requerido.33
Tabla 2 Semejanzas y diferencias metodológicas entre auditoría de desempeño y evaluación de impacto
| Auditoría de desempeño | Evaluación de impacto |
| Matriz de Marco Lógico (MML) | Método experimental |
| Matriz de Indicadores de Resultados (MIR) | Método cuasiexperimental |
| Método cualitativo | Método cualitativo |
| Método cuantitativo | Método cuantitativo |
| Teoría del cambio, Teoría de evaluación | |
| Modelos estadísticos y econométricos |
Fuente: elaboración propia.
Estos autores, manifiestan que, aunque teóricamente la evaluación de impacto es posible realizarla internamente mediante la auditoría de desempeño, es difícil, por no decir imposible hacerlo, ya que solo los expertos en estadística y econometría pueden plantear y desarrollar una evaluación de estas características, por lo cual una evaluación de impacto termina siendo realizada por evaluadores externos.
Por tanto, el uso de softwares estadísticos para el análisis de datos basada en la evidencia es una alternativa viable que complementa a la auditoría de desempeño, está alternativa es accesible e innovadora y se convierte en una herramienta útil para la medición de impacto de los programas sociales, que se manifiesta en el ahorro en los costos que representan las evaluaciones externas; solo se requiere de la adquisición de las licencias de los softwares estadísticos, equipo de cómputo óptimo y establecer un equipo de auditores especialistas internos con una adecuada capacitación técnica (científicos de datos) en el uso de las herramientas y análisis de datos para medir, obtener y reportar los progresos regularmente.
Uso de la estadística para la toma de decisiones basada en datos
El BID apoya financiera y técnicamente a los países de América Latina y el Caribe para mejorar las condiciones de vida de su población mediante programas sociales que ayuden a mitigar la pobreza y desigualdad social. Para lo cual, mantiene un fuerte compromiso para lograr resultados medibles y mantener altos niveles de integridad, transparencia y rendición de cuentas. Para lograrlo, cuenta con procesos y metodologías que le permiten evaluar el impacto en aspectos como la salud, la eficiencia, el presupuesto para así poder tomar decisiones basadas en la evidencia. Según la publicación hecha por Santiso, en el blog Gobernarte: Ideas Innovadoras para mejores gobiernos del BID el 29 de agosto de 2018, “los datos siguen siendo el gran desconocido. Se estima que solo un 1 % de la información disponible del mundo está siendo analizada y que sólo un 10 % de las bases gubernamentales están en formato abierto”.34
El uso de los datos estadísticos para la toma de decisiones basado en la evidencia para medir el impacto de los programas públicos ha tomado mayor énfasis por los gobiernos internacionales; tal es el caso de la Oficina Australiana de Estadísticas (Australian Bureau of Statistics), la cual considera que la toma de decisiones basada en la evidencia requiere de análisis sistemáticos y de investigación para lograr que los datos disponibles proporcionen pruebas que aporten en la elaboración de políticas públicas.35
¿De qué manera se pueden usar los datos para evaluar el impacto? Esto puede lograrse mediante el uso de la estadística que permite monitorear el progreso de las políticas implementadas. Parte de esos datos provienen de los registros administrativos del gobierno, algunos de encuestas hechas por algún instituto de estadística y geografía, algunos estudios de investigación, experiencias pasadas, entre otras fuentes o medios para recopilar información relevante.
¿Por qué son importantes las estadísticas? Para el Banco Mundial
en términos simples, ellas proporcionan evidencia en la construcción de las políticas públicas. Ayudan a identificar necesidades, fijar metas y supervisar los progresos. Sin buenas estadísticas, el proceso de desarrollo es ciego: los formuladores de políticas no pueden aprender de sus errores, ni rendir cuentas.36
Otro antecedente importante sobre el análisis de datos estadísticos lo tiene Nueva Zelanda, país que tiene experiencia en ciencia de datos, puede analizar, agregar y extraer información de los datos con gran habilidad. Janssen y Forbes manifiestan que, aunque no es la única forma de evidencia utilizada en la formulación de políticas,
el poder de las estadísticas oficiales se utiliza para mostrar a los analistas de políticas cómo obtener un mejor valor y tomar decisiones basadas en la evidencia. Las estadísticas proporcionan la evidencia cuantitativa que apoya la toma de decisiones del gobierno en el proceso de formulación, desarrollo y monitoreo de políticas sociales y económicas.37
Incorporar un mecanismo de evaluación de impacto desde el diseño de la política es un elemento clave para garantizar su evaluabilidad. Para Flores, el diseño de sistemas y mecanismos de evaluación para programas sociales municipales es posible, como lo manifiesta en su propuesta para evaluar algunos programas en el municipio de Zapopan, Jalisco, México; apoyándose en el uso de técnicas de investigación cualitativas, cuantitativas y técnicas estadísticas para su evaluación. Este estudio mostró que los componentes de percepción y monitoreo son más viables que el de impacto.
En su investigación propone
medir los efectos directos de los casos de estudio con algunas técnicas como la regresión discontinua y las comparaciones apareadas; sin embargo, en casos futuros es preferible diseñar a la par tanto los programas como su evaluación de impacto, para asegurar el seguimiento puntual de los grupos de tratamiento y control.38
Las estadísticas juegan un papel crucial en este proceso; como afirma Othman, “las buenas estadísticas representan un papel clave en la buena formulación de políticas. El impacto de la política se puede medir con buenas estadísticas. Si la política no se puede medir, no es una buena política”.39
Algunos softwares estadísticos comúnmente usados en la investigación de las ciencias sociales que facilitan el análisis de datos y la comprensión de la realidad estudiada son ATLAS.TI, el cual, se utiliza para analizar datos cualitativos, SPSS, permite especificar, estimar, evaluar y presentar modelos para mostrar relaciones hipotéticas entre variables, STATA, usado en el análisis y gestión de datos, NVIVO, es un paquete de software de análisis de datos cualitativos, entre otros. El aporte metodológico de estas herramientas ayuda a realizar análisis de datos de forma más rápida y eficiente.
En la Tabla 3, muestra algunos métodos que proveen los softwares estadísticos y que apoyan en las evaluaciones de impacto.
Tabla 3 Métodos de análisis estadístico
| Tipo de estudio | Método de análisis |
| Dispersión de la población | Desviación estándar |
| Relación entre dos variables | Coeficiente de correlación de Pearson o Spearman |
| Predecir el comportamiento entre
una variable dependiente y variables explicativas |
Regresión lineal y multivariable |
| Recopilación de datos (encuestas, entrevistas) | Muestreo estadístico |
| Comparar dos grupos con relación a
las variables de interés |
Pruebas T, Chi Cuadrada, ANOVA |
| Criterios de selección específicos:
Contra- factual: Selección de grupos de control y tratamiento en base a un índice de elegibilidad continuo. |
Regresión discontinua |
| Determinar diferencias significativas
entre dos valores medios |
Análisis de varianza (ANOVA) |
| Comprobar o refutar hipótesis | Prueba T |
| Comparar resultados de dos grupos
en variables categóricas |
Chi Cuadrada |
| Asociar o atribuir una causa a un efecto dado | Inferencia causal |
Fuente: elaboración propia.
Cada método provee ventajas y desventajas, por lo que es necesario que el evaluador plantee el diseño de la evaluación y precise las herramientas más adecuadas para analizar los datos de manera objetiva. Para Glennerster, los métodos de evaluación usados son efectivos si existen las condiciones específicas requeridas para que se sostengan los supuestos para cada enfoque de evaluación.40
Resultados del uso de base de datos para el cálculo de indicadores de resultados
El análisis referencial del CONEVAL relacionado con el tipo de fuentes de información en las que se apoyan los programas en México, mostró que los programas pueden hacer uso de dos tipos de herramientas para calcular sus indicadores de resultados, de entrega de bienes o servicios y gestión, de propósito y de fin. Una, es extraer la información de una base de datos utilizando algún tipo de software; y la otra, obtener los datos directamente de algún informe o reporte que genere el mismo programa, otra dependencia u organismo internacional. Los hallazgos de su análisis muestran que el porcentaje de indicadores para los cuales es posible conocer si se empleó una base de datos, un informe o reporte para extraer la información de alguna de las categorías de medios de verificación es muy pequeño (alrededor de 31 %) e insta a los programas a que proporcionen esta información.
También indicó que los programas no usan información del CONEVAL y del Banco de México (BANXICO), para calcular indicadores de entrega de bienes o servicios y gestión; sin embargo, sí recurren a la del Instituto Nacional de Estadística y Geografía (INEGI) para calcular al menos uno de sus indicadores en cualquiera de los dos niveles. Los resultados revelan que la fuente de mayor frecuencia son los medios de verificación internos (76.1 %), seguida por los sistemas de información internos, administrados por los programas cuya información no es pública (15.8 %), mientras que las fuentes menos usadas son las encuestas nacionales oficiales (2.5 %) y las provenientes de instituciones ajenas a la dependencia coordinadora (4.3 %).41 Lo anterior, muestra que la información estadística que proviene de los esquemas convencionales de política pública no es eficazmente explotada; la lección es obvia, se requiere innovar en los procesos metodológicos para el diseño, implementación y evaluación de las políticas públicas, haciendo uso de las herramientas tecnológicas y de los macrodatos disponibles.
En el mismo contexto, la Agencia para el Desarrollo AC (GESOC) centro de análisis especializado en investigación del gasto público, realizó un balance sobre el Índice de Desempeño de los Programas Públicos Federales (INDEP) 2012-2018, mediante el uso de base de datos de cobertura de los programas y acciones federales de la Secretaría de Hacienda y Crédito Público (SHCP) con la información pública disponible más actualizada y confiable, categoriza los programas en 6 clasificaciones, con nivel de desempeño óptimo, con alto potencial de desempeño, con nivel de desempeño mejorable, con nivel de desempeño escaso, dispersión de la política social federal y la caja negra del gasto social federal.
Los principales hallazgos del INDEP, fueron que la calificación promedio general obtenida por los 114 programas analizados obtuvieron una calificación promedio general aprobatoria de 61.88 en una escala de 0 al 100. De ese total según el estudio 45 programas resultaron reprobados en su desempeño, lo cual representó el 39.47 % y solo 3 alcanzaron una calificación superior a 90. Asimismo, solo 6 de los 114 programas evaluados, alcanzaron un nivel de desempeño óptimo; es decir, que están contribuyendo a resolver los problemas públicos que le dieron origen. De igual forma, solo 11 del total de programas evaluados, poseen un alto potencial de desempeño, ya que muestran niveles de calidad en sus diseños y alto cumplimiento de sus metas, pero no cuentan con el presupuesto suficiente para cubrir la población objetivo; 9 poseen un nivel de desempeño mejorable, pero según el estudio no justifican que se les asigne más presupuesto.42
El estudio reveló que 49 de los 114 programas evaluados, tienen un nivel de desempeño escaso, porque cuentan con bajos niveles de cobertura de su población objetivo, baja calidad en su diseño y avances mediocres en su cumplimiento de metas, por lo que estos programas no justifican un incremento presupuestal. La agencia recomienda hacer una revisión integral de los mismos para mejorarlos. Además, 39 de ellos que integran la categoría de dispersión de la política social, tienen un bajo nivel de cobertura y no resuelven el problema público que les dio origen. Existen 5 programas con categoría de caja negra que tienen graves problemas de opacidad; y de los cuales, no es posible estimar su nivel de desempeño porque no reportan información sobre su cumplimiento de metas, ni sobre la cobertura de su población.43
Dentro de las recomendaciones de GESOC hechas a la Cámara de Diputados se encuentra dotar de mayor racionalidad a las asignaciones presupuestales de los programas y acciones federales de desarrollo social, fortalecer su transparencia y rendición de cuentas y orientar las asignaciones presupuestarias hacia las carencias sociales más apremiantes y de cara al inicio de la administración federal 2018-2024, plantear una revisión integral de la política social para evitar los actuales niveles de dispersión. Concluyen que en el periodo analizado 2012-2018, se observa un desempeño precario de los programas y un marginal uso de la evidencia.
Para Segone, la evidencia para la política tiene tres componentes: primero, son los datos duros (investigación, evaluaciones, etcétera); segundo, es la argumentación analítica que coloca los datos duros en un contexto más amplio; tercero, es una base de evidencia que comprende la opinión de los interesados.44 La formulación de políticas públicas suele hacerse para cumplir con objetivos de interés de partidos o de grupos de poder, sin tomar en cuenta todos los procesos de evaluación requeridos; por lo que, a menudo los programas sociales carecen de origen de estándares de calidad en su diseño. Por lo tanto, los cambios tecnológicos y el acceso a la información pueden usarse para mejorar los procesos de evaluación, mediante el uso de softwares estadísticos que permitan analizar datos a gran escala, proporcionen información sobre la realidad social y sus necesidades; además, hacen posible comprender y prever tendencias que las afectan. Puede que los datos estadísticos por sí solos no midan el sentir de las personas, pero ayudan a los gobiernos a tomar mejores decisiones. En este orden de ideas, Payán y Vallejo señalan que la
probabilidad y la estadística son elementos de apoyo para conocer la intervención de los factores externos en la realidad social y la implementación de distintas técnicas de investigación social, teóricas y prácticas que proporcionen certeza en el análisis de los cambiantes fenómenos sociales.45
Según Pombo, Gupta y Stankovic, en relación con el uso de información para la toma de decisiones, refieren que los gobiernos innovadores están aprovechando las grandes cantidades de datos abiertos para anticipar qué programas ayudan a determinado grupo de personas, en qué momento se requieren y poder evaluar rápidamente si están surtiendo los efectos deseados. Para estos autores,
si se utiliza de forma adecuada, el análisis de big data promete algo similar a una evaluación de la efectividad de los servicios públicos prestados en el sector social, es imparcial y libre de ideologías; podríamos acercarnos más a la visión de una sociedad meritocrática y tecnocrática que los políticos han comenzado a aceptar, tanto a nivel estatal como local.46
Como se puede observar, las evaluaciones basadas en evidencia son aliadas de las instituciones públicas, al momento de implementar una política se requiere dar seguimiento y evaluación para conocer si se están obteniendo los resultados esperados, ya que la información es utilizada para verificar; y, a su vez mejorar la calidad, eficiencia y efectividad de las políticas públicas en sus diferentes etapas. Estos resultados forman parte relevante para la toma de decisiones y la asignación o reasignación de recursos públicos a los programas destinados al beneficio social, el seguimiento, continuación o ampliación de estos; asimismo, provee transparencia y estimula la rendición de cuentas, que es vital para que los gobiernos informen a los ciudadanos sobre sus mecanismos de gestión pública.
Alternativa de evaluación de impacto apoyada por datos
De tal modo, que el uso de softwares estadísticos presenta ventajas en el análisis de datos para evaluar el impacto de los programas sociales, ya que, es una herramienta innovadora que organismos internacionales como el BID está utilizando recientemente para medir el impacto debido al bajo costo que representa y el enorme beneficio del uso de los macrodatos (big data). Asimismo, los datos están siendo utilizado ampliamente por el sector privado para analizar el comportamiento de sus clientes en sus hábitos de consumo, las redes sociales se nutren de enormes cantidades de datos y de información que los usuarios proporcionan sobre sus preferencias.
Seco y Muñoz sostienen que, el big data o data analytics, se encuentra en buen nivel de madurez, tiene un uso intenso y espacio todavía para progresar más. Desde su punto de vista,
los avances de algunos factores tecnológicos posibilitaron un cambio radical para la concepción de herramientas basadas en datos y el aprovechamiento de esta información, mediante la disponibilidad de redes de comunicación y de internet de banda ancha, asociado a la reducción de costos y el surgimiento de nuevas fuentes de datos. En este contexto, la disponibilidad mundial de datos en formato digital creció y seguirá creciendo, multiplicándose por más de cuatro veces en los próximos siete años.47
Por otra parte, el Foro Económico Mundial (World Economic Forum, WEF), reconoce que las tecnologías digitales de la Cuarta Revolución Industrial se están convirtiendo rápidamente en el motor del cambio y que los datos son el “oxígeno” que la alimenta. Consideran que la tecnología está redefiniendo la manera en que industrias, individuos, instituciones y gobiernos interactúan. Para Fox, las tecnologías de información y comunicación (TIC’s) han propiciado un rápido escalamiento del tema de la transparencia a través de los medios digitales, logrando proyectar la voz ciudadana que exige rendición de cuentas en una gama cada vez más amplia de contextos.48
En una entrevista realizada por Marilín, al autor del libro Big data, la revolución de los datos masivos, Mayer-Schönberger, mencionó que el uso de los datos en el sector público puede ser importante para el desarrollo de un país. Para el autor,
en la era de los datos masivos, los datos son el nuevo oro. Pero este nuevo oro sólo puede ser desenterrado si se usan los datos que se tienen. Mucho valor permanece oculto porque los datos no son usados.49
Por tanto, el uso de los datos puede ayudar en la implementación de productos y servicios innovativos que puedan impactar en el crecimiento económico de un país.
En este contexto, el Foro Económico Mundial reconoce que la Cuarta Revolución Industrial tiene una promesa única, la de crear una sociedad más inclusiva, innovadora y resiliente, el uso de los datos ofrece un análisis de las poblaciones vulnerables en todo el mundo para ayudar a los responsables de la formulación de políticas a proporcionar niveles consistentes de protección a estas poblaciones en vulnerabilidad.50
Las nuevas tecnologías permiten elaborar encuestas electrónicas (datos cualitativos) sobre la percepción que los usuarios tienen de algún tipo de producto o servicio, este tipo de herramientas pueden ser de gran utilidad para los gobiernos para conocer los impactos o beneficios de los programas sociales sobre los beneficiarios. Se requiere de voluntad y arrojo para incursionar en la innovación tecnológica que proporcione resultados favorables en la evaluación de impacto de los programas sociales e ir más allá en la frontera del conocimiento en estas áreas.
Según el BID, la cantidad y los hallazgos de las evaluaciones de impacto continúan siendo más numerosos en el sector social y está creando alianzas con otras organizaciones para compartir metodologías de evaluación en campos menos explorados y aumentar el uso de macrodatos en las evaluaciones de proyectos.51
Esta alternativa ayudaría a mejorar la auditoría de desempeño apoyándose del uso de datos, de la tecnología y la innovación pudiendo ser más productivos y competitivos a la hora de evaluar el impacto de los programas. La evaluación, trae consigo muchos valores agregados, favorece la creación de instituciones sólidas que merezcan la credibilidad de la población, mejora los servicios públicos, lucha contra la corrupción, promueve la rendición de cuentas y fomenta la participación ciudadana en los temas públicos. Por tanto, se coincide con lo manifestado por Yáñez-Pagans sobre explotar el uso de evaluaciones de impacto que apuestan a la innovación que permitan proveer, tanto al sector público como al privado, de soluciones prácticas para la mejora del desarrollo económico y de la gestión pública en América Latina y el Caribe.52
Conclusiones
Se deduce que la auditoría al desempeño puede adaptar metodologías de evaluación diversificadas para la medición del impacto de los programas sociales en México. Cada forma de análisis nace de la experimentación de nuevas metodologías y el uso de diferentes técnicas que apoyen en este proceso. El uso de datos y su análisis estadístico, es una opción asequible a la que los gobiernos pueden acceder, puesto que los datos para el análisis basado en la evidencia provienen de sus bases de datos de padrones de beneficiarios de los programas sociales o de análisis estadísticos sobre la realidad social, como pobreza, delincuencia, enfermedades, desastres naturales, indicadores económicos, etcétera. Además, se puede hacer uso de encuestas mediante medios electrónicos para obtener retroalimentación sobre la satisfacción de los beneficiarios de los programas y los servicios públicos.
Pérez, alienta a fomentar la diversidad metodológica, menciona que cuando se asume que
las evaluaciones deben responder a diversos propósitos y audiencias, lo habitual es utilizar una combinación parsimoniosa de datos, análisis y métodos en función del tipo de informaciones y conocimientos que perseguimos en cada momento y fase del proceso. La evaluación, es un campo en el que se pueden aplicar todo tipo de estudios y metodologías, donde la tarea se enriquece precisamente con la pluralidad. Por ello, la única opción válida es abordar los procesos con un enfoque comprensivo y utilizar los procedimientos que en cada caso estimamos oportunos, al margen de polémicas estériles que no conducen a ninguna parte sobre cual método es el mejor.53
Es imperante no rezagarse y aprovechar el potencial que ofrece la era digital para implementar programas públicos innovadores y promover nuevas formas de evaluarlos; para ello, es preciso hacer uso de las herramientas tecnológicas estadísticas que ayuden a analizar los datos disponibles cuyos resultados contribuyan a tomar decisiones asertivas en la política social. Se requiere, promover el uso sistemático de la evidencia; es decir, los datos y hechos comprobables que contribuyan a la mejora de los procesos gubernamentales. Para Macfarlan, es claro que los macrodatos están demostrando ser una herramienta útil para el bien social en el seguimiento y la evaluación, tomando como base que los datos serán utilizados para efectuar el cambio y que el uso de grandes volúmenes de datos llevará a una mejor toma de decisiones.54
Los macrodatos complementan las fuentes de datos tradicionales, como las encuestas o estadísticas oficiales que se utilizan para formar una imagen completa y actual de una situación social, también se pueden utilizar en el diseño de programas y acciones gubernamentales. Es necesario, desarrollar nuevas políticas sociales basadas en datos que incorporen elementos de diseño de la investigación cuantitativa y cualitativa para expresar, en términos medibles los argumentos para cambiar una condición social. Estas nuevas necesidades sociales requieren de igual manera, mecanismos de evaluación innovadores, puesto que es preciso evaluar los programas sociales más rápida y eficientemente.
La innovación para Montiel debe surgir como una respuesta curiosa y creativa a las problemáticas y necesidades de la ciudadanía, en tanto el Estado sea capaz de responder con eficiencia y eficacia a dichos desafíos, la implementación de tecnologías dota de herramientas adecuadas a los cambios informáticos; y, la medición de resultados proporciona una retroalimentación obligada para realizar los ajustes requeridos que hagan más eficientes y eficaces las labores.55
Por lo tanto, es importante aprovechar las bases de datos gubernamentales de los programas existentes para consolidar variables que puedan ser evaluables; de esta forma, echar mano de la información que proporcionan instituciones nacionales, realizar análisis estadísticos a detalle del cumplimiento de objetivos de los programas y el impacto en los beneficiarios. Usando una combinación de datos cualitativos y cuantitativos se puede mejorar la evaluación, asegurando que las limitaciones de un tipo de datos se equilibran con las fortalezas del otro.
Los beneficios del uso de datos en las operaciones gubernamentales son muchos; para Fredriksson, Mubarak, Tuohimaa y Zhan, existe un gran potencial para que las organizaciones de la administración pública se beneficien del big data en el futuro, desde sus operaciones prácticas y su gestión estratégica; sin embargo, el uso de big data en el sector público también crea desafíos potenciales, como los de gestión, uso y calidad de los datos, preocupaciones éticas y de privacidad, procesamiento y administración de la información a través de las organizaciones, ausencia de tecnologías y experiencia requeridas para gestionar grandes cantidades de datos; así como su recopilación y almacenamiento.56 Así como, el uso del big data genera retos en el sector público también crea oportunidades para el beneficio de la sociedad.
Un escenario optimista para el futuro, es que la evaluación se apoye de diversas tecnologías y con instrumentos objetivos que fomenten la participación ciudadana, mediante la consulta sobre el impacto que los programas sociales tienen en sus comunidades y puedan decidir cuáles son prioritarios para una mejora en su calidad de vida. Ha de estimularse, la obligatoriedad de la evaluación para que con base en resultados se emprendan mejoras para el beneficio social. Fomentar los datos abiertos y de calidad, ayudará a constituir el sustento de nuestra democracia, al fortalecimiento de las instituciones, a la optimización y consolidación de las políticas públicas para incrementar la credibilidad de la ciudadanía sobre la actuación de los gobiernos.
