Dossier: El análisis y evaluación de políticas públicas: más allá de la unidisciplinariedad

 

Políticas públicas: los debates de su análisis y evaluación

 

Public Policies: Discussions About their Analysis and Evaluation

 

Myriam Cardozo Brum*

 

* Doctora en Ciencias Políticas y Sociales por la Universidad Nacional Autónoma de México (UNAM). Profesora titular del Departamento de Política y Cultura de la Universidad Autónoma Metropolitana, Unidad Xochimilco (UAM-X). Correo electrónico: myriamcardozo@hotmail.com

 

Fecha de recepción: 30 de mayo de 2012.
Fecha de aprobación: 26 de febrero de 2013.

 

Resumen

El artículo analiza a las políticas públicas como objeto de estudio y revisa los principales debates que atraviesan su campo teórico y empírico en relación con enfoques, métodos y técnicas de investigación aplicables en dos etapas fundamentales de su proceso: la formulación y la evaluación. Concluye que la formulación ha adolecido de tratamientos demasiado simplificadores, centrados en la disciplina económica y con descuido de la información cualitativa, que han contribuido a justificar su limitado empleo. En materia de evaluación reconoce avances importantes desde dos corrientes encontradas (positivismo y constructivismo) y argumenta a favor de la segunda, en tanto muestra mayor apertura en la comprensión de la complejidad, la participación social, el análisis interdisciplinario y la combinación de métodos cuantitativos y cualitativos.

Palabras clave: Políticas públicas, análisis, evaluación, métodos, México.

 

Abstract

The article analyses the most important discussions in theoretical and empirical public policies with regards to different approaches, methods and research techniques used in two relevant stages of their process: ex-ante analysis and ex-post evaluation. It concludes that different weaknesses, such as, extremely simplified processes that only focus on economics and that neglect qualitative information, justify the limited use of the analysis in the decision-making process. In evaluation matter, it recognizes relevant progress in two different approaches (constructivism and positivism). It argues in favor of the latter because it shows more comprehension on the complexity of the public policies, and it demonstrates more interest in social participation, interdisciplinary studies and the combination of qualitative and quantitative methods.

Key words: Public policies, analysis evaluation, methods, Mexico.

 

INTRODUCCIÓN

El presente artículo constituye una síntesis analítica de diversos trabajos realizados en torno al estudio de las políticas públicas en el contexto mexicano de los últimos treinta años.

Pone énfasis en el debate sobre sus enfoques, métodos y técnicas de investigación (disciplinariedad/no disciplinariedad, positivismo/constructivismo, cuantitativismo/cualitativismo, simplificación/complejidad, entre otros) en dos momentos de su proceso de desarrollo: la formulación y la evaluación.

Finalmente, presenta una valoración de la experiencia mexicana en el tema y sus perspectivas.

 

LAS POLÍTICAS PÚBLICAS COMO OBJETO DE ESTUDIO

El estudio de las políticas públicas (policies) comenzó a desarrollarse a mitad del pasado siglo con los trabajos de Laswell (1951), quien se refería a ellas como "...disciplinas que se ocupan de explicar los procesos de elaboración y ejecución de las políticas..." (citado en Aguilar, 2000: 47), para resolver problemas públicos, de interés y utilidad para todos los individuos de la asociación política, con base científica, interdisciplinaria y al servicio de gobiernos democráticos (Aguilar, 2000). De tal suerte, las políticas públicas constituyen respuestas diseñadas y aplicadas, a través de procesos políticos y técnicos, para resolver problemas que, por su relevancia para importantes sectores de la sociedad, no son factibles de enfrentarse eficazmente desde el ámbito privado. Ellas surgen como resultado de "...un proceso de sucesivas tomas de posición, que se concretan en un conjunto de decisiones, acciones u omisiones, asumidas fundamentalmente por los gobiernos, que traducen, en un lugar y período determinado, la respuesta preponderante del mismo frente a los problemas públicos vividos por la sociedad".¹

Los gobiernos son considerados como los principales actores responsabilizados con las políticas públicas, debido a su privilegiada disposición de recursos y poder para ofrecer bienes, servicios y transferencias que resuelvan problemas públicos, si bien la participación de las organizaciones civiles y sociales y de los ciudadanos en general se considera altamente deseable.

En el proceso de sucesivas tomas de posición se concatenan planes, programas, proyectos, acciones u omisiones, por lo que se descarta que una decisión aislada constituya una política. Además, no resulta ocioso aclarar que los gobiernos no actúan de manera absolutamente coordinada, racional y consistente, sino que se componen de organizaciones y funcionarios con posiciones diferentes, entre los que se imponen tendencias predominantes, por lo que se requiere del desarrollo de importantes procesos de coordinación, articulación y negociación para lograr el cumplimiento de sus objetivos.

El proceso de las políticas públicas puede desagregarse en fases o etapas, que no deben entenderse como una secuencia temporal estricta, sino como una aproximación meramente analítica. Su número varía en función de la desagregación que cada autor realiza, pero actualmente existe bastante consenso en incluir:

- La formulación (análisis ex-ante, tomando como referencia la acción), que se basa en un diagnóstico y definición del problema, para generar y analizar sus alternativas de solución; de manera de seleccionar la que se considere más apropiada.

- La implementación, que debería corresponder a la puesta en práctica y control de la formulación anterior (en forma concomitante) mediante la toma de decisiones operativas y acciones concretas destinadas a incidir en el problema público original; pero que en la práctica suelen apartarse de la misma en distintos grados y por razones diversas (problemas del diseño, juegos políticos, recursos inadecuados, etcétera).

- La evaluación (estudio ex-post), que permite medir los resultados e impactos alcanzados, describir el proceso desarrollado, explicar sus determinantes y condicionantes, y calificar su grado de efectividad; para decidir si conviene seguir aplicándola, con o sin modificaciones, o amerita su terminación o sustitución.

En diferentes contextos y períodos históricos, el peso relativo del estudio de las políticas públicas se inclinó más hacia alguna de las etapas señaladas. Hoy parece que los métodos de análisis para la formulación son muy similares a los desarrollados en la década que siguió a la Segunda Guerra Mundial; en cambio, se han incrementado las polémicas, los enfoques y los métodos aplicables en la etapa de evaluación.

Por otra parte, las diferentes disciplinas que participan del enfoque de las políticas públicas (economía, administración, sociología, etcétera) también han concentrado su interés en el análisis de algunas fases en detrimento de las restantes: por ejemplo, los economistas habían predominado en el campo de la formulación, pero recientemente han incursionado fuertemente en materia de evaluación.

Por otra parte, Laswell (1971) planteó otra diferenciación relacionada con la anterior: "el conocimiento 'del' proceso de decisión y 'en' el proceso de decisión" de políticas, lo que daría lugar a la bifurcación de dos corrientes: por un lado, el Policy Analysis, interesado en el momento normativo-técnico de formulación de la política, desde un enfoque de énfasis unidisciplinario; y, por otro, los partidarios de las Policy Sciences, preocupados por entender los procesos decisorios y las acciones, como suceden en los hechos, desde una perspectiva no disciplinaria, que también permitirá evaluar la formulación y la implementación.

A efectos del presente artículo, se asume el segundo enfoque para el análisis a posteriori que permite arribar a la evaluación de políticas. Y se trata de complementar el análisis a priori con aportes de las ciencias sociales para superar su tendencia economicista.

 

EL DEBATE SOBRE LOS MÉTODOS

El analista y el evaluador emplean métodos, es decir, procedimientos de investigación que —partiendo de una postura epistemológica y un marco teórico— definen un conjunto de principios y normas, y realizan una serie de operaciones que les permiten seleccionar y coordinar ciertas técnicas para alcanzar sus objetivos. Estas últimas constituyen instrumentos concretos de recolección, análisis, tratamiento, síntesis e interpretación de datos (Cardozo, 2012).

Coincidimos con Beltrán (1991) cuando plantea que, tanto teórica como prácticamente, no existe unanimidad en lo que se entiende por método científico, en tanto método único, detallado, riguroso y universalmente aceptado; existiendo sólo una aceptación general de sus principios: contrastación como evidencia empírica, juego entre teoría y realidad, exclusión de la manipulación y el engaño, recurso a la comunidad científica como árbitro y reconocedora de la verdad, y renuncia a la justificación absoluta de la verdad encontrada.

El análisis de políticas compara las ventajas y desventajas de cada alternativa, pero como las mismas sólo podrán concretarse en el futuro, se ve obligado a trabajar con base en estimaciones probables, en contextos permeados de riesgo e incertidumbre, donde la "verdad" pierde sentido como criterio de cientificidad.

Algo diferente sucede con la evaluación de políticas públicas, que consiste en poner a prueba, como si se tratara de una hipótesis, explícita o implícita, si una política o programa de acción determinados han sido o no capaces de provocar los efectos esperados, con base en datos y opiniones sobre lo efectivamente acaecido. Esto implica asegurarse de que dichos efectos se han producido, y que la política ha sido su única causa, descartando impactos de otras posibles variables intervinientes.

Pero la polémica sobre el método es un reflejo de toda la discusión epistemológica generada en torno a las posibilidades y formas de acceder al conocimiento, que excede en mucho el campo de las políticas públicas. Existe una fuerte discusión que nace en el origen mismo de las ciencias sociales, que iniciaron su desarrollo en un contexto en que sus homólogas físicas y naturales tenían ya un avance importante, basado en buena parte en la objetividad y reproductibilidad de sus observaciones, la cuantificación de sus fenómenos y el empleo del razonamiento matemático, lo que les permitió establecer leyes precisas y predicciones sólidas, subestimando lo que no fuera mensurable. La aceptación o el rechazo de éste como el camino a seguir por las ciencias sociales llevaron al desarrollo de dos posiciones contrapuestas: el positivismo y el interpretacionismo.

Sin pretender realizar un análisis del tema en profundidad, se identifican muchos autores —especialmente dentro de la escuela neoclásica de la economía²— que consideraron que las ciencias sociales presentaban un atraso relativo y que su rigurosidad y prestigio se ganarían por el mismo camino que lo habían logrado las físico-naturales, contribuyendo a generar hasta el presente un cierto dogmatismo metodológico que privilegia la cuantificación. Pero esa posición ha estado lejos de gozar de consenso: otras ciencias sociales —y otros enfoques de la economía misma— se han mantenido relativamente alejados del instrumental matemático clásico, fundamentalmente por las diferencias epistemológicas y metodológicas entre dichas disciplinas. Mientras la matemática pura ha establecido un conjunto de axioma³ y, a partir de él, ha demostrado deductivamente sus proposiciones, logrando un conjunto sólido y riguroso de conocimientos en un contexto determinístico, las ciencias sociales han construido su conocimiento en forma inductiva, por la vía de la observación y el análisis de casos, cuya generalización permite identificar algunas regularidades probables (aunque sin la pretensión de las leyes físico-naturales), conocimiento siempre provisorio en el sentido planteado por Popper (1977).

Esta profunda diferencia en la forma de acceder y desarrollar su conocimiento dificulta profundamente la compatibilidad de sus métodos, razón por la que en ciencias sociales ha sido más común el empleo de métodos estadísticos para describir datos y realizar inferencias a partir de un conjunto incompleto de ellos (muestra), por lo tanto, no determinístico, sino basado en la teoría de las probabilidades y el riesgo. Sin embargo, la estadística también tiene sus limitaciones: sólo permite asociar variables; no demuestra relaciones causa-efecto, como las que se requiere probar en la evaluación de políticas.

Pero hay otro profundo motivo de rechazo al cuantitativismo mencionado: el exceso de simplificación que implica la modelación matemática tradicional aplicada principalmente en las técnicas de análisis de políticas que se revisarán en el siguiente apartado. Frente a éste ha surgido un nuevo camino, promisorio aunque aún incierto en su efectividad, que proviene de los estudios sobre la complejidad y el análisis dinámico de sistemas no lineales, caracterizados por la multicausalidad, la posible demora entre causas y efectos, la coexistencia de retroalimentación positiva y negativa y muy especialmente por fenómenos de autoorganización y emergencia de propiedades contraintuitivas, no previsibles, que justifica el rechazo de cualquier reduccionismo y la necesidad de superar los enfoques unidisciplinarios, reemplazándolos por la multidisciplinariedad, la interdisciplinariedad y la transdisciplinariedad. Se trata de un enfoque que ha modificado profundamente la manera de encarar los problemas en campos como los de la física y la biología, que muestra aplicaciones de gran interés en demografía, antropología, lingüística, y que comienza a plantearse en el contexto de la evaluación de las políticas públicas (Forss, Marra y Schwartz, 2011).

El debate actual más arraigado en materia de políticas públicas opone fundamentalmente los enfoques positivistas y constructivistas (relativistas), pasando por una perspectiva contingente, que utiliza a cualquiera de los anteriores o incluso una mezcla de ambos, dependiendo del contexto de la política.

Así, los enfoques positivistas se caracterizan sintéticamente⁴ por poner distancia respecto del objeto analizado, preocuparse de la objetividad, la validez interna y externa de su diseño metodológico, su confiabilidad y su poder de generalización. Mientras, los constructivistas consideran que existen múltiples realidades en correspondencia con la experiencia de cada uno de los individuos que las viven (en lugar de visiones objetivas), recuperan los efectos del contexto de las políticas, la pluridimensionalidad de los problemas, y enfatizan la investigación cualitativa, a veces apoyada en la estadística (Mayntz ,1987; Le Moigne, 1994; Thoenig, 1998; Monnier, 1995; Duran, 1999, en Cardozo, 2011b).

 

EL ANÁLISIS DE LAS POLÍTICAS PÚBLICAS

Como ya mencionamos, el Policy Analysis de formulación nos conduce a la toma de decisiones, cuyo proceso puede explicarse en función de diferentes supuestos sobre la racionalidad humana y organizacional, que se traducen en otros tantos enfoques de esta etapa. El primero, identificado con la racionalidad total o exhaustiva, supone un decisor individual o diversos decisores organizacionales que actúan como bloque unificado, disponen de información completa y una capacidad ilimitada de cálculo que les permite revisar exhaustivamente todas las alternativas disponibles y encontrar siempre la mejor solución a los problemas públicos (optimización). Este enfoque se caracteriza por ser normativo y fuertemente cuantitativo.⁵

Un segundo acercamiento, desde el análisis del proceso organizacional, pone el énfasis en la explicación de la decisión tomada con base en las rutinas y procedimientos estándares vigentes en las organizaciones. Parte de la idea de una racionalidad limitada que lleva a alcanzar decisiones satisfactorias, en lugar de óptimas.⁶

Una tercera versión se fundamenta en el proceso político incrementalista, en que cada actor se mueve por sus propios intereses y negocia con los demás sin compartir sus fines, por lo que se considera que la optimización no es posible (no se cuenta con información completa ni existe capacidad ilimitada de cálculo) ni deseable (no existen objetivos compartidos).⁷

Un cuarto enfoque, muy poco desarrollado, aporta el conjunto de elementos no racionales del proceso decisorio, en que se recuperan elementos como intuición y experiencia desde perspectivas psicosociológicas, antropológicas y filosóficas.⁸

Finalmente podemos encontrar mezclas de los distintos enfoques, que critican al modelo racional por las razones ya planteadas, pero también al incremental por su tendencia conservadora, que descarta los cambios radicales, y se propone una recuperación selectiva de elementos de los distintos enfoques anteriores.⁹

En función de los enfoques previos, en el análisis se utilizan muchas técnicas, especialmente cuantitativas, desarrolladas con posteridad a la Segunda Guerra Mundial, impulsadas en el contexto de los EUA por el sistema Public Program Budgeting System (PPBS) y en el francés por la Rationalisation et Choix Budgetaires (RCB), algunas de ellas adaptadas de la práctica privada de toma de decisiones y evaluación de proyectos (árboles de decisión, evaluación financiera, teoría de juegos), otras de apoyo a los procesos (ecuaciones en diferencias, teoría de colas, cadenas de Markov, modelos de simulación), etc. Entre las técnicas específicas de políticas públicas tenemos (Cardozo, 1993): el Análisis Costo-Eficacia, el Análisis Costo-Beneficio, los Análisis Multicriterios y la Técnica de Análisis de Factibilidad.

El Análisis Costo-Eficacia (C/E) permite comparar programas y proyectos alternativos que persiguen un mismo objetivo, mediante la selección de aquél que presenta menor costo por unidad de logro (C/E), o sea, tomando como base el enfoque optimizador de racionalidad exhaustiva. Debido a que la eficacia puede ser difícil de cuantificar en forma directa, su medición se tiende a reemplazar por indicadores indirectos, cuyo selección se realiza tratando de mantener la mayor correlación posible con los objetivos perseguidos. La limitación más importante del método es que no permite la comparación de programas con objetivos diferentes o múltiples.

Al igual que la técnica anterior, el Análisis Costo-Beneficio (C/B) se ha empleado principalmente en los Estados Unidos de América (EUA) para intentar resolver el problema que plantea la primera, aunque continuando dentro del enfoque de racionalidad exhaustiva, mediante la homogeneización de los costos y los beneficios de todo tipo (financieros, económicos, sociales, etc.) por medio de una unidad de medida común (generalmente unidades monetarias), actualizando los flujos que se presentan en distintos momentos del tiempo, y comparando posteriormente ya sea las relaciones C/B de cada proyecto para seleccionar la menor, o bien, los valores actuales netos (VAN) para seleccionar el mayor de los positivos. Esta técnica ha sido criticada por: 1) las dificultades y arbitrariedades en que incurre para la cuantificación de efectos que no tienen un valor de mercado, lo que se realiza mediante la atribución de "precios sombra"; 2) la falta de criterios claros para determinar la tasa de actualización social y, en su caso, los factores de ponderación para los diferentes grupos de ingresos; 3) su tendencia a incluir sólo las variables de cuantificación más sencilla (económicas y financieras) a pesar de su objetivo manifiesto; y 4) su excesiva confianza en que un sofisticado análisis, poco accesible para la mayoría de los interesados y basado en cuantificaciones discutibles, conduzca a una selección óptima, fundamentada como en el caso anterior, en supuestos de racionalidad total (Cardozo, 2012a).

Principalmente en el contexto francés se ha desarrollado una nueva técnica que intenta reaccionar a las críticas antes presentadas: los Análisis Multicriterios, especialmente el ELECTRA. Esta técnica recupera la participación de los grupos implicados en el problema, toma en cuenta objetivos múltiples y aplica valoraciones subjetivas y cualitativas en una escala preestablecida. Procede ordenando los programas en función de cada objetivo y negociando sus prioridades con los interesados o sus representantes. Es de carácter no optimizador, responde al modelo de racionalidad limitada, restringiéndose a buscar la solución más satisfactoria a través de una simulación cuantitativa del regateo social que permite identificar el subconjunto de programas que presentan las mejores calificaciones y que al mismo tiempo carecen de fuertes oposiciones, aunque éstas provengan de grupos minoritarios.

Por su parte, la Técnica de Análisis de Factibilidad (conocida como FAT por sus siglas en inglés) es la que más se aproxima a tomar en cuenta los elementos políticos del tercer enfoque antes presentado. Trata de estimar subjetivamente: 1) la posición probable de cada protagonista o interesado (apoyo, rechazo, o indiferencia) frente a una alternativa de política; 2) la disponibilidad de recursos (presupuesto pero también capacidad técnica, prestigio, acceso a medios de comunicación masiva, legitimidad social, etc.) de cada protagonista para influir a favor de su posición, y 3) el orden de los protagonistas en función de su capacidad de influencia efectiva (magnitud relativa de recursos en comparación con la de los demás). Esto se puede completar con el análisis de las posiciones históricamente sostenidas por los principales grupos de interés, sus coincidencias, conflictos y posibilidades de lograr alianzas a favor o en contra de la política en discusión (Cardozo, 2011a).

Independientemente de la concepción de racionalidad que subyace en cada una de estas técnicas y de su fuerte componente cuantitativo, es importante señalar que no son siempre usadas con la neutralidad que aquí han sido expuestas, sino que a menudo son manipuladas para justificar y legitimar decisiones adoptadas con base en otros intereses (pseudoevaluaciones), en cuyo caso el modelo incrementalista de Lindblom (1959) explica mejor estos procesos.

El cuarto enfoque que enunciamos, de tipo cualitativo, se ha traducido poco en contribuciones concretas en políticas públicas. Sin embargo, en los últimos 20 años se han desarrollado algunos intentos muy prometedores de tomar en cuenta las emociones en los procesos decisorios organizacionales (Laflamme, 1995), intentos que es posible recuperar en la etapa de formulación. En dichos procesos, las emociones afectan la estimación de probabilidades y la valoración de resultados posibles, así como el orden de preferencias del decisor (si es que tiene uno claro), por lo que la decisión asumida tiende a alejarse de la que se asumiría bajo un esquema racional.

En nuestro contexto nacional, Aguilera y Contreras (2008), retoman antecedentes de Simon, March, Ortony, Howard, O'Rorke, Fineman, Elster, Frijda y Goleman para proponer también el diseño y utilización de modelos cuantitativos multi-agentes que simulen comportamientos con base en emociones (Cardozo, 2011a). Sin embargo, si en el campo de lo social, lo político o lo cultural se enfrentan dificultades para efectuar mediciones o establecer relaciones entre variables que permitan avanzar en su modelación matemática, tratándose de emociones el problema es aún más difícil ya que ni siquiera podemos observarlas directamente y a menudo no vemos de ellas más que sus manifestaciones corporales, además de que no siempre son manifiestas, sino que pueden ser controladas y hasta ocultadas por las personas.

Finalmente, el análisis cualitativo contribuye también a la formulación de políticas con el estudio de diversos tópicos como: viabilidad política, presión ejercida por los grupos de interés, procesos de negociación, articulación entre los sectores gubernamentales participantes, recuperación de experiencias similares, análisis de las limitaciones de los análisis cuantitativos, entre otros (Cardozo, 1993).

 

LA EVALUACIÓN DE LAS POLÍTICAS Y PROGRAMAS

La evaluación de políticas y programas puede realizarse con objetivos y criterios muy diversos (disponibilidad de recursos, análisis de procesos, eficacia, eficiencia, calidad, equidad, etcétera), pero nos referiremos especialmente a la evaluación de impactos por ser la más compleja. Implica valorar el conjunto de efectos, directos o indirectos, previstos o no, que la intervención realizada ha provocado en el problema que la originó (Cardozo, 2012a).

Ella ha sido ampliamente aplicada a los más variados contextos internacionales —aproximadamente desde la década de los ochenta—, y también asume diferentes enfoques. Aquí la diferencia sustantiva radica en avanzar hacia su estandarización con base en un pensamiento positivista o diseñarlas en cada caso en función de sus particularidades, retomando una visión constructivista.

A nivel de los métodos, los primeros ponen énfasis en la cuantificación y privilegian el uso de la experimentación en la evaluación de impactos. Ésta busca establecer relaciones de causalidad entre el programa y sus efectos; toma como referencia el paradigma metodológico desarrollado para las ciencias naturales, debido al alto nivel de rigurosidad que le permite detentar la exclusividad de verificar relaciones de causa-efecto estables entre ciertas acciones y sus supuestas consecuencias.

La realización de un experimento social requiere construir un estado contra factual que estime lo que habría ocurrido de no haberse realizado la intervención en cuestión (Banco Mundial, 2004: 237). Dicho diseño, implica conformar aleatoriamente dos grupos entre los posibles destinatarios de las actividades evaluadas, lo que garantiza estadísticamente su equivalencia. En estos dos grupos se introduce una sola diferencia: el programa a evaluar que se aplica en uno (grupo-caso o tratamiento) y no en el otro (grupo-control o testigo). Luego se procede a hacer mediciones iniciales y finales en ambos grupos (e intermedias si se desea mayor control) sobre el tema de interés para identificar sus diferentes evoluciones, cuya única causa se vincula con la actividad desarrollada sólo en el grupo-caso. Pero la conformación de grupos equivalentes en ciencias sociales, se ha dificultado notoriamente tanto por problemas técnicos como éticos, por lo que es común recurrir a métodos menos rigurosos como los cuasi-experimentos y los métodos no experimentales (Cardozo, 2012a).

Las comparaciones "antes-después" de un mismo grupo (corte longitudinal) o las realizadas entre grupos (mediante cortes transversales) se desarrollan a partir de la generación de indicadores para las variables impactadas (aunque los indicadores se emplean también en otros tipos de evaluaciones). Estos se definen como la expresión de medida de un atributo (Sanín, 1999), medidas cuantitativas de aspectos del logro que permiten contar con señales sobre su desempeño, mediante su comparación con los referentes internos o externos. Permiten comprobar si hay o no un acercamiento progresivo a las metas propuestas y operativizar la medición de las variables, señalando sus grados y variaciones en la forma más objetiva y verificable posible (Cardozo, 2012a).

La construcción de indicadores requiere el conocimiento de los objetivos y actividades de la política o programa evaluado, las fuentes de información disponibles, la periodicidad de la información, sus usuarios potenciales, los estándares de aceptabilidad; entre otros. Dichos estándares pueden establecerse con base en valores históricos previos, metas planeadas o resultados de unidades de análisis similares a las evaluadas (a nivel nacional o internacional).

Los organismos multilaterales suelen solicitar que los indicadores se diseñen siguiendo la orientación de su marco lógico: objetivo general, objetivos específicos, metas, indicadores, fuentes de información y resultados. La Comisión Económica para América Latina (CEPAL, Sanín, 1999) y el Banco Interamericano de Desarrollo (BID, 1997) proponen usar una matriz de cuatro filas (objetivo superior, objetivo específico, productos o componentes y actividades) y cuatro columnas (resumen narrativo de objetivos, indicadores para medirlos, medios de verificación de los anteriores y supuestos de desarrollo). En el caso del Banco Mundial (BM, 2004), su marco lógico se compone de indicadores para: 1) monitoreo de desempeño continuo: de entrada, actividades y salida (resultados de corto plazo), y 2) evaluación de impacto (de largo plazo).

La información cuantitativa generada en los diseños anteriores, puede analizarse con técnicas estadísticas: análisis de datos (tipologías), análisis de series temporales, análisis multivariado (varianza y covarianza) y estimación econométrica sobre datos longitudinales agregados.

Finalmente, los criterios utilizados en las mediciones cuantitativas giran, fundamentalmente, alrededor de la eficacia (logro de objetivos), la eficiencia (logro de resultados al menor costo posible), la efectividad (impacto, incluyendo externalidades positivas y negativas) y la equidad (distribución de los objetivos logrados en relación directa con las necesidades existentes). Es importante destacar que cuando se habla de logro de objetivos y de costos, no se hace referencia sólo a los de carácter económico, sino también a los sociales y ambientales que permiten una conceptualización adecuada de los criterios anteriores, comúnmente reducidos a la productividad o la rentabilidad financiera.

Por su parte, los constructivistas mezclan elementos cuantitativos y cualitativos para equilibrar sus resultados: informaciones cuantitativas recogidas por mediciones comparativas en muestras contrastadas, con datos cualitativos obtenidos por la observación etnográfica (Patton, 1997). Puede ser el caso de la encuesta, otro de los instrumentos de evaluación de resultados más empleado, que recoge información, percepciones y opiniones subjetivas de una muestra representativa de destinatarios y no destinatarios de las acciones, a las que se puede dar tratamiento estadístico. Pero, también puede incluirse el método DELPHI, el benchmarking o el diseño de escenarios prospectivos.

Los métodos estrictamente cualitativos han surgido, en su mayoría, de la crítica de enfoques cuantitativos, de extracción generalmente positivista como ya se mencionó, que suponen la existencia de rasgos universales y regularidades. Las ciencias sociales han evolucionado en sentido opuesto, del estudio de grandes procesos estructurales (macro) con metodologías cuantitativas a la construcción social de significados en las comunidades locales con enfoque cualitativo, enfatizando el análisis de las diferencias y el estudio de lo individual (micro), y profundizando en el estudio de sus motivos, intereses, valores, actitudes, comunicación, conductas, significados y emociones, así como en las dimensiones sociales, culturales y políticas en que se desarrolla la vida de los grupos en sociedad, sus acciones e interrelaciones. Estos métodos no tratan de medir los efectos de las intervenciones, pero son muy útiles para complementarlos con un análisis explicativo que reconstruye el proceso de su implementación para comprender los resultados alcanzados.

Las técnicas de recolección de datos empleadas en estos casos se caracterizan por:

- Un esfuerzo por "observar, escuchar y comprender" (Tarrés, 2001) al otro a partir del involucramiento y la empatía del investigador con el instrumento utilizado y con el objeto a estudiar (reflexionando, interviniendo y controlando activamente el proceso).

- Una búsqueda de significados, ideas y sentimientos subyacentes o latentes en las descripciones obtenidas de las palabras o de las conductas observadas.

- Una alta relevancia otorgada a la narración y valoración de esa subjetividad, tratando de contextualizar las experiencias estudiadas y de interpretarlas teóricamente, sin preocuparse por la representatividad de los casos analizados frente al universo total, razón por la que no generalizan sus resultados, salvo con el carácter de hipótesis heurísticas.

- Una creciente preocupación por adaptar las concepciones y procedimientos sobre validez y confiabilidad para que el conocimiento generado cualitativamente sea aceptado y útil.

En relación con este último aspecto, es necesario destacar que los planteamientos cualitativos han desembocado también en una redefinición de los criterios de confiabilidad y validez, heredados del positivismo. Resulta muy difícil valorar estos criterios para quienes no participaron en el proceso, y por lo tanto, limitan la confianza para utilizar sus resultados como información secundaria. Sin embargo, hay que reconocer que, tampoco en materia de métodos cuantitativos podemos estar seguros en temas como la composición aleatoria de la muestra para garantizar su representatividad, o la forma en que se aplicó un cuestionario. Por lo que parece que el único criterio que podemos tomar en cuenta, en ambos casos, se refiere a la legitimidad y prestigio del equipo de investigadores y la institución que realizaron el trabajo. En particular, la evaluación pluralista (Monnier, 1995) renuncia a alcanzar conclusiones científicamente verificadas para negociar un compromiso aceptable con los actores.

Entre los métodos cualitativos, la técnica más recurrida es la entrevista; pero también pueden emplearse otras: estudios de caso, biografías, historias de vida, observación tradicional y participante, investigación-acción, dinámicas de grupo, grupos de discusión, grupos focales, paneles de opinión, debates dirigidos, análisis de textos, entre otros.

Los criterios empleados en estos estudios cualitativos enfatizan aspectos vinculados a la calidad, satisfacción del usuario, congruencia, oportunidad y pertinencia, entre otros.

 

LA EXPERIENCIA MEXICANA

México presenta avances muy diferentes en materia de análisis y de evaluación de políticas públicas. Si bien su estudio se introdujo al país a inicios de los ochenta y las técnicas empleadas en el análisis tenían ya otros treinta años de utilizarse en países como EUA, Reino Unido o Francia, su enseñanza en programas de estudio de posgrado fue restringida y nunca han llegado a utilizarse en forma amplia en una práctica gubernamental, tradicionalmente acostumbrada a tomar decisiones fundamentadas basadas más en el interés político que en su análisis técnico, económico y social.

En consecuencia, podemos encontrar pocos ejemplos de utilización de las técnicas presentadas por parte del gobierno federal (GF) y el correspondiente al Distrito Federal (GDF) que hayan sido publicados, aunque se sabe que los organismos internacionales —como el BID o el BM— han solicitado análisis C/B y C/E en muchos casos en que han aportado recursos para el financiamiento de programas y proyectos.

La situación ha sido diferente en materia de evaluación de políticas y programas públicos, que se inicia en forma generalizada en el país prácticamente con el nuevo siglo, pero en cuyo caso el proceso de institucionalización y comunicación ha sido mucho más amplio.

Las restricciones de recursos, la poca efectividad demostrada por los programas, el apogeo de nuevas ideas sobre la gestión pública, son algunas de las razones que han impuesto una práctica expandida de evaluación ex-post. La misma se ha reforzado con exigencias legales dirigidas sobre todo a los programas de desarrollo social desde el año 2000 en el DF y desde el 2004 en el GF (leyes de Desarrollo Social), la creciente obligación de publicar sus resultados (leyes de Transparencia y Acceso a la Información Pública), el diseño de organismos descentralizados encargados de coordinar los procesos (Consejo Nacional de Evaluación de la Política de Desarrollo Social, CONEVAL, a nivel Federal, en funcionamiento desde 2006; y Consejo de Evaluación del Desarrollo Social, evalúa, a nivel del GDF, conformado en 2008), involucramiento de universidades, centros de investigación y organizaciones sociales en la realización de trabajos de evaluación externa, entre otras.

La práctica de CONEVAL se ha caracterizado por disponer de amplios recursos que aplica con un enfoque de énfasis positivista y tendencia unidisciplinaria (económica), persiguiendo la estandarización de los procesos y privilegiando la medición cuantitativa a través de un trabajo de expertos que descuida la participación social. De esta manera ha podido coordinar procesos que incluyen más cien evaluaciones anuales de programas de diferentes Secretarías de Estado y organismos autónomos.

En el caso de evalúa DF sus recursos han sido marcadamente más austeros, ha desarrollado un nuevo enfoque que retoma las propuestas constructivistas, con diseños de investigación específicos para cada caso, equipos de composición interdisciplinaria, utilización de métodos cuantitativos y cualitativos y preocupación por la participación social (Cardozo, 2012b). En este contexto ha desarrollado: 13 evaluaciones de programas, siete de políticas, una de impacto de servicios y dos metaevaluaciones.

Ambos Consejos enfrentan importantes problemas para lograr que los resultados de las evaluaciones se tomen en cuenta, especialmente por los evaluados: CONEVAL porque sus recomendaciones no son vinculatorias y tiene que negociar con diferentes instancias su aplicación, y evalúa porque, a pesar de que lo son, enfrenta serios retrasos en el cumplimiento de las recomendaciones aceptadas y "congelamiento" de los procesos en que debieran resolver las controversias planteadas.

 

CONCLUSIONES

En teoría, los métodos cuantitativos tradicionales pueden realizar una aportación valiosa al estudio de las políticas y programas públicos, siempre y cuando se tenga presente el conjunto de supuestos en que se fundamentan, y por lo tanto, las limitaciones que presentan. Por su parte, los métodos cualitativos permiten profundizar en el estudio de situaciones concretas y comprender aspectos subjetivos en mayor profundidad, complementando a los primeros en problemas de negociación, consenso, legitimidad, satisfacción, calidad, etcétera. Combinando ambos métodos debería poder obtenerse la adecuada integración de las racionalidades técnica y política, necesarias en el campo de las políticas públicas.

Sin embargo, en la práctica del análisis de las políticas encontramos hoy un conjunto de técnicas medianamente esclerosadas que no han sido plenamente exitosas en ningún contexto nacional, particularmente en el caso mexicano, ya sea por su excesiva simplificación y falta de realismo como por la arraigada tradición de tomar decisiones gubernamentales con base en otros criterios: intereses políticos, experiencia previa, intuición, etc. La única alternativa que se vislumbra implicaría considerar una modelización que capte la verdadera complejidad de los procesos implicados desde la diversidad disciplinaria y promueva una efectiva participación social que exija la consideración de nuevos criterios de decisión, tendientes a mejorar la calidad de vida de la ciudadanía.

En materia de evaluación de programas, los métodos cuantitativos proveen los instrumentos que hacen posible contar con un panorama global y representativo de los logros y limitaciones de los programas que se evalúan; mismos que resultan necesarios pero no suficientes para la realización de una evaluación integral que pretenda explicar los resultados alcanzados o valorar aspectos cualitativos. Cada caso específico requiere diseñar una adecuada combinación de métodos y técnicas que permita captar su especificidad.

Particularmente en materia de evaluación de impacto, es muy difícil identificar y medir con seguridad cuál es la parte del cambio observado en un problema que puede considerarse como consecuencia de una intervención específica; tema que podría modificarse profundamente en caso de asumirse el enfoque de la complejidad, lo que implicaría un nuevo rol y habilidades diferentes de los evaluadores, que habría que tomar en cuenta en sus entrenamientos.

Especialmente, limitarse al paradigma experimental implica renunciar al aprendizaje de efectos no previstos, objetivos ocultos, teorías implícitas, etcétera, y querer imponerlo como criterio fundamental de cientificidad conduce a pseudo experimentaciones sin sentido o al empobrecimiento del campo del análisis.

Recientemente, algunos autores (Patton, 2002) afirman que si bien las herramientas disponibles son suficientes para evaluar programas y proyectos, no lo son para enfrentar la complejidad de las políticas y de su evaluación, para las que casi no existen propuestas; por lo que se necesita una gran capacidad de inventiva metodológica, una actitud flexible ante posibles explicaciones teóricas alternativas y un conocimiento específico del tema a evaluar. La planeación de la evaluación en estos casos se vuelve un arte, donde la experiencia y la intuición pueden resultar más efectivas que un conjunto de procedimientos analíticos; no hay manuales aplicables.

Ante las dificultades planteadas se muestran evidentes las ventajas de avanzar en el caso mexicano sobre enfoques más constructivistas, metodologías combinadas sin dogmatismos, equipos de trabajo pluridisciplinarios y esfuerzos por avanzar en la cabal compresión de la complejidad.

 

FUENTES CONSULTADAS

Aguilar, L. (2000), El estudio de las políticas públicas, México: Porrúa.         [ Links ]

Aguilera, A. y Contreras, J. C. (2008), La influencia de las emociones en la toma de decisiones conjuntas: una aproximación modélica, México: El Colegio de San Luis Potosí         [ Links ].

Allison, G. (1971), Essence of decision. Explaining the Cuban missile crisis, Boston: Little Brown and Co.         [ Links ]

BM (2004), La pobreza en México: una evaluación de las condiciones, las tendencias y la estrategia del gobierno, México: Banco Mundial.         [ Links ]

BID (1997), Evaluación: una herramienta de gestión para mejorar el desempeño de los proyectos, Washington: Oficina de Evaluación del BID.         [ Links ]

Beltrán, M. (1991), La realidad social, Madrid: Tecnos.         [ Links ]

Cardozo, M. (1993), "La evaluación de las políticas públicas: problemas, metodologías, aportes y limitaciones", en Revista de Administración Pública, núm. 84, México: INAP.         [ Links ]

---------- (2011a), Teoría de las Decisiones; marco teórico-conceptual, México: UAM-X.         [ Links ]

---------- (2011b), "Organización y métodos alternativos en la evaluación de políticas y programas sociales. La experiencia consolidada y la emergente en el caso de México", en Revista Gestión y Análisis de Políticas Públicas, núm. 5, Madrid: INAP.         [ Links ]

---------- (2012a), La evaluación de políticas y programas públicos. El estado del arte, México: UAM-X.         [ Links ]

---------- (2012b), Sistematización de la experiencia de Evalúa DF 2008. Metaevaluación y autoanálisis, México: UAM-X y evalúa DF.         [ Links ]

Duran, P. (1999), "Penser l'action publique", en Droit et Société, vol. 27, París.         [ Links ]

Etzioni, A. (1967), "La exploración combinada: un tercer enfoque en la toma de decisiones", en Aguilar, L. (2000), La hechura de las políticas, México: Porrúa.         [ Links ]

Forss, K., Marra, M., y Schwartz, R., (eds.), (2011), "Evaluating the complex. Atribution, contribution and beyond", en Comparative Policy Evaluation, vol. 18, Nuevo Brunswick y Londres: Transaction Publishers.         [ Links ]

Laflamme, S. (1995), Communication et émotion, París: L'Harmattan.         [ Links ]

Lasswell, H. (1951), "La orientación hacia las políticas", en Aguilar, L. (2000), La hechura de las políticas, México: Porrúa.         [ Links ]

---------- (1971), "La concepción emergente de las ciencias políticas", en Aguilar, L. (2000), La hechura de las políticas, México: Porrúa.         [ Links ]

Le Moigne, J.L. (1994), Le constructivisme, París: ESF.         [ Links ]

Lindblom, C. (1959), "The science of muddling through", en Public Administration Review, vol. 19, Washington.         [ Links ]

Mayntz, R. (1987), Sociología de la organización, Madrid: Alianza Editorial.         [ Links ]

Monnier, E. (1995), Evaluación de la acción de los poderes públicos, Madrid: Instituto de Estudios Fiscales.         [ Links ]

O'Donnell, G., y Oszlak, O. (1976), Estado y políticas estatales en América Latina: hacia una estrategia de investigación, Buenos Aires: CEDES.         [ Links ]

Oszlak, O. (1980), "Políticas públicas y regímenes políticos: reflexiones a partir de algunas experiencias latinoamericanas", en Estudio CEDES, vol. 3, núm. 2, Buenos Aires.         [ Links ]

Patton, M. Q. (1997), Utilization-focused evaluation. The new century text, Thousand: Sage Publications.         [ Links ]

Popper, K. (1977), La lógica de la investigación científica, Madrid: Tecnos.         [ Links ]

Sanín Angel, H. (1999), "Control de gestión y evaluación de resultados en la gerencia pública", en Serie Manuales, núm 3, Santiago de Chile: CEPAL.         [ Links ]

Simon, H. (1972), El comportamiento Administrativo, Madrid: Aguilar.         [ Links ]

--------- (1957), Models of man, social and rational, Nueva York: J. Wiley.         [ Links ]

Steinbruner, J. (1974), The Cybernetic Theory of Decision: New Dimensions of Political Analysis, Nueva Jersey: Princeton University Press.         [ Links ]

Subirats, J. (1989), Análisis de políticas públicas y eficacia de la administración, Madrid: INAP.         [ Links ]

Tarrés, M. L. (2001), Observar, escuchar y comprender. Sobre la tradición cualitativa de la investigación social, México: COLMEX-FLACSO-Porrúa.         [ Links ]

Thoenig, J. C. (1998), "L'évaluation de l'action publique locale", en Kesller, M. C. et al., Evaluation des politiques publiques, París: L'Harmattan.         [ Links ]

 

NOTAS

¹ La síntesis presentada, incluida en Cardozo (2012a), retoma ampliamente elementos desarrollados en los trabajos de O'Donnell y Oszlak (1976) y Oszlak (1980). Una descripción detallada de lo que el concepto puede implicar se puede consultar en Subirats (1989).

² Dicha escuela estableció un conjunto de supuestos sobre la base del cual elaboró su teoría hipotética deductiva en el marco de la lógica formal clásica, pagando un alto precio por su profundo alejamiento del funcionamiento real de la economía en materia de expectativas humanas, orden de sus preferencias, cálculo de sus ganancias, decisiones de sus agentes, etcétera.

³ Por ejemplo, el desarrollo de geometrías no euclidianas a partir de eliminar el supuesto de que las rectas paralelas nunca se cortan. Actualmente, un ejemplo de este tipo de estudios lo constituyen los trabajos en espacios n-dimensionales donde n es mayor a 3 o bien es fraccionario (caso de los fractales).

⁴ Este debate se verá en mayor detalle al tratar el tema de la evaluación de las políticas.

⁵ Sus orígenes los podemos encontrar desde la propuesta cartesiana, desarrollada en Teoría de Juegos por Von Neumann y Morgenstein y en Teoría de la Estrategia por Von Clausewitz.

⁶ El enfoque es iniciado con los trabajos conductistas de Herbert Simon (1947 y 1957), y continuado por Cyert, March, Olsen, Cohen, etcétera.

⁷ Charles Lindblom retoma la idea de incrementalismo planteada por el enfoque anterior, atribuyéndole una valoración diferente en su famoso artículo "The science of muddling trough", aparecido en 1959.

⁸ Citado a pie de página por Allison (1971) y desarrollado en Steinbruner (1974), quienes además presentan los tres enfoques anteriores.

⁹ Amitai Etzioni (1967).

 

INFORMACIÓN SOBRE LA AUTORA:

Myriam Cardozo Brum. Doctora en Ciencias Políticas y Sociales por la Universidad Nacional Autónoma de México. Investigadora del departamento de Política y Cultura de la Universidad Autónoma Metropolitana (México). Sus líneas de investigación son: evaluación de programas y políticas públicas.