Organización y métodos alternativos en la evaluación de políticas y programas sociales. La experiencia consolidada y la emergente en el caso de México
| Autor | Myriam Cardozo |
| Cargo | Universidad Autónoma Metropolitana. México |
| Páginas | 43-59 |
Page 44
Ante similares problemas sociales, los gobiernos de distinto signo ideológico aplican políticas y programas sociales diferentes que, a su vez, evalúan también en forma diversa.
El presente artículo realiza una breve revisión teórica de la evaluación de programas sociales en torno a la diversidad posible en dos de sus aspectos sustantivos: sus formas de organización y sus métodos. Ambos resultan relevantes para lograr un informe de calidad y una utilización efectiva de las recomendaciones; sin embargo, el primero ha sido poco debatido en la literatura especializada de evaluación.
El objetivo principal del trabajo es de carácter empírico y se refiere a la evaluación de programas sociales en el caso mexicano, en el que se describe la experiencia emergente en el Gobierno del Distrito Federal y se compara con la relativamente consolidada en el Gobierno Federal. Esto permite, por un lado, enriquecer el inventario de experiencias sustancialmente diferentes en materia de organización y métodos de evaluación y, por otro, resalta la importancia de la dimensión organizativa en la comparación realizada.
El trabajo se basa en investigación documental e incluye: una breve revisión conceptual; la discusión teórica de los dos temas mencionados, iniciando por el más discutido (métodos); el análisis empírico del caso, considerando los mismos temas en la secuencia que exige su práctica (organización antes que métodos); y finalmente, las conclusiones.
Con objeto de facilitar la compresión del caso que se analiza, a continuación se definen los principales conceptos utilizados en el mismo:
Las políticas públicas constituyen "...un fenómeno social, administrativo y político específico, resultado de un proceso de sucesivas tomas de posición, que se concretan en un conjunto de decisiones, acciones u omisiones, mismas que traducen, en o un lugar y período determinado, la respuesta preponderante del Estado frente a pro-u blemas públicos vividos por la sociedad civil" (Cardozo, 2006: 25-26, retomando ele-3 mentos desarrollados en O'Donnell y Oszlak, 1976; y Oszlak, 1980).
Las políticas referidas se concretan en sectores o temas específicos mediante el diseño de programas que presentan definiciones más precisas de sus componentes (objetivos, metas, recursos, acciones, tiempos).
Un tipo particular de políticas públicas está constituido por las políticas sociales, cuyo objetivo final es el logro del bienestar social mediante estrategias de redis-
Page 45
tribución de la riqueza y del ingreso para impulsar un mejoramiento continuo de las condiciones de vida de la población" (Cardozo, 2006: 153).
El proceso de estas políticas puede desagregarse en etapas cuya secuencia temporal no siempre puede respetarse en la práctica. La literatura se refiere fundamentalmente a tres: formulación, implementación y evaluación.
La última etapa identificada analiza y valora los procesos, resultados e impactos provocados por las dos anteriores1. Puede definirse como una investigación aplicada, de tendencia interdisciplinaria, realizada mediante la aplicación de un método sistemático, cuyos objetivos fundamentales son:
· técnicos: conocer, explicar y valorar una política o programa para aportar elementos al proceso decisorio que permitan mejorar los efectos de la actividad evaluada, resaltando la importancia atribuida a la emisión de un juicio valora-tivo sobre dicha actividad, y
· políticos: contribuir al logro de una democracia efectiva, a través de la rendición de cuentas del gobierno a los ciudadanos y de su participación efectiva en el proceso (Cardozo, 2006).
En consecuencia, la evaluación se justifica: a) técnicamente, por las múltiples brechas que pueden presentarse entre los problemas sociales y su definición pública, el diseño y la implementación de las políticas y programas que se proponen resolverlos; y b) políticamente, por los procesos de democratización (debate ciudadano, aprendizaje participativo, credibilidad,) y reforma del Estado (privatización, descentralización) que se agravan en países de gran tamaño, sujetos a una estricta disciplina fiscal, como sucede en el caso mexicano.
Cuando ésta se realiza de forma integral, ya sea externa o interna, trata de: a) describir los recursos empleados, b) describir el proceso que se llevó a cabo, c) explicar sus determinantes y condicionantes contextuales, d) identificar, medir y valorar los resultados e impactos alcanzados, d) calificar su grado de efectividad y e) proponer recomendaciones para decidir si continúa aplicándose, y si lo hará con o sin modificaciones tendentes a resolver, o al menos reducir, los problemas identificados. Implica verificar si los efectos esperados se han producido, y en qué grado éstos pueden ser atribuidos a la política o el programa evaluado, descartando impactos de otras posibles variables intervinientes, así como identificar si se han presentados efectos no planeados (externalidades positivas o negativas).
Page 46
Para llevar a cabo las actividades anteriores se utilizan métodos que dotan al evaluador de una perspectiva y un conjunto de principios o normas que guían su actuación y le permiten seleccionar y coordinar las técnicas más adecuadas para el análisis y valoración de una política o programa.
El debate sobre los métodos ha sido muy intenso. Algunos de los aspectos más discutidos provocan posiciones teóricas encontradas que explicitaremos a continuación: a) el grado de objetividad del evaluador; b) las actitudes asumidas en cuanto a la profundidad del trabajo y su referente valorativo; c) su nivel de tecnicismo y de participación; d) su enfoque uni o multidisciplinario; e) su objetivo de aprendizaje o de sanción; f) la necesidad o falta de relevancia atribuida al conocimiento del evaluador sobre el tema a evaluar; g) su énfasis en el papel de la teoría y de las pruebas; h) el grado en que la evaluación se construye en cada caso o se estandariza un modelo único aplicable a cualquier programa; y principalmente, i) el énfasis en la utilización de métodos cuantitativos o cualitativos.
En el abanico de posiciones asumidas frente a las opciones previas, dos grandes corrientes (en la práctica a veces combinadas en una perspectiva contingente) orientan prioritariamente la evaluación de programas en la actualidad: el énfasis positivista, de origen estadounidense, y el contructivista, desarrollado en el contexto europeo.
Esquemáticamente, los enfoques positivistas se caracterizan por poner distancia respecto del objeto analizado, preocuparse de la validez interna y externa de su diseño metodológico, la confiabilidad, el poder de generalización, la objetividad, el énfasis en la cuantificación y la utilización privilegiada de la experimentación.
Los constructivistas, por su parte, consideran que existen tantas realidades como individuos (en lugar de visiones objetivas), se interesan en fenómenos que articulan lo micro y lo macro, lo formal y lo informal, recuperan los efectos del contexto, la pluridimensionalidad de los problemas y la organización en red, rechazan la separación tajante de las etapas del proceso de políticas públicas y la realización de estudios de caso sectoriales, y enfatizan la investigación cualitativa, a veces apoyada en la estadística (Mayntz,1987; Le Moigne, 1994; Thoenig, 1998; Monnier, 1995; Durán,1999).
Por otra parte, si bien el problema del método es un asunto clave en materia de evaluación, hay otro aspecto muy importante y menos estudiado que enmarca la forma en que se desarrollan sus trabajos: la dimensión organizativa. Se trata de comprender que las administraciones públicas, en cuyo marco se realizan los procesos de gestión y evaluación, se componen de redes de organizaciones en que los aspectos políticos, culturales, de estructuración y de funcionamiento constituyen factores relevantes que afectan el desempeño evaluativo. El estudio de la dimensión mencionada, uno de los tres aspectos resaltados2 en Francia por el Informe Deleau en 1986,
Page 47
constituye el aporte realizado por la sociología de las organizaciones y la sociología política al análisis de la evaluación.
El análisis de los factores organizacionales que afectan el desarrollo de la evaluación y la calidad de sus resultados implica tomar en cuenta al menos: a) el contexto político, jurídico y cultural; b) los órganos que deciden la realización de la evaluación y sus motivos; c) las organizaciones y actores participantes, su funcionamiento y relaciones formales e informales; d) la planeación del trabajo; e) los recursos asignados para su ejecución; y f) la difusión y utilización de los resultados (Cardozo, 2006).
En consecuencia, Thoenig propone redefinir la evaluación como un proceso de aprendizaje institucional, de transformación de lo que conviene hacer, de las reglas y las identidades. Para institucionalizar realmente esa evaluación, señala que es necesario algo muy diferente a establecer procedimientos administrativos: crear las condiciones que se enfoquen a cambiar la teoría en actos de los decisores, a modificar los modelos cognitivos y normativos que estructuran su visión del mundo, su representación de los problemas y su apreciación de los instrumentos movilizados para actuar (Thoenig, 2002).
Se expone brevemente la situación social y las políticas mexicanas así como la caracterización de la organización y los métodos empleados para realizar la evaluación por el Gobierno Federal (GF), con el objetivo de presentar una nueva experiencia que busca encarar su trabajo con un enfoque diferente: la del Gobierno del Distrito Federal (GDF). En su tratamiento se retoman los aspectos analizados en la revisión...
Para continuar leyendo
Solicita tu prueba