La evaluación pluralista

AutorXavier Ballart
Páginas147-161

Page 147

1. Introduccion

La evaluación por objetivos ha constituido el paradigma predominante en la evaluación de programas desde mediados de los sesenta hasta nuestros días. La idea de una «sociedad experimental» se hizo realidad a principios de los setenta con la realización de algunos de los grandes experimentos como los descritos en el anexo al capítulo anterior sobre mantenimiento de unos niveles de renta y de vivienda mínimos. Desde entonces, muchas evaluaciones han utilizado diseños cuasiexperimentales y métodos de estadística inferencial para determinar la eficacia de las políticas públicas.

Este tipo de evaluación que llamamos clásica, racional o científica, presenta, sin embargo, algunas limitaciones importantes tanto en relación con su aplicación, como en relación con la utilización de sus resultados y su conexión con el proceso de toma de decisiones políticas, lo que ha dado lugar al rechazo de sus presupuestos, a menudo calificados de positivistas, en favor de enfoques más políticos, centrados en la utilización de los resultados del mismo proceso evaluador, y generalmente cualitativos, por lo que respecta al método de investigación.

2. Problemas con la evaluacion clasica por objetivos
A Problemas de aplicacion

La evaluación por objetivos en la forma que ha sido descrita requiere unas condiciones bastante exigentes: primero, que los objetivos estén bien definidos, segundo, que sea posible identificar indicadores generales de eficacia o de resultados, y tercero, que sea aplicable un diseño de investigación que permita medir de forma válida y fiable estos resultados.

Primero, en algunos casos puede resultar verdaderamente difícil la especificación en términos operacionales de los objetivos de los programas. Cuando éstos se desarrollan porque se percibe la necesidad de intervenir en relación con un determinado problema pero no está muy claro qué es lo que se puede hacer ni cómo se puede hacer, generalmente se procede sobre la base de un acuerdo muy general de actuar en una determinada dirección y se va corrigiendo el curso de acción en función de las cuestiones y de los problemas que van surgiendo.

Page 148

En otros casos, la especificación de los objetivos puede incluso ser contraproducente. Cuando se trata de programas muy politizados, en los que convergen diversos intereses, la negociación sobre objetivos muy concretos puede desembocar en una situación de conflicto. Para llegar a un cierto nivel de consenso, cuando las posturas son muy rígidas y enfrentadas, lo mejor que puede hacerse es, precisamente, dejar la cuestión de los objetivos abierta.

Segundo, el modelo clásico de la evaluación por objetivos puede tener éxito con programas bien definidos, susceptibles de ser analizados por partes y que permiten la descripción de un modelo de impacto con unas relaciones causales claras. En este sentido, nos hemos referido a una serie de variables que expresan la ralación entre inputs y resultados finales, y a una serie de hipótesis (causal, de intervención y de acción) que nos ayudan a reconstruir las relaciones que tienen lugar en el mundo real. Muchos programas, sin embargo, son extremadamente complejos, disponen de múltiples y diferentes medios para conseguir objetivos múltiples y a veces hasta contradictorios, y presentan variaciones en función del lugar y del momento en que son analizados. Ello hace difícil definir sus componentes, reconstruir la cadena de efectos buscados y, en consecuencia reducir el programa a un modelo simplificado que permita una evaluación clásica convencional.

Tercero, los principales problemas que presenta la aplicación de los diseños de investigación revisados tienen que ver con la formación de grupos de control y con la obtencion de múltiples medidas de una misma variable en intervalos períodicos de tiempo anteriores y posteriores a la intervención.

De una parte, muchas veces, simplemente no será posible crear un grupo de control porque el programa sirve a todas las personas elegibles e interesadas. (Rossi y Freeman, 1985:208). Otras veces, las personas que podrían servir de controles serán difíciles de localizar o no querrán colaborar con un programa que, o bien ha rechazado su participación, o bien simplemente desconocen y no les ofrece nada a cambio.

La distribución aleatoria de sujetos a grupos experimentales y de control puede generar cuestiones de tipo ético por entenderse que, de una forma arbitraria, se está privando a un grupo de personas de unos servicios que, en principio son percibidos como beneficiosos. (Monnier, 1987:56). En países donde la experimentación social se ha realizado con una cierta frecuencia, existen incluso disposiciones legislativas que impiden privar de un programa a individuos concretos que tienen derecho a él 73.

Aun cuando se consiguen formar grupos de control, siempre existe la posibilidad de amenazas a la validez del experimento:

Page 149

Ya hemos. visto como es imposible controlar diferentes niveles de mortalidad experimental para el grupo que recibe el programa y para el grupo de control, de forma que los individuos que restan en ambos grupos pueden no ser representativos de las poblaciones originales. En el mismo sentido, los grupos de control pueden resultar «contaminados» por el grupo experimental si se producen contactos entre ambos grupos, y los primeros llegan a obtener la información que han recibido estos últimos.

Puede igualmente ocurrir, como ocurrió con el primer experimento del impuesto negativo en New Jersey, que una Administración distinta de la que administra el programa ofrezca a los grupos de población que sirven de controles, los servicios que solamente tenían que recibir los . participantes en el programa. (Weiss, 1972:63).

De otra parte, algunos de los diseños de investigación requieren series temporales de datos que incluyan observaciones anteriores a la introducción del programa y que continúen durante bastante tiempo después del programa. En casos, sin embargo, los datos recogidos por la Administración, o bien no son completos, o bien no son fiables, o bien no se corresponden con la información necesaria para construir indicadores que tengan relación con los resultados que se quieren medir.

Cabe concluir, por tanto, que los diseños de investigación clásicos sólo se pueden llevar a cabo bajo condiciones y en circunstancias muy limitadas. La demanda de evaluación de programas que no puedan ser evaluados de esta forma tendrá por tanto que cubrirse recurriendo a formas alternativas de evaluación.

B Problemas de utilizacion

El recurso a los diseños experimentales y estadísticos más sofisticados tampoco se ha mostrado como una garantía para el uso efectivo de los resultados de las evaluaciones en el proceso de toma de decisiones político-administrativas. Entre las razones de la pobre utilización de los resultados de las evaluaciones cabe señalar, primero, que aquéllos no se presenten a tiempo debido a las exigencias metodológicas de la misma evaluación, y segundo, que los resultados finales no respondan a las necesidades de las personas que han de tomar decisiones sobre los programas o políticas evaluados.

Primero, las limitaciones de la evaluación experimental para conectar con el proceso político se pusieron de manifiesto con los primeros grandes experimentos sociales. En el caso de los programas del impuesto negativo, se puede

Page 150

afirmar que las políticas cambiaron antes de que aparecieran los resultados de sus evaluaciones, lo que pone de relieve la incompatibilidad entre la temporalidad de las decisiones político-administrativas que generalmente tienen que producirse con rapidez, y la larga duración de los experimentos. (Monnier, 1987:56). Concretamente, el primer programa del impuesto negativo (el NJGWIE) duró casi 7 años desde su planificación en 1967 hasta que se publicó el último informe en 1973. Los análisis y críticas de este primer gran experimento llevaron a multiplicar las exigencias metodológicas de forma que experiencias posteriores como el SDIME (comentado en el anexo al capítulo anterior) requirieron 5 años únicamente para el tratamiento de algunos grupos, sin contar por tanto, el tiempo necesario para su selección y para el análisis e inter-pretación de sus resultados.

Obviamente, la realización de estos y otros experimentos fue sumamente importante para la teoría de los programas de intervención social, en la medida que se pudo...

Para continuar leyendo

Solicita tu prueba

VLEX utiliza cookies de inicio de sesión para aportarte una mejor experiencia de navegación. Si haces click en 'Aceptar' o continúas navegando por esta web consideramos que aceptas nuestra política de cookies. ACEPTAR