La evaluación clasica por objetivos
| Autor | Xavier Ballart |
| Páginas | 95-126 |
Page 95
En este capítulo, la evaluación es contemplada desde la perspectiva clásica de la evaluación por objetivos. Desde esta perspectiva, la cuestión fundamental es determinar los efectos atribuibles a una política o programa y examinar hasta qué punto sirve para la realización de ciertos fines y objetivos. Este es pues el criterio de éxito en base al cual se valora la política o el programa.
Tal y como decía Weiss, de acuerdo con este modelo, la evaluación parece simple. Existen unos objetivos, una actividad dirigida a alcanzarlos y una medida del grado en que ésto se consigue. Todo lo que hay que hacer es, pues:
1) enumerar los [mes generales del programa y sus objetivos más específicos;
2) descubrir indicadores de estos objetivos, susceptibles de medición;
3) recoger datos sobre los indicadores para aquéllos que participan en el programa y para un grupo de control equivalente que no haya participado;
4) y analizar los datos sobre los participantes y sobre los controles, en función de los fines y objetivos iniciales del programa
(Weiss, 1972:24).
En la práctica, sin embargo, lo que parece simple puede complicarse enormemente, tanto por los problemas que presentan la identificación y operacionalización de objetivos, como por la complejidad intrínseca de los programas, como por la dificultad técnica de aislar los efectos de la intervención y deter-minar el impacto neto de las políticas.
De acuerdo con el concepto adoptado de evaluación por fases, dividimos este capítulo en tres apartados: en el primero, nos referimos a la identificación y especificación de objetivos como requisito previo (se correspondería teóricamente con la etapa de planificación), en el segundo, al examen de los inputs y actividades que componen un programa (se corresponde con la evaluación de la implementación), y en el tercero, al impacto o efectos (se corresponde con la etapa de evaluación de resultados).
Desde la perspectiva del modelo de evaluación por objetivos, lo más importante es especificar los objetivos del programa en términos claros y precisos,
Page 96
puesto que éstos servirán de criterio a partir del cual juzgar si el programa ha sido un éxito o por el contrario ha fracasado en sus propósitos.
La función del evaluador consiste pues, primero, en ayudar a los actores del programa a alcanzar un nivel razonable de consenso en tomo a los objetivos del programa, y, segundo, en asegurar un nivel mínimo de especificidad que permita desarrollar indicadores operacionales a partir de los cuales medir y evaluar. (Shortell y Richardson, 1978:16-17)
Los objetivos de las políticas y de los programas acostumbran a ser, sin embargo, generales, abstractos y confusos. Ello es así porque el proceso de decisiones políticas se apoya en acuerdos sobre aspectos muy generales. Se podría afirmar que la negociación política se hace sobre programas y no sobre objetivos. Una vez existe un consenso básico sobre la necesidad de «hacer algo» en relación con los problemas que se hacen un hueco en la agenda política, «lo que haya que hacer» escapa al acuerdo, de lo que resulta la aprobación de programas generales sin objetivos específicos. Desde esta perspectiva, la ambigüedad del proceso resulta políticamente útil, en la medida que permite llegar a compromisos sobre la base de intereses divergentes que no llegan a explicitarse46. Los objetivos retóricos necesarios para sacar adelante el programa, sin embargo, no sirven como base a partir de la cual enjuiciar su éxito.
Por otra parte, cuando se pregunta a los administradores de los programas sobre sus objetivos, tampoco se obtienen respuestas muy específicas: «mejorar la calidad de vida», «conseguir que se enganchen a la vida», «fortalecer la participación ciudadana», «actuar más coordinadamente», «integrar esfuerzos». Igualmente, existen varias razones por las que los administradores de los programas no especifican sus objetivos en términos más precisos: la más obvia es que hay casos en que no tiene sentido especificar los objetivos en términos operacionales. En otras ocasiones, en cambio, la especificación de
Page 97
objetivos limitaría la flexibilidad del administrador, en la medida que comunica sus intereses y le compromete a un cierto grado de visibilidad.
Dadas estas dificultades, Weiss (1972:28) ha sugerido cuatro estrategias que los evaluadores pueden utilizar para llegar a obtener objetivos que sirvan para la evaluación:
-
La primera consiste en describir las cuestiones más relevantes y dejar que los principales actores del programa lleguen a un acuerdo.
-
La segunda consiste en recoger tanta información escrita como sea posible, entrevistar en profundidad a los responsables del programa, observar directamente como se desarrolla, y dejar que sea el evaluador mismo el que formule los objetivos.
-
La tercera consiste en promover la colaboración entre evaluador y actores más relevantes del programa con el objeto de formular objetivos que éstos hagan suyos, para posteriormente limitarlos a aquéllos que según el evaluador aparezcan como más realistas.
-
La cuarta consiste en evitar la identificación de objetivos y por tanto abandonar la idea de una evaluación en el sentido más clásico.
La primera de estas estrategias puede conducir a afirmaciones que no constituyan una base operativa para la evaluación. La tercera estrategia aparece como la ideal por cuanto si los objetivos son formulados únicamente por el evaluador (segunda estrategia), cabe el peligro que después sean rechazados por los responsables del programa, por entender que aquello no era lo que pretendían. Por último, la cuarta es especialmente interesante dado que, cuando se trata de programas nuevos sobre los que resulta difícil alcanzar un acuerdo sobre lo que sería un éxito, puede ser mejor dejar la evaluación abierta, que no formular objetivos artificiales y que no tengan un claro sentido para los participantes en el programa 47.
Las evaluaciones por objetivos requieren, sin embargo, la descripción de los resultados especificos que, de conseguirse, permitirían afirmar que el programa ha sido un éxito. Ello es posible si los objetivos afirman la condición a la que se dirigen o el comportamiento que quieren cambiar y en qué medida.
Page 98
Así, por ejemplo, si en la reforma de la asistencia primaria de la sanidad pública, el objetivo es mejorar el acceso de los pacientes al servicio, ello se habrá conseguido si:
el tiempo de espera se reduce en un determinado tanto por ciento; el tiempo que pasa entre que se concierta una cita y se produce la visita se reduce en un determinado tanto por ciento; o una mayoría de la población asistida afirma estar más satisfecha en temas de acceso desde que se produjo la reforma.
La literatura en relación con la identificación y especificación de objetivos es amplia. En el cuadro 3 resumimos aquellos aspectos que Shortell y Richardson (1978: 18-19) consideran más relevantes a la hora de identificar objetivos. Entre todos ellos, sin embargo, cabe destacar tres: la ordenación de los objetivos, la multiplicidad y posible incompatibilidad entre objetivos, y la necesidad de anticipar efectos no esperados.
Los objetivos de los programas pueden ser ordenados conforme a su relación con el diseño-implementación o con la evaluación de sus resultados (Suchman, 1970:60). En función de este criterio, cabe distinguir entre objetivos inmediatos y objetivos finales. Weiss identifica a los primeros con las variables-input y con las variables operacionales.
Las variables-input son aquéllas que tienen que ver con los recursos materiales y humanos de que dispone el programa. Las variables operacionales se relacionan con las previsiones organizativas sobre quién tiene que realizar qué, dónde, cuándo y cómo (Weiss, 1972:46). El análisis de estas variables se correspondería con la evaluación formativa o de proceso.
Por su parte, los objetivos finales se identifican con los resultados o impactos del programa, es decir, con aquellas variables que representan los efectos que produce el programa. El análisis de estas variables se correspondería con la evaluación conclusiva o de resultados.
Entre ambos tipos de objetivos puede haber objetivos intermedios que se identifican con lo que Weiss llama variables puente, es decir, aquellos elementos del programa que permiten asociar inputs y actividades con resultados finales (Weiss, 1972:47).
Así, por ejemplo, en un programa de rehabilitación de presos, se asume que la formación profesional mientras se encuentran detenidos, reducirá las probabilidades de que vuelvan a delinquir una vez hayan cumplido condena.
Page 99
En este caso, la variable puente sería el grado en que los detenidos llegan a aprender un nuevo oficio que después se podría relacionar con la disminución de la reincidencia (objetivo último).
La relación entre...
Para continuar leyendo
Solicita tu prueba