Concepto, clases, propositos, intereses y criterios de evaluación
| Autor | Xavier Ballart |
| Páginas | 71-89 |
Page 71
La evaluación de programas no tiene una definición pacífica y ampliamente aceptada por la literatura. Los términos «program evaluation», .. «policy evaluation» y «evaluation research» han sido objeto de una variedad de interpretaciones en función de lo que distintos investigadores incluyen en este campo de investigación y/o entienden que son sus métodos propios.
Inicialmente, la evaluación de programas es percibida como la evaluación de los efectos netos de los programas -es decir, de aquellos efectos que no se hubieran producido en ausencia del programa- en relación con los objetivos inicialmente propuestos. (Rossi y Wright, 1984:51).
En este contexto, la evaluación es, pues, un análisis de resultados (
Interesa aquí precisar la diferencia que existe entre «outcomes» y outputs, puesto que a menudo ambos se confunden. Los outputs se refieren a lo que el programa produce. Así, por ejemplo, un programa de rehabilitación de viviendas produce viviendas aptas para ser ocupadas por ciudadanos. Los «outcomes», por su parte, se refieren al impacto de estos outputs en la sociedad. En el ejemplo propuesto, el «outcome» del programa sería el efecto que produce dicha política de rehabilitación en la condición de personas de bajo nivel de renta y, en concreto, en su capacidad de acceder a una vivienda de calidad.
Esta concepción de la evaluación de programas como evaluación de los efectos de un programa en relación con sus objetivos es recogida en el influyente libro de Weiss (1972:4):
El propósito de la Investigación Evaluativa es medir los efectos de un programa en relación con los objetivos que se propone alcanzar, como medio de contribuir al proceso subsiguiente de toma de decisiones sobre
Page 72
el programa, y por tanto como medio de mejorar la programación futura
. 37
La evaluación de los efectos netos de los programas trataba a éstos como a una unidad indiferenciada, lo que se ha convenido en llamar una caja negra, sobre la que no se conoce nada sobre sus componentes.
Así, por ejemplo, un programa de fonnación e inserción profesional puede estar compuesto de clases teóricas sobre donde encontrar ofertas de trabajo, cómo hacer un currículum o presentarse en una entrevista de selección, puede incluir módulos de calificación profesional, de prácticas en una empresa u otros. La evaluación de sus efectos trataría al programa como a una unidad iltldiferenciada comparando, por ejemplo, los niveles de éxito de aquéllos que habían participado en el programa con los de aquéllos que no lo habían hecho y fonnaban parte de un grupo de control. Esta evaluación aportaría una estimación objetiva de los efectos netos del programa, pero dado que no entraría en el análisis de sus componentes, no aportaría infonnación sobre el porqué había o no había funcionado.
De aquí que varios autores incluyan en sus definiciones de evaluación de programas, la evaluación de los componentes del programa y de la fonna en que el programa opera regularmente. Esta concepción ha dado lugar a las «management-centered evaluations» defendidas por Wholey:
Evaluación 1. valora la eficacia de un programa en funcionamento, en alcanzar sus objetivos, 2. se basa en los principios del diseño investigativo para distinguir los efectos de un programa de aquéllos de otras fuerzas operando en una situación detenninada, y 3. se dirige a mejorar el programa a través de la modificación de las operaciones corrientes.
(Wholey et al., 1975:23) 38.
Se relaciona, por tanto, con la preocupación por hacer de la evaluación un instrumento que resulte útil a los responsables directos de los programas. En este sentido, Subirats (1989: 140) se refiere a una perspectiva
Page 73
gerencial que distingue de la perspectiva legal-tradicional y de otras de carácter político 39.
La evaluación aún ampliaría su ámbito a raíz de los análisis de evaluaciones realizadas en los que se sugería que los pobres resultados de muchos programas podían ser debidos a una inadecuada planificación previa, a un diagnóstico erróneo de las necesidades de sus destinatarios o a problemas de interpretación o puesta en práctica de conceptos manejados en las fases de discusión, negociación y aprobación del programa (Rossi y Wright, 1984:65).
De otra parte, como se ha afirmado anteriormente, la crisis industrial de los años setenta y las políticas conservadoras de reducción del gasto público suscitaron un mayor interés por la evaluación económica de los programas, lo que ha llevado a algunos autores a incluir dentro del ámbito de la evaluación de programas los análisis coste-eficacia y coste-beneficio desarrollados por economistas. (Lewis y Zarb, 1974:308; Thompson, 1980:entero).
Todo ello conduce a que algunos eminentes científicos sociales como Rossi y Freeman empezaran a hablar de evaluaciones globales (
La aplicación sistemática de procedimientos de investigación social para valorar la conceptualización y diseño, implementación y utilidad, de los programas de intervención social
(1985:19-20).
Esta definición resume los puntos indicados anteriormente y establece las bases de una tipología de estudios de evaluación.
En primer lugar, la evaluación es aplicación sistemática de procedimientos de investigación social. Existe, por tanto, un compromiso por seguir las prescripciones y los métodos de las ciencias sociales con el fin de producir evidencia empírica válida y fiable.
En segundo lugar, la evaluación se aplica con el fin de valorar y eventual-mente perfeccionar, primero, la conceptualización y diseño, segundo, la implementación, y tercero, la utilidad de los programas de intervención social. La evaluación completa de un programa incluiría, por tanto, estas tres cuestiones. Rossi y Freeman utilizan el término genérico de «evaluación de utilidad»
Page 74
para referirse a la evaluación de impacto o efectos netos y a la evaluación económica o de eficiencia.
En tercer lugar, el ámbito de la investigación evaluativa se limita a los programas de intervención social, esto es, a cualquier combinación de objetivos y recursos que se organiza para que tenga un efecto en el bienestar de individuos o grupos sociales concretos. Programas, por tanto, muy diversos que pueden tratar de educación, bienestar social, salud, vivienda, seguridad, rehabilitación social, desarrollo económico.
En resumen, tal y como indica la figura número 2, la evaluación de programas tiene que ver tanto con los efectos de un programa sobre sus beneficiarios, como con su implementación, como con el proceso de formulación de propósitos generales y objetivos más específicos, lo que tendría que permitir relacionar, de acuerdo con el modelo teórico, resultados finales, con la forma en que es administrado el programa y planificada la intervención.
Figura 2: Modelo teórico para la evaluación de programas
[VER PDF ADJUNTO]
Si bien, en algunos países, las instituciones tradicionales de control externo de la Administración han añadido a sus funciones de auditoría jurídico-74
Page 75
contable las funciones de evaluación en los términos que acabamos de explicar, hay que distinguir la evaluación del control y de la inspección administrativa.
De una parte, porque las cuestiones a las que se dirigen son distintas: el control administrativo no cuestiona la oportunidad de una política o programa, en cuanto conjunto de recursos aplicados a la consecución de objetivos externos, sino que únicamente verifica que los recursos previstos hayan sido bien aplicados y que las normas existentes hayan sido respetadas. En el mismo sentido, Vulpian y Devez (1984:278).
De otra parte, porque los controles se ejercen desde una perspectiva organizacional y por tanto, estrechamente relacionada con cada una de las estructuras administrativas existentes. La evaluación, en cambio, privilegia la perspectiva longitudinal basada en la idea de política o programa. Rompe, por tanto, como afirma Nioche (1982a:5l), con la problemática de tipo jerárquico e implica una aproximación a la vez más distanciada y más global, sobre políticas o programas en los que pueden intervenir varias administraciones.
Finalmente, porque como indica Eveno (1984:219), la inspección y el control administrativos se basan en los desplazamientos sobre el terreno, en las constataciones de hechos observables y en el juicio personal del inspector. El resultado de su trabajo se refleja generalmente en un informe escrito que tiene por destinatario el superior jerárquico. La evaluación es más amplia, es más exigente en cuanto al método e implica por tanto más tiempo.
Dado que cada evaluación suele tener un ámbito distinto en función de las cuestiones que intenta responder, resulta útil distinguir entre cuatro clases de evaluación que coinciden con las...
Para continuar leyendo
Solicita tu prueba