La pluralidad de concepciones de metaevaluación
| Autor | Ester García Sánchez |
| Páginas | 27-44 |
Page 27
Nadie duda hoy de que la evaluación constituye una herramienta esencial para el perfeccionamiento de las políticas ni de su enorme potencial para fomentar la transparencia y la rendición de cuentas por parte de los poderes públicos. Pero poco podrá contribuir la evaluación a la mejora de los procesos decisorios que están en la base de políticas y programas y al fortalecimiento de la accountability si no se revisan y perfeccionan los instrumentos de los que se sirve, si no se contrasta la validez de sus juicios, si no se comprueba que resulta útil para conseguir «mejores» políticas. Una evaluación mal planteada -ya sea desde el punto de vista técnico, del de la gestión o del estrictamente político- puede llevar a elegir el programa o la política menos adecuados.
Es precisamente en este punto en el que la metaevaluación, en tanto que evaluación de las evaluaciones, cobra su verdadero sentido. La metaevaluación constituye «una obligación profesional de los evaluadores» (Stufflebeam 2001: 183). Pero la relevancia de la metaevaluación va más allá. Destinatarios de las políticas y clientes1tienen en ella una herramienta imprescindible para decidir acerca de la fiabilidad de las evaluaciones y si estas proporcionan una base sólida y rigurosa a partir de la cual se puedan conocer en profundidad las fortalezas y debilidades de una determinada política pública. Incluso, puede afirmarse que la metaevaluación comporta una obligación ética y no solo científica cuando las evaluaciones afectan al bienestar de las personas (Scriven 1991).
La metaevaluación desempeña un papel central en la práctica y en el desarrollo institucional de la evaluación de políticas públicas. Esta constatación, aunque imprescindible, resulta ser solo un primer paso en la aproximación al tema de la me-
Page 28
taevaluación y no ofrece una respuesta a todos los interrogantes que pueden plan-tearse en torno al mismo: ¿qué es exactamente la metaevaluación?, ¿cuál es o debe ser su objeto?, ¿el proceso evaluativo, sus resultados o ambos?, ¿qué aspectos de una evaluación se deben valorar?, ¿qué criterios son los adecuados para hacerlo?
La primera tarea a la que hemos de enfrentarnos es la de establecer el perí-metro, los contornos del concepto metaevaluación. Como suele ser habitual en las Ciencias Sociales, es posible encontrar muy distintas y dispares definiciones. Algunas son tan genéricas y tan «de mínimos», que pueden albergar concepciones muy diferentes; es el caso de la ofrecida por Michael Scriven, quien, en 1969, acuñó el término metaevaluación para designar la evaluación de las evaluaciones. Aunque una definición como esta apenas suscitaría rechazo entre los especialistas, parece claro que plantea problemas de aplicación práctica. Otras, en cambio, pretenden ser tan precisas -especificando incluso los criterios de metaevaluación- que apenas si dejan espacio para la existencia de enfoques distintos. La propuesta por Stufflebeam se encuentra en esta línea. Según este autor, la metaevaluación consiste en «definir, obtener y aplicar información descriptiva y valorativa acerca de la utilidad, viabilidad, pertinencia y rigor de una evaluación y sobre si se ha desarrollado de forma sistemática y competente, respetuosa, con integridad y honestidad y responsabilidad social» (2001: 185)2.
Una definición algo más clara y, por ello, más útil, es la que se construye por analogía con la más comúnmente aceptada del término evaluación3y que será la que tomemos como referencia en esta obra. Según esta, la metaevaluación es
Page 29
aquella investigación sistemática cuyo objetivo es emitir un juicio acerca de la bondad, el valor y los méritos4(o deméritos) de una evaluación5.
Sea cual sea la definición por la que se opte, vemos que la metaevaluación puede centrarse tanto en el proceso como en los resultados de las evaluaciones, en su diseño, en su desarrollo, en la forma en que se presenta y difunde la información producida o en su incidencia (léase utilidad) sobre las políticas o programas. Podemos decidir evaluar una evaluación una vez que esta ya ha concluido, adoptando de este modo una perspectiva sumativa (Scriven 1991) o retrospectiva (Stufflebeam y Shinkfield 2007). Estaríamos, en este último caso, ante lo que Schwandt y Halpern (1988) denominan «retroevaluación» o ante una evaluación ex post facto en palabras de Bustelo (2002). Es igualmente posible hacer que la metaevaluación se adelante al proceso evaluativo, en un claro intento de guiar al evaluador en la etapa de planificación del trabajo antes de que este comience a desarrollarse. Hablaríamos entonces de evaluación formativa (Scriven 1991), ex ante (Bustelo 2002), proactiva (Stufflebeam y Shinkfield 2007) o de «proevaluación» (Schwandt y Halpern 1988). De la misma forma, el juicio a la evaluación puede abordarse desde dentro, en el seno del equipo u organización que llevó a cabo la experiencia evaluativa (metaevaluación interna) o desde fuera, aportando un punto de vista externo que mantenga la distancia (al menos, teóricamente) sobre lo realizado (metaevaluación externa).
Más aún, y en relación con el objeto que puedan tener las metaevaluaciones y el papel que puedan desempeñar, hemos de destacar la oportunidad que representa la metaevaluación para comprender y enjuiciar los mecanismos y los resultados de la función de evaluación en un contexto político determinado (Nilsson y Hogben 1983; Bustelo 2001; 2002; García Sánchez 2003). La mira-da de la metaevaluación no se ha de dirigir solo a evaluaciones concretas sino que puede y debe extenderse a las políticas de evaluación -a cómo esta es con-
Page 30
cebida por los poderes públicos, de qué forma se articula el sistema de evaluación, qué medidas se adoptan para que las evaluaciones contribuyan a la planificación o qué control se pretende ejercer sobre la información producida-. A través de los estudios metaevaluativos podemos, pues, comprender el comportamiento que, en materia de evaluación, tienen los poderes públicos6.
Una vez establecidos los límites del concepto y aclarado qué aspectos o fases del proceso de evaluación se pueden evaluar, en qué momento y si ello puede hacerse adoptando una perspectiva interna o externa, procede ahora que nos ocupemos de los siguientes interrogantes, probablemente los de mayor trascendencia para la metaevaluación: ¿sobre qué base se pueden determinar la bondad, el valor o los méritos de una evaluación?, ¿cuáles son los criterios conforme a los cuales se pueden o deben evaluar las evaluaciones?, ¿hemos de recurrir a criterios o a estándares7, en otras palabras, ¿necesitamos propuestas prescriptivas o analítico-descriptivas? o ¿debe el metaevaluador ocuparse de aquellos aspectos de la evaluación que no son estrictamente técnicos?
Con el fin de encontrar una respuesta a estas cuestiones, recorreremos el camino que, desde finales de los años 608, han ido trazando los principales enfoques metaevaluativos.
Al igual que sucede en el caso de la evaluación, en el campo de la metaevaluación encontramos enfoques positivistas en los que la atención se dirige principal-
Page 31
mente hacia los aspectos técnico-metodológicos de las evaluaciones, perspectivas cualitativistas, que tienden a poner el acento en las cuestiones éticas y en el carácter intrínsecamente político de los procesos de evaluación9como también propuestas que cabría calificar de eclécticas y en las que tanto métodos como valores tienen cabida aunque en un grado variable dependiendo de los autores10.
El protagonismo de estos enfoques y propuestas ha ido variando con el tiempo. El desarrollo de la metaevaluación ha seguido, en este sentido, un curso paralelo al de la evaluación11. Así, la superación de la primacía del paradigma positivista12y el avance hacia la cuarta generación, por emplear la expresión de Guba y Licoln (1989), se han dado también en el campo de la metaevaluación, si bien con mucha menor intensidad que en el caso de la evaluación. Ello no impide obviamente que, en las épocas marcadas por el cuantitativismo, se puedan encontrar propuestas alejadas del mismo o que, en la actualidad, en plena cuarta generación, podamos descubrir trabajos en los que se hace especial hincapié en lo técnico-metodológico.
Como es de sobra conocido, en los momentos de auge del paradigma positi-vista o en aquellos casos en que la propuesta sobre metaevaluación se sitúa en esa perspectiva, los aspectos metodológicos adquieren todo el protagonismo. Objetividad, validez y fiabilidad de los datos se convierten en los estándares con respecto a los cuales se juzga el trabajo de evaluación. Hay quienes incluso van más allá al equiparar uso de técnicas cuantitativas y «calidad» en evaluación y al considerar que esta solo queda plenamente garantizada con el empleo de procedimientos cuantitativos para la recogida y tratamiento de datos en el
Page 32
marco de un diseño de naturaleza experimental13. La metaevaluación tendría, pues, como objetivo calibrar en qué medida el estudio de evaluación se aproxima a ese «modelo».
El trabajo de metaevaluación de Bernstein y Freeman (1975) constituye un buen ejemplo de lo que los enfoques cientifistas consideran como «calidad» en la investigación evaluativa. Estos autores desagregaron el concepto de calidad en una serie de dimensiones -tipo de...
Para continuar leyendo
Solicita tu prueba