Conclusiones
| Autor | Ester García Sánchez |
| Páginas | 175-185 |
Page 175
Sobre la relevancia de la metaevaluación como instrumento al servicio de las evaluaciones
· La metaevaluación constituye la culminación analítica de los procesos de evaluación.
De la misma forma que las evaluaciones pueden ser consideradas como la conclusión analítica de los programas, los estudios de metaevaluación han de ser entendidos como el punto final, la culminación de esos procesos de análisis que son las evaluaciones. Ello no quiere decir que toda evaluación deba finalizar necesariamente con un proceso metaevaluativo, aunque parezca aconsejable tanto desde un punto de vista técnico como político.
· La metaevaluación está llamada a desempeñar un papel central en el desarrollo y el progreso de la evaluación de políticas públicas.
La contribución de las evaluaciones a la mejora de los procesos decisorios que están en la base de políticas y programas y al fortalecimiento de la accountability pasa, necesariamente, por la revisión y el perfeccionamiento de los instrumentos de los que se sirve, por contrastar la validez de sus juicios y por comprobar que, tal y como ha sido diseñada, resulta útil para lograr «mejores» políticas. Es en este punto en el que la meta-evaluación cobra sentido y adquiere relevancia. Gracias a ella podemos determinar la «calidad» de las evaluaciones, distinguir las que han sido o son útiles de las que no lo son contribuyendo, de ese modo, al desarrollo de la práctica evaluativa, a fortalecer los pilares teóricos sobre los que dicha práctica se sustenta y al avance y consolidación del campo profesional de la evaluación. El trabajo metaevaluativo requiere de un cierto grado de desarrollo -cuantitativo y cualitativo- de la evaluación y, por tanto, de un acervo suficiente de experiencias que permitan realizar análisis concluyentes sobre las evaluaciones y/o sobre la función de evaluación. No quiere ello decir, sin embargo, que la metaevaluación se justifi-
Page 176
que únicamente en contextos en los que la evaluación esté sólidamente asentada. Antes al contrario, su importancia se revela mayor en las etapas iniciales o intermedias del desarrollo institucional de la evaluación, cuando en éste no se han dado aún pasos firmes.
· La metaevaluación se revela como una excelente herramienta para comprender el «estilo de evaluación» de los poderes públicos.
Como se ha apuntado en diversas ocasiones (Nilsson y Hogben 1983; Bustelo 2001 y 2002; García Sánchez 2003), la metaevaluación no ha de ocu-parse solo de evaluaciones concretas sino que puede y debe atender a las políticas de evaluación, lo que implica dirigir la mirada hacia cómo se conciba esta desde los poderes públicos, de qué modo se articula el sistema de evaluación, a qué actores se abre la participación, qué medidas se adoptan para que las evaluaciones contribuyan al diseño y planificación de las políticas y qué control se pretende ejercer sobre la información producida.
Efectivamente, el análisis pormenorizado de tres de las evaluaciones de programas educativos más importantes y representativas de las llevadas a cabo en España nos ha proporcionado información de extraordinaria utilidad sobre las actitudes y el comportamiento de las autoridades educativas en dichos procesos de evaluación. Hemos podido, de este modo, conocer los enfoques metodológicos por los que se han decantado y la importancia que han concedido a ciertas cuestiones centrales en la evaluación, como la explicitación de los criterios de valor, la participación de los distintos stakeholders, la propiedad de la información producida o la utilidad y la difusión de los resultados.
Sobre las fortalezas del esquema de metaevaluación
· La metaevaluación realizada ha permitido ratificar la pertinencia de las premisas de partida y la utilidad del esquema propuesto.
Nuestra investigación tomó como punto de partida la tesis de los enfoques pluralistas que subraya el carácter político de las evaluaciones (Weiss 1987; Palumbo 1987; MacDonald 1977; House 1980, 1993; Guba y Lincoln 1981, 1987, 1989; Schwandt 2005; Kushner 2005; Greene 2003;
MacDonald y Kushner 2005; Stake 2006). Estas son, es evidente, procesos de investigación, pero también empresas eminentemente políticas que se desarrollan en un contexto también político. Parece lógico, por tanto, que la metaevaluación no pueda quedar reducida al mero examen de la calidad técnica de las evaluaciones. En esta idea se sustentan las dos premisas de partida sobre las que se construye el esquema metaevaluativo propuesto y cuya conveniencia ha quedado confirmada en esta investigación:
(i) El reconocimiento (analítico) de la doble dimensión de las evaluaciones. La metaevaluación ha de analizar y enjuiciar tanto la dimensión técnico-metodológica -aquélla a la que cabe asociar los objeti-
Page 177
vos formales, el enfoque evaluativo y el metodológico o los métodos de recogida y análisis de datos- como la dimensión política de las evaluaciones -vinculada a la presencia de intereses contrapuestos no solo con respecto a la política evaluada sino también en relación con el propio proceso de evaluación.
(ii) Las decisiones que los distintos actores adoptan y las relaciones que se establecen entre ellos afectan e inciden en las dos dimensiones contribuyendo, de ese modo, a configurar los procesos de evaluación.
Paralelamente, el esquema se conforma a partir de un conjunto de cuestiones asociadas a la dimensión técnico-metodológica y a la dimensión política de las evaluaciones -por tanto, subdimensiones- que han sido identificadas a partir de los distintos enfoques de metaevaluación revisados y cuyo análisis permite reconstruir, comprender y enjuiciar el proceso evaluativo. La aplicación del esquema consistirá en determinar, analizar y valorar las decisiones (o no decisiones) que los actores implicados adoptaron con respecto a cada una de las subdimensiones consideradas en el esquema.
Asimismo, la utilización del esquema nos ha permitido obtener no solo un retrato fiel de los procesos evaluativos sino una comprensión de los mismos más profunda que la que nos hubiera proporcionado un enfoque meramente descriptivo basado de estándares. Así pues, la principal fortaleza del esquema propuesto radica en su notable capacidad explicativa, en la medida en que no se limita a dar cuenta de qué sucede en las evaluaciones sino a desvelar por qué sucede. La orientación de la propuesta presentada es eminentemente práctica, si bien creemos que también puede contribuir a enriquecer la reflexión teórica. El esquema permite orientar tanto a los metaevaluadores como a los evaluadores a la hora de identificar qué decisiones han contribuido o pueden contribuir al éxito o al fracaso de un proceso evaluativo, al afectar positiva o negativamente la utilidad, la pertinencia, el rigor o la viabilidad. El objetivo último es lograr aprendizajes que permitan mejorar la gestión -política, técnica, económica, administrativa- de las evaluaciones.
· Ello revela, a su vez, el interés de conjugar la...
Para continuar leyendo
Solicita tu prueba