Gestión orientada a los resultados: Un nuevo contexto ético para la evaluación de la investigación

Introducción

La Government Performance and Results Act de 1993 (GPRA) obligó a todos los organismos gubernamentales de EE.UU. a redactar planes estratégicos y a establecer objetivos anuales y a dar cuenta de su cumplimiento utilizando indicadores cuantitativos. Una legislación similar había sido puesta en funcionamiento, en los años 80 y 90, en varios sistemas parlamentarios, incluidos Canadá, Nueva Zelanda, Suecia y el Reino Unido. Elementos de este enfoque orientado a los resultados fueron incorporados a la evaluación de la investigación en la Unión Europea, y algunos sistemas parecidos se han adoptado para la evaluación universitaria en varios países.

La Government Performance and Results Act de 1993 (GPRA) obligó a todos los organismos gubernamentales de EE.UU. a redactar planes estratégicos y a establecer objetivos anuales y a dar cuenta de su cumplimiento utilizando indicadores cuantitativos

Los evaluadores de la investigación, como cualquier otro evaluador, tienen responsabilidades en tres dimensiones. En primer lugar son responsables, ante sus clientes, de producir resultados utilizables; en segundo lugar, ante sus comunidades científicas, de producir resultados competentes y finalmente son responsables, ante el público, de producir y compartir una base de conocimiento sobre cómo funcionan los programas gubernamentales, incluyendo cuestiones sobre si están sirviendo al interés público y cómo. En la configuración pre-GPRA los evaluadores de investigación estadounidenses podían ser muy responsables ante sus clientes y ante sus comunidades profesionales, pero les era difícil servir al público. Sin embargo, debido al énfasis en los resultados y a la obligación de consultar a las partes interesadas, el nuevo marco da a los evaluadores nuevas oportunidades a este respecto.

Los evaluadores de investigación son responsables ante sus clientes, ante sus comunidades profesionales y ante el público. El nuevo énfasis tras la GRPA en la consulta a las partes interesadas ha dado nuevas oportunidades a los evaluadores para cumplir sus papeles

Sistemas antiguos

En la era pre-GPRA, se habían establecido dos estilos diferentes de gestión de la investigación en los organismos federales de EE.UU., una orientada a los objetivos y otra no orientada. Se diferenciaban en primer lugar y sobre todo por la especificidad de sus objetivos técnicos. En la investigación sobre energía, por ejemplo, se exploraron nuevas opciones técnicas específicas. En agricultura, la finalidad era la mejora de las técnicas de cultivo. Tales áreas estaba con frecuencia sometidas a procesos de planificación formalizados, y los responsables de los programas tenían que demostrar con regularidad que la investigación financiada contribuía al objetivo. En caso contrario, se cambiaba el programa con el fin de hacerlo más efectivo.

En contraste, en los National Institutes of Health (NIH), la finalidad era avanzar en el conocimiento fundamental de los procesos biológicos en los que subyace la salud humana. Los programas financiaban campos de investigación que fuesen relevantes para problemas médicos, pero raras veces trataban de presionar para obtener soluciones específicas. En la National Science Foundation (NSF), el enfoque no orientado iba incluso más allá. La NSF trataba de mantener la salud de la investigación académica, y financiaba investigación de excelencia en casi cualquier campo que necesitase estudios fundamentales para equilibrar los esfuerzos apoyados en objetivos. Ambos organismos desarrollaron sólidos sistemas que permitieron a la propia comunidad científica determinar por sí misma qué proyectos se debían financiar, utilizando un sólido sistema de evaluación por pares.

En la era pre-GPRA, coexistían dos estilos de gestión de la investigación., orientado a objetivos y no orientado. Áreas orientadas a objetivos tales como la energía y la agricultura perseguían metas específicas, mientras que la investigación en la salud buscaba avanzar en el conocimiento básico de los procesos biológicos

Para los dos estilos de gestión se han desarrollaron también distintas prácticas de evaluación de programas con el fin de adecuarse a la teoría que subraya su funcionamiento. Con anterioridad a los años 90, los centros de investigación básica encargaban ocasionalmente evaluaciones formales de sus programas, sobre todo fuera de las actividades centrales de investigación. Por ejemplo, el NIH recogía grandes cantidades de datos sobre sus programas de formación y estudió cuidadosamente sus intercambios internacionales. La NSF evaluó centros, programas de mujeres y esfuerzos de investigación exploratorios. Los organismos especializados, tales como el Departamento de Defensa y el Departamento de Energía, tenían numerosos sistemas de revisión periódica de programas, en los que se pedía a los evaluadores externos que dieran su opinión sobre los programas basándose en la información suministrada por el organismo.

Funciones antiguas

En estas evaluaciones pre-GPRA participaban tres comunidades profesionales. La primera constituida por la plantilla de evaluación, que en su mayoría eran antiguos investigadores que asumieron responsabilidades de gestión, tras algún tiempo como administradores de la investigación en el gobierno. En segundo lugar estaban los miembros de la comunidad de investigadores que habían sido reclutados para formar parte de los paneles de evaluación. En tercer lugar se encontraban los evaluadores profesionales, en su mayoría organismos de investigación por contrato no académicos, además de unos pocos investigadores académicos y de pequeñas empresas.

Las líneas de responsabilidad de los tres grupos evaluadores con respecto a la gestión del organismo estaban claras. La plantilla de evaluación y los investigadores contratados tenían que negociar el permiso y los recursos de la alta dirección para cualquier cosa que hiciesen. Las cuestiones que la alta dirección quería que se contestasen eran el centro natural y había poco espacio para la experimentación. En cuanto a los evaluadores externos, su juicio independiente se valoraba y protegía en el proceso. Los organismos por tanto trataban de elegir evaluadores que comprendiesen su misión y el contexto, de modo que cualquier consejo que pudieran recibir se mantuviese en línea.

En la segunda área de responsabilidad, es decir la de la comunidad profesional, los tres grupos divergían. Tanto la plantilla como los evaluadores estaban especialmente unidos a la comunidad investigadora. La competencia y juicio científicos que aportaban al proceso eran muy apreciados. Los evaluadores profesionales, aunque no eran investigadores en los campos objeto de evaluación, sin embargo tenían los estándares de sus propias comunidades para responder. Necesitaban ser sistemáticos y no sesgados en la recogida y presentación de pruebas, utilizar los mejores métodos existentes, etc. Puesto que la comunidad de evaluación es bastante pequeña y los contratos son muy competitivos, el control de calidad ejercido mediante la reputación es bastante fuerte.

La responsabilidad con respecto al público constituía el mayor reto para todos los evaluadores de investigación pre-GPRA. El conocimiento especializado de la comunidad investigadora la ha protegido eficazmente de un examen en profundidad y la base teórica de la revisión por iguales tiende a devaluar los dictámenes sobre la investigación ya terminada

La tercera área de responsabilidad, es decir ante el público, constituía el mayor reto para todos los evaluadores de investigación pre-GPRA. El reto comenzó con el aislamiento entre los niveles altos de atención del público y los propios programas de investigación. El conocimiento especializado de la comunidad investigadora la ha protegido eficazmente de un examen en profundidad, especialmente desde que los votantes en general son o bien neutros o positivos en sus percepciones sobre la investigación. En segundo lugar, la teoría que subyace en la revisión por pares tiende a devaluar los dictámenes sobre la investigación ya terminada. No hay objetivos, en el sentido tradicional, frente a los cuales pueda evaluarse un programa de investigación. Por ello, parte de la plantilla de evaluación sostuvo, en la era pre-GPRA, que no había nadie que supiera evaluar tales programas. Finalmente, la reducción gradual de la base de funcionamiento de las evaluaciones de investigación establecida para las organizaciones de investigación por contrato reduce el incentivo de construir una base de conocimiento más amplia sobre cómo trabaja la empresa de investigación. El resultado fue que quedaba muy poco espacio para una discusión empírica sobre políticas alternativas de investigación.

Nuevos sistemas

Los nuevos sistemas de valoración se distinguen por la necesidad de ser explícitos en muchos temas que eran implícitos bajo el antiguo sistema. El concepto de excelencia en sí mismo debe explicitarse y hacerse visible fuera de la comunidad de investigadores. Puesto que el nuevo sistema refuerza el valor ante el público, los evaluadores de la investigación se están alejando de su cercana relación con la comunidad de investigadores y se están acercando a una articulación y a una medida más clara del beneficio público. En estos nuevos marcos cuatro aspectos conducen a tal fin: resultados, indicadores, participación de las partes interesadas y planificación estratégica.

Los nuevos sistemas de valoración se distinguen por la necesidad de ser explícitos en muchos temas que eran implícitos bajo el antiguo sistema. Las cuatro áreas a enfatizar son: resultados, indicadores, participación de las partes interesadas y planificación estratégica

Resultados. Los nuevos sistemas de valoraciones exigen que los resultados se muestren en relación con el dinero invertido. La excelencia lleva consigo producir algo tangible y específico. Para los laboratorios gubernamentales y otros programas dirigidos, la atención a los resultados es parte de su tarea normal. Los informes periódicos de los progresos obtenidos dan información a la dirección sobre los resultados de las actividades del laboratorio. La revisión de los programas utiliza esta información para planificar futuras actividades. Para los programas de investigación básica, sin embargo, la nueva demanda de resultados es revolucionaria. Cabe destacar lo poco que se sabía de los resultados de las subvenciones antes de este nuevo movimiento, y también es destacable la poca información accesible que se utilizaba en la gestión. La NSF puede servir como ejemplo. Esta falta de preocupación por los resultados era el reverso de la moneda del énfasis en mantener la excelencia mediante propuestas competitivas y selección de proyectos a través de la evaluación por pares. La NSF confiaba mucho en que lo que financiaba era lo mejor disponible. Esto estaba bien bajo el antiguo sistema de valoración. Pero bajo las nuevas expectativas, incluyendo las señaladas en la GPRA, esta confianza no era suficiente. La institución necesitaba mostrar resultados y "outputs", y no solamente un alto nivel de control de calidad de los "inputs".

Indicadores. Un segundo énfasis en los nuevos sistemas de valoración es la utilización de indicadores cuantitativos. Si el valor de un programa no puede medirse, al menos esa es la filosofía, el programa mismo no puede gestionarse. En EE.UU., la GPRA forzó un examen detallado de las cifras que podían ser indicadores de funcionamiento. Diversas clases de cifras de input estaban disponibles, midiendo niveles de actividad tal y como aparecen en sistemas de información para la gestión. De hecho, la mayoría de los indicadores en la mayoría de los sistemas de control del comportamiento en todo el mundo, son indicadores de input, derivados de los sistemas de información para la gestión, que preceden temporalmente a los requisitos de valoración.

La mayoría de los indicadores utilizados en sistemas de control de funcionamiento son indicadores de input. Entre los posibles indicadores de output, se evitan especialmente las estadísticas sobre publicaciones, dada la tendencia a dar mayor énfasis a la cantidad que a la calidad

En el área de los indicadores de resultados, las publicaciones podrían haberse utilizado como un indicador de output. Ni un solo organismo de EE.UU. ha optado por hacerlo. El sistema universitario estadounidense ha desechado el uso de los recuentos de publicaciones como medida de evaluación, debido a que fomenta la cantidad en vez de la calidad. La NSF conscientemente eligió no basar las metas de funcionamiento en las medidas de output debido a la posibilidad de distorsión del comportamiento.

La NSF conscientemente eligió no basar las metas de funcionamiento en las medidas de output debido a la posibilidad de distorsión del comportamiento

Finalmente, pues, las medidas de producción cuantitativas ¿ lo que la GPRA busca ¿ son escasas en los informes del comportamiento de los organismos de investigación de EE.UU. y aparecen principalmente en los programas en el extremo tecnológico del espectro. Los organismos de investigación aplicada han sido capaces de trazar el mapa de carreteras de las vías que conducen hacia sus metas e informan cada vez que se alcanza un hito en dichos mapas. El análisis económico coste-beneficio aparece en el informe de los laboratorios de normalización del National Institute of Standards and Technology. Del mismo modo, se describen las mejoras en la dirección de las metas técnicas específicas, por ejemplo, para incrementar la capacidad de instrumentación en las instalaciones del Departamento de Energía.

Participación de las partes interesadas. Los nuevos sistemas de valoración requieren la participación de las partes interesadas. La excelencia no se encuentra ya solamente en las visiones de los gestores y de la comunidad científica. La democracia representativa ha exigido que la democracia participativa juegue un papel. La excelencia está ahora en el punto de mira de muchos espectadores, todos los cuales informan a continuación a los legisladores de lo que ven.

Los nuevos sistemas de valoración requieren la participación de las partes interesadas. La excelencia está ahora en el punto de mira de muchos espectadores, todos los cuales informan a continuación a los legisladores de lo que ven

El papel de las partes interesadas externas ha estado creciendo recientemente en la empresa de investigación, incluso antes de que los nuevos sistemas de valoración se hubieran puesto en marcha. El primer conjunto de interesados invitados por el sistema fueron de la industria, a través de centros y programas cooperativos; y son aún el grupo numéricamente dominante. Los nuevos sistemas de valoración han alentado una generalización de la participación de las partes interesadas, más allá de la industria. En EE.UU., por ejemplo, los gobiernos estatales y locales toman parte con frecuencia en los procesos de decisión en torno a la investigación, y a veces también las escuelas. Las ONG están también convirtiéndose en participantes frecuentes en estos procesos, por ejemplo, cuando grupos ecologistas participaron en el estudio británico sobre prospectiva. En el proceso de gestión de la investigación, cuando los laboratorios gubernamentales y los programas de financiación desarrollan la base de conocimiento para las decisiones reglamentarias, es asimismo importante incluir usuarios de los departamentos gubernamentales.

Planificación estratégica. Por último pero no menos importante, los nuevos sistemas de valoración requieren una planificación estratégica. Muchas organizaciones gubernamentales no la habían tenido anteriormente, y muy pronto descubrieron los retos que supone tratar de dar sentido a la variedad de funciones que las sucesivas legislaturas les habían encomendado en el transcurso de los años. En EE.UU., las organizaciones de investigación aplicada, incluida la mayoría de los laboratorios gubernamentales, han respondido bien a esta demanda y han desarrollado y perfeccionado metas estratégicas a corto y largo plazo que se están traduciendo con eficacia en metas de funcionamiento. Por ejemplo, la National Oceano-graphic and Atmospheric Administration tiene metas de funcionamiento para mejorar el plazo de predicción y la precisión de las predicciones de condiciones meteorológicas adversas. Por ejemplo, quieren incrementar el plazo al predecir inundaciones rápidas desde 41 minutos a 57 minutos, e incrementar la precisión hasta el 85%. Estas metas son obviamente beneficiosas para el público, y proporcionan un claro objetivo para organizar los esfuerzos de investigación.

Aunque la planificación estratégica es claramente difícil de aplicar a la investigación básica dada su carencia de metas concretas, del proceso se han obtenido, sin embargo, resultados positivos

Existe aún mucha ambivalencia en la comunidad investigadora sobre el valor de la planificación estratégica, especialmente en investigación básica, en donde hay un consenso general de que los "mapas de carreteras" no son posibles. Aún así, hay resultados positivos del proceso. En primer lugar, ha agudizado la comprensión de metas y audiencias, incluso en programas de investigación básica. Los planes estratégicos lo consiguen introduciendo un lenguaje perfeccionado de metas, y convirtiéndolo en parte de la discusión en la vida diaria de la organización. Los primeros equipos que utilizaron el nuevo sistema en la NSF se vieron forzados a una seria discusión sobre cuál era la audiencia para cada campo (más allá de los propios investigadores) y cuáles los mejores métodos para alcanzarla. Antes de la GPRA, tales equipos se hubieran tenido que contentar con una consulta en el proceso de selección de proyectos y nunca se les hubiera preguntado sobre audiencias o resultados.

En segundo lugar, la planificación estratégica está transformando la investigación básica en investigación estratégica. Hay una cita (probablemente apócrifa) sobre investigación básica de Werner von Braun: "Investigación básica es lo que estoy haciendo cuando no sé lo que estoy haciendo." No hay espacio en los nuevos sistemas de valoración para desconocer lo que se está haciendo. Incluso la investigación básica necesita una justificación pública. En la NSF, por ejemplo, descubrimos bajo la GPRA los motivos de que financiáramos la astronomía: los niños se interesan en la ciencia a través de la astronomía, y conseguir entusiasmar a la infancia por la ciencia es bueno para el país. Por descontado que este proceso de especificación es bueno para la empresa.

Nuevas funciones y responsabilidades

Mientras que las responsabilidades de los evaluadores respecto a los clientes, comunidades profesionales y el público han cambiado bajo este sistema, los tres grupos todavía están involucrados, y con relaciones entre ellos relativamente parecidas. Sin embargo, el cambio clave es que algunos grupos nuevos están también incluidos, y se les pide un nivel de atención más amplio y mayor para su aportación.

Los nuevos grupos incluyen las partes interesadas de los programas (que deben participar en el proceso de planificación estratégica bajo las condiciones de la Ley) y las audiencias del Congreso. Estos dos grupos representan al público de modos que son significativamente más fuertes que los modelos de delegación de los viejos sistemas. Forman una audiencia activa para los resultados del sistema de evaluación, una audiencia que supera a la alta dirección del organismo, que era antes el principal cliente. Esos directivos son aún una parte importante del cuadro, pero ahora hacen evaluaciones bajo pedido, no a su libre elección, y los resultados de la evaluación deben difundirse fuera del organismo en forma de indicadores de funcionamiento.

El personal de planificación y política que encargaba estudios especiales de evaluación en el sistema antiguo y organizaba paneles de revisión externos es aún un actor central y activo en los nuevos sistemas, pero las oficinas presupuestarias se han convertido en un grupo importante de socios y clientes en la empresa, y el personal de planificación y política tienen la responsabilidad añadida de conseguir que personal de programas de sus instituciones participe en el sistema adoptado. Añadir todos estos nuevos actores ha hecho mucho más complicada la vida de las oficinas de planificación y política.

Muchos organismos de investigación han considerado a los procesos de revisión por pares como medio para resolver el rompecabezas de la GPRA. Los paneles de revisión están por tanto aún involucrados, y de hecho juegan un papel más importante en los nuevos sistemas debido a que sus resultados encuentran audiencia tanto en el Congreso como en la institución

Muchos organismos de investigación han considerado a los procesos de revisión por pares como medio para resolver el rompecabezas de la GPRA. Los paneles de revisión están, por tanto, aún involucrados, y de hecho juegan un papel más central en los nuevos sistemas debido a que sus resultados tienen una audiencia tanto del Congreso como de la agencia. Deben emitir juicios que pueden ser de acceso público, y saben que sus juicios pueden tener un impacto sobre los recursos del organismo que los ha seleccionado. Desde el punto de vista de éste, la solución del panel satisface la ideología de la revisión por pares e invoca la protección establecida de "experiencia especial" que durante tanto tiempo aisló a la investigación de un examen público detallado. Sin embargo, hay un tema subyacente que casi no ha sido tratado en la discusión sobre la utilización de la revisión por pares en la GPRA: el conflicto de intereses. El problema del conflicto de intereses se soluciona en los procesos de selección de proyectos haciendo que la persona con un conflicto en una propuesta específica se retire de la sala mientras se discute sobre ella. Ahora bien, los conflictos de intereses en la evaluación de programas son más amplios y profundos que lo que las estrechas normas tienden a reconocer. Casi todos los que son técnicamente competentes para formar parte de un panel a nivel de un programa de investigación tienen algún interés por conseguir que se financie ese campo.

Finalmente, mientras en teoría la GPRA podría haber proporcionado un mayor nivel de actividad a los evaluadores profesionales, en la práctica al menos en investigación, no ha ocurrido. La ley asume que las agencias se encarguen de la evaluación de programas y requiere que proporcionen una previsión de sus actividades de evaluación de programas. Pero diseñar un sistema de indicadores es una tarea intelectual completamente distinta a la de idear una buena evaluación de programas, y las agencias han tenido que aceptar las dificultades y costes de la puesta en funcionamiento de la GPRA en este último quinquenio.

Las agencias necesitarán ayuda para conseguir involucrar a las partes interesadas en la planificación estratégica, desarrollar un modelo de la lógica de sus programas y traducir los nuevos conceptos de resultados y outputs en medidas

En último lugar, el trabajo que se va a generar para los evaluadores profesionales bajo la GPRA vendrá de su incorporación a las prácticas estándar dentro de las variadas secciones de las agencias. Las agencias necesitarán ayuda para involucrar a las partes interesadas en la planificación estratégica, desarrollar un modelo de la lógica de sus programas y traducir los nuevos conceptos de resultados y outputs en medidas. El nuevo papel de los evaluadores profesionales es facilitar estos procesos, antes que llevar a cabo evaluaciones individuales. Este movimiento facilita que el evaluador profesional sea responsable ante los tres grupos indicados anteriormente. El cliente está más cercano y más directamente involucrado en absorber los resultados del proceso, y así los resultados influyen más directamente en su toma de decisiones. Una comunidad profesional de evaluadores establece los estándares de calidad en este trabajo, como con el conjunto previo de aptitudes. Finalmente, debido a que las partes interesadas están más involucradas, puede haber un mayor sentido de responsabilidad pública directa.

Conclusiones

En resumen, el nuevo enfoque refuerza la responsabilidad de suministrar valor al público. Como resultado, el nuevo entorno ha producido una nueva configuración de funciones y responsabilidades para los grupos que participan en el proceso de evaluación de la investigación. Los evaluadores de investigación están alejándose de su estrecha relación con la comunidad investigadora y hacia una articulación y una medida más claras del beneficio público. El evaluador profesional ya no puede seguir sentado en un despacho, estableciendo y desarrollando diseños originales de investigación y escribiendo elegantes informes que pueden o no llegar a ser leídos. En su lugar, el nuevo evaluador de investigación necesita un nuevo conjunto de aptitudes, como facilitar la planificación estratégica, que ayuda a las organizaciones a articular sus metas; involucrar a las partes interesadas, lo cual reafirma el papel del público; y modelización lógica, para clarificar cómo los programas logran sus resultados. El conocimiento de métodos es aún necesario ya que la lógica del programa deberá, en último lugar, ser traducida a indicadores, de un modo eficiente en un idioma sencillo para no expertos. Sin embargo, el nuevo mundo también requiere un mejor conocimiento de las prácticas y temas de gestión y una mayor sensibilidad del contexto de un programa en el Congreso.

El nuevo contexto es significativamente más prometedor en cuanto a permitir que afloren temas de servicio y de interés públicos en el proceso de evaluación, caso por caso. Si el potencial de la GPRA para conseguir este cambio se cumple, habrá logrado estar a la altura de su nombre y desde luego sus objetivos.

--------------------------------------------------------------------------------

Palabras clave

resultados, evaluación, ética

Agradecimientos

Parte de este análisis fué presentado al Consejo Canadiense de Asesores de Ciencia y Tecnología en mayo de 2000. Les agradezco su invitación.

Referencias

Assessing Fundamental Science: Informe del Subcomité de Investigación, del Comité de Ciencia Básica, National Science and Technology Council. Julio 1996.

Cozzens, S. E., Results and Responsibility: Science, Society, and GPRA. En AAAS Science and Technology Policy Yearbook, 1999, editado por A. H. Teich, S. D. Nelson, C. McEnaney, y T, M. Drake. Washington, DC: AAAS.

Evaluating Federal Research Programs: Research and the Government Performance and Results Act. National Academy Press, 1999.

Wholey, J., and Hatry, H., The Case for Performance Monitoring, Public Administration Review, Noviembre/Diciembre (Vol. 52, No. 6), 1992 págs. 604-610.

Contacto

Susan E. Cozzens, School of Public Policy, Georgia Institute of Technology, Atlanta GA

Tel.: +1 404 385 03 97, fax: +1 404 385 05 04, correo electrónico: susan.cozzens@pubpolicy.gatech.edu

Sobre el autor

--------------------------------------------------------------------------------

Susan E. Cozzens tiene veinte años de experiencia en política científica, indicadores de ciencia, y evaluación de la investigación. En el periodo1995-1997 fue Directora del Office of Policy Support en la National Science Foundation. Actualmente es Presidente de la Georgia Tech School of Public Policy.

The IPTS Report, is the refereed techno-economic journal of the IPTS,

edited by D. Kyriakou, published monthly in English, French, German and

Spanish.