Programas de investigación de financiación pública: Evaluación del impacto socioeconómico y necesidades de los usuarios.

Asunto: Un objetivo importante de la evaluación de los programas recientes de tecnología y desarrollo es evaluar su impacto. No obstante, si la evaluación y la medida del impacto se abordan con estrechez de miras, se corre el riesgo de perder credibilidad y relevancia ante los responsables políticos.

Relevancia: Para cumplir la innegable necesidad de evaluación del impacto socioeconómico puede que sea necesario considerar la evaluación en un sentido amplio, como un proceso de aprendizaje, vinculando a investigadores y clientes, con el fin de aportar inteligencia estratégica al sistema mediante la experimentación y el debate.

--------------------------------------------------------------------------------

Los objetivos del QPM exigen tener en cuenta la evaluación para evaluar su impacto socioeconómico

Introducción: medida del impacto

El Quinto Programa Marco (QPM) de Investigación y Desarrollo Tecnológico tiene unos objetivos socioeconómicos explícitos. Su fin es crear empleo, promover la salud y la calidad de vida y conservar el medio ambiente mediante un enfoque solucionador de problemas. Son las necesidades de la sociedad las que, en cierta medida, tienen que impulsar al QPM. El reciente informe "Opciones y límites para la evaluación del impacto socioeconómico de los programas europeos de I+DT" sugiere con muy buen tino que el QPM se debería considerar como un `contrato social¿ entre la comunidad investigadora y los ciudadanos europeos. Dado que el papel de la evaluación es aportar transparencia, fiabilidad y legitimidad, tiene que reflejar la naturaleza de los objetivos de la política científica. En el caso del QPM, para el que se ha establecido un ambicioso conjunto de objetivos socioeconómicos, está claro que el ámbito de la evaluación tendrá que ser tan amplio como lo es la realidad de la política de investigación de la UE. Tendrá que afrontar cuestiones sobre la contribución de la investigación a los objetivos socioeconómicos de la sociedad europea. En otras palabras, si se quiere que la política europea de I+DT sea fiable ante la sociedad europea, la evaluación del QPM debe abordar directamente la cuestión de cómo evaluar su impacto socioeconómico (Dumont et al., 1998).

El primer paso obvio para evaluar algo es medirlo. Al encargar a la evaluación la tarea de medir el impacto, la evaluación se transforma inmediatamente en una medida del impacto. Pero ¿sabemos medir el impacto socioeconómico de manera razonable y creíble?

No existe una manera satisfactoria de medir el impacto, en el sentido estricto de la palabra, y la evaluación corre el peligro de perder credibilidad y relevancia para los usuarios

La evaluación se enfrenta a la desalentadora tarea de medir la amplia variedad de impactos importantes para los objetivos del QPM, ya sean económicos o sociales, directos o indirectos, a corto o a largo plazo, tangibles o relacionados con los efectos del conocimiento y la especialización. En el informe anteriormente mencionado, el grupo ad hoc de expertos que se reunió para revisar este asunto sugiere diversas técnicas, recalcando siempre sus limitaciones, para llegar a afirmar con cierto grado de humildad, que la medida del impacto supone un `nuevo reto conceptual¿. Esto está reflejado por los informes de evaluación que han tratado de estudiar la cuestión de la evaluación socioeconómica, y que todos han acabado por presentar una solemne renuncia a su capacidad para abordar este punto. Existe un amplio consenso en la comunidad académica que trabaja en estos temas en que nos enfrentamos aquí a una de las áreas de evaluación más difíciles de abordar metodológicamente. Promesas fáciles necesariamente dejan paso a una actitud defensiva que resalta la falta de datos relevantes y lamenta los límites de las metodologías existentes.

Se podría afirmar que nuestro conocimiento de las relaciones entre las actividades de investigación y la sociedad no está a la altura de la tarea de evaluar el impacto socioeconómico mediante algún tipo de medida.

La medida del impacto supone medir la diferencia entre lo que ocurrió una vez concluida la investigación y lo que podría haber ocurrido si ésta no se hubiera llevado a cabo

Un punto preliminar es darse cuenta de que medir el impacto de la investigación es medir la diferencia entre lo que ocurrió una vez concluida la investigación y lo que podría haber ocurrido si ésta no se hubiera llevado a cabo, manteniendo todo lo demás igual. Esto significa que para medir un impacto, necesitamos crear un modelo del sistema para poder simular el estado del sistema si la investigación en cuestión no se hubiera realizado, y entonces comparar con la situación actual. Nuestro argumento es que existen obstáculos técnicos y epistemológicos insalvables que impiden crear tal modelo.

El obstáculo técnico en la medida del impacto socioeconómico

El primero de estos obstáculos es la imposibilidad técnica de llegar a un modelo conceptual explícito de innovación. Está ampliamente reconocido que las innovaciones no evolucionan de acuerdo a un modelo lineal que parte de la investigación básica y llega a su uso en la sociedad. La descripción más adecuada es el modelo en red, el modelo `en cadena¿ o incluso el modelo de la turbulencia, -una imagen que destaca la naturaleza fundamentalmente aleatoria del proceso. Además, también se sabe que los efectos del conocimiento se basan enormemente en intangibles como la creación de redes, la formación especializada y el aumento de know-how que ejercen un impacto sobre las previsiones y las estrategias. Los sistemas complejos de intangibles difícilmente son elementos adecuados para establecer modelos.

El proceso no lineal por el cual evolucionan las innovaciones hace técnicamente imposible obtener un modelo conceptual explícito del fenómeno

En otras palabras, si eficiencia es la relación entre outputs e inputs, ¿cómo medir la eficiencia de un input cuando es uno entre otros muchos que no se controlan y cuando hay multitud de outputs inconmensurables, algunos de ellos intangibles? Esta es la cuestión de la atribución (¿qué parte de la modificación de un parámetro de output se puede atribuir a la investigación?) y la `adicionalidad¿ (¿qué diferencia introduce?). Otros aspectos son el efecto "cartera" (se debe considerar al proyecto analizado como uno de los que integran una cartera de proyectos), los problemas de irreversibilidad y no replicabilidad (Guy, 1998, Cameron, 1998). La investigación-innovación no es menos compleja que otros sistemas complejos bien conocidos, como el sistema del tiempo meteorológico, en el que el aleteo proverbial de una mariposa en un sitio puede desencadenar una serie de eventos que originan cambios en el tiempo en otros lugares del mundo.

El vacío epistemológico en la medida del impacto socioeconómico

El segundo obstáculo es lo que podríamos denominar un vacío epistemológico. Existe una larga cadena de eventos en la que el conocimiento analítico producido por la investigación en el laboratorio va ligado al conocimiento sintético (representado por las capacidades y la experiencia) y finalmente, a la decisión y la acción. Es obvio que los impactos socioeconómicos de la investigación derivan de la acción, lo que significa que la medida de estos impactos exige un modelo en el que se estudia la cadena entera. Además, debería tenerse en cuenta que esta cadena está influida por los procesos democráticos y de ninguna manera se puede reducir a relaciones mecanicistas o estocásticas causa-efecto.

La medida del impacto se basa en la asunción subyacente de que existe una secuencia temporal en la que primero se define la investigación, luego se ejecuta y posteriormente los resultados se inyectan en la `sociedad¿, que a su vez reacciona y muestra los `impactos¿

Otro planteamiento es observar que la medida del impacto implica un modo de investigación que está desconectado de las acciones y estrategias de los actores en el ámbito social y económico. Se asume que existe cierto tipo de secuencia temporal en la que primero se define la investigación, luego se ejecuta y posteriormente los resultados se inyectan en la `sociedad¿, que a su vez reacciona y muestra los `impactos¿. Este modelo no solamente es imperfecto, sino que, básicamente, está en contraposición con los objetivos del QPM. El QPM, por el contrario, va a la vanguardia del `nuevo modo¿ de investigación (Gibbons et al., 1996), en el que la investigación tiene lugar en un contexto de aplicación (resolución de problemas), en el que se encuentran, por tanto, diferentes actores con diferentes objetivos y estrategias, pero que interaccionan en unas redes de proveedores y usuarios. En este contexto, el proceso mismo de la investigación está integrado en la sociedad. No hay `impacto¿ de la investigación como tal sino una dinámica multiactores en la que intervienen la creación, la circulación y la difusión del conocimiento.

El riesgo de negar estas realidades es que la evaluación tratará inútilmente de abordar directamente el reto poco realista de la medida, viéndolo como la única forma legítima de abordar el tema de la evaluación del impacto. Si tal medida del impacto stricto sensu no se puede hacer de forma significativa y satisfactoria por razones técnicas y epistemológicas, todos los intentos necesariamente fracasarán. Como consecuencia, los clientes de la evaluación -los responsables de la toma de decisiones y otras partes interesadas- no se sentirán totalmente satisfechos y la evaluación podría perder credibilidad y relevancia. La paradoja es que al tratar de acercarse a los intereses de sus usuarios prometiendo medir el impacto socioeconómico, la evaluación está de hecho colocándose en un lugar en el que podría crear falsas expectativas y puede incluso llevar a sus verdaderos usuarios a conclusiones engañosas. La causa de esta paradoja es que hay una contradicción entre la lógica de la medida del impacto y la lógica del nuevo modo de investigación de la que el QPM es un ejemplo.

Para conciliar la cuestión del impacto socioeconómico con las expectativas de los responsables de las políticas es necesario reevaluar el papel de la evaluación en el modo de investigación del QPM

¿Cómo podemos, entonces, conciliar el concepto de evaluación del impacto con la realidad del nuevo modo de investigación, del que el QPM es paradigmático? Sugerimos que se puede hacer abordando el problema desde otro punto de vista y solucionando primero las expectativas del cliente relativas a la evaluación en este nuevo modo de investigación. Sólo entonces examinaremos la cuestión del control del impacto socioeconómico.

La hipótesis básica es que la evaluación puede tener sentido para los usuarios -los responsables de la toma de decisiones y otras partes interesadas- sólo si les ayuda a desempeñar su papel legítimo en el proceso de producción, circulación y distribución de conocimiento. En este sentido, el objetivo fundamental de la evaluación es contribuir a construir un espacio para estos actores en el proceso de la investigación. Desde este punto de vista, la evaluación es un aspecto del proceso de la investigación, es de una naturaleza reflexiva, tiene la peculiaridad de que afecta a unos actores nuevos y diferentes y en el que las cuestiones se reconfiguran, los resultados se vinculan a nuevos problemas y los ajustes se negocian. La evaluación retiene sus objetivos clásicos de fomentar la responsabilidad y la legitimación de los procesos de la investigación. También se dirige a los responsables de las acciones que se toman y tiene que ver con la capacidad para ajustar la estrategia. Pero en el nuevo modo de investigación, la evaluación no es una actividad externa ex-post y ex-cathedra; es parte del proceso social de la investigación y la innovación. La evaluación, en cierto sentido, consiste en tender puentes entre un amplio conjunto de actores, incluyendo lo que se suele denominar ciencia y sociedad (Latour 1999).

Abordar el impacto desde una perspectiva centrada estrictamente en la medida implica una comprensión de la evaluación que está reñida con el nuevo modo de investigación

Abordar los impactos desde una perspectiva centrada estrictamente en la medida da lugar a una comprensión de la evaluación que está reñida con el nuevo modo de investigación. Para satisfacer adecuadamente las necesidades de los clientes de la evaluación debemos considerar la evaluación desde una perspectiva diferente, más amplia, consistente con la filosofía del QPM.

En este contexto, el mandato de la medida del impacto debe rechazarse. Pero ¿en qué se convierte la evaluación del impacto socioeconómico? ¿Cuál es su equivalente funcional en el esquema de evaluación que proponemos?

En el nuevo modo de investigación, la evaluación del impacto socioeconómico es el proceso de aprendizaje que reúne a un amplio conjunto de actores implicados todos en la producción, circulación y distribución del conocimiento

Lo que es útil para los usuarios y esencial para el proceso de evaluación es primero hacer explícitas las interacciones en el sistema creado por los actores del proyecto de investigación. Esto significa identificar, de forma cualitativa, los canales por los que el conocimiento, tanto incorporado como no incorporado, codificado como tácito, circula desde diferentes orígenes a diferentes destinos. La actividad de investigación que se examina se contempla aquí como uno de los motores de la creación, combinación y distribución de conocimiento en este conjunto particular de actores. Sugeriríamos que un tipo especialmente relevante de interacción que hay que encontrar se refiere a los vínculos entre investigación y responsabilidad política a nivel europeo o nacional. Esta responsabilidad política requiere conocer el asunto en profundidad, una base jurídica suficiente y preparación de infraestructura colectiva -todos ellos aspectos que se pueden encontrar en las actividades de investigación. Este esquema también podría proporcionar un lenguaje común para uso de investigadores, evaluadores y responsables de las políticas.

Una segunda tarea, esencial para la evaluación y para los usuarios, está relacionada con el trabajo analítico y descriptivo relativo al programa en cuestión. Un aspecto importante de tal trabajo analítico es el proceso de construcción de indicadores, que exige que las cuestiones habitualmente implícitas relativas al modelo conceptual de investigación e innovación subyacente se hagan explícitas, junto con las clasificaciones importantes o los límites de la dinámica a considerar. El otro aspecto importante del trabajo analítico es la crítica y el debate a que da lugar. Desde el punto de vista técnico, se llega rápidamente a temas claves que de otro modo apenas podrían ser estudiados. Incluso aunque los objetivos técnicos sean modestos, su potencial para el aprendizaje colectivo suele ser elevado, dado que las cifras producidas pueden ser temas de debate aprovechables. En lo referente a las diferentes metodologías, se puede llevar a cabo una gran variedad de trabajo analítico, desde encuestas hasta bibliometría y análisis económico y estadístico, incluyendo la recogida de opiniones de expertos en forma cuantificable. Esta tarea es una prueba de que no estamos en ningún sentido contra la cuantificación. Simplemente la consideramos parte de un proceso mucho más amplio, y una forma de proporcionar nuevas hipótesis y puntos de vista más que respuestas numéricas aisladas.

Si se propone que la investigación es la solución a los problemas sociales, se convierte en propiedad de un nuevo conjunto de interesados, y los debates públicos que suscita son parte importante de su evaluación

Una tercera tarea está directamente relacionada con la interacción y el debate entre los actores implicados (Grupo de trabajo de expertos ETAN, 1999). Si se propone que la investigación es la solución a los problemas sociales, entonces se convierte en propiedad de un nuevo conjunto de interesados (Georghiou, 1999) y un aspecto importante de la evaluación son los debates que es probable que se susciten entre el público interesado basándose en sus resultados. El objetivo aquí es comprender la forma en que los actores aceptan su implicación en los proyectos, como productores o como usuarios, y cómo pueden verse afectadas sus capacidades y estrategias ahora y en el futuro. Aquí es donde entra en juego el vínculo entre prospectiva y evaluación de la tecnología (véase el artículo de S. Kuhlmann en este mismo número). Los puntos claves de esta tarea son el debate estratégico, estar abiertos a alternativas y mantener la diversidad de opciones. El principio de precaución también es relevante aquí, ya que proporciona un medio a través del cual la hipótesis no ensayada puede ser tema de debate público y del proceso mediante el cual se legitima la acción. La idea es inyectar inteligencia en el sistema a través de la experimentación y el debate sobre las implicaciones del nuevo conocimiento obtenido a partir de las actividades de investigación.

Conclusión

La evaluación del impacto socioeconómico, consistente en las tres tareas anteriormente mencionadas, se puede describir mejor como un proceso de aprendizaje y experimentación cuyo fin es construir una extensa red sobre la que se asienten los sistemas sociales de innovación. En estos sistemas, el conocimiento científico no cierra el debate, sino que contribuye a él, y a su vez, el debate abre nuevos caminos para la investigación misma. Gracias a la evaluación del impacto socioeconómico, las evaluaciones pueden relacionar la actividad científica con el debate político, sirviendo así adecuadamente a sus usuarios, ya sean éstos los responsables de las políticas, otras partes interesadas o los investigadores.

--------------------------------------------------------------------------------

Palabras clave

evaluación de programas, evaluación del QPM, evaluación del impacto socioeconómico, nuevo modo de investigación, necesidades de los responsables políticos

Referencias

Cameron, H., The problem of additionality in the context of RTD programmes, Seminario de la DGXII sobre Medida de los Resultados e Impactos de la I+DT, Bruselas, 28-29 Mayo 1998.

Dumont, Y., Durieux, L., Karatzas, I., O¿Sullivan, L., Teuber, H., Fayl, G., EU RTD Programmes impact - results assessment: a manifold task in a complex system, Seminario de la DGXII sobre Medida de los Resultados e Impactos de la I+DT, Bruselas, 28-29 Mayo 1998.

Grupo de trabajo de expertos ETAN, Options and Limits for Assessing the Socio-Economic Impact of European RTD Programmes, EUR 18884, 1999.

Georghiou, L., Meta evaluation: evaluation of evaluations, Número especial dedicado a las Actas de la Conferencia La Ciencia y el Sistema Académico en Transición -Jornadas internacionales de expertos en evaluación- Viena, 3-5 de julio de 1998, Scientometrics, 45, p. 523-530, 1999.

Gibbons, M., Limoges, C., Nowotny, H., Schwartzman, S., Scott, P., Trow, M., The new production of knowledge, Sage Publications, Londres, 1995.

Guy, K., Conceptual issues in RTD impact assessment, Seminario de la DGXII sobre Medida de los Resultados e Impactos de la I+DT, Bruselas, 28-29 Mayo 1998.

Latour, B., Politiques de la nature - Comment faire entrer les sciences en démocratie, La Découverte, París, 1999.

Contacto

Rémi Barré, OST y CNAM

Tel.: +33 142 22 30 30, fax: +33 145 48 63 94, correo electrónico: barre@obs-ost.fr

Sobre el autor

--------------------------------------------------------------------------------

Rémi Barré es ingeniero de minas y doctor en ciencias económicas. Es director del Observatoire des Sciences et des Techniques (OST) y profesor asociado de la Universidad CNAM de París. Tiene experiencia en la construcción de indicadores de Ciencia y Tecnología y actual- mente trabaja en temas relacionados con la toma de decisiones en política científica y sus relaciones con la evaluación, la prospectiva y la evaluación tecnológica.