Opciones para evaluar el impacto del asesoramiento científico

Introducción

La estructura del asesoramiento científico en el proceso de formulación de políticas ha sido estudiada recientemente en varios países (Glynn et al., 2001, y Dror, 1987, 2001). Estos estudios han subrayado la importante diversidad de los actores implicados en los procesos y las características de la provisión de asesoramiento científico. Los tipos de estructuras y de procesos que se han seguido dependen principalmente de la materia científica en cuestión. Sin embargo, existen diferencias de naturaleza más genérica entre los países, que pueden explicarse por las diferentes culturas y entornos políticos e institucionales. Esto se traduce, por ejemplo, en grados variables de inclusión de las diferentes partes interesadas en la toma de decisiones (Glynn et al., 2001) o en grados variables de la confianza del público en muchas partes interesadas (Octavi Trias, 2001 y Topf, 1992).

Aunque las estructuras del asesoramiento científico difieren de un país a otro, existen muchas características compartidas en cuanto a principios tales como el carácter abierto, la transparencia y la independencia en el modo de proporcionar el asesoramiento científico

Las características compartidas se refieren principalmente a determinados principios tales como el carácter abierto, la transparencia y la independencia en el modo de proporcionar el asesoramiento científico. En mayor o menor medida, estas características se encuentran en todos los sistemas, aunque pueden estar presentes en diferentes formas y en grado variable. También depende de la materia científica en cuestión el impacto del asesoramiento científico sobre la política y sobre un debate público más amplio. Finalmente, ha de reconocerse que el asesoramiento científico es solamente una aportación a la formulación de políticas, al lado de las aportaciones económicas, ideológicas y éticas (Glynn et al., 2001).

Los actores implicados en el proceso de asesoramiento científico pueden agruparse en varias categorías. Primera, los científicos que proporcionan asesoramiento; segunda, los responsables de la toma de decisiones en el gobierno o en las organizaciones reguladoras, a quienes se apela frecuentemente para tomar decisiones sobre materias complejas con implicaciones sociales y económicas; y tercera, la sociedad en general, expresada por individuos o por grupos organizados tales como grupos de consumidores, sindicatos y organizaciones medioambientales (Karatzas et al., 2001). Es importante además el papel de los medios de comunicación, dada la necesidad de informar a la opinión pública y de alertar sobre posibles riesgos.

Se ha identificado una necesidad de mejor comunicación e interacción entre todos los distintos actores y de que estos actores asuman sus responsabilidades

Se ha identificado una necesidad de mejor comunicación e interacción entre todos los distintos actores y de que estos actores asuman sus responsabilidades con el objeto de avanzar hacia un diálogo más rico y sostenido entre todos los implicados en el debate sobre Ciencia y Gobierno (CEC, 2001).

Para hacer frente a situaciones de crisis, podría considerarse más importante la mejora de la comunicación y de la interacción entre los diferentes actores implicados. Sin embargo, en estas situaciones, la toma eficaz de decisiones se ve obstaculizada por temas relacionados con diferentes niveles de dificultad cognitiva (Barker et al., 1992), y distintos grados de disponibilidad de la información (Peters et al., 1992). No obstante, parece posible desarrollar un marco estructurado dentro del cual se evalúe el impacto del proceso de asesoramiento científico.

Marco para la evaluación del impacto del asesoramiento científico

En la evaluación del impacto del proceso de asesoramiento científico es importante evaluar por separado el papel y la implicación de cada uno de los cuatro diferentes grupos de actores mencionados anteriormente. En un segundo nivel, el sistema en su totalidad tiene que evaluarse frente a criterios horizontales, tales como el carácter abierto, la responsabilidad, la transparencia y la amplitud de participación. Estos principios ya se han adoptado en varios países (CSTA, 1999; May, 2001).

Para evaluar el impacto se puede estructurar un marco alrededor de las etapas diferentes, pero interrelacionadas, que caracterizan las situaciones de crisis: planificación, identificación, diseño de la respuesta, información a la sociedad y evaluación de la respuesta

Sin embargo, la necesidad de tomar decisiones urgentes, las incertidumbres, la falta de conocimientos y la limitación de recursos y de experiencia en las situaciones de crisis hacen que la adopción de estos principios constituya un desafío importante. No obstante, para la evaluación del impacto se puede estructurar un marco alrededor de las etapas diferentes, pero interrelacionadas, que caracterizan estas situaciones:

Etapa 1: Etapa de planificación.

La etapa de planificación implica analizar un posible riesgo o peligro e identificar y evaluar el impacto que podría tener. Este tipo de análisis y asesoramiento ayuda a las fuerzas de seguridad y a los servicios médicos a trazar planes y procedimientos de emergencia y a ensayarlos previamente.

Etapa 2: Identificación y evaluación de un suceso peligroso.

Cuando se ha detectado un suceso peligroso, o se sabe que ha ocurrido, es necesario el asesoramiento científico para determinar la naturaleza de los materiales implicados y la magnitud de la exposición, para evaluar el grado de riesgo planteado y extrapolar los probables efectos a corto y largo plazo.

Etapa 3: Diseño de la respuesta.

En algunos casos se seguirán los procedimientos y el asesoramiento existentes. En otros, será necesario el asesoramiento sobre cómo adaptar los procedimientos y el equipo a la nueva situación. En ambos casos se necesitan distintos procesos para garantizar que el asesoramiento adecuado llegue puntualmente.

Etapa 4: Información a la sociedad civil y al público.

La sociedad civil y el público quieren, y/o necesitan, estar informados durante todo el proceso: cuando se analiza un posible riesgo, cuando tiene lugar un suceso peligroso, si se ha entendido la magnitud del riesgo, si se ha emprendido una acción de respuesta, si se han extraído enseñanzas de ello y si se han mejorado los procesos y los procedimientos.

Etapa 5: Evaluación y mejora de la respuesta

Se pueden evaluar los puntos fuertes y los puntos débiles de la respuesta para identificar así las áreas de mejora. Se pueden determinar las lagunas en los procedimientos de respuesta y mejorar la capacidad de respuesta (véase el cuadro 1).

Cuadro 1. Evaluación del proceso de asesoramiento científico

Tomando como base el planteamiento descrito en el texto, se estructuró un cuestionario para entrevistas con los representantes de los diferentes grupos-objetivo1 implicados en el proceso de asesoramiento científico, para ver los déficits y los obstáculos en su funcionamiento, los impactos de su implicación y los criterios de evaluación no sólo en cuanto a su papel sino también en cuanto al asesoramiento y al proceso de provisión del mismo.

Los resultados de 54 entrevistas (15 productores de asesoramiento científico; 11 usuarios del asesoramiento científico; 18 medios de comunicación y 10 grupos sociales) llevadas a cabo en Polonia, Grecia, Francia, Alemania, Italia y el Reino Unido mostraron similitudes interesantes así como variaciones en las percepciones de estos grupos de actores respecto a las características y peculiaridades del sistema2. Además, revelaron relaciones existentes o deseables entre los grupos-objetivo en las cinco etapas anteriormente mencionadas. Más detalladamente, los resultados muestran que los grupos-objetivo están relacionados entre sí del modo siguiente3.

Figura 1. Relaciones entre los actores implicados en el proceso de asesoramiento científico

Para crear un marco de evaluación del impacto se puede hacer una tentativa inicial agrupando bajo cada etapa los déficits identificados por el propio grupo o por otros que interactúan con él, los criterios que utilizan para evaluar su papel, el asesoramiento científico y su proceso y el impacto que esperan.

Para crear un marco de evaluación del impacto se puede hacer entonces una tentativa inicial agrupando bajo cada etapa los déficits identificados por el grupo o por otros que interactúan con él

Tabla 1. Etapa 1: Etapa de planificación

[Tabla no disponible]

La etapa 2, que es la etapa de planificación, debe ser la etapa adecuada para abordar los déficits y los obstáculos 'genéricos' a los que se enfrentan los actores implicados (es decir, déficits institucionales, procesos democráticos inadecuados, toma de conciencia limitada sobre los problemas del asesoramiento científico). Ésta debe ser también la etapa para lograr la independencia, la objetividad y la imparcialidad en el uso y en la producción del asesoramiento y para que el proceso sea abierto, transparente, de amplia participación, creíble y responsable. Durante esta etapa se puede examinar y mejorar la disponibilidad de recursos y se pueden buscar experiencia y conocimientos fuera de los organismos 'oficiales', en caso de que éstos sean allí limitados. La rapidez en la provisión de asesoramiento es menos importante puesto que la urgencia que caracteriza esta etapa es limitada. Los impactos pueden clasificarse en directos (relativos a la planificación de la detección, la prevención, la protección y la respuesta), e indirectos (tales como formación para adaptar el asesoramiento científico a la política, la representación y la implicación de la sociedad, o el aumento de la cooperación y la interconexión entre los políticos, los científicos y la sociedad). Debe darse énfasis tanto a los impactos directos como a los indirectos durante esta etapa.

La etapa de planificación debe ser la etapa adecuada para abordar los déficits y los obstáculos 'genéricos' a los que se enfrentan los actores implicados. En esta etapa son especialmente importantes la independencia, la objetividad y la imparcialidad

Si consideramos también la tipología de O. Renn (Renn, 1995) sobre estilos de hacer política, entonces esta etapa debe tener los elementos del enfoque de 'controversia'. Concretamente, todos los argumentos deben estar abiertos a la crítica de los profesionales y del público. Los conocimientos científicos deben ayudar a los políticos a evaluar las reivindicaciones opuestas de pruebas y a justificar las opciones políticas finales. La integración de las reivindicaciones opuestas debe cumplirse a través de reglas procedimentales de justificación, verificación y negociación. Además, complementando la tipología de Renn, que pone el énfasis principal del asesoramiento científico en el conocimiento pragmático o instrumental (en forma de postulados 'si-entonces' y en teorías ensayadas empíricamente que conducen a la articulación de políticas orientadas hacia fines-medios y actividades de resolución de problemas), son igualmente importantes en esta etapa las percepciones factuales y los conocimientos fundamentales para comprender los problemas y las limitaciones de las diferentes opciones, cuando se diseñan y se articulan las políticas.

Todos los argumentos utilizados deben estar abiertos a la crítica de los profesionales y del público. Los conocimientos científicos deben ayudar a los políticos a evaluar las reivindicaciones opuestas de pruebas y a justificar las opciones políticas finales

Tabla 2. Etapa 2: Identificación y evaluación de un suceso peligroso y Etapa 3: Diseño de la respuesta

[Tabla no disponible]

Por otra parte, la etapa 2 puede agruparse con la etapa 3, dado el papel principal que desempeñan la urgencia en la toma de decisiones, el riesgo y la incertidumbre. En estas etapas son cruciales la limitación de recursos o de experiencia y la falta de conocimientos. Es esencial la rapidez en la provisión de asesoramiento y en la adopción de medidas, como también lo es el grado de confianza. La confianza del público frente a la ciencia y a los científicos parece depender del grado en el que el proceso de asesoramiento científico sea abierto, transparente y de participación amplia (May, 2001). Sin embargo, el carácter abierto, la transparencia y la amplitud de participación del proceso de asesoramiento científico no pueden lograrse durante esta etapa, dada la urgencia que pueden imponer las circunstancias. Por ello, el grado de confianza necesario en esta etapa sólo puede crearse sobre el carácter abierto y la transparencia del proceso durante la etapa 1, cuando el tiempo y los recursos permiten que se adopten estos principios. Tomar en consideración diferentes visiones científicas (amplitud de participación) tiene mayor prioridad en esta etapa que incluir a todas las partes interesadas en el proceso de toma de decisiones (carácter abierto). La precisión en los requisitos del asesoramiento científico y la claridad de los objetivos de la provisión de asesoramiento científico son de gran importancia como también lo es la descripción de las áreas de incertidumbre sobre las implicaciones de la ciencia y los límites del conocimiento científico. En lo que respecta a los impactos esperados, éstos se refieren más a los impactos directos (detección y diagnóstico más efectivos, mejora del diseño de la respuesta) que a los impactos indirectos. La evaluación de los impactos directos es más importante que la de los impactos indirectos.

Aunque se ha afirmado que el carácter abierto, la transparencia y la amplitud de cobertura del proceso de asesoramiento científico son factores importantes para la aceptación por el público, a menudo estas características no pueden conseguirse durante la etapa de identificación del peligro, debido a la urgencia de la situación

Un estilo de toma de decisiones más próximo al modelo 'fiduciario' de Renn parece más adecuado para las circunstancias. Dada la urgencia de tomar una decisión, el riesgo y la incertidumbre que pueden caracterizar la toma de decisiones en esta etapa, se limita a aquéllos que tienen responsabilidad y autoridad para encargarse de la seguridad del público. Éstos no pueden ser otros que los políticos. El gobierno no puede compartir la responsabilidad (Chartier et al., 2001). Complementando la tipología de Renn, de modo similar al de la etapa 1, el énfasis del asesoramiento científico debe ponerse sobre percepciones factuales y conocimientos fundamentales, pero también sobre conocimientos instrumentales.

Tabla 3. Etapa 4: Información a la sociedad civil y al público

[Tabla no disponible]

La comunicación de riesgos desempeña un papel crucial en la etapa 4, que puede caracterizarse también por la urgencia con la que es necesario tomar las decisiones, como en el caso de las etapas 2 y 3. Dos componentes esenciales de la comunicación de riesgos son la confianza y la percepción del riesgo. Crear confianza es problemático, ya que el público no siempre tiende a considerar al gobierno como una fuente de información fiable (Chartier et al., 2001) y la confianza del público en la ciencia y en los científicos parece depender del grado en que el proceso de asesoramiento científico sea abierto, transparente y de amplia participación (May, 2001). Al igual que en la etapa 2, la confianza necesaria durante esta etapa sólo puede crearse sobre el carácter abierto, la transparencia y la amplitud de participación del proceso durante la etapa 1. La oportunidad y la autoridad unidas a la honradez y la sinceridad de la información son más importantes en esta etapa. Por otra parte, el público y los expertos coinciden rara vez en sus percepciones del riesgo. De nuevo son el carácter abierto y la transparencia del proceso los que pueden salvar la distancia entre la percepción real y la subjetiva del riesgo por parte del público (Chartier et al., 2001). Así, el aumento de la confianza y de la comprensión mutua respecto al riesgo deben estar entre los impactos/resultados indirectos a pretender durante la etapa 1, y deben convertirse después en las aportaciones necesarias para la eficacia de la etapa 4. Los impactos principales sobre cuya base se debe evaluar la eficacia de esta etapa se refieren principalmente a impactos sobre la sociedad.

Durante la etapa de información son factores importantes la oportunidad y la autoridad unidas a la honradez y la sinceridad de la información

Tabla 4. Etapa 5: Evaluación y mejora de la respuesta

[Tabla no disponible]

Finalmente, la etapa 5 es bastante similar a la etapa 1. Se caracteriza por menos urgencia en comparación con las etapas 2, 3 y 4. La independencia, la objetividad y la imparcialidad en el uso y en la producción de asesoramiento toman de nuevo la delantera sobre la rapidez. El carácter abierto, la transparencia, la amplitud de participación, la credibilidad y la responsabilidad del proceso toman la delantera sobre la capacidad de respuesta, el grado confianza y la autoridad. El estilo 'controversia' de toma de decisiones parece más apropiado aquí que en la etapa 1. Todas las pruebas deben estar abiertas a la crítica de los profesionales y del público. El énfasis del asesoramiento científico debe ponerse tanto sobre los conocimientos instrumentales como sobre las percepciones factuales y los conocimientos fundamentales. La evaluación de la respuesta debe orientarse hacia la medida de los efectos frente a los objetivos establecidos más que en atribuir impacto al asesoramiento específico. En esta etapa es importante la evaluación de los impactos tanto directos como indirectos.

El impacto del asesoramiento científico puede evaluarse a tres niveles diferentes, pero interrelacionados, caracterizado cada uno de ellos por un conjunto específico de criterios, de acuerdo con sus posibilidades de aplicación y su importancia durante las diferentes etapas

Como resultado, parece que el impacto del asesoramiento científico puede evaluarse a tres niveles diferentes, pero interrelacionados, caracterizado cada uno de ellos por un conjunto específico de criterios, de acuerdo con sus posibilidades de aplicación y su importancia durante las diferentes etapas (figura 2). La calidad y la relevancia del asesoramiento proporcionado son de la mayor importancia en todas las etapas.

Figura 2. Diferentes niveles de evaluación del impacto

[Figura no disponible]

La operatividad de este marco depende de la identificación de los déficits del sistema, de los criterios de evaluación y de los impactos directos e indirectos esperados. Los criterios de evaluación del impacto y los impactos esperados presentados anteriormente pueden ser aplicables en todas las situaciones. Los déficits y los obstáculos pueden ser totalmente diferentes, o ser de distinta gravedad, en países diferentes con culturas diferentes y/o distintos entornos políticos e institucionales. Esperamos que este marco pueda contribuir a su identificación y análisis.

--------------------------------------------------------------------------------

Palabras clave

asesoramiento científico, evaluación del impacto, indicadores del impacto

Agradecimientos

Agradecemos especialmente a The Evaluation Partnership y al resto del equipo su autorización para trabajar sobre los resultados de las entrevistas.

Notas

1. a) Productores de asesoramiento científico (representantes de la comunidad científica), b) Usuarios del asesoramiento científico (representantes de los políticos), c) Creadores de opinión (representantes de los medios de comunicación y de otros intermediarios), d) Las partes interesadas de la sociedad.

2. Estas entrevistas se llevaron a cabo como parte de un estudio encargado por la DG Investigación y coordinado por The Evaluation Partnership Ltd.

3. Los grupos-objetivo se implicaron en cada una de las cinco etapas en mayor o menor medida. Las relaciones se basan en aquéllas etapas en las que se consideró que cada grupo-objetivo tenía un papel primordial.

Referencias

Glynn, S., Flanagan, K. y Keenan, M., PREST, Science and Governance describing and typifying the scientific advice structure in the policy making process ¿ a multi-national study, Informe del proyecto ESTO preparado para el EC/JRC/IPTS, febrero. 2001.

Dror, Y., Advising Rulers. En William Plowden, ed., Advising the Ruler (Oxford: Blackwell, 1987), págs, 185-215.

CEC, European Governance: A White Paper, COM (2001) 428 Final.

Quintana Trias,O., Implicación del público en las decisiones sociales: el caso de la Ciencia y el papel de los comités de ética, The IPTS Report nº 55, junio 2001.

Karatzas, I., Fayl, G., El asesoramiento científico: provisión e impacto, Editorial, The IPTS Report nº 60, diciembre 2001.

Council of Science and Technology Advisors, Science Advice for Government Effectiveness (SAGE), 5 mayo 1999.

May, Sir R., Contribución de la ciencia al gobierno, The IPTS Report nº 52, marzo 2001.

Renn, O. Style of using scientific expertise: a comparative framework, Science and Public Policy, junio 1995, págs. 147-156

Topf, R., Science, Public Policy and the Authoritativeness of the Governmental Process. En Barker. A. et al., The Politics of Expert Advice, Creating, Using and Manipulating Scientific Knowledge for Public Policy, Edimburgo, Edinburgh University Press, 1992.

Barker, A., Peters, B.G., Science Policy and Government. En Barker. A. et al., The Politics of Expert Advice, Creating, Using and Manipulating Scientific Knowledge for Public Policy, Edimburgo, Edinburgh University Press, 1992.

Peters, B.G., Barker, A., Governments, Information, Advice and Policy-making. En Barker. A. et al., The Politics of Expert Advice, Creating, Using and Manipulating Scientific Knowledge for Public Policy, Edimburgo, Edinburgh University Press, 1992.

Barker, A., Patterns of Decision Advice Processes, A Review of Types and a Commentary on some Recent British Practices. En Barker. A. et al., The Politics of Expert Advice, Creating, Using and Manipulating Scientific Knowledge for Public Policy, Edimburgo, Edinburgh University Press, 1992.

Chartier, J., Gabler, S., Risk Communication and Government, Theory and Application for the Canadian Food Inspection Agency, Canadian Food Inspection Agency, Public and Regulatory Affairs Branch, primavera 2001.

Contacto

Effie Amanatidou, ATLANTIS Consulting S.A.

Tel.: +0030 2310 52 48 54, fax: +0030 2310 55 22 65, correo electrónico: amanatidou@atlantisresearch.gr

Sobre los autores

--------------------------------------------------------------------------------

Effie Amanatidou es licenciada en Matemáticas por la Universidad Aristóteles de Tesalónica (Grecia) y posee un máster en Cambio Técnico y Estrategia Industrial por el PREST (Universidad de Manchester). Es Jefe de la Unidad de Estudios de Política Científica y Tecnológica de ATLANTIS Consulting S.A. Sus temas de investigación se centran principalmente en el campo de la prospectiva (y más generalmente la inteligencia prospectiva estratégica) para la formulación de políticas, sistemas nacionales de innovación, evaluación de programas de investigación y evaluación de impactos.

Foteini Psarra es licenciada en Administración de Empresas por la Universidad de Macedonia (Grecia) y posee un máster en Investigación Operativa por la Universidad de Strathclyde (Escocia). Es investigadora de la Unidad de Estudios de Política Científica y Tecnológica de ATLANTIS Consulting S.A.