Evaluación de la excelencia científica de programas de investigación: un punto primordial en la toma de decisiones.

Asunto: El trabajo científico excelente es la fuerza directriz de los descubrimientos de C y T. Los responsables de la política y los gestores de la investigación sostienen que conocen muy bien los lugares de excelencia cuando son informados por "expertos". Las opiniones de los expertos, sin embargo, pueden estar influidas por factores subjetivos, mentalidad estrecha y horizontes cognitivos limitados.

Relevancia: Se propone un método que permite la identificación, con una alta probabilidad de precisión, de la excelencia científica en cualquier campo de la I+D y proporciona un mapa de todos los desarrollos científicos importantes directamente relevantes para dicho campo. La realización de mapas incluso proporciona la posibilidad de previsión. Especialmente al nivel de programas de investigación, el método puede ser una herramienta indispensable para la toma de decisiones en política científica y en el establecimiento de prioridades.

--------------------------------------------------------------------------------

La búsqueda de la excelencia

El proceso completo de evaluación de la I+D, especialmente los elementos relativos al rendimiento de la investigación, generalmente consta de dos componentes principales, seguimiento continuo y evaluación a posteriori. El método presentado en este trabajo ofrece un instrumento nuevo y potente para ambos componentes.

La revisión por pares indudablemente tiene que seguir siendo el principal método de juicio de la calidad científica en el marco de la evaluación a posteriori. Pero la revisión por pares y todos los juicios relacionados basados en la opinión de expertos tienen importantes inconvenientes y desventajas (Moxham y Anderson, 1992). El principal problema es, como es bien sabido, la subjetividad, es decir, la dependencia de los resultados de la elección de los evaluadores. Esta dependencia puede dar lugar a conflictos de intereses, una falta de conocimiento de la calidad o un sesgo negativo contra las personas más jóvenes y los recién llegados al campo. En nuestros recientes estudios se descubrió una nueva desventaja notable de la revisión por pares: la aparente incapacidad o quizá desinterés para distinguir claramente entre rendimiento de investigación "máximo" y "menos que máximo" (Rinia y col 1998). La evaluación bibliométrica no resulta infectada por esas desventajas cruciales. Especialmente en estos tiempos de aparición de nuevos campos y creciente interdisciplinariedad, no es fácil para los evaluadores formar una opinión válida sobre el rendimiento de los que están evaluando.

Los aspectos subjetivos no son meramente elementos negativos. En cualquier juicio debe haber espacio para las opiniones intuitivas de los expertos

Para una mejora sustancial de la toma de decisiones, el método bibliométrico propuesto tiene que usarse en paralelo con procedimientos de evaluación basados en la opinión de expertos

El parámetro más importante en la evaluación del rendimiento de la investigación es la influencia científica internacional. Este artículo se centra en procedimientos normalizados recientemente desarrollados basados en métodos bibliométricos avanzados, para establecer sin ambigüedades la excelencia científica. Indudablemente, el método bibliométrico no es un instrumento ideal, ni funciona perfectamente en todos los campos bajo todas las circunstancias. Pero el método funciona bien en la gran mayoría de las ciencias naturales, médicas, aplicadas y del comportamiento. Estos campos de la ciencia están entre los de mayor coste y entre los de más fuerte impacto socioeconómico. La cuestión central a plantearse es si el rendimiento es alto o bajo, y en el caso de la excelencia científica, muy alto. Por lo tanto, se necesitan medidas para identificar y evaluar el rendimiento extraordinario, especialmente cuando hay señales de que el juicio basado en la opinión de los expertos por sí solo, puede no ser capaz de llevar a cabo esta evaluación crucial.

La evaluación bibliométrica del rendimiento de la investigación se basa en una hipótesis central: los científicos que tienen algo importante que decir publican continuamente en las revistas académicas internacionales de acceso libre. Nuestra aseveración central, basada en considerable experiencia, es que la búsqueda de la excelencia científica debe realizarse sistemáticamente a nivel "meso" (es decir, instituciones grandes, como universidades o partes importantes de universidades, como facultades o institutos). También las divisiones grandes de organizaciones de investigación nacionales, por ejemplo, la división de Medicina o Física de Consejos de Investigación, son niveles convenientes para comenzar la búsqueda de la excelencia. Después de una evaluación global de estas grandes instituciones, el análisis de rendimiento puede restringirse a grupos y programas de investigación dentro de estas instituciones.

Las razones de la elección del "meso-nivel" de la institución es que, en lo que respecta al aporte de toda la información necesaria, especialmente datos sobre personal y sobre la composición de los grupos, ésta se obtiene fácilmente. Estos datos de infraestructura institucionales no están disponibles en bases de datos de publicación general, pero deben recogerse siempre separadamente en relación con las respectivas instituciones. Los análisis bibliométricos realizados a nivel macro (por ejemplo, un país en su totalidad) consiguen, en el mejor de los casos, evaluaciones de campos completos, por ejemplo, qué calidad de rendimiento presenta un país en Física, Química, Psicología o Inmunología, sin una distribución fiable en grupos o programas de investigación individuales.

Por consiguiente, si se quiere identificar la excelencia científica, se tiene que optar por el nivel institucional. Esto es simplemente porque la investigación científica está en su mayor parte realizada por grupos, grandes o pequeños, integrados en una institución específica. Así, la institución es el punto de partida para identificar y controlar con precisión el rendimiento científico de modo que sea directamente relevante para la política (por ejemplo, la localización de los grupos que merecen apoyo en razón de su elevada calidad.)

La institución es el punto de partida para identificar y controlar con precisión el rendimiento científico de modo que sea directamente relevante para la política (por ejemplo indicando los grupos de elevada calidad)

Idea general del método

El núcleo del método bibliométrico puede describirse como sigue: La comunicación, es decir, el intercambio de resultados de investigación, es un aspecto crucial del trabajo científico. Las publicaciones no son el único factor, pero constituyen ciertamente un componente muy importante del proceso de intercambio del conocimiento. El trabajo de alta calidad provoca reacciones en los colegas científicos. Estos constituyen un foro internacional, el "colegio invisible", en el que se discuten los resultados de la investigación. En la mayoría de los casos, estos colegas científicos desempeñan su papel como miembros del colegio invisible al referirse en su propio trabajo al trabajo anterior de otros científicos. El proceso de citación es complejo, y ciertamente no proporciona un seguimiento "ideal" del rendimiento científico. Esto ocurre sobre todo a un nivel de agregación estadísticamente bajo, por ejemplo, sólo una publicación. Pero la aplicación del análisis de citas al trabajo, la "obra" de un grupo en su totalidad durante un período más largo de tiempo, podría constituir, en muchas situaciones, un poderoso indicador del rendimiento científico, y en especial de la calidad científica. Una condición esencial es que el análisis de citas aplicado sea parte de un método bibliométrico avanzado muy desarrollado técnicamente. Como se ha señalado antes, este artículo no trata del fundamento de este método, ya que está descrito con gran detalle en artículos recientes. (Van Raan 1996, 1999). El artículo se centra en un indicador "estrella" específico, que relaciona el impacto medido de un grupo o instituto de investigación con un valor de referencia específico de un campo, a nivel mundial. Es el indicador internacional de impacto normalizado, descrito extensamente en nuestro trabajo reciente (el indicador CPP/FCSm1). Este indicador nos permite observar inmediatamente si el rendimiento de un grupo o instituto de investigación está muy por debajo (valor del indicador 2) del estándar de impacto internacional dominante (mundo occidental) en un campo determinado. En el último caso, un impacto medido muy por encima del estándar internacional, aporta una muy fuerte indicación de calidad alta. En otras palabras, buscando grupos de investigación con un impacto por encima de un valor umbral específico, se puede detectar y hacer el seguimiento de la excelencia científica.

Buscando grupos de investigación con un impacto por encima de un valor umbral específico, se puede detectar y hacer el seguimiento de la excelencia científica

Estamos desarrollando procedimientos analíticos para realizar esas búsquedas eficazmente a gran escala. Por ejemplo, en la Unión Europea esto significaría un análisis bibliométrico en cada país miembro a nivel de las grandes instituciones (universidades, organizaciones como el British Medical Research Council, el CNRS francés, la Sociedad Max-Planck). Sobre la base de la estructura interna de estas instituciones, una revisión de los grupos institucionales es el paso siguiente y "decisivo". Son esenciales rutinas altamente automatizadas para llevar a cabo estas evaluaciones de rendimiento tan eficazmente como sea posible.

Ejemplos de resultados

En este trabajo, se discute la aplicación de nuestro método sobre la base de ejemplos de la "vida real". En primer lugar, se presentan los resultados de una gran Facultad de Medicina que incluye un Hospital Universitario. A continuación se hace una presentación breve de un análisis similar en la división de Física de una organización de investigación nacional. Las evaluaciones están basadas en el indicador CPP/FCSm, indicado en este trabajo como IMPACT.

Tabla 1. Revisión Institucional global

size=2>Período de tiempo

size=2>PUBL

size=2>IMPACT

size=2>1988-1991

size=2>3,637

size=2>1.28

size=2>1989-1992

size=2>3,891

size=2>1.25

size=2>1990-1993

size=2>3,988

size=2>1.22

size=2>1991-1994

size=2>4,209

size=2>1.16

size=2>1992-1995

size=2>4,433

size=2>1.19

size=2>1993-1996

size=2>4,559

size=2>1.26

size=2>1994-1997

size=2>4,665

size=2>1.34

Análisis de tendencia de tamaño en términos de volumen de publicación PUBL y de IMPACT normalizado internacional

La Tabla 1 muestra un análisis de tendencia de rendimiento de la Facultad de Medicina y el Hospital Universitario de una universidad de reconocida reputación de un estado miembro de la Unión Europea. Como una primera, pero buena indicación de magnitud, también se da el número de publicaciones (en revistas internacionales, con revisión por evaluadores, como se define en Van Raan 1996, 1999). Este número es aproximadamente 1.000 por año.

Cuanto más alto es el nivel de agregación, mayor es el volumen de publicaciones y es más difícil tener un impacto significativamente por encima del nivel internacional. En el "meso-nivel", un valor IMPACT por encima de 1,2, como en este caso, significa que la institución en cuestión puede considerarse una organización científicamente potente, con una alta probabilidad de encontrar grupos desde muy buenos a excelentes. Así, la etapa siguiente en la búsqueda de la excelencia es la descomposición de la institución en unidades más pequeñas, es decir, grupos y/o programas de investigación. Por consiguiente el análisis bibliométrico tiene que aplicarse sobre la base de aportaciones institucionales de datos relativos a personal y composición de los grupos.

La Facultad de Medicina proporcionó los nombres de todos los investigadores principales, desde 1988, que continuaban empleados en 1998, y la ubicación de estos investigadores en los grupos o programas de investigación (aproximadamente 100). Los algoritmos bibliométricos pueden entonces repetirse eficazmente en el nivel de agregación más bajo pero más importante, el del grupo o programa de investigación. En la mayoría de los casos el volumen de publicaciones en este nivel está entre 10 y 20 por año. Grupos con valor de IMPACT > 3,0 pueden competir fácilmente en su campo con grupos de máximo nivel en universidades de máximo nivel de EE.UU. Si el valor umbral para el indicador IMPACT se fija en 3,0, filtraremos los grupos excelentes con elevada probabilidad de obtener resultados precisos.

Como ejemplo, nos centraremos en el último período de tiempo del análisis de tendencia (1994-1997, los datos se han actualizado para el período 1996-1999). Los siguientes grupos, presentados en la tabla 2, se identifican inmediatamente.

Tabla 2. La búsqueda de excelencia científica

size=2>Grupo de investigación

size=2>PUBL

size=2>IMPACT › 3.0

size=2>Investigación del aparato circulatorio: trombosis, factores de

coagulación genéticos

size=2>111

size=2>4.32

size=2>Inmunogenética:
Membranas celulares, HLA

size=2>30

size=2>3.12

size=2>Diagnóstico médico por imagen

size=2>56

size=2>4.27

size=2>Epidemiología clínica

size=2>169

size=2>4.23

size=2>Patología molecular genética de tumores

size=2>144

size=2>3.49

De este modo se identifican cinco de los aproximadamente 100 grupos y programas de investigación que pueden ser considerados como excelentes. Diez grupos tienen un valor IMPACT entre 2,0 y 3,0, que los clasifica como muy buenos. En total, hay 29 grupos con un valor IMPACT por encima de 1,5.

En el segundo ejemplo se da una ilustración adicional del método. Aquí la institución es la división de Física de un Consejo Nacional de Investigación (van Leeuwen y col. 1996). Esta división tiene unos 200 grupos y programas de investigación. Se presentan aquí los resultados de una evaluación que abarca el período de diez años 1985-1994. Se está preparando una evaluación actualizada para 1996-1999.

Figura 1. Revisión Institucional global y búsqueda de excelencia científica combinadas

(Gráfico Omitido)

La abcisa da el número de artículos, la ordenada el valor del indicador IMPACT. Círculos blancos: grupos/programas con impacto no significativamente diferente del estándar internacional que está indicado por la línea continua horizontal (IMPACT =1). Cuadrados negros: grupos/programas por encima (por debajo) del estándar internacional. La línea de trazos representa el valor medio (IMPACT =1,45) del total de los aproximadamente 200 grupos/programas de Física en la división de Física del Consejo Nacional de Investigación en cuestión.

En la Fig. 1 se muestran el volumen de publicaciones y los valores de IMPACT para los 200 grupos/programas de investigación. Observamos fácilmente 13 grupos/programas de investigación excelentes, es decir con valor IMPACT>3,0. Estos grupos pueden identificarse inmediatamente conforme a la codificación dada por el Consejo de Investigación y utilizada en el análisis. La figura ilustra muy bien una conclusión general citada antes: cuanto más grande es la unidad, más tiende a valores más bajos (más "medios") el impacto medio de la unidad. Por consiguiente, es importante dividir los grupos y programas más grandes en grupos más pequeños para permitir una evaluación del impacto más precisa . De otro modo, un trabajo excelente puede quedar "escondido" dentro de la masa de un grupo/programa grande.

Es importante dividir los grupos y progra-mas más grandes en grupos más pequeños para permitir una evaluación del impacto más precisa . De otro modo, un trabajo excelente puede quedar "escondido" dentro de la masa de un grupo/programa grande

Paisajes científicos: mapas bibliométricos

Para concluir, vamos a considerar una segunda línea importante de la metodología bibliométrica avanzada: el trazado de mapas bibliométricos. (Para una discusión más detallada véase Noyons y Van Raan, 1998). La idea básica es la siguiente. Cada año se publica aproximadamente un millón de artículos científicos. En un solo campo de investigación, como la microelectrónica, el número de artículos es ya de muchos miles por año. Esto da una idea de la enorme magnitud de la producción científica actual. ¿Cómo se puede seguir la trayectoria de todos estos desarrollos? ¿Hay estructuras cognitivas "escondidas" a un nivel "meta" en esta masa de conocimiento publicado?

Supongamos que cada campo de investigación puede caracterizarse por una lista de las 100 (por ejemplo) palabras clave más importantes. En la investigación microelectrónica esta lista incluirá palabras como circuitos, estructuras electrónicas, láseres, telecomunicación, dispositivos optoelectrónicos, radio y televisión, superconducti- vidad, etc.,etc. Cada publicación puede caracterizarse por un subconjunto de la lista total de palabras clave. Para todas las publicaciones de microelectrónica, las listas de palabras clave se comparan por parejas. En otras palabras, estos miles de publicaciones constituyen una red gigantesca en la que todas las publicaciones están ligadas por una o más palabras clave comunes. Cuantas más palabras clave tienen en común dos publicaciones, más relacionadas estarán esas publicaciones (similitud de palabras clave), y por tanto pertenecerán a la misma área de investigación o especialidad. En términos matemáticos, las publicaciones se representan como vectores en un espacio multidimensional de palabras. En este espacio se agrupan, o toman posiciones muy distantes cuando no están relacionadas entre sí.

Se han desarrollado técnicas matemáticas para descifrar redes de publicaciones, para agrupar publicaciones relacionadas, y para representar en mapas el total de grupos en un espacio bidimensional con el fin de revelar una estructura subyacente

Se han desarrollado técnicas matemáticas especiales para descifrar redes de publicaciones, para agrupar publicaciones relacionadas, y para representar en mapas el total de grupos en un espacio bidimensional con el fin de revelar una estructura subyacente. Lo más fascinante es que estas estructuras pueden considerarse como la estructura cognitiva o intelectual de la ciencia. Los grupos pueden identificarse como subcampos y temas de investigación. Como se ha dicho antes, el procedimiento se basa por completo en el total de relaciones entre todas las publicaciones. Así, las estructuras que se descubren no son el resultado de ningún sistema de clasificación preestablecido. Nadie prescribe estas estructuras. Las estructuras emergen únicamente de las relaciones internas de todo el universo de publicaciones (dada la selección de palabras clave realizada por los analistas). En otras palabras, lo que se hace visible con nuestros métodos matemáticos, es la estructura autoorganizada de la ciencia. En la figura 3, se muestra el resultado para la investigación en microelectrónica (Noyons y col.1998) El mapa muestra claramente 18 subcampos identificados en sus relaciones mutuas. Cuanto más próximos están los grupos, más estrechamente están relacionados los subcampos representados por estos grupos. Pueden observarse subcampos importantes, como microelectrónica general, circuitos y diseño, materiales, teoría de circuitos, técnicas matemáticas, y estructura de sólidos/líquidos.

Figura 2. Mapa bibliométrico basado en análisis de palabras compartidas de la investigación microelectrónica, 1992-1994

(Imágen Omitida).

El mapa representa esencialmente una estructura relacional de grupos de publicaciones, basada en medidas de similitud de grupos. Los grupos pueden identificarse como campos de investigación. Cuanto más próximos están los grupos, más estrechamente relacionados están los campos en cuestión. Los grupos "blancos" se caracterizan por actividad (mundial) de publicación decreciente, los grupos más oscuros, por una actividad creciente.

Consideraciones finales

En este artículo hemos presentado un método avanzado para la identificación clara y objetiva de la excelencia científica. Estos indicadores de rendimiento bibliométricos ofrecen un complemento útil a otros métodos de evaluación.

La realización de mapas bibliométricos es una herramienta poderosa para visualizar el paisaje cognitivo de un campo de I+D y su entorno. Los mapas hechos durante una serie de años revelan tendencias y cambios de estructura, y la extrapolación de una serie de mapas puede actuar como un sistema "prospectivo" para desarrollos de I+D en un futuro próximo.

Además, puede situarse en el mapa la posición de los actores. De este modo se crea un mapa estratégico: ¿quién está dónde en la ciencia? Con ayuda de los indicadores de rendimiento somos capaces de identificar a los actores más importantes. Es decir, la combinación de la evaluación del rendimiento y la realización de mapas parece ser una herramienta muy poderosa en la evaluación de las actividades de investigación.

Los cambios en los mapas con el tiempo (estructura del campo, posición de los actores) pueden indicar el impacto en términos bibliométricos de programas de I+D, especialmente con respecto a subcampos caracterizados por investigación relativa a problemas sociales y económicos. La metodología de realización de mapas también es aplicable cuando se examinan estudios socioeconómicos del impacto de I+D.

--------------------------------------------------------------------------------

Palabras clave

rendimiento de la investigación, excelencia científica, toma de decisiones de política científica, método bibliométrico, refuerzo de la revisión por pares

Nota

1- Número de citas externas recibidas por el grupo o instituto por publicación durante el período de tiempo dado (CPP), normalizado al mismo parámetro en todo el mundo. Véase Van Raan 1996, 1999.

Nuestra sede web es http://sahara.fsw.leidenuniv.nl/cwts/cwtshome.html

Agradecimientos

Este trabajo ha sido financiado, en parte, por subvenciones de la Organización para la Investigación Científica de Holanda (NWO). El autor agradece a sus colegas de CWTS Th. N. Van Leeuwen, M. Visser y E.C.M. Noyons sus importantes contribuciones al trabajo analítico, y las estimulantes discusiones y sugerencias.

Referencias

BMFT. Deutscher Delphi-Bericht zur Entwicklung von Wissenschaft und Technik. Bonn: Bundesministerium für Forschung und Technologie (BMFT, ahora BMBF), 1993.

Leeuwen, Th.N. van., E.J. Rinia and Raan, A.F.J. van., Bibliometric Profiles of Academic Physics Research in the Netherlands. Research Report to the Netherlands Organization for Scientific Research (NWO), Physics Division (FOM), Utrecht. Leiden: Centre for Science and Technology Studies, Report 96-09. Este trabajo es también parte del informe Quality Assessment of Research: An Analysis of Physics in the Dutch (Netherlands) Universities in the Nineties. Utrecht: VSNU, 1996.

Moxham, H., and Anderson, J., Peer review. A view from the inside. Science and Technology Policy 7-15, 1992.

Noyons, E.C.M., and Raan, A.F.J. van., Monitoring Scientific Developments from a Dynamic Perspective: Self-Organized Structuring to Map Neural Network Research. Journal of the American Society for Information Science (JASIS), 49, 68-81, 1998.

Noyons, E.C.M., Luwel, M., and Moed, H.F., Combining Mapping and Citation Analysis for Evaluative Bibliometric Purpose. A Bibliometric Study on Recent Development in Micro-Electronics. Research Policy, a publicar en 1999.

Raan, A.F.J. van, Advanced Bibliometric Methods as Quantitative Core of Peer Review Based Evaluation and Foresight Exercises. Scientometrics 36, 397-420, 1996.

Raan, A.F.J., van., Evaluation of Performance and Trends in Basic and Applied Research by Advanced Bibliometric Methods: A Science Policy Instrument for Nations with an Economy in Transition. En: Paces, V., Pivec, L., y Teich, A.H. (Eds.). Science Evaluation and Its Management. Proceedings of the NATO Advanced Research Workshop, Praga, Noviembre 1997. Amsterdam: IOS Press, 1999.

Rinia, E.J., Leeuwen, Th.N. van, Vuren, H.G. van, and Raan, A.F.J. van. Comparative Analysis of a Set of Bibliometric Indicators and Central Peer Review Criteria. Evaluation of Condensed Matter Physics in the Netherlands. Research Policy 27, 95-107, 1998.

Contacto

Anthony F. J. van Raan, University of Leiden

Tel.: +31 715 27 39 09, fax: +31 715 27 39 11, correo electrónico: vanraan@cwts.leidenuniv.nl

Sobre el autor

--------------------------------------------------------------------------------

El Dr. Anthony F. J. van Raan es Profesor de Estudios de la Ciencia y Director del Centro de Estudios de Ciencia y Tecnología (CWTS), de la Universidad de Leyden, Holanda. Sus principales temas de interés incluyen la evaluación del rendimiento de la investigación por métodos bibliométricos avanzados, la realización de mapas de ciencia y tecnología, y la ciencia como ecosistema cognitivo "auto-organizado". En 1995 recibió, junto con el sociólogo americano Robert K. Merton, el Premio Derek de Solla Price, el galardón internacional más importante en el campo de los estudios cuantitativos de la ciencia.