La evaluación de la ciencia, la crisis del sistema internacional de revistas científicas y propuestas de políticas

"El 16 de diciembre de 2012 en el contexto de la Reunión Anual de la Sociedad Americana de Biología Celular (BCSV) de los Estados Unidos se realizó una reunión de directores y editores de importantes revistas académicas. La misma emitió la “Declaración de San Francisco de Evaluación de la Investigación”. Allí se señaló que hay una necesidad apremiante de mejorar la forma en que los resultados de la investigación científica son evaluados por las agencias de financiación, instituciones académicas y otras.

La crítica principal estuvo centrada en la utilización del “factor de impacto” de las revistas. “El índice de impacto de las revistas se utiliza con frecuencia como parámetro primario con el que comparar la producción científica de las personas y las instituciones. El índice de impacto de revistas, según los cálculos de Thomson Reuters, fue creado originalmente como una herramienta para ayudar a los bibliotecarios a identificar revistas que comprar, no como una medida de la calidad científica de la investigación en un artículo. Con esto en mente, es importante entender que el índice de impacto tiene una serie de deficiencias bien documentadas como herramienta para la evaluación de la investigación. Estas limitaciones incluyen:

a. la distribución de citas en revistas está muy sesgada.
b. las propiedades del índice de impacto son específicas del campo científico considerado:
es una combinación de varios tipos de artículos, muy diversos, incluyendo artículos de
investigación primaria y opiniones.
c. los índices de impacto se pueden manipular de acuerdo con la política editorial y
d. los datos utilizados para el cálculo de los índices de impacto de las revistas no son ni
transparentes ni están abiertamente a disposición del público.”

De este diagnóstico el documento realiza una serie de recomendaciones:

“- la necesidad de eliminar el uso de métricas basadas en revistas, tales como el índice de impacto de revistas, en la financiación, en los nombramientos y en las consideraciones de promoción;
 la necesidad de evaluar la investigación por sus propios méritos y no en base a la revista en que se publica la investigación, y
- la necesidad de aprovechar las oportunidades que ofrece la publicación en línea (como relajar los límites innecesarios en el número de palabras, figuras y referencias en artículos, y la exploración de nuevos indicadores de la importancia y el impacto).

¿Son los vertiginosos beneficios de la industria editorial malos para la ciencia?

"El año 2011, Claudio Aspesi, un veterano analista financiero del centro londinense Bernstein Research, apostó a que la empresa líder en una de las industrias más lucrativas del mundo se acercaría a la caída financiera. La empresa Reed-Elsevier, una gigante editorial multinacional que cuenta con unos ingresos cercanos a los 7.000 millones de euros, era un delicioso caramelo para cualquier inversor. Se trataba de una de las pocas editoriales que había manejado exitosamente la transición a Internet, y un reciente informe de actividades societarias preveía al menos un año más de crecimiento. Aspesi, sin embargo, tenía una razón para creer que esa predicción –junto a la de todos los analistas financieros importantes– era incorrecta.

El núcleo de actividad de Elsevier está en las revistas científicas, publicaciones de periodicidad semanal o mensual en las que los científicos comparten sus resultados. Pese a su reducida audiencia, la publicación científica es un negocio extraordinariamente mayúsculo. Generando un total de ingresos globales por encima de los cerca de 22.000 millones de euros, su volumen está entre el de la industria discográfica y el de la industria del cine, pero es mucho más rentable. En 2010 la rama de publicaciones científicas de Elsevier declaró 827 millones de euros en beneficios, de un total de 2.300 millones de ingresos. Eso implicaba un margen del 36%: superior al que declararon Apple, Google o Amazon ese año.

Pero el modelo de negocios de Elsevier tenía algo de enigmático. Una editorial tradicional, pongamos una revista magazine, debe cubrir primero una multitud de gastos para después llegar a ganar dinero: pagar a los redactores por los artículos; emplear a editores para hacer encargos de artículos, darles formato o revisarlos, y pagar por distribuir el producto final a suscriptores y vendedores. Todo eso es caro y esas revistas ganan típicamente entorno al 12-15% de beneficios.

La forma con la que se gana dinero con un artículo científico es aparentemente muy similar, salvo que las editoriales científicas se las arreglan para eludir la mayor parte de los costes reales. Los científicos producen bajo su propia dirección –financiados mayoritariamente por los gobiernos–  y se lo dan gratis a las editoriales; la editorial paga a editores científicos para que juzguen si el trabajo merece ser publicado y revisan el formato, pero la mayor parte de la carga editorial –revisar la validez científica y evaluar los experimentos, un proceso conocido como revisión por pares– la realizan científicos de forma voluntaria. Las editoriales venden entonces el producto a bibliotecas de universidades y otras instituciones, financiadas públicamente, para que lo lean los científicos –quienes, como colectivo, crearon el producto en primer lugar– .