La Declaración de San Francisco le dice NO al factor de impacto

Somos muchos los defensores y promotores del acceso abierto que estamos de acuerdo en que hay una necesidad imperiosa de cambiar la forma en que son evaluados los resultados de la investigación científica y los investigadores por las agencias de financiación, instituciones académicas y otros organismos de evaluación.

Es casi generalizado el uso del Factor de impacto (FI) de una revista para medir la calidad de la productividad de un investigador. Este famoso FI se concibió originalmente para medir la relevancia de las revistas pero hoy se emplea para medir el impacto de artículos y autores individuales. Las críticas al mismo han sido expuestas en numerosas publicaciones y por varios científicos y académicos y entre otras podemos mencionar los sesgos disciplinares (ya que en estos índices están más representadas las ciencias duras que las humanidades y las ciencias sociales) o lingüísticos (fundamentalmente están representadas las lenguas anglosajonas respecto al resto).

Ante esta situación me pregunto: ¿por qué se sigue utilizando este indicador? ¿La calidad de una investigación puede ser determinada por la revista en la que es publicada? ¿Vale más la cantidad de artículos publicados que la trayectoria, la consistencia o la originalidad de las ideas? Está claro que sería muy difícil evaluar el currículum vítae de un investigador y toda su producción de una forma puramente cualitativa. Resulta a simple vista un trabajo inviable y parece también una repetición de tareas si se tiene en cuenta que los artículos publicados ya fueron evaluados por pares expertos en las revistas en los que fueron publicados.

Una discusión planteada y pendiente

Navegando por la web me encontré con los «Criterios de evaluación de la producción científica de las Humanidades y Ciencias Sociales» un documento que me causó gran satisfacción. El mismo fue redactado durante el año 2012 y discutido en el 2013 en la Jornada de discusión sobre Sistemas y Procesos de Evaluación Científica por integrantes de la Comisión Interinstitucional de elaboración de criterios de evaluación para las humanidades y ciencias sociales (CIECEHCS), con la finalidad de reflexionar, promover y contribuir activamente al mejoramiento, la democratización y la creciente calificación de los procesos de evaluación de la investigación académica en Humanidades y Ciencias Sociales en los sistemas nacionales (Argentina).

El documento expresa que “constituye la antesala de un proceso complejo, de debate entre los colegas de diferentes instituciones. Los distintos aspectos involucrados en el mismo toman en cuenta cuestiones nodales que hacen al reconocimiento y valorización de la especificidad de las Humanidades y Ciencias Sociales y, en ese marco, a la necesidad de establecer criterios de evaluación pertinentes, públicos y conocidos con antelación por la comunidad científica (…). Las articulaciones entre la tarea de investigación, transferencia, divulgación y formación amerita un debate a fondo aún pendiente, reconociendo que se trata de quehaceres que condensan una actividad científica que nutre no solo a la comunidad de pares sino a la sociedad en su conjunto. La revisión de los criterios de evaluación supone un proceso que va más allá de formular técnicamente los instrumentos más convenientes, esto es, supone reflexionar sobre las perspectivas involucradas en la evaluación de la calidad científica. Su explicitación constituye aún una asignatura pendiente. Por otra parte, la definición de criterios adecuados teniendo en cuenta lo antes planteado amerita una reflexión no marginal acerca del sistema de evaluación global que involucra a toda la comunidad de pares y a quienes tienen responsabilidades en las diferentes instancias de evaluación.”

Y respecto al tema de las publicaciones expresan que “la indexación de las publicaciones periódicas no puede ser el único criterio de validación de un texto académico ya que con esta operación sólo se evalúa el impacto numérico y la visibilidad internacional de la revista, no el contenido de los artículos. Es importante tener en cuenta que no puede utilizarse el factor de impacto y el índice H exclusivamente en los procesos de evaluación de la producción científica, no sólo por la escasa representatividad de las bases de datos que los producen, sino principalmente por la necesidad de evaluar la calidad del trabajo. Además, el proceso de indexación no es automático, hay buenas revistas no indexadas por desconocimiento del procedimiento y/o falta de interés por parte de sus editores.”

Uno de los retos entonces es buscar criterios de evaluación complementarios y/o alternativos, entre los cuales podemos mencionar las denominadas métricas alternativas o altmetrics. (Para una introducción sobre el tema pueden leer el post de Samuel Castro Ponce aunque profundizaré más sobre este tema en mis futuros posts).

¿Es posible acabar con la tiranía del FI?

Randy Schekman -Premio Nobel de Medicina 2013- publicó un artículo asegurando que las revistas científicas de élite (Nature, Science, Cell etc.) ejercen una tiranía sobre el progreso del conocimiento que desfigura la imagen pública de la ciencia, sus prioridades y su actividad y aseguró que no publicaría más en esas revistas. El científico denunció que la aceptación de un manuscrito en esas influyentes revistas, en las que él mismo publicó algunos de sus trabajos, puede estar sujeta a consideraciones de política científica, presiones o incluso contactos personales. El biólogo Peter Lawrence de la Universidad de Cambridge, apoya las ideas de Schekman al asegurar que los artículos científicos se han vuelto simples instrumentos para la evaluación de la currícula de investigadores y con ello están desapareciendo los verdaderos propósitos de comunicación y registro de los avances científicos.

Por suerte cada vez más investigadores, asociaciones, instituciones, editores y revistas científicas tienen este pensamiento y creen que es necesario modificar la forma actual de la evaluación científica y empezar a utilizar otros indicadores y modelos de evaluación.

La Declaración de San Francisco DORA

El 16 de diciembre de 2012 la Asociación Estadounidense de Biología Celular escribió un documento (disponible aquí en castellano) cuyo objetivo es detener el uso del Factor de impacto para la evaluación de la investigación científica. La Declaración recomienda que el FI no se debe utilizar en las evaluaciones relativas a la financiación, promociones profesionales y la contratación de académicos.

Transcribo aquí algunas líneas de este interesante documento que invito a leer, apoyar y firmar:

El índice de impacto tiene una serie de deficiencias bien documentadas como herramienta para la evaluación de la investigación. Estas limitaciones incluyen:

a) la distribución de citas en revistas está muy sesgada

b) las propiedades del índice de impacto son específicas del campo científico considerado: es una combinación de varios tipos de artículos, muy diversos, incluyendo artículos de investigación primaria y opiniones

c) Los índice de impacto se pueden manipular por la política editorial y

d) los datos utilizados para el cálculo de los índices de impacto de las revistas no son ni transparentes ni están abiertamente a disposición del público.

What does DORA say?

Luego, hace una serie de recomendaciones dirigidas a los organismos de financiación, las instituciones académicas, las revistas, las organizaciones que suministran métricas, y a los investigadores individuales, que se centran principalmente en las prácticas relativas a la publicación de artículos de investigación en revistas revisadas por pares, pero que según la Declaración, pueden y deben ampliarse mediante el reconocimiento de productos adicionales.

1) Eliminar el uso de métricas basadas en revistas, como el índice de impacto de revistas, en la financiación, en los nombramientos, y en las consideraciones de promoción.

2) Evaluar la investigación a partir de sus propios méritos y no a partir de la revista donde se publica.

3) Poner a disposición una serie de indicadores a nivel de artículo para fomentar un cambio hacia la evaluación basada en el contenido científico del artículo en lugar de métricas sobre la revista en que fue publicado.

4) Fomentar prácticas de autoría responsables y la provisión de información sobre las contribuciones específicas de cada autor.

5) Si la revista es de libre acceso o suscripción, eliminar todas las limitaciones de reutilización en las listas de referencias de artículos de investigación, que estarán disponibles bajo la licencia «Creative Commons Public Domain Dedication».

Al día de hoy la Declaración ha conseguido 12.377 firmas individuales y 572 de instituciones.

Los invito a firmar y a difundir !