Manifiesto Altmetrics

En mi post anterior comencé a hablar de las métricas alternativas, de la forma en que los medios sociales están cambiando la forma de interactuar, presentar las ideas e información, y juzgar la calidad de los contenidos y contribuciones.

Hoy quería contarles acerca del Manifiesto Almetrics, que fue escrito en el año 2010 por Jason Priem (@jasonpriem) -el creador del término-, Dario Taraborelli (@readermeter), Paul Groth (@pgroth) y Cameron Neylon (@cameronneylon).

Un manifiesto es un escrito breve que un grupo o movimiento político, religioso, filosófico, artístico o literario dirige a la opinión pública para exponer y defender su programa de acción considerado revolucionario o novedoso con respecto a lo establecido anteriormente.

En el Manifiesto Altmetrics se define que el impacto está formado por cuatro pilares: uso (acceso y descarga); arbitraje por pares (opinión de especialistas): citaciones; y métricas alternativas (almacenamiento, links, favoritos, conversaciones y comentarios). Los autores afirman que la gran ventaja está en la rapidez con que un artículo es evaluado a través de los medios sociales. En vez de esperar dos años o más para contar citaciones, en apenas una semana los intercambios vía Twitter, Facebook, Linkedin y otros sitios, pueden prever el impacto específico de un artículo, y no de la revista donde fue publicado.

Voy a rescatar aquí algunas partes del texto (la traducción es mía, disculpen por posibles errores de interpretación):

El Manifiesto menciona tres métodos o indicadores de medición y evaluación de la ciencia que están fallando:

El peer-review: que ha servido pero que comienza a estar obsoleto. Es lento, muchas veces no es realizado de forma responsable. Además, dado que la mayoría de los trabajos son finalmente publicados en alguna parte, la revisión por pares no limita el volumen de la investigación.
Las herramientas de recuento de citas: son útiles pero no suficiente. Las métricas como el índice h son incluso más lentas que la revisión por pares. Muchos trabajos influyentes pueden permanecer sin citarse. Estas métricas son acotadas, descuidan el impacto fuera de la academia, y también ignoran el contexto y las razones de la citación.
El factor de impacto (FI): que mide el promedio de citas por artículo de revistas. A menudo se utiliza incorrectamente para evaluar el impacto de los artículos individuales. Además es preocupante que los detalles exactos de cómo funciona son un secreto comercial.

Métricas del mañana: métricas alternativas

Cada vez son más los académicos y científicos que están trabajando y compartiendo sus trabajos en la web. Los blogs, las redes sociales, los gestores de referencias son algunas de las herramientas que están usando para publicar y compartir sus producciones.

Estos nuevos medios reflejan y transmiten el impacto académico: los artículos que antes morían en un estante ahora pueden compartirse en Mendeley, CiteUlike o Zotero; las conversaciones de pasillo sobre un reciente hallazgo se han trasladado a los blogs y a las redes sociales y ahora podemos “escucharlas”. El conjunto de datos que antes moría en la computadora personal de un investigador ahora se puede compartir en un repositorio digital y podemos consultarlo.

Los artículos aumentan cada vez más unidos a:

La puesta en común de la ciencia cruda como bases de datos, códigos y diseños experimentales
La publicación semántica o nanopublicación donde la unidad citable puede ser un tuit o un comentario en lugar del artículo entero.
La auto-publicación generalizada a través de los blogs, microblogging y los comentarios o anotaciones sobre el trabajo existente.

Las métricas alternativas son rápidas, pueden recopilar datos en días o semanas. No solo son abiertos los datos, también los algoritmos que los recogen y los interpretan.

¿Cómo se pueden mejorar las métricas existentes?

Con altmetrics, podemos hacer una revisión por pares basada en el crowdsourcing. En lugar de esperar meses las opiniones de los colegas, el impacto de un artículo podría ser evaluado por miles de comentarios y favoritos en una semana. En el corto plazo, es probable que complemente la tradicional revisión por pares. En el futuro, una mayor participación y mejores sistemas para la identificación de colaboradores expertos puede permitir la revisión por pares para ser ejecutados en su totalidad a partir altmetrics.

A diferencia del FI, las métricas alternativas reflejan el impacto del artículo en sí, no de la revista. A diferencia de las mediciones de citas, hace un seguimiento del impacto fuera de la academia y del impacto de fuentes que no son revisadas ??por pares.

Además su velocidad presenta la oportunidad de crear una recomendación en tiempo real y también podrían desempeñar un papel fundamental en las decisiones de financiamiento y promoción.

Hoja de ruta para las altmetrics

Los diseñadores de aplicaciones deben seguir construyendo y mejorando las herramientas y sistemas, desarrollando métodos para detectar malos usos y la forma de repararlos y crear métricas para el uso y la reutilización de los datos. En última instancia, las herramientas deben utilizar los datos semánticos y preguntarse «cómo y por qué?» además de «¿cuántos?»

Las métricas alternativas están en sus primeras etapas; muchas preguntas deben ser respondidas. Pero teniendo en cuenta la crisis que enfrentan los sistemas de medición existentes y la evolución de la comunicación académica, la velocidad, la riqueza, y la amplitud de éstas métricas resultan una buena inversión.

Herramientas

En el sitio también hay una lista de herramientas como ImpactStory, ReaderMeter, ScienceCard, PLoS impact explorer, PaperCritic y Crowdometer, las cuales comentaré en mi próximo post.