Les indicateurs bibliométriques et leurs alter egos, retour sur l’atelier #OAI8 du CERN

Le facteur d’impact doit laisser le champ libre à d’autres mesures, mais lesquelles ?

Du 19 au 21 juin se tient au CERN un workshop sur les innovations dans la communication scientifique (#OAI8). La session qui s’est tenue le premier jour porte sur les indicateurs d’évaluation de la recherche. Elle donne un aperçu général des nouvelles mesures et des nouveaux types de données qui devraient aujourd’hui être pris en compte dans l’évaluation de la recherche.

Du 19 au 21 juin se tient au CERN un workshop sur les innovations dans la communication scientifique (#OAI8). La session qui s’est tenue le premier jour porte sur les indicateurs d’évaluation de la recherche. Elle donne un aperçu général des nouvelles mesures et des nouveaux types de données qui devraient aujourd’hui être pris en compte dans l’évaluation de la recherche.

Cet article est une traduction de « Metrics and their alter-egos, at #OAI8 ». Il a été traduit de l’anglais vers le français par Timothée Froelich.

 

(Crédits image : Flickr/sickmouthy)

En ce moment même au CERN (Genève) a lieu l’édition 2013 du workshop sur les innovations dans la communication scientifique (#OAI8). A l’ordre du jour, un grand éventail de sujets, du gold open access à la sémantique des données et des documents, en passant par les sciences de l’art et les sciences humaines et sociales. Hier, pour l’ouverture de l’événement, était programmée une très intéressante session plénière dédiée à un sujet décidemment toujours brûlant : les indicateurs bibliométriques. Les trois intervenants, Johan Bollen, Euan Adie et Jelte Wicherts, ont lancé une réflexion sur les méthodes efficaces d’évaluer les chercheurs et leurs travaux en même temps que les promesses et les écueils qu’ils recèlent. Grâce au live-tweet (sur le hashtag #OAI8) organisé par les participants, nous avons pu suivre le débat en temps réel. Vous trouverez ci-dessous un aperçu des réflexions sur les indicateurs bibliométriques menées durant la conférence.

Impact is a social construct & can be measured in many diff ways: citation data, surveys, awards, funding decisions, readership, ILL #oai8

 

Jolan Bollen (@jbollen), directeur associé à l’Indiana University School of Informatics and Computing, a ouvert la session sur le thème de l’impact du chercheur. Beaucoup de gens, dont Jolan Bollen, pensent qu’en général, les universitaires savent quels chercheurs ou quelles revues font office de références dans leur domaine d’expertise. « L’impact existe dans la communauté universitaire, et ne renvoie absolument pas à ce que le facteur d’impact mesure », explique dans un tweet Ellen Collins, chercheur au Research Information Network. Alors comment estimer l’influence authentique mais pourtant nébuleuse des scientifiques, de leurs articles et des revues qui les publient ? Il existe divers moyens, affirme Ellen Collins : mener des enquêtes directement auprès des scientifiques, par le biais de récompenses, calculer les corrélations d’impact (financements, publications, citations) et considérer certaines données qui témoignent de leurs comportements sur le net.

 

De telles données en ligne existent sous plusieurs formes et représentent probablement autant de communautés dans le cycle de la production et de la consommation de la recherche. Ces données peuvent être transformées en échelles de mesures, a confié Ellen Collins. Celles qui reflètent les véritables activités en ligne de la communauté scientifique (lectorat, téléchargements, mentions sur Twitter, etc.) « pourraient devenir les indicateurs d’impact les plus précis », a tweeté Peter Morgan, bibliothécaire médical et scientifique. « Les citations sont peut-être un simple dispositif publique pour encourager l’approbation (en général), mais les données comportementales comprennent ce que le chercheur fait en réalité. » Fait intéressant, Johan Bollen a présenté un graphique comparant les facteurs d’impact des revues avec les classements de leurs pages sur Google : la corrélation est très peu convaincante.

#PLOSONE: Do #Altmetrics Work? Twitter and Ten Other Social Web Services http://t.co/sBlrmiWKij via @jbollen #oai8

Est-ce que l'#Altmetrics marche ? Twitter et dix autres services web sociaux http://dx.plos.org/10.1371/journal.pone.0064841 … via @jbollen #oai8

 

Une corrélation qui montre quelque crédibilité est celle du rapport entre les mentions Twitter et les téléchargements d’articles, un fait largement retweeté par les participants. Les évaluations multi-critères à grande échelle représentent une mesure de l’impact de la recherche très intéressante. Plusieurs projets, comme MESUR et COUNTER, tentent de mieux les définir et de normaliser la façon dont elles sont estimées.

Mais face à la multitude de tels indicateurs altmétriques, prudence est mère de sûreté. Ils peuvent calculer différentes formes d’impact et certains seront plus précis que d’autres. En outre, d’après le deuxième intervenant de la conférence, Euan Adie, fondateur d’altmetric.com, l’attention et l’impact sont deux choses différentes, ce qui distingue la collecte de données (comme compter le nombre de mentions Twitter) des indicateurs bibliométriques. « Il n’existe pas encore de bons indicateurs altmétriques », a posté Herbert Van de Sompel, de la Bibliothèque de recherche au Laboratoire national de Los Alamos.

« Les indicateurs altmétriques ne peuvent pas remplacer les décomptes de citations », a tweeté Ellen Collins, mais ils sont bien utiles pour faire une estimation de la qualité et pour pousser les gens à parler de leurs travaux. » Kara Jones, bibliothécaire de recherche à l’Université de Bath, a observé qu’« il existe un grand nombre d’indicateurs bibliométriques qui finissent par influencer ce qu’ils calculent. Cela implique-t-il que les indicateurs évolueront sans arrêt ? » Sans aucun doute, tout comme les comportements des chercheurs, qui sont de plus en plus nombreux à diffuser leur travaux en ligne. 

 

Articles connexes sur MyScienceWork:

Les indicateurs de l'évaluation de la recherche : de l'impact factor à l'h-index
http://www.mysciencework.com/fr/MyScienceNews/6290/les-indicateurs-de-l-evaluation-de-la-recherche-de-l-impact-factor-a-l-h-index

L'édition scientifique : son modèle, ses scandals
http://www.mysciencework.com/fr/MyScienceNews/2524/l-edition-scientifique-son-modele-ses-scandales

 

Pour en savoir plus :

Mesurer l'impact de vos recherches avec les nouvelles technologies : encore du chemin avant de tout comprendre, http://goo.gl/Es5mJ

COUNTER - Counting Online Usage of Networked Electronic Resources
http://projectcounter.org/

MESUR - Studying science from large-scale usage data
http://mesur.informatics.indiana.edu/?page_id=2