Les 8 et 9 juin derniers, j’ai assisté au colloque qu’organisait l’INSHS sur l’évaluation des productions scientifiques (programme et présentation disponibles ici). On y a évidemment beaucoup parlé de bibliométrie, notamment de ses limites et des risques que cela engendre lorsqu’elle est utilisée dans le contexte d’une évaluation stratégique. Ce point est particulièrement crucial pour des disciplines en déficit de représentativité dans les outils utilisés ou par l’absence d’outil de mesure, pour les ouvrages par ex.
Le manque de visibilité des productions SHS dans les index de citations est illustrée par JournalBase, gros travail de recensement des revues construit à partir des données du Web of Science (Thomson Reuters), de Scopus (Elsevier), des listes d’autorité ERIH (Europe) et AERES (France), et désormais interrogeable via une plate-forme : http://journalbase.cnrs.fr/. L’analyse du contenu montre que, sur les 10756 titres répertoriés, moins de 10% (9,6%) sont présents dans les 4 listes soient 1033 titres : un large spectre est donc non représenté. Ce sont les listes de l’AERES qui comprennent le plus de revues alors que celles de l’ERIH semblent plus homogènes sur le plan de la répartition géographique. Les revues françaises sont clairement sous-représentées dans les index de citation.
A noter que les listes ERIH ont été incorporées dans Scopus, doublant ainsi le nombre de titres en SHS dans cette base.
A propos des listes ERIH, le classement en ABC, (très mal) vécu comme hiérarchique, a été relooké en :
- NAT : publications européennes reconnues par les pairs, citées régulièrement
- INT : publications internationales. La catégorie est subdivisée en :
INT 1 : haute visibilité, influente, citées régulièrement
INT2 : visibilité significative
- W : nouvelles revues
(traduction en français par mes soins, n’hésitez pas à aller voir la présentation).
Intéressant aussi de savoir que l’histoire, la linguistique et la littérature sont assez mal couvertes par ces listes.
Pour les listes AERES, il est question d’une refonte méthodologique des indicateurs, pour les revues mais aussi pour les actes de colloque et les ouvrages. Parmi les critères qui peuvent être pertinents pour évaluer une revue, on peut noter la présence en ligne, l’existence de résumés en anglais, la diversité des auteurs.
Le libre accès est présenté comme offrant la possibilité d’une évaluation au niveau article : les stats de téléchargement peuvent donner un indicateur, à condition que cela soit accessible bien sûr (et pas trafiqué, ce qui, à mon avis, est moins sûr, il existe des stratégies qui peuvent biaiser les données).
Autre approche pour affiner les indicateurs : aller au-delà de la seule publication et recenser toutes les activités du chercheur. C’est ce que propose l’outil RIBAC «formulaire normalisé très complet, descriptif de l’activité des chercheurs en sciences humaines et sociales. Les chercheurs le complètent en ligne, via le web avec un accès sécurisé. Les informations recueillies sont gérées dans une base de données et permettent la construction d’indicateurs sur l’ensemble des activités des chercheurs (publications, enseignement, thématiques de recherche, participations aux congrès, programmes de recherche, outils employés, activités éditoriales, activités d’administration, de transfert et de valorisation, en bref, toute action de recherche, d’enseignement et de transmission de la culture scientifique). Cet outil constitue également un outil personnel pour le chercheur pour gérer, diffuser et capitaliser ses activités et publications. ».
La prépondérance de l’anglais a été aussi très souvent pointée/déplorée : elle entraine une sur-valorisation des publications anglo-saxonnes, au détriment des revues qui ne publient pas en anglais. A terme, c’est la « biodiversité » des revues qui est menacée (le terme a été employé). Pour info : 14 langues ont été répertoriées dans l’enquête RIBAC 2009 (voir aussi billet sur ce blog sur les langues des publis dans Hal-SHS).
D ’une manière générale, il apparaît essentiel aux yeux de tous que les indicateurs ne doivent pas être séparés des arguments qui ont conduits à les attribuer.