De l’évaluation des productions scientifiques en SHS

Les 8 et 9 juin derniers, j’ai assisté au colloque qu’organisait l’INSHS sur l’évaluation des productions scientifiques (programme et présentation disponibles ici). On y a évidemment beaucoup parlé de bibliométrie, notamment de ses limites et des risques que cela engendre lorsqu’elle est utilisée dans le contexte d’une évaluation stratégique. Ce point est particulièrement crucial pour des disciplines en déficit de représentativité dans les outils utilisés ou par l’absence d’outil de mesure, pour les ouvrages  par ex.

Le manque de visibilité des productions SHS dans les index de citations est illustrée par JournalBase, gros travail de recensement des revues construit à partir des données du Web of Science (Thomson Reuters), de Scopus (Elsevier), des listes d’autorité ERIH (Europe) et AERES (France), et désormais interrogeable via une plate-forme : http://journalbase.cnrs.fr/. L’analyse du contenu montre que, sur les 10756 titres répertoriés, moins de 10% (9,6%)  sont présents dans les 4 listes soient 1033 titres : un large spectre est donc non représenté. Ce sont les listes de l’AERES qui comprennent le plus de revues alors que celles de l’ERIH semblent plus homogènes sur le plan de la répartition géographique. Les revues françaises sont  clairement sous-représentées dans les index de citation.

A noter que les listes ERIH ont été incorporées dans Scopus, doublant ainsi le nombre de titres en SHS dans cette base.

A propos des listes ERIH, le classement en ABC, (très mal) vécu comme hiérarchique, a été relooké en :

  • NAT : publications européennes reconnues par les pairs, citées régulièrement
  • INT : publications internationales. La catégorie est subdivisée en  :

INT 1 : haute visibilité, influente, citées régulièrement

INT2 : visibilité significative

  • W : nouvelles revues

(traduction en français par mes soins, n’hésitez pas à aller voir la présentation).

Intéressant aussi de savoir que l’histoire, la linguistique et la littérature sont assez mal couvertes par ces listes.

Pour les listes AERES, il est question d’une refonte méthodologique des indicateurs, pour les revues mais aussi pour les actes de colloque et les ouvrages. Parmi les critères qui peuvent être pertinents pour évaluer une revue, on peut noter la présence en ligne, l’existence de résumés en anglais, la diversité des auteurs.

Le libre accès est présenté comme offrant la possibilité d’une évaluation au niveau article : les stats de téléchargement peuvent donner un indicateur, à condition que cela soit accessible bien sûr (et pas trafiqué, ce qui, à mon avis, est moins sûr, il existe des stratégies qui peuvent biaiser les données).

Autre approche pour affiner les indicateurs :  aller au-delà de la seule publication et recenser toutes les activités du chercheur. C’est ce que propose l’outil RIBAC «formulaire normalisé très complet, descriptif de l’activité des chercheurs en sciences humaines et sociales. Les chercheurs le complètent en ligne, via le web avec un accès sécurisé. Les informations recueillies sont gérées dans une base de données et permettent la construction d’indicateurs sur l’ensemble des activités des chercheurs (publications, enseignement, thématiques de recherche, participations aux congrès, programmes de recherche, outils employés, activités éditoriales, activités d’administration, de transfert et de valorisation, en bref, toute action de recherche, d’enseignement et de transmission de la culture scientifique).  Cet outil constitue également un outil personnel pour le chercheur pour gérer, diffuser et capitaliser ses activités et publications. ».

La prépondérance de l’anglais a été aussi très souvent pointée/déplorée : elle entraine une sur-valorisation des publications anglo-saxonnes, au détriment des revues qui ne publient pas en anglais. A terme, c’est la « biodiversité » des revues qui est menacée (le terme a été employé). Pour info : 14 langues ont été répertoriées dans l’enquête RIBAC 2009 (voir aussi billet sur ce blog sur les langues des publis dans Hal-SHS).

D ’une manière générale, il apparaît essentiel aux yeux de tous que les indicateurs ne doivent pas être séparés des arguments qui ont conduits à les attribuer.

 

 

 

Symposium Koha 2011 : deux journées avec de tout, pour tous

(màj 24/06/2011 : les podcasts sont en ligne ici)

Le Symposium Koha 2011 (voir détails ici et ) s’est tenu à Lyon les 26 et 27 mai derniers à l’Université Lumière Lyon 2, sur le site des Berges du Rhône. Chapeau bas à l’équipe organisatrice, composée de membres du SCD Lyon 2 et de l’association KohaLa.

Le programme très riche et modulaire a permis aux quelques 150 participants de composer ces 2 journées à la carte. Parmi les nombreuses conférences, ateliers et autres retours d’expérience, chacun pouvait ainsi trouver son compte: nouveaux entrants, intérmédiaires ou vétérans, de profil technique, gestionnaire ou non.

Je me suis personnellement concocté un programme correspondant à mon profil de gestionnaire/administrateur en fin de projet de réinformatisation (quand les opérations d’envergure sont passées et qu’il reste maintenant à raffiner). Ce billet donne un coup de projecteur sur des interventions qui m’ont particulièrement marquée et donnera peut-être l’envie d’une séance de rattrapage quand les vidéos et supports seront mis en ligne.

Le libre, kézako?

Pas spécifiquement consacrée à Koha, la conférence « L’open source et open data: le socle de la documentation de l’avenir » constituait une bonne entrée en matière, bien que probablement plus utile aux néophytes du mouvement qu’aux convertis. Vincent Mabillot y exposait de manière synthétique le contexte d’apparition du libre, les plus, les moins, les clés et les enjeux, et plus généralement la philosophie et un certain état d’esprit du libre.

Koha a 10 ans, et ce n’est pas fini!

« Je fais régulièrement cette présentation de Koha. Qui ne la connait pas encore? », c’est à peu près par cette question que Paul Poulain a démarré son intervention « Histoire de Koha, presentation de la 3.4 ». Le nombre de mains qui se sont levées (dont la mienne) a pourtant prouvé la pertinence d’une telle présentation et révèle peut-être l’arrivée continue de nouveaux entrants ou d’entrants potentiels.

Ce sont ainsi 10 ans d’évolutions du logiciel et de la communauté qui ont été retracés. Je reste très impressionnée par le processus qualité engagé, gage de véritable consolidation des activités et de stabilité. C’était aussi l’occasion de rappeler le nouveau mode de sortie périodique au rythme d’une version tous les 6 mois et de reprendre conscience du succès mondial de Koha, parfois à grande échelle, comme le prouve l’organisation de la KohaCon 2011 à Thane, en Inde.

A titre personnel, en France, rien qu’entre 2009 et aujourd’hui, il me semble que le paysage a bien changé aussi: nouveaux acteurs, extension du périmètre d’application, enrichissement en un progiciel complet.

Plus concernée dans mon travail avec Koha par les question de multilinguisme et d’ergonomie, je ne développerai pas ici les nouvelles fonctionnalités proposées par la version 3.4.

Lors de cette présentation, on aura toutefois noté l’intérêt aigu de la communauté pour tout nouveau développement, toute nouvelle fonctionnalité et son prompt reversement dans la version communautaire. Ceci fait ressortir un point abordé plusieurs fois lors de ces journées: le fort besoin d’affichage ou de coordination des projets et la plus ou moins bonne volonté qui accompagne cette démarche (signalement des développements, coopération, implication dans la communauté internationale).

En plus de l’usage de l’anglais, présenté comme un obstacle, on peut aussi s’interroger sur le caractère de la communauté des utilisateurs qui semblent encore privilégier la représentation à l’implication individuelle (transition toute faite avec la table ronde qui a suivi, voir ci-dessous).

Le libre: nouvelles formes de relations entre acteurs

A voir absolument dès mise en ligne. Avec beaucoup de tact et d’élégance, François Elie a assuré l’animation de la table ronde « Travailler avec des professionnels du libre » et géré les échanges avec la salle. De nombreux thèmes ont été abordées, parmi lesquels:

  • Spécificités des marchés publics dans le cas de l’open source (fourniture de services et non plus de fournitures). Multiplicité des appels d’offre (ouverts, semi-ouverts, fermés). De bons repères ici.
  • Lors des commandes de développements, difficultés pour les donneurs d’ordre de formuler les clauses qui garantiront le reversement et l’enrichissement des versions communautaires. Difficultés possibles voire impossibilité pour les maîtres d’œuvre de tenir de tels engagements
  • Décalage entre communauté des utilisateurs et club utilisateur. Permanence des modes de fonctionnement de ce dernier. Comme Pascale Nalon le soulignait lors de l’ouverture, la frontière s’efface entre utilisateur métier et développeur, même si la barrière existe encore
  • Coopétition. Le terme qui caractérise un nouveau type de relations entre développeurs/prestataires de service. Beaucoup de réactions sur ce que recouvre cette notion.
  • Très intéressante considération finale sur l’offre SaaS (merci à Marlène pour l’acronyme correct) qui tend à se répandre: libre ou pas, le résultat semble le même, cela peut conduire au dévoiement du principe d’indépendance du libre

Utiliser Koha c’est bien, savoir ce qu’on fait avec et le quantifier c’est mieux

L’atelier « BIRT/Jasper report » aura particulièrement intéressé les gestionnaires, et tous les utilisateurs soucieux de produire des rapports réguliers, pointus et bien présentés.  On peut saluer la présentation impeccable de BIRT par Françoise Barré, en attendant impatiemment la mise en ligne de ses supports de tutoriel.

Quand Koha s’inscrit dans une démarche organisationnelle

Très enrichissante, la présentation de Jérôme Pouchol « Koha, outil au service du changement » a laissé entrevoir l’énorme travail de réflexion innovante et d’accompagnement qui peuvent (doivent?) être mis en œuvre, avec Koha vu à la fois comme une fin mais surtout un moyen dans l’application d’une nouvelle politique documentaire.

L’occasion de souligner, comme plus tôt dans la journée, l’implication des membres du personnel à tous les niveaux, par exemple par la création de référents thématiques et fonctionnels. On peut aussi citer leur très souvent nécessaire montée en compétence, et même de nouveaux modes de distribution des responsabilités, ce qui nécessite toutefois une très bonne définition des tâches et des rôles. Le fonctionnement en mode projet permanent et évolution perpétuelle m’a aussi semblé intéressant.

A citer en exemple en matière de conduite du changement peut-être?

Et enfin

A lire: le billet de Marlene’s corner, qui donne un point de vue alternatif sur le même programme.