La recherche à l'épreuve des chiffres, Le Monde, 22 avril 2009
Jorge Hirsch, professeur de physique théorique à l'université de Californie à San Diego, n'a pas que des amis parmi ses pairs. Son nom est même vraisemblablement maudit, plusieurs fois par jour, dans des laboratoires du monde entier - sans distinction de discipline. Son forfait ? Avoir concocté, en 2005, un indice chiffré réputé capable de mesurer objectivement l'activité des chercheurs et des laboratoires. C'est le h-index, ou indice de Hirsch. Partout dans le monde, les tutelles administratives de la recherche y font appel de manière croissante pour évaluer scientifiques et laboratoires. La France ne fait pas exception, et cette tendance, nouvelle, compte au nombre des bouleversements récents qui inquiètent le monde de la recherche.
Depuis qu'il a été conçu, le h-index s'est imposé comme le plus connu et le plus utilisé des indicateurs bibliométriques. Son calcul est fondé sur le nombre d'articles produits et le nombre de fois qu'ils sont cités par d'autres travaux. En théorie, l'indice imaginé par Jorge Hirsch tient compte de la productivité brute du chercheur, mais aussi de la qualité de sa production - censée être reflétée par le nombre de travaux ultérieurs s'appuyant sur elle...
Pour comprendre les réticences des chercheurs à l'utilisation sans précaution du h-index - comme d'ailleurs des autres indices bibliométriques - il faut s'intéresser à la mécanique subtile de toute activité de recherche : celle des publications scientifiques. Plusieurs dizaines de milliers de revues savantes - généralement inconnues du grand public - publient les travaux de chaque communauté. Chaque discipline a "ses" revues. "Il y a un effet mécanique immédiat et évident, prévient un physicien. Si par exemple vous faites de la bonne vieille physique des semi-conducteurs, vous appartenez à une communauté immense, et vos travaux ont vingt fois plus de chances d'être cités que si vous faites de la physique des fluides quantiques, qui rassemble bien moins de monde..." Dans sa proposition de 2005, Jorge Hirsch lui-même avait d'ailleurs mis en garde sur ce biais majeur.
LES SCIENCES SOCIALES EN MARGE
Certaines disciplines, singulièrement dans le domaine des sciences humaines et sociales (SHS) - souvent publiées dans des revues non anglophones -, n'ont même aucune existence du point de vue bibliométrique. "Leurs" revues ne sont en effet souvent même pas dûment prises en compte par les outils qui permettent le calcul des indicateurs...
Plusieurs bases de données en ligne indexent la littérature scientifique : Google Scholar, Scopus, Web of Science (WoS)... Et chacune le fait à sa manière. En 2007, la commission d'évaluation de l'Institut national de la recherche en informatique et en automatique (Inria) avait fait l'expérience de calculer le h-index de plusieurs chercheurs sur la foi de ces différentes bases de données. Le résultat pouvait varier de un à dix. L'un des chercheurs s'était ainsi vu attribuer un indice de 2 par WoS et de 25 par Google Scholar...
Dans leur grande majorité, les indices bibliométriques tiennent aux revues. Plus celles-ci sont prestigieuses - c'est-à-dire plus leur "facteur d'impact" est élevé - plus les travaux qui y sont publiés ont de chances d'être repris et cités. Quelques revues anglo-saxonnes, dites généralistes, se détachent du lot, avec des facteurs d'impact considérables : Nature, Science, ou encore les Proceedings of the National Academy of Sciences... Tout chercheur qui y publie ses travaux est assuré de faire faire un saut important à ses indices bibliométriques, h-index en tête. Or derrière ces revues, il y a des éditeurs, soumis comme chacun à des effets de mode ou à des tropismes culturels. Pour "faire un Nature" mieux vaut être aujourd'hui climatologue ou généticien que spécialiste de l'Age du fer en France... De même qu'un éditeur de la revue britannique Nature sera sans doute plus enclin à accepter des travaux sur les mégalithes de Stonehenge (en Angleterre) que sur des fouilles de sauvetage à Gondole, dans le Puy-de-Dôme...
D'autres biais existent. Car les algorithmes qui opèrent ces calculs d'indices ne se soucient guère de questions qualitatives. Ainsi, un article mauvais et inutilement polémique sera très cité... mais pour être réfuté - ce dont les algorithmes ne tiennent bien sûr pas compte. Ce constat est valable dans les sciences dures comme dans les SHS. Les 55 articles de l'historien négationniste Robert Faurisson (selon le logiciel "Publish or Perish", utilisant la base de Google Scholar) garantissent ainsi à son auteur un h-index de 5. C'est-à-dire autant ou plus que nombre d'historiens et de philologues reconnus au niveau mondial pour la qualité de leurs travaux - non pour leur odeur de soufre.
L'évaluation quantitative de la recherche porte d'autres écueils. Les jeunes chercheurs peuvent être tentés par ce que les Anglo-Saxons appellent le salami-slicing, ou saucissonnage. Il est en effet bien souvent possible de fragmenter ses travaux en plusieurs contributions complémentaires et à les faire publier séparément. L'intelligibilité générale du propos y perd, mais le h-index y gagne... De même que l'on voit ses indices monter lorsque l'on cite systématiquement ses propres travaux...
En outre, à l'aune des indices, il devient risqué pour les chercheurs de s'aventurer en territoire peu défriché, lorsqu'il n'est pas sûr que la curiosité produira rapidement des résultats publiables. "Pour les jeunes, l'effet est incroyablement pervers, confie un biologiste. Car même si la majorité d'entre nous déteste le principe du h-index et même si on nous répète que les évaluations ne sont pas uniquement le fait d'indices bibliométriques, tout le monde connaît les siens et a un oeil dessus." "Peut-être par narcissisme, conclut cet immunologiste, peut-être parce qu'il faut savoir ce que les autres vont penser de vous..."
Stéphane Foucart
