Le classement de Shanghaï, étude mal menée, calcul mal fait, par Jean-Charles Billaut, Denis Bouyssou, Philippe Vincke - Le Monde,16 novembre 2009
L'édition 2009 du désormais célèbre classement de Shanghaï est disponible depuis quelques jours. Comme chaque année, elle suscite de nombreux commentaires et réactions. En France, on se désole tout particulièrement de la faible performance de nos universités comparée aux grandes universités américaines ou britanniques. Mais quel crédit faut-il accorder à ce classement ? Après tout, nous sommes habitués à voir paraître régulièrement des classements des villes où il fait "le mieux vivre", des "meilleurs vins", des voitures les plus performantes, etc. Confrontés à de tels classements, on est partagés entre une légitime curiosité et un sentiment de malaise. Existe-t-il en effet une manière claire de définir la ville où il fait "le mieux vivre" indépendamment de l'âge, la situation familiale, les revenus, la culture de la personne à qui l'on s'adresse ? La question de la "meilleure université" au monde nous semble au moins aussi problématique.
Les premières questions à se poser avant d'analyser le classement de Shanghaï sont simples mais néanmoins fondamentales : "A qui ce classement est-il destiné ?", "A quoi ce classement doit-il et peut-il servir ?". A ignorer ces questions, on risque fort de prendre ce classement comme une "vérité" qui pourrait servir de base à des propositions d'actions, voire de réformes. Mais on a le droit de penser qu'un étudiant choisissant une université pour y effectuer un échange semestriel de type Erasmus, un chercheur en médecine désirant intégrer un groupe de recherche dynamique, un recruteur à l'affût de futurs cadres à haut potentiel, ou un ministre évaluant l'efficacité d'un système national d'enseignement supérieur n'utiliseront pas, ou plutôt ne devraient pas utiliser, les mêmes critères.
Le classement de Shanghaï semble offrir une réponse universelle à une question mal définie et qui n'a été posée par personne. Il ne dit pas à qui il s'adresse ni à quoi il peut servir. Dès lors, il suscite une aura mystérieuse qui n'est méritée en aucune façon. En dehors de la difficulté que nous venons de mentionner, ce classement souffre en plus de trois problèmes majeurs.
Tout d'abord, les entités évaluées ne sont pas définies de manière précise. Dans beaucoup de pays européens, l'organisation de l'enseignement supérieur est tributaire d'une longue histoire et l'organisation qui en résulte est complexe : on y trouve des universités mais aussi des grandes écoles et des organismes de recherche. Dans un tel contexte, ce qui doit compter comme une "université" ne s'impose pas de manière évidente et demande une connaissance fine du paysage institutionnel : le Collège de France, institution prestigieuse mais qui ne délivre aucun diplôme et n'a aucun étudiant, figurait dans les classements de Shanghaï de 2003 à 2005. De plus, nos institutions d'enseignement supérieur ont subi de nombreuses modifications au cours de leur histoire.
On sait qu'après 1968, l'université de Paris (comme beaucoup d'autres) a été découpée en 13 universités de moindre taille, ce qui devait en faciliter la gouvernance. Mais cette division est préjudiciable dans le classement de Shangaï dans lequel 5 des 6 critères utilisés sont des critères de comptage (prix Nobel, médailles Fields, articles référencés, chercheurs les plus cités) et sont donc directement influencés par la taille de l'institution. Un calcul simple montre que si on rétablissait l'université de Paris dans ses frontières d'avant 1968, on créerait une institution qui figurerait parmi les dix meilleures universités mondiales selon le classement de Shangaï. Aurait-on pour autant amélioré la capacité de notre pays à produire des recherches de très haut niveau ? Clairement non. Enfin, une part très significative de la recherche française se fait au sein d'organismes de recherche tels que le CNRS ou l'Inserm. Les recherches menées au sein de ces organismes ne contribuent pas à améliorer la position de nos universités dans le classement de Shangaï. Doit-on en conclure qu'il faut supprimer ces organismes et affecter leurs ressources et leur personnel aux universités ? En fusionnant les 13 universités parisiennes et en leur affectant le personnel et des crédits des laboratoires de recherche franciliens dépendant du CNRS ou de l'Inserm, on aboutirait à une institution qui serait en tête dans le classement de Shangaï… sans pour autant avoir augmenté le potentiel scientifique de notre pays et en ayant créé une organisation gigantesque dont la gouvernance serait clairement très problématique.
Mentionnons ensuite que les critères utilisés par le classement de Shangaï sont tous d'apparence "objective". Il suffit, nous dit-on, de compter les prix Nobel, les médailles Fields, les chercheurs les plus cités ou les articles référencés dans les bases de données. Mais le diable se cache dans les détails. Comment pondérer le prix Nobel de chimie de Marie Curie datant de 1903 par rapport au prix Nobel de physique d'Albert Fert reçu en 2007 ?
Que faire des prix Nobel attribués à des personnes travaillant dans des institutions n'existant plus, par exemple suite aux partitions intervenues après 1968 ? Est-il normal que l'appartenance d'Albert Fert à une unité mixte de recherche diminue de moitié la valeur de son prix Nobel pour son université (Le Monde, 27 août 2007) ? Est-il normal qu'un article publié dans la prestigieuse revue Nature ait plus d'impact dans le classement s'il est signé de douze auteurs plutôt que de deux seulement ? Est-il normal de tenir pour acquis que la science se divise "naturellement" en 21 catégories (dont 6 sont liées à la médecine et à la biologie) qui serviront à déterminer les chercheurs les plus cités ? Est-il normal de penser qu'un article d'économie doit avoir un poids deux fois plus grand qu'un article de chimie ? Derrière l'apparente objectivité se cachent un grand nombre d'options toutes plus ou moins contestables ou arbitraires. Comme les données utilisées ne sont pas rendues publiques, ce qui s'écarte sensiblement des règles de "bonnes pratiques" en matière d'évaluation, il est impossible non seulement à une institution de vérifier que les données la concernant ne sont pas erronées mais encore d'apprécier l'impact sur le résultat final de tous les éléments que l'on vient de mentionner.
Enfin, ce classement est établi annuellement. Mais on sait qu'une thèse de doctorat dure trois ans, que les contrats entre les universités et l'Etat sont quadriennaux, que la commission du titre d'ingénieur habilite les écoles d'ingénieurs pour des périodes de six ans. Même le très discutable impact factor des revues scientifiques est calculé sur une période de deux ans. Dans ces conditions, il est clair que la variation de la position d'une institution d'une année sur l'autre reflète bien plus vraisemblablement des effets dus au hasard (il est rare qu'une institution reçoive un prix Nobel tous les ans !) que de réels changements de tendance. De plus, la manière d'agréger l'information dans le classement de Shangaï à la propriété très curieuse de faire dépendre la position relative de deux institutions non seulement de leurs propres performances mais également de celles des institutions les mieux classées sur chacun des critères utilisés. Il semble dès lors sage de s'abstenir de commenter de telles variations !
Le classement de Shanghaï était – semble-t-il – très attendu par tout le monde, journalistes, étudiants, chercheurs et enseignants-chercheurs, présidents d'université, personnages politiques… comme s'il était universel et qu'il avait le pouvoir de s'adresser à tous. La moindre augmentation ou le moindre recul dans le classement donnent lieu à des commentaires des uns et des autres alors que ces changements ne doivent ni servir à s'enorgueillir ni à se sentir humilié. Il s'agit là seulement du résultat d'une étude mal menée, conduisant à un calcul mal fait, sur des données peu fiables et non vérifiables. Nos universités et nos organismes de recherche ne sont certainement pas les meilleurs du monde sur tous les critères possibles. Mais juger notre système d'enseignement supérieur et vouloir le réformer sur la base d'un tel classement serait néanmoins clairement une aberration.
Jean-Charles Billaut, Polytech'Tours, directeur du laboratoire d'informatique de l'université de Tours, président de la Société française de recherche opérationnelle et d'aide à la décision en 2006 et 2007.
Denis Bouyssou, CNRS-Lamsade et université Paris-Dauphine, directeur de recherche, président de la Société française de recherche opérationnelle et d'aide à la décision de 2000 à 2002.
Philippe Vincke, recteur de l'Université libre de Bruxelles.
