b) Les lacunes de la bibliométrie
(1) Le rôle central de la bibliométrie
Dans le classement de Shanghai, 60 % de la note finale d'un établissement dépend d'indicateurs bibliométriques, contre 20 % dans le TH-QS.
Le classement de Shanghai se fonde sur les bases de l'Institute for scientific information (ISI) de Thomson-Reuters, tandis que le classement TH-QS utilise les bases Scopus de l'éditeur Elsevier. Le premier comptabilise plutôt le nombre brut de publications référencées, tandis que le second s'intéresse aux citations, rapportées à la taille de l'université.
D'autres bases existent, par exemple Google Scholar , utilisée dans le cadre du classement Webometrics des universités les plus présentes sur le web.
|
LES BASES DE DONNÉES BIBLIOMÉTRIQUES La bibliométrie mesure la production scientifique par le nombre d'articles et de citations dans des revues scientifiques. La bibliométrie peut éventuellement prendre en compte d'autres types de publications (livres, actes de colloque, pages Internet), ainsi que les brevets, mais les classements existants se focalisent sur les articles. La base la plus utilisée est celle de l'Institute for scientific information (ISI), dont le « Web of knowledge » couvre 22.000 périodiques et qui est notamment spécialisée dans le domaine scientifique, par le biais du « Web of Science ». La base de données SCIE (Science Citation Index expanded) fait référence pour la bibliométrie dans les domaines des sciences de la matière et de la vie. C'est une base très sélective, considérée comme représentative pour les disciplines bien internationalisées. Sa représentativité est moins bonne dans les disciplines appliquées, de terrain, à forte tradition nationale, et dans les disciplines (notamment l'informatique) où une part importante des informations passe par d'autres canaux que l'article. L'ISI dispose aussi de bases couvrant les sciences humaines et sociales , la SSCI (social science citation index), et la AHCI (Arts & Humanities Citation Index) mais leurs couvertures sont partielles . Les bases de l'ISI sont utilisées dans le classement de Shanghai. Elles sont également employées en France par l'Observatoire scientifique et technique (OST), notamment pour le calcul des indicateurs de performance requis par la loi organique du 1 er août 2001 relative aux lois de finances (LOLF). Le classement anglais du TH-QS, qui était auparavant fondé sur les bases de l'ISI, utilise depuis 2007 une autre base, Scopus , qui référence 15.000 périodiques. Cette base est très lacunaire dans le domaine des sciences humaines et sociales . Quant à la base Google Scholar , créée en 2004 et adossée au moteur de recherche Google, elle est utilisée, par exemple, par le classement Webometrics des universités les plus présentes sur le web. Cette base est critiquée pour être moins précise que les deux précédents et pour ne pas diffuser d'information sur l'exhaustivité de ses sources et sur la fréquence de son actualisation. |
Certes, la bibliométrie a l'avantage d'être objective :
- elle repose sur des données vérifiables par tous et quantifiables (par opposition aux données issues de sondages) ;
- elle est d'origine extérieure aux universités (par opposition aux données déclaratives).
La bibliométrie souffre toutefois de nombreuses lacunes.
(2) Les limites de la bibliométrie
D'une part, aucune base de données bibliographique n'est exhaustive :
- toutes privilégient les articles sur les autres formes de publication, notamment les livres, ce qui met en valeur certaines disciplines plutôt que d'autres : les sciences humaines et sociales sont particulièrement désavantagées, mais aussi certaines disciplines scientifiques (ingénierie, informatique) qui produisent leurs résultats différemment (communication dans des colloques, dépôts de brevets,...) ;
- les bases favorisent nettement les chercheurs anglophones, puisque les articles référencés sont presque exclusivement en anglais. En conséquence, les disciplines internationalisées sont favorisées , là encore au détriment des sciences humaines et sociales ;
- le référencement des articles n'est pas uniformisé : tandis que les pays acclimatés de longue date à la pratique des classements se sont préoccupés depuis longtemps de référencer adéquatement leurs travaux, cette préoccupation n'est apparue que relativement récemment en France, ce qui conduit à une sous-évaluation de la production de nos universités.
D'autre part, la bibliométrie demeure une approximation des résultats de la recherche :
- les articles ne constituent évidemment pas le seul débouché de cette activité. Par ce biais, les dépôts de brevets sont notamment négligés ;
- les citations sont davantage des gages de visibilité que de qualité : si ces deux aspects vont souvent de pair, ce n'est pas une nécessité.
- la statistique générale d'un établissement peut être considérablement modifiée par la présence ou l'absence d'un seul chercheur, ce qui devrait inciter à ne pas sur-interpréter les résultats.
- Le nombre brut de publications ou de citations est intéressant, mais il devrait toujours être rapporté au nombre d'enseignants chercheurs . Le ratio de publications ou de citations par chercheur devrait lui-même être examiné au regard des moyennes dans la discipline considérée, comme le fait, en France, l'Observatoire des Sciences et Techniques (OST) et comme le fait le classement de Leiden.
Enfin, il faut observer que, si les bases bibliométriques constituent une source externe au milieu universitaire, ce qui est appréciable du point de vue de leur objectivité, elles répondent néanmoins à des préoccupations commerciales qui sont susceptibles d'affecter leurs contenus. Les bases sont la plupart du temps construites par des éditeurs (Thomson, Elsevier), qui ont élargi, au fil du temps, leur champ de référencement. Ces relations entre indexeurs et indexés sont sans doute inévitables, mais il serait souhaitable qu'elles soient plus clairement affichées et assumées.