EXAMEN EN DÉLÉGATION
Au cours de sa réunion du mercredi 2 juillet 2008 , tenue sous la présidence de M. Joël Bourdin, président , la délégation pour la planification a procédé à l'examen du rapport d'information de M. Joël Bourdin, président, rapporteur, sur le défi des classements dans l'enseignement supérieur.
En préambule, M. Joël Bourdin, président, rapporteur , a rappelé que les classements internationaux d'universités étaient aujourd'hui pris en compte comme des outils légitimes d'évaluation, y compris au plus haut niveau, puisque le Président de la République avait fixé l'objectif de placer deux établissements parmi les vingt premiers mondiaux, et dix parmi les cent premiers et que Mme Valérie Pécresse, ministre de l'Enseignement supérieur et de la recherche, avait par ailleurs plusieurs fois réaffirmé son souhait de profiter de la présidence française de l'Union européenne pour jeter les bases d'un classement européen des établissements d'enseignement supérieur. Par conséquent, il paraissait utile d'examiner la pertinence de cet outil d'évaluation des performances de nos établissements.
Plus généralement, M. Joël Bourdin, président, rapporteur , a jugé que le mythe de l'uniformité des établissements d'enseignement avait empêché l'émergence en France d'une véritable réflexion de fond sur la mesure, et sur la publicité, des performances individuelles des établissements.
Remarquant que l'intérêt des classements internationaux d'universités tenait davantage à leur effet mobilisateur qu'à leur valeur intrinsèque très discutable, il a néanmoins jugé que d'un « mal » pourrait surgir un « bien » : le succès des classements est en effet le symptôme du défaut d'information existant dans notre pays sur les performances de l'enseignement supérieur. Or la transparence pourrait être considérablement améliorée, dans des délais assez rapides, sans attendre la production d'indicateurs harmonisés européens, ce qui permettrait à la France d'être exemplaire.
M. Joël Bourdin, président, rapporteur , a ensuite indiqué que son travail se fondait sur plusieurs auditions, notamment de dirigeants d'établissements, et sur trois séries de questionnaires transmis d'une part, à la Ministre de l'Enseignement supérieur et de la recherche, d'autre part, aux ambassades de France de huit pays partenaires, et enfin, à 106 dirigeants d'établissements d'enseignement supérieur français. Il a précisé que l'enquête menée auprès d'eux montrait notamment que les classements avait un réel impact.
S'agissant tout d'abord du succès des classements, M. Joël Bourdin, président, rapporteur , a considéré qu'il découlait de l'attention croissante accordée à la qualité de l'enseignement supérieur, dans un contexte de concurrence accrue. L'enseignement supérieur a, en effet, connu un essor sans précédent au cours des vingt dernières années. Cet essor est lié, d'une part, au rôle crucial de ce niveau d'éducation, comme générateur de croissance pour les pays qui sont déjà parvenus à un certain niveau de développement économique et, d'autre part, à la démocratisation de ce niveau d'éducation, qui fait désormais l'objet de fortes attentes sociales, étant perçu comme un droit. Le nombre d'étudiants inscrits dans les pays de l'OCDE est passé de 68 millions à 132 millions entre 1991 et 2004 et le taux d'obtention d'un diplôme de fin d'études tertiaires a fortement augmenté dans la plupart des pays : en France, ce taux est de 32 % des 25-34 ans, contre 26 % des 25-64 ans.
Enfin, la mobilité internationale des étudiants s'est considérablement accrue (+ 50 % entre 2000 et 2005), créant les conditions d'une concurrence entre établissements. La France est attractive puisqu'elle accueille 9 % des étudiants étrangers scolarisés dans le monde, ce qui lui confère une obligation de transparence.
Dans ce contexte, M. Joël Bourdin, président, rapporteur , a jugé qu'il n'était pas étonnant que l'évaluation soit devenue un enjeu majeur, ce qu'illustrait l'existence de plusieurs initiatives internationales tendant à promouvoir l'assurance qualité. En Europe, ce mouvement s'est inscrit dans le cadre du processus de Bologne et a conduit à la création d'un réseau européen pour l'assurance qualité dans l'enseignement supérieur (l'ENQA). Chez nos partenaires étrangers, de nombreuses réformes convergentes ont été mises en oeuvre, marquant l'émergence d'un modèle commun, également à l'oeuvre dans d'autres secteurs, qui est celui de la régulation par des agences indépendantes. En France, cette tendance s'est manifestée par la création de l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES) en 2006.
S'agissant ensuite des méthodes et des principaux enseignements des classements, M. Joël Bourdin, président, rapporteur , a tout d'abord remarqué que ceux-ci étaient toujours le résultat de combinaisons subjectives d'indicateurs : loin d'être scientifiquement « neutres », ils reflètent des orientations de fond. Les principaux classements nationaux et internationaux ont d'ailleurs peu de points communs entre eux. Le classement qui a ouvert la voie aux autres est celui que publie l'U.S News and World Report pour les universités des États-Unis, depuis 1983. Ce classement se fonde sur de très nombreux indicateurs, tels que l'opinion des experts, la capacité des établissements à conserver leurs étudiants d'une année sur l'autre et leur « valeur ajoutée » en fonction des caractéristiques des étudiants, c'est-à-dire dire en tenant compte de leur niveau à l'entrée dans l'établissement. Ce classement est très critiqué, car sa méthodologie est changeante et il a été démontré que les données déclarées par les établissements étaient construites selon des méthodes variables, au détriment de leur comparabilité.
Quant au classement de Shanghai, apparu en 2003, M. Joël Bourdin, président, rapporteur , a noté qu'il était initialement conçu comme un outil qui servirait à situer les universités chinoises par rapport à leurs homologues internationales. Les indicateurs employés dans ce classement concernent uniquement la recherche. Il s'agit du nombre d'anciens étudiants et enseignants ayant reçu un prix Nobel ou la Médaille Fields, du nombre de chercheurs figurant parmi les « chercheurs les plus cités » d'après un classement établi par l'ISI (« Institut pour l'information scientifique » de l'entreprise Thomson-Reuters) et du nombre d'articles référencés au niveau international dans les périodiques reconnus pour leur qualité éditoriale. Enfin, un dernier indicateur pondère les performances en fonction de la taille de l'institution, mais son poids est marginal.
M. Joël Bourdin a indiqué qu'il existait d'autres classements internationaux dont les philosophies sont fondamentalement différentes. Le classement anglais du « Times Higher Education » prend en compte les opinions d'experts académiques et de recruteurs, et donc la réputation des établissements : cette méthode est controversée car la réputation est par essence subjective ; elle dépend des classements passés, ce qui crée des effets de rémanence ; et le résultat dépend beaucoup du choix d'experts invités à se prononcer, notamment de leur spécialités disciplinaires et de leur localisation géographique.
S'agissant du classement de l'École des Mines de Paris, M. Joël Bourdin, président, rapporteur , a précisé qu'il réagissait aux classements chinois et anglais en se fondant sur un indicateur unique : le nombre d'anciens étudiants figurant parmi les dirigeants exécutifs des 500 plus grandes entreprises mondiales par le chiffre d'affaires.
Enfin, M. Joël Bourdin, président, rapporteur , a indiqué l'existence de deux classements européens. L'un est établi par un think-tank allemand pour les programmes post-licence et l'autre est réalisé par l'université de Leiden au Pays-Bas, sur le fondement de critères bibliométriques.
M. Joël Bourdin, président, rapporteur , a ensuite mis en évidence la domination des universités anglo-américaines dans presque tous les classements. Elles occupent 19 des 20 premières places du classement de Shanghai, et 65 de ses 100 premières places. Les résultats français ne sont pas meilleurs dans le classement britannique du Times Higher Education, qui est assez favorable, pour sa part, aux universités du Royaume-Uni et à celles de la région Asie-Pacifique. Les résultats français sont plus inquiétants encore si l'on considère le classement de l'université de Leiden : en termes d'impact, c'est à dire de nombre moyen de citations par publication, corrigé en fonction des disciplines couvertes par l'université, aucune université française ne figure parmi les 50 premières européennes. Seul le classement des Mines est favorable aux établissements français, avec 5 « grandes écoles » dans les 10 premières places. M. Joël Bourdin a toutefois observé que ce résultat était obtenu au prix de l'absence de tout critère relatif à la recherche, ce qui suggérait que le fossé existant entre grandes écoles et universités était l'une des causes des faiblesses de notre recherche, en orientant directement les étudiants vers les entreprises.
Traitant des enseignements des classements, M. Joël Bourdin, président, rapporteur , a présenté les résultats d'une étude de l'institut européen Bruegel, d'après laquelle les pays réussissant dans le classement de Shanghai sont ceux où des moyens financiers conséquents se conjuguent à une gouvernance autonome des établissements, s'agissant notamment de la gestion budgétaire et des ressources humaines. En augmentant les moyens alloués à l'enseignement supérieur, et en réformant son système universitaire, la France tend donc à s'aligner sur le modèle promu par les classements, qui ont ainsi un incontestable effet mobilisateur.
Joël Bourdin, président, rapporteur , a néanmoins estimé que l'impact des classements était excessif, compte tenu de leur caractère imparfait. Cet impact est démontré, notamment aux Etats-Unis et au Royaume-uni, par plusieurs travaux. L'enquête réalisée, dans le cadre du présent rapport, auprès des dirigeants d'établissements français, a permis de l'évaluer en France. Cette enquête établit notamment que 71 % des chefs d'établissement jugent le classement de Shanghai utile et que 83 % ont pris des mesures concrètes destinées à améliorer leur rang dans les classements internationaux. Il a indiqué que l'enquête avait aussi porté sur l'évaluation par les étudiants : ainsi, une majorité d'établissements déclare faire évaluer par les étudiants, sur une base harmonisée à l'intérieur de l'établissement, les enseignements et les formations. Mais seule une minorité procède à une telle évaluation pour d'autres aspects de la vie universitaire (vie étudiante, bibliothèque, aide à l'insertion professionnelle...). Enfin, l'enquête a porté sur le suivi du devenir professionnel des étudiants, montrant qu'il ne concernait chaque formation que dans 58 % des établissements, et que sa périodicité et son format étaient très variables. M. Joël Bourdin, président, rapporteur , a préconisé d'instaurer davantage de cohérence dans les pratiques des établissements, afin de pouvoir comparer des données comparables.
Estimant qu'il n'était pas satisfaisant d'accepter des règles fixées de façon exogène, M. Joël Bourdin, président, rapporteur , a jugé utile de contourner les pièges des classements. Il a relevé que la critique des classements portait, d'une part, sur la légitimité de la mesure, et, d'autre part, sur la pertinence de la méthode. Le rôle central de la bibliométrie dans les classements actuels est problématique en raison des lacunes des bases de données utilisées, notamment dans le domaine des sciences humaines et sociales, et de la focalisation sur le nombre d'articles et de citations, au détriment des autres débouchés de la recherche (brevets notamment) et de toute considération de l'enseignement. M. Joël Bourdin, président, rapporteur , a ajouté que l'utilisation de la bibliométrie impliquait, à tout le moins, de pondérer les résultats d'un établissement en fonction du nombre d'enseignants-chercheurs, et de corriger les résultats obtenus en fonction des disciplines couvertes, car les pratiques de publication et de citation varient considérablement selon les champs de recherche. S'agissant de la bibliométrie, il a indiqué qu'il fallait conserver à l'esprit que la statistique générale d'un établissement pouvait être significativement modifiée, d'une année sur l'autre, en fonction de la présence ou de l'absence d'un seul chercheur et que les bases de données utilisées avaient un caractère commercial, étant construites par des éditeurs, ou par des entreprises ayant des relations avec les éditeurs, ce qui devrait être plus clairement affiché et assumé.
Dans l'objectif de contourner les pièges des classements, M. Joël Bourdin, président, rapporteur , a préconisé que la transparence du système d'enseignement supérieur français soit considérablement améliorée, dans des délais assez rapides, sans attendre la production d'indicateurs harmonisés européens. Les intérêts en cause, et les risques de dérives, justifient, à ses yeux, de confier cette tâche à un organe de régulation public, tel que l'Agence d'évaluation de la Recherche et de l'enseignement supérieur (AERES). De nombreux indicateurs existent, notamment dans le cadre des contrats entre État et établissements. M. Joël Bourdin, président, rapporteur , a estimé qu'ils mériteraient d'être exploités au service du public. Ces indicateurs sont relatifs à la formation (taux de réussite et d'abandon) et à la recherche (publications, citations, participation aux projets de l'Agence nationale de la recherche et à ceux des programmes-cadres européens). La part de l'établissement dans les brevets déposés en France et en Europe devrait également être comptabilisée, cet aspect étant négligé par les classements existants.
M. Joël Bourdin, président, rapporteur , a estimé que d'autres indicateurs devraient être construits et publiés : d'une part, des indicateurs harmonisés concernant la satisfaction des étudiants et leur devenir professionnel, et d'autre part, des indicateurs bibliométriques améliorés tels que ceux actuellement expérimentés par l'Observatoire des Sciences et Techniques (OST). Enfin, il a jugé qu'il faudrait évaluer la « valeur ajoutée » des établissements en fonction des caractéristiques de ses étudiants, et souhaité que soit mis en lumière l'impact des établissements sur le développement territorial.
M. Joël Bourdin, président, rapporteur , s'est ainsi déclaré favorable à l'élaboration d'un véritable système d'information, suggérant, pour y parvenir, de mettre à disposition de l'agence d'évaluation les services producteurs d'indicateurs, ce qui ne ferait, au demeurant, que poursuivre la logique ayant abouti à la mise en place d'une évaluation indépendante. Cette évolution devrait permettre de mettre les indicateurs à la disposition du public, dans des délais rapides, par exemple sous la forme d'un portail Internet fournissant des données comparables entre établissements et permettant des classements « à la carte », en fonction des priorités de chacun.
Enfin, M. Joël Bourdin, président, rapporteur , a déclaré que le mythe de l'uniformité devait être brisé, non pour établir des hiérarchies univoques, mais pour identifier les forces et faiblesses de chacun et tirer l'ensemble du système vers le haut.
Un débat s'est ensuite instauré.
M. Yves Fréville a approuvé l'existence de classements explicites, dans la mesure où, même s'ils étaient critiquables, ils valaient mieux que les classements « implicites » connus des seuls spécialistes. Rappelant les trois fonctions exercées, selon lui, par les universités (enseignement, recherche et formation professionnelle), il a souligné que les classements mettaient exclusivement en valeur la recherche, car les grands établissements étrangers formaient par le biais de cette activité, ce qui n'était pas le cas des grandes écoles françaises. De ce fait, il a estimé que la France aurait, en tout état de cause, des difficultés à apparaître dans les classements, en raison aussi du fait que les universités ne formaient pas des ensembles cohérents, ce qui était le résultat de l'histoire. Il s'est, par ailleurs, inquiété de l'influence des indicateurs bibliométriques, notamment des citations, sur les stratégies des acteurs, craignant des effets d'auto-promotion à l'intérieur des établissements. Néanmoins, il a jugé que les classements constituaient des outils utiles aux pouvoirs publics, y compris pour le financement des universités, ainsi qu'aux élus locaux et aux étudiants.
En réponse, M. Joël Bourdin s'est déclaré favorable à des classements par disciplines, et non par établissements, en sorte de comparer des blocs homogènes. S'agissant de l'utilité des indicateurs de performance pour le financement des universités, il a approuvé les orientations du récent rapport d'information de la commission des affaires culturelles et de la commission des finances, « pour un Système de Répartition des Moyens à l'Activité et à la Performance ».
M. Joseph Kergueris a considéré que la vertu des classements avait été d'amorcer un débat sur la mesure de la performance. Il s'est déclaré favorable à une typologie des établissements d'enseignement supérieur, c'est-à-dire à une réflexion sur leurs objectifs et sur les moyens mis en oeuvre.
M. Joël Bourdin a indiqué que cette question de la typologie des établissements était développée dans le rapport. Il a préconisé l'établissement d'une classification européenne.
M. Claude Saunier a remarqué la parution simultanée de plusieurs rapports ayant directement ou indirectement pour objet de mettre en évidence les moyens de faire de notre système d'enseignement supérieur un instrument de croissance. Il a posé la question de la finalité de l'enseignement supérieur et de la place que la société voulait lui donner pour la promotion sociale et pour le développement du réseau des PME.
M. Yves Fréville a ajouté que la notion de hiérarchie était insuffisante pour comprendre la totalité des enjeux de l'enseignement supérieur.
En réponse, M. Joël Bourdin a souligné que les classements étaient utiles à de multiples acteurs, dont les objectifs étaient variés, et que, pour cette raison, le rapport ne se prononçait pas pour des classements univoques mais pour des hiérarchies différenciées en fonction des objectifs considérés.
La délégation a alors donné un avis favorable unanime à la publication du rapport d'information sur le défi des classements dans l'enseignement supérieur, de M. Joël Bourdin, président, rapporteur.