M. Jean-François DHAINAUT, président de l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES)
Mesdames, Messieurs les sénateurs, je citerai une phrase de la présidente pour commencer, qui parlait des classements et qui disait que ce n'est pas parce que les couteaux coupent et que l'on peut se couper les doigts avec, qu'il faut supprimer tous les couteaux ; cela s'applique parfaitement aux classements. Ce n'est pas parce que les classements présentent plein d'effets pervers que l'on ne doit pas s'en servir. Le problème est de savoir bien s'en servir. Ce qui m'intéresse dans les classements, ce sont les insuffisances. Quand on essaye de faire des comparaisons, des classements, il faut comparer des choses comparables. On a commencé. Comme on devait évaluer les centres hospitaliers universitaires, on a commencé à jouer avec les outils de comparaison. On a pris les facultés de médecine en France. Les études médicales en France durent une douzaine d'années en fonction des spécialisations. On commence par le fondamental et on finit par le clinique. Au départ, il y a des connaissances qui permettent au début de sélectionner les étudiants en fonction d'un numerus clausus . Le nombre d'étudiants est limité. C'est une vraie sélection. Le problème est de savoir ce qu'on fait ensuite avec les étudiants qui n'ont pas été sélectionnés par la filière. Quand on travaillera l'efficience, on verra le nombre d'enseignants sur le numerus clausus . Ensuite, on passe de la connaissance à la compétence et au milieu de tout cela, il y a un examen de classement national qui permet de choisir sa spécialité et le lieu où on fera cette spécialité. Ensuite, il y a la spécialisation.
Quand on se sert des indices pédagogiques, ce n'est pas très facile. Si on parle de l'insertion des médecins, ils sont tous insérés. En revanche, on a essayé de voir ce que l'on pouvait faire avec l'examen national classant. C'est l'autre indicateur, les résultats de l'examen classant. On a pris le pourcentage d'étudiants classés dans les 1 000 premiers, moyenné sur trois ans pour tenir compte de la variabilité annuelle, en fonction des ressources humaines. Cela veut dire le nombre d'enseignants hospitalo-universitaires titulaires sur le nombre d'étudiants en deuxième année, à savoir le numerus clausus . C'est un indicateur qui en vaut un autre. Quand on regarde ce que cela donne sur les facultés, le nombre d'hospitalo-universitaires sur le numerus clausus , c'est-à-dire sur le nombre d'étudiants, on s'aperçoit que les facultés sont très différentes. Si on prend les résultats à l'examen classant, on s'aperçoit qu'il y a un certain nombre de facultés de médecine, bien que n'ayant pas beaucoup d'hospitalo-universitaires en fonction de leur numerus clausus , qui ne s'en sortent pas si mal et qui ont des performances relativement bonnes. Quand on essaye de faire une corrélation statistique entre ces deux données, finalement elle n'est pas très bonne. Cela veut dire que le nombre d'enseignants hospitalo-universitaires par rapport à la pédagogie n'est pas si statistiquement significatif que cela. Même avec un effectif relativement faible, on peut faire des choses intéressantes.
Si on prend l'indicateur recherche, on en avait pris trois et je vous en donne un, parce que cela donne quasiment la même chose. C'est un indice bibliométrique, qui tient compte du facteur d'impact des revues. En fonction des ressources humaines, on ne prend plus en compte le nombre d'étudiants mais le nombre d'hospitalo-universitaires titulaires. Quand on regarde la corrélation qui existe entre ce score bibliométrique et le nombre d'hospitalo-universitaires, là on trouve une excellente corrélation. Cela veut dire que, globalement, l'effet masse joue un rôle très important. La corrélation la plus importante est le nombre d'unités reconnues. C'est un point très important. C'est difficile d'arriver à avoir de grosses performances en recherche quand on n'est pas nombreux et qu'on n'a pas beaucoup d'unités à son service.
Si on rapporte ce score en fonction du nombre d'hospitalo-universitaires, de l'examen classant, on s'aperçoit que ceux qui ont beaucoup d'hospitalo-universitaires réussissent bien en recherche et certains bien en pédagogie, d'autres moins bien, pour des tas de raisons qui sont conjoncturelles et qui sont les limites.
Ce qui m'intéresse, c'est cette diapositive : de voir les limites de cela. L'intérêt pour nous d'avoir fait un classement des facultés de médecine - on l'a fait en travaillant avec les doyens de médecine - ce sont les réactions des gens. Elles sont importantes, car il y a des choses intéressantes et on doit faire des études secondaires. Quand on regarde les limites, est-ce que, dans notre indicateur pédagogique, c'est le rôle ou la responsabilité de la démarche de la faculté ou y a-t-il un rôle des aides privées ? On sait très bien qu'en médecine, les aides privées jouent un rôle non-négligeable. Est-ce que la motivation des étudiants dans les régions moins demandées joue un rôle ? Quand on est dans une région qui est moins demandée, on a moins d'efforts à faire pour y rester puisqu'elle est moins demandée.
Est-ce que l'impact des conditions sociales et environnementales joue un rôle ? Si vous avez regardé la fac de Bobigny, elle n'a pas de très bons résultats à l'examen classant national, mais en fait elle prend des étudiants qui n'ont pas du tout le même niveau que les autres. Elle fait certainement aussi un effort pédagogique plus important que les autres pour amener ses étudiants à avoir des capacités et des compétences en médecine aussi bonnes que les autres et former d'aussi bons médecins. Il faut tenir compte de ce genre de choses. Finalement, c'est l'intérêt des classements de dire que l'on pointe du doigt des choses importantes. Par exemple, l'évolution des compétences des étudiants par des examens théoriques. On sait très bien que les compétences des étudiants en médecine sont mal étayées. On pointe les insuffisances. Cela permet ensuite de faire d'autres études et l'on a commencé à faire deux études, l'une pour montrer quel est le rôle de la faculté dans cet indicateur pédagogique et le rôle des aides privées. On l'a fait pour l'ensemble des facultés. On a aussi étudié les conditions environnementales de vie étudiante au niveau des différentes facultés. Tout cela dans le but d'améliorer ce qui se passe pour que les gens puissent se comparer. Les étudiants réagissent et on est forcés de faire un certain nombre de choses. Les limites du score SIGAPS sont, d'une part, que c'est un indicateur de recherche médicale qui ne prend en compte que les publications et, d'autre part, qu'il ne tient pas compte des publications par des organismes, qui correspondent à 20 %. La plupart des publications proviennent des organismes et des universités mais certaines ne proviennent que d'organismes et ce score n'en tient pas compte.
Il est intéressant de faire des comparaisons internationales. On sait qu'en 2006, la France représentait 5,1 % de la production mondiale. Si on regarde des choses qui nous font un peu plaisir, c'est 6,3 % des articles dans le Top 10 et c'est presque 7 % du Top 20. On se situe au niveau du cinquième rang mondial. Il vaut mieux ne pas regarder 2008 parce que c'est un peu dégradé.
Globalement, pourquoi faire cela ? C'est important de se comparer aux autres parce que cela a un effet stimulant. Il est intéressant de voir comment on évolue dans ce classement. C'est une démarche qui doit être évolutive au niveau des facultés, c'est la tendance à l'autoévaluation, c'est se créer un tableau de bord et c'est suivre le pilotage de son université. Ce qui est important aussi, c'est non seulement l'amélioration des performances mais aussi de permettre de mieux répondre aux attentes des étudiants qui réagissent à un certain nombre de choses et proposer des outils aux universitaires et aux politiques.
Les perspectives sont clairement l'amélioration des données pédagogiques, l'inscription en master, en thèse - qui joue un rôle important, mais qui n'est pas très facile pour des questions techniques -, la qualité de la vie étudiante, l'évaluation des compétences... Tous ces indicateurs doivent être améliorés pour arriver à évaluer ce qui nous paraît important et puis de nouveaux indicateurs au niveau de la recherche.
J'aimerais arriver à fournir aux universités, aux écoles et aux UFR un tableau de bord permettant d'observer l'évolution. Ce que je reproche le plus aux classements, c'est que pour bouger dans le classement, il faut en faire des choses. Quand on parle de la réputation, c'est sur des années, les prix Nobel, c'est strictement la même chose. Les indicateurs doivent arriver à bouger tous les ans, car je pense que c'est intéressant de voir l'évolutivité et la comparaison par rapport aux autres.
Ce sera ma dernière diapositive un peu nostalgique parce que c'est une étude que l'on a commencée et qu'on a beaucoup de mal à finir. Ce n'est pas important de savoir ce qu'il y a là-dedans, simplement cela montre qu'il y a cinq classes d'universités en France, qui sont les scientifiques, santé, SHS, celles qui sont multidisciplinaires. Dans ces cinq classes, il faut trouver des indicateurs qui leur sont spécifiques de façon à ce que l'on puisse suivre ces universités, qu'elles puissent elles-mêmes se suivre et aller plus loin. Je pense que U-Multirank est très important, pouvoir se comparer à des universités européennes de même typologie. Je vous remercie beaucoup.