ANNEXE 2 :
AUDITION
DE M. DIDIER HOUSSIN, PRÉSIDENT DE L'AGENCE D'ÉVALUATION DE LA
RECHERCHE ET DE L'ENSEIGNEMENT (AERES), LE 21 NOVEMBRE 2012
« M. Didier Houssin, président de l'AERES . - Monsieur le Président, Monsieur le Premier vice-président, Mesdames et Messieurs les Députés, Mesdames et Messieurs les Sénateurs, permettez-moi d'abord de vous remercier d'avoir voulu auditionner l'AERES. Je voudrais vous présenter les trois personnes qui m'accompagnent : Madame Laurence Pinson, secrétaire générale de l'AERES, le professeur Philippe Tchamitchian, directeur de la section des établissements (universités, écoles, organismes de recherche), le professeur Pierre Glaudes, directeur de la section des unités de recherche.
Dans cet exposé liminaire, je vais aborder les acquis liés au rôle de l'AERES, puis les critiques formulées vis-à-vis de l'AERES, dans le contexte des Assises, et les propositions que l'AERES formule.
Ce n'est pas devant l'Office parlementaire d'évaluation que je vais vanter les mérites de l'évaluation comme levier de progrès, comme moyen partagé d'aide à la décision, ou comme méthode structurée d'information.
Depuis son installation en 2007, en à peine cinq ans, l'AERES a accompli un cycle complet d'évaluation (plus de 4 000 programmes de formation, plus de 3 200 unités de recherche, 250 établissements ou organismes), de façon homogène, et en combinant auto-évaluation et évaluation externe collégiale par les pairs. Des entités dans le champ de la culture (diplômes des écoles d'art ou d'architecture) ou de la santé (diplômes d'infirmières) ont aussi été évaluées pour la première fois. Cela explique sans doute pourquoi, dans sa contribution aux Assises, le ministère de la Culture et de la Communication a souligné le rôle important de l'AERES.
Égalité de traitement entre les entités évaluées ; impartialité des évaluations grâce au statut d'indépendance de l'AERES ; transparence des résultats des évaluations. Voilà trois acquis très importants ! Dans un rapport de 2009, l'Académie des sciences estimait d'ailleurs que l'AERES avait beaucoup apporté en termes d'éthique, de transparence et d'impartialité de l'évaluation.
Un acquis important est aussi que l'AERES est reconnue au niveau européen, comme compétente et comme indépendante. Cela veut dire que les étudiants et les chercheurs européens, et l'ensemble des observateurs étrangers disposent d'une garantie quant à la qualité des évaluations faites en France. Cela veut dire que les résultats des évaluations faites en France sont crédibles. Ceci est crucial en termes d'attractivité de notre système d'enseignement supérieur et de recherche. De nombreux pays sollicitent l'AERES pour évaluer des programmes ou des institutions, ou pour aider à la mise en place d'un dispositif d'évaluation. Encore cette semaine, avant-hier, l'Algérie, hier, l'Italie.
Un acquis essentiel, enfin, est que l'AERES a la possibilité, du fait de ses missions, d'évaluer la qualité du lien entre formation et recherche. Cette possibilité est jugée très intéressante à l'étranger. Hier, j'étais invité par l'agence italienne créée récemment et qui s'inspire fortement de l'agence française sur ce point.
S'agissant des critiques et des propositions, sans vouloir faire un plaidoyer pro domo , je voudrais dire deux choses : la première est que l'AERES n'a pas attendu les Assises pour écouter les critiques et y répondre. Chaque année, nous organisons un retour d'expérience et, à plusieurs reprises, l'AERES a déjà fait évoluer sa méthode, justement pour tenir compte des critiques. À la fin de 2011, nous avons en particulier entendu les critiques de la notation globale des unités de recherche ou de la prise en compte insuffisante de la recherche finalisée. Nous avons supprimé la note globale et nous avons modifié le référentiel de recherche, afin d'affiner les critères d'évaluation des activités de recherche.
Le second point est que les critiques sont parfois contradictoires entre elles. Premier exemple : certaines entités évaluées n'apprécient pas la notation, fût-elle multicritères. En revanche, les décideurs, qui s'efforcent en particulier de « financer à la performance », n'apprécieront pas de ne plus disposer de la notation qui les aide dans leurs décisions.
Second exemple : certains personnels des entités évaluées reprochent à l'AERES de recueillir des données de nature individuelle. Les décideurs, qui souhaitent « financer à l'activité », n'apprécieront pas que l'AERES cesse de leur fournir des informations actualisées sur les effectifs. En effet, en raison de la complexité du dispositif de recherche français, ces décideurs ne disposent en général pas d'une vision d'ensemble sur ces effectifs.
J'en viens maintenant aux critiques exprimées dans le cadre des Assises. Elles concernent avant tout une des trois missions principales de l'AERES, l'évaluation des unités de recherche. Je vais évoquer les cinq critiques principales et les propositions que l'AERES a soumises au débat en vue des Assises nationales.
La première critique porte sur la complexité du fonctionnement de l'AERES. Il me faut d'abord rappeler que l'AERES n'est pas responsable de la complexité du dispositif français d'enseignement supérieur et de recherche : universités et grandes écoles ; établissements d'enseignement supérieur et de recherche et organismes nationaux de recherche ; universités devenues plus autonomes, mais coexistant avec des entités nationales d'évaluation comme le Conseil national des universités (CNU) et le Comité national de la recherche scientifique (CoNRS)... ; chercheurs et enseignants-chercheurs).
Dans ce paysage complexe, l'AERES est en fait une « complexité simple ». Elle est même un facteur d'unité et de décloisonnement, grâce à sa méthode homogène d'évaluation, et surtout à la possibilité d'évaluer la qualité du lien entre formation et recherche.
Il ne faut pas non plus surestimer le poids que représente l'évaluation conduite par l'AERES, une fois tous les cinq ans. Cette charge est faible par rapport à la charge administrative liée à la quête des financements sur projet auprès de l'ANR, de l'Europe, des Régions, des grandes associations, des industriels, etc., avec, dans chaque cas, des procédures annuelles, différentes, de reporting des résultats et de suivi budgétaire.
Néanmoins, l'AERES fait une proposition de simplification : la réduction de moitié, dès cette année, de son dossier d'évaluation.
La deuxième critique porte sur la transparence. L'évaluation faite par l'AERES est beaucoup plus transparente que ce qui se faisait avant. Toutefois, il y a des marges de progrès, concernant le recrutement des délégués scientifiques de l'AERES, la composition des comités d'experts et la signature des rapports d'évaluation. Sur ces trois points l'AERES est prête à améliorer et clarifier ses procédures.
La troisième critique concerne l'articulation insuffisante entre évaluation individuelle et évaluation collective. L'AERES n'a pas de responsabilité d'évaluation individuelle des chercheurs ou des enseignants-chercheurs. Elle souhaite cependant mieux s'articuler à l'avenir avec les instances qui sont justement un rôle dans l'évaluation individuelle, par exemple le CoNRS, le CNU ou les universités.
La quatrième critique concerne la portée des évaluations de l'AERES, jugée parfois trop large. L'AERES a songé à centrer son action sur l'évaluation ex post , donc à ne plus évaluer le projet à cinq ans des entités de recherche. Il ne faudrait cependant pas que cette simplification, cet allègement, conduise à accroître la complexité du dispositif d'évaluation, d'autres instances se mettant à faire l'évaluation du projet à cinq ans. Il ne faudrait pas non plus que cela crée une inégalité de traitement entre les entités de recherche évaluées.
Il est demandé aussi que l'AERES s'appuie plus sur les instances nationales des grands organismes de recherche, voire délègue l'évaluation aux conseils scientifiques dont se sont dotées certaines unités de recherche de ces organismes. Là encore, ceci mérite d'être étudié, en étant conscient des deux risques, évoqués plus haut, de complexifier l'évaluation, d'un côté, de créer des inégalités de traitement entre unités de recherche, de l'autre.
La cinquième critique concerne la question des élus. L'AERES est attachée à ce que le choix des chercheurs ou enseignants-chercheurs sollicités pour les comités d'évaluation ne repose pas sur la seule élection, mais je précise que des experts sollicités pour faire partie des comités d'experts sont parfois, déjà aujourd'hui, des élus. L'AERES ne verrait pas d'inconvénient à ce que son Conseil, instance chargée de missions en termes de politique d'évaluation, comporte des élus émanant de la communauté scientifique. D'ailleurs, je rappelle que ce Conseil a la chance d'avoir en son sein deux élus du peuple.
Enfin, l'AERES n'a pas de fixation sur la notation. Le choix ou non de la notation nous semble devoir être déterminé avant tout par la politique de financement. S'il y a une part de financement à la performance, la notation multicritères mise en place par une agence indépendante comme l'AERES est certainement préférable à un dispositif de notation découplé de l'évaluation, et qui serait mis en place de façon hétérogène par les différents décideurs. S'il n'y a plus aucun financement à la performance, on pourrait très bien se passer de la notation.
Concernant la recommandation de l'Académie des sciences de supprimer l'AERES, je répondrai qu'elle est peu argumentée. De plus, certains des rares arguments avancés sont faux. En particulier, il est erroné de dire que l'AERES fait l'unanimité contre elle. Il est donc illogique d'avancer que, pour cette raison, il faudrait la supprimer.
Éliminer l'AERES, ce serait jeter le bébé avec l'eau du bain et ignorer que les grands enjeux liés à l'existence de l'AERES sont la qualité, la crédibilité de la qualité, et donc l'attractivité, de notre système d'enseignement supérieur et de recherche sur la scène européenne et internationale, mais aussi la capacité à faire le lien entre formation et recherche.
C'est d'ailleurs sans doute pour cela que le ministère des Affaires étrangères, dans sa contribution aux Assises, a écrit en septembre que « l'AERES est un des vecteurs essentiels de notre compétitivité », et que, « grâce à sa dynamique d'internationalisation, l'AERES illustre notre capacité d'expertise et renforce notre image d'excellence ».
Monsieur le Président, Monsieur le Premier vice-président, Mesdames et Messieurs les Députés et Sénateurs, l'AERES fait l'objet de critiques, ce qui est normal, et elle est prête à évoluer pour mieux répondre aux attentes, et pour trouver des solutions de compromis, lorsque ces attentes sont contradictoires.
M. Jean-Yves Le Déaut. - Je vais poser des questions assez pratiques.
Vous dites que l'évaluation par l'AERES est peu coûteuse, mais quel est votre budget ? Est-il suffisant ?
Vous considérez que l'évaluation par l'AERES n'est pas une charge excessive, mais alors, que penser de l'impression créée d'une démultiplication des évaluations ?
Pensez-vous que l'on peut continuer avec ce système ; à défaut, comment envisagez-vous son évolution ?
Concernant les quatre missions que la loi vous confie, vous avez la possibilité de vous appuyer sur les organismes, cela-a-t-il été suffisamment fait ? Vous n'évaluez pas les hommes, mais faut-il avoir d'autres formes d'évaluation, évaluation de l'innovation, évaluation de l'enseignement ? La loi vous donne la mission de valider les procédures d'évaluation et de donner un avis sur les conditions de son application, cela a-t-il été fait ?
Enfin, le secrétaire perpétuel de l'Académie des Sciences, que l'on a reçu juste avant vous, a proposé de fusionner l'AERES avec le HCST pour lui donner une mission plus large de stratégie, qu'en pensez-vous ?
Monsieur Didier Houssin . - Notre budget est de 15 à 16 millions d'euros. Il nous permet de remplir correctement nos missions. Le « coût » pour évaluer une unité de recherche est actuellement d'environ 6 700 euros.
L'impression de multiplicité des évaluations est réelle et provient sans doute de la multiplicité des sources de financement et de la diversité des méthodes de reporting . Il faut avancer vers la création d'un guichet unique et l'harmonisation des dossiers.
L'évaluation est au coeur du métier de chercheur et elle n'est donc pas externalisable.
Concernant la possibilité de s'appuyer sur les organismes, l'indépendance joue un rôle crucial pour la sincérité de l'évaluation. On peut tout de même avoir l'ambition de recentrer l'AERES sur la validation des procédures. Néanmoins, je pense qu'il n'est pas possible de le faire tout de suite en France. Il faut en outre éviter le piège du conflit d'intérêt des évaluateurs, mais l'expérimentation est possible malgré un risque d'inégalité.
Sur l'évaluation des formations on peut sans doute aller vers quelque chose de moins fin.
Sur la question de notre mission sur la validation des procédures d'évaluation, nous avons avancé mais lentement. En 2011 nous avons réalisé une première enquête. Il en ressort que les évaluations mises en place sont sans doute incomplètes, imparfaites et à évaluer. En outre, nous travaillons sur un cadre des bonnes pratiques. Nous pensons qu'il faut une évolution de la loi : il ne faut plus que notre mission soit de valider les procédures mais d'évaluer celles-ci.
Enfin, en ce qui concerne la fusion de l'AERES avec le HCST, il faut distinguer deux choses : l'évaluation des politiques publiques et l'évaluation du fonctionnement du système. Je considère que ce n'est peut-être pas une très bonne idée de mélanger les deux.
M. Michel Berson . - Les recommandations de l'AERES, son expérience sont-elles prises en compte par les organismes de recherche et par les universités ? Y a-t-il un suivi de leur mise en oeuvre ? La procédure contradictoire peut-elle être améliorée ? Y a-t-il une différence de degré entre ce que font la Cour des comptes et l'AERES, étant donné que leurs champs d'investigation ne sont pas les mêmes ?
M. Didier Houssin . - Il est difficile de mesurer l'impact de l'évaluation. Les évaluations de l'AERES ont un effet sur la mise en place de procédures d'assurance qualité, et sur l'autoévaluation. Il est possible de le juger du fait du caractère périodique des évaluations : le deuxième cycle d'évaluation qui débute actuellement montre des évolutions incontestables. Il est néanmoins difficile de mesurer les résultats finaux sur la qualité de la formation pour les étudiants.
Certains disent que l'AERES est une Cour des comptes de deuxième classe. Sa procédure n'est certes pas aussi élaborée que celle de la Cour, mais les évalués ont la possibilité de répondre, ce qu'ils font parfois de manière assez vive.
M. Philippe Tchamitchian, directeur de la section des établissements . - le processus d'évaluation des établissements est en deux temps, le premier relevant de la responsabilité des établissements qui font un rapport d'autoévaluation de leurs actions au cours des quatre ou cinq dernières années. Il en résulte une vraie dimension d'autoanalyse.
En ce qui concerne le lien entre évaluation et contractualisation, il faut que l'évaluation précède la contractualisation. L'évaluation a en effet la vertu d'objectiver les constats et de fournir une base à la négociation contractuelle.
M. Jean-Yves Le Déaut . - J'ai bien noté que vous souhaitiez rester une autorité administrative indépendante, dotée d'une mission d'évaluation, et non de validation, des procédures d'évaluation des personnes. Mais concernant l'évaluation des procédures et la possibilité de vous appuyer sur des organismes d'évaluation interne, est-ce qu'en dehors des instances du Comité nationale de la recherche scientifique (CoNRS) et du Conseil national des universités (CNU), il existe d'autres comités sur lesquels l'AERES pourrait s'appuyer et, si c'est le cas, lesquels ? Comment comptez-vous organiser l'évaluation difficile des unités mixtes de recherche ? Comment ferez-vous participer le personnel élu à l'évaluation maintenant que des décrets ont supprimé la possibilité d'évaluer les équipes, pour les comités du CNRS et de l'INSERM, au profit d'une évaluation par l'AERES ?
M. Didier Houssin . - Effectivement, s'agissant de l'évaluation des personnels, il serait plus pertinent pour l'AERES d'évaluer, et non pas de valider, les procédures. Quant à la capacité à s'appuyer sur les comités d'évaluation interne, on se heurte à la complexité du dispositif. Si l'on s'appuie sur les comités spécialisés du CNRS ou de l'INSERM, comment cela se passera-t-il avec le CEA, l'INRA ou les universités, car on entre alors dans une complexité difficile à gérer. Pour l'évaluation des unités mixtes de recherche et à titre expérimental, on pourrait imaginer de s'appuyer sur un Scientific Advisory Board (SAB). J'ai eu l'occasion d'évoquer cette piste avec l'administrateur du Collège de France, M. Serge Haroche.
Concernant les élus, nous ne sommes pas favorables à ce qu'ils soient, en tant que tels, membres de comités d'évaluation. Cependant, deux élus représentant la communauté scientifique pourraient siéger au Conseil de l'AERES, instance politique où siègent déjà deux parlementaires, afin d'accroître la participation aux travaux de l'AERES.
S'agissant des textes, il subsiste des ambiguïtés sur le rôle de chacun et il faudrait clarifier cela. Je ferai une proposition fonctionnelle, à savoir mettre en place un groupe de concertation associant responsables de l'évaluation collective et de l'évaluation individuelle.
L'AERES, indépendante, est restée isolée. Elle pourrait tout à fait travailler en partenariat avec d'autres instances en préservant son indépendance.
M. Bruno Sido. - L'AERES est une instance d'évaluation de la recherche et de l'enseignement supérieur, mais est-ce que vous vous autoévaluez ? En conclusion, pourriez-vous nous donner quelques pistes d'évolution, notamment suite aux observations faites dans le cadre des Assises de l'enseignement supérieur et de la recherche ? Comment devenir plus performant dans l'évaluation tout en allégeant autant que possible les charges pesant sur les chercheurs, qui doivent disposer de temps pour leurs recherches ?
M. Didier Houssin. - En préambule, je voudrais préciser que l'AERES s'autoévalue et qu'elle a même été évaluée au niveau européen, puisqu'elle est inscrite au registre européen des agences qualité.
Je peux distinguer quatre pistes d'amélioration de nos procédures :
- mettre de plus en plus l'accent sur l'autoévaluation, pour prendre une certaine distance, pour que l'évaluation externe soit un complément,
- simplifier, travailler à un grain un peu moins fin maintenant que nous avons l'expérience, mais sans perdre le contact avec le terrain,
- essayer de mieux appréhender la mesure des effets de l'évaluation, en vue d'optimiser son impact,
- renforcer notre assise européenne. L'agence française a la chance d'évaluer à la fois les organes de la recherche et de l'enseignement supérieur. Il faudrait faire en sorte que ce modèle se généralise.
M. Jean-Yves Le Déaut. - La loi a décidé de confier l'évaluation des organes de recherche et d'enseignement supérieur à une autorité indépendante. Cela n'interdit pas pour autant le contrôle du Parlement. Ne serait-il pas utile que vous puissiez être auditionné devant le Parlement chaque année, comme c'est le cas pour l'Autorité de sûreté nucléaire ou d'autres organismes ?
M. Didier Houssin. - J'en serais enchanté. Un des dangers qui menace une structure comme la nôtre, c'est de perdre les contacts. Nous sommes contrôlés par la Cour des comptes, mais ce serait très utile aussi d'avoir régulièrement des contacts avec le Parlement. »