Audition de M. Michel
Quéré,
directeur de l'évaluation, de la prospective et
de la performance
au ministère de l'éducation nationale, de la
jeunesse
et de la vie associative
(8 février 2011)
M. Serge Lagauche, président . - Pouvez-vous, monsieur le directeur, nous présenter votre direction, son objet, son organisation interne, ses implantations, sa position dans l'organisation du ministère et ses relations hiérarchiques ou fonctionnelles avec les autres directions du ministère ? Nous aimerions également savoir comment elle initie et construit ses enquêtes, et avec quelles informations ? Le ministre les prend-il en compte ?
La Cour des comptes a souligné l'incapacité du ministère à évaluer le coût des dispositifs qu'il met en oeuvre. Travaillez-vous à mieux connaître le coût réel des politiques éducatives et le raisonnement en dotations horaires plutôt qu'en euros ne gêne-t-il pas un pilotage efficace et une bonne allocation des moyens ? La répartition des responsabilités au sein du ministère vous semble-t-elle claire, équilibrée et pertinente ? Avez-vous étudié l'organisation ou la gestion des rectorats ? Quels objectifs devrait-on leur fixer et comment apprécier leur efficacité ?
Nous aimerions savoir comment vous prenez en compte l'enseignement privé et, enfin, quel est le rôle de la direction de l'évaluation, de la prospective et de la performance (DEPP) dans l'élaboration, le suivi et l'évaluation des expérimentations.
M. Michel Quéré, directeur de l'évaluation, de la prospective et de la performance au ministère de l'éducation nationale, de la jeunesse et de la vie associative. - Je vous remercie de m'avoir convié à cet exercice, auquel je suis venu accompagné de MM. Cédric Afsa, chef du service statistique, et de François Dumas, mon adjoint, en charge du pôle appui.
Placée sous l'autorité du secrétaire général du ministère, la DEPP est une direction support, au même titre que la direction des affaires financières ou celle des affaires juridiques. Nous conservons, j'y reviendrai, des responsabilités en matière d'enseignement supérieur, même si la partie statistique a été scindée en mars 2009.
Les 150 personnes travaillant à la DEPP sont basées rue Dutot, dans le XV e arrondissement ; elles se répartissent en deux sous-directions (une sous-direction des synthèses et une sous-direction des évaluations et de la performance scolaire), le pôle appui rassemblant les compétences informatiques, essentielles dans notre fonctionnement, ainsi que le département de la valorisation et de l'édition, la logistique et les ressources humaines.
Service statistique de l'éducation, la DEPP publie son programme d'activité au Bulletin officiel . Nous produisons des statistiques : je vous ai amené Repères et références statistiques ainsi que L'état de l'école , plus ciblé. Voilà le coeur de notre métier de validation des chiffres. C'est pourquoi nous ne comptons pas seulement des personnels de l'éducation nationale, mais aussi des personnels de l'Insee - M. Afsa est administrateur de l'Insee.
Nous développons une activité d'étude et de recherche dans le champ de l'éducation afin d'éclairer le ministre dans sa politique éducative.
Nous apportons enfin une assistance aux autres directions, qui peuvent recourir à notre maîtrise d'ouvrage. Nous mettons notre connaissance des chiffres au service des directions opérationnelles pour construire des tableaux de bords - c'est une fonction importante du pôle support.
Nous assurons une représentation internationale avec Eurostat ou l'OCDE ; ce qui explique que nous conservions, en cette matière, la responsabilité du champ de l'enseignement supérieur.
Notre métier évolue de la réalisation d'enquêtes vers la mobilisation des sources administratives à des fins statistiques. Cette porosité entre la saisie des informations de gestion et leur utilisation à des fins statistiques est une originalité des services statistiques ministériels à la française.
Nos axes thématiques portent sur l'analyse des parcours scolaires et de la trajectoire des jeunes, sur l'évaluation des acquis, ou encore sur le pilotage des établissements et les conditions de vie scolaire, parce que les lignes de force qui traversent la société affectent également l'école. La population d'enseignants n'est pas négligée, elle a beaucoup évolué depuis vingt ans dans son recrutement comme dans sa sociologie.
Afin d'assister les directions opérationnelles, nous disposons, avec la base de données Melusine, d'un constructeur de variables qui alimente les indicateurs de performance. Nous participons à l'évaluation exhaustive en CE1 et en CM2 depuis trois ans. Nous travaillons à des indicateurs synthétiques de performance académique, afin que les académies puissent se comparer et évaluer leur valeur éducative respective, abstraction faite de données qu'elles ne maîtrisent pas, comme le profil socioprofessionnel de la population, qui peut peser sur l'analyse brute de la performance. Nous développons une application APAE (aide au pilotage et à l'autoévaluation des établissements), qui évacue de tels effets, afin de permettre aux établissements de se comparer en mesurant leur seule valeur ajoutée éducative.
L'évaluation des acquis représente un champ d'études important et propice aux comparaisons internationales, de PISA, qui a défrayé la chronique, à Learning to learn . Nous avons ainsi des travaux qui se complètent. Enfin, nous intervenons aussi pour la journée d'information et de citoyenneté : nous construisons, en liaison avec la direction du service national, le test proposé aux jeunes de 17 ans.
Mme Françoise Férat . - Peut-être reviendrez-vous, à titre d'exemple, sur l'évaluation des difficultés de lecture à l'entrée en sixième ?
M. Serge Lagauche, président . - Je rappelle que notre mission porte sur les expérimentations, leur évaluation et leur utilisation...
M. Michel Quéré. - Comment construisons-nous nos enquêtes ? La tendance est de transformer des bases de gestion en bases statistiques, ce qui est moins coûteux. Toutefois, les gains de productivité ne sont pas toujours possibles, et l'on ne peut se passer d'enquêtes en propre, annuellement publiées au Bulletin officiel . C'est le cas sur le climat scolaire, qu'analyse l'enquête Civis, car on manque d'informations sur les faits de violence commis dans les établissements. Les remontées d'informations sont assurées par intranet sécurisé et relayées par les services statistiques académiques qui sont nos correspondants naturels et notre interface déconcentrée, ou par les inspecteurs académiques dans le premier degré.
Le coût de l'éducation est un sujet complexe. La DEPP est responsable de l'élaboration du compte de l'éducation, c'est-à-dire de l'estimation de la dépense intérieure d'éducation ; nous établissons la part respective de l'État, des collectivités territoriales et des ménages. Là aussi, notre responsabilité couvre l'enseignement supérieur. Le calcul de cet agrégat de la comptabilité nationale pour l'ensemble de la formation initiale constitue l'un des apports de la DEPP au débat public.
Pour le reste, notre contribution est plutôt indirecte puisque nous mobilisons nos chiffres et notre capacité de simulation pour construire des scénarios : quels seront les effets de telle mesure et quel en serait le coût ? Je prendrai ici l'exemple du bac pro en trois ans : cette réforme a provoqué ce que nous appelons un effet bourrelet, deux populations soumises à deux régimes se superposant : comment estimer les flux des élèves et leur gestion ? Cette composante est utilisée dans le dialogue de gestion, entre l'administration centrale et les académies.
Nous avons à notre programme d'action pour 2011 le projet, encore inabouti, de reconstruire les dépenses réelles des établissements publics locaux d'enseignement (EPLE) et de leur masse salariale : on fonctionne aujourd'hui plus sur les horaires que sur les coûts.
Je ne suis pas qualifié pour vous répondre sur le partage des responsabilités au sein du ministère. La DEPP assure en effet une mission d'appui, sous l'autorité du secrétaire général du ministère, lequel dispose de structures dotées d'une compétence qui ne m'appartient pas. Je sais cependant que le ministre, très fortement sensibilisé, a confié aux deux inspections générales une mission de réflexion sur le rôle respectif des directions opérationnelles.
La question de l'enseignement privé est à la fois intrinsèque et transversale. Responsables de l'estimation et des prévisions d'effectifs, nous disposons des chiffres qui remontent des établissements publics comme de ceux que donne l'enseignement privé. Au-delà, dans la grande majorité de nos enquêtes, les deux critères structurants concernent l'appartenance au public ou au privé et l'appartenance à des zones prioritaires ou non prioritaires.
S'agissant enfin du suivi des expérimentations éducatives, s'il n'est pas courant que la DEPP évalue des expérimentations (c'est de la responsabilité de la direction générale de l'enseignement scolaire -DGESCO), nous sommes en revanche assez souvent associés à l'évaluation ou au comité de pilotage. Nous intervenons ainsi sur l'accompagnement éducatif en collège, à l'EIST (enseignement intégré de science et technologie) ou encore les internats d'excellence et le livret de compétences expérimental. Nous participons en outre à des expérimentations locales qui me tiennent à coeur, l'une portant sur le PACEM (projet pour l'acquisition de compétences par les élèves en mathématiques) en CM1 dans les Bouches-du-Rhône, et l'autre sur le PACEM en sixième dans l'académie de Créteil. Puisque l'enquête PISA 2009 a mis l'illettrisme sur la place publique, on a pensé que les mathématiques constituaient une bonne cible pour adapter la formation continue des enseignants aux difficultés rencontrées par leurs élèves, qu'une évaluation de départ aura mesurée. Nous portons ces expérimentations avec les académies. J'attends l'évaluation de juin mais le rapport d'étape vient de montrer une grande sensibilisation des enseignants. Le lien entre formation et évaluation me semble prometteur.
M. Serge Lagauche, président . - Je vous propose de faire remonter l'ensemble des expérimentations, que nous mettrons à la disposition du rapporteur et des commissaires avant de compléter cette audition.
Mme Maryvonne Blondin . - Voilà en effet la réponse à nos questions.
M. Serge Lagauche, président . - Une fois que nous aurons reçu l'ensemble de vos documents, monsieur le directeur, nous pourrons vous interroger sur des points précis. Nous constatons maintenant qu'il y a de nombreux moyens pour évaluer ce qui se fait. Nous n'avions pourtant reçu jusqu'ici que des réponses évasives. Il nous faudra reprendre cela, tenir une séance de travail entre nous, avant de vous entendre de nouveau sur les expérimentations, comme celle que nous avons vue à Créteil, et l'on verra si vous partagez l'enthousiasme de ceux qui y participent.
Mme Maryvonne Blondin . - Tout à fait !
Mme Colette Mélot . - Très bien.
M. Michel Quéré. - Je dois préciser que les informations ne sont pas homogènes : elles varient suivant l'état d'avancement de l'évaluation.
M. Daniel Dubois . - Précisément, comment décide-t-on d'une expérimentation locale : est-ce le ministre, le recteur, vous ? J'aurais aussi voulu en savoir plus sur l'évaluation du socle commun : comment évalue-t-on la performance du système éducatif en dehors de PISA ? Bref, à quoi sert votre direction ?
Mme Maryvonne Blondin . - Ma question est très proche. Vous êtes responsable de l'évaluation de la dépense d'éducation, mais qui est responsable des choix des expérimentations et des cibles retenues ? Êtes-vous associé à l'élaboration des expérimentations locales et à quoi sert l'expérimentation ?
M. Michel Quéré. - Je vais essayer d'être aussi précis que vous le souhaitez. Le ministère a engagé une réflexion sur la lutte contre l'illettrisme et la DGESCO a lancé une expérimentation. Nous avons souhaité éclairer un autre aspect : comment l'apprentissage du calcul est-il traité ? L'innumérisme est lié à l'illettrisme, ne serait-ce que parce qu'on a du mal à résoudre les exercices quand on n'en comprend pas le libellé. Il s'agissait de compléter la palette d'instruments : c'est un choix du ministre.
Nous en sommes à la troisième itération du socle commun. A chaque fois que la mécanique tourne, on consolide l'exercice et on gagne en finesse interprétative. On utilise le résultat dans l'analyse de performance des académies, ce qui alimente le dialogue de gestion. On pourra progressivement en retirer plus d'informations.
M. Daniel Dubois . - Un mot du brevet informatique et internet (B2i). Comment évalue-t-on, par rapport au milieu urbain, le milieu rural, qui n'est pas toujours desservi en haut débit ?
M. Michel Quéré. - C'est une bonne illustration. Notre programme d'activité pour 2011, en cours de validation, exprime le souci de rechercher, à titre expérimental, une mesure objective des compétences acquises par les élèves à l'issue du socle commun. Le livret personnel de compétences est déclaratif - c'est l'enseignant qui le remplit. Nous avons une mesure avérée pour le CE1 et le CM2 ; nous en avons une, sur échantillon, pour la fin du palier 3. Nous sommes relativement désarmés sur les paliers 6 et 7 : comment objectiver les compétences en citoyenneté, en autonomie, en culture humaniste ? Nous travaillons là-dessus avec la DGESCO. Le B2i est un paramètre important pour l'objectivation.
Le calcul de la dépense d'éducation, dont nous sommes responsables, est un exercice de comptabilité nationale. C'est dans le temps long que l'on mesure l'évolution de la part de l'État, des collectivités et des ménages. L'on a une évaluation de la dépense par niveau territorial.
Mme Maryvonne Blondin . - Voilà l'information que l'on souhaite !
M. Michel Quéré. - En pratique, on retient un groupe qui bénéficie de la mesure évaluée et un autre groupe qui n'en bénéficie pas. C'est ainsi que pour l'enseignement intégré de science et de technologie, l'on a essayé de mesurer sinon l'enthousiasme des élèves, du moins leur intérêt selon qu'il y avait eu manipulation ou non.
M. Serge Lagauche, président . - Nous n'en sommes qu'au début de nos travaux. Même si nous les achevons avec une grande insatisfaction parce que des expérimentations sont en cours, nous pourrons recommander l'accélération de certaines.
Mme Françoise Cartron . - Lorsque vous évaluez le coût des EPLE, y intégrez-vous les professeurs, et avez-vous évalué la désectorisation et l'abandon de la carte scolaire ?
M. Michel Quéré. - Lorsque je suis arrivé à ce poste, voilà un an et demi, j'ai proposé au ministre de lancer des travaux avec des acteurs universitaires. Certains portent sur les effets de l'assouplissement de la carte scolaire. Ils se déroulent en ce moment.
Mme Françoise Cartron . - A quelle échéance s'achèveront-ils ?
M. Michel Quéré. - A l'automne 2011.
M. Cédric Afsa. - Nous ouvrons le chantier des EPLE. Nous disposons des informations sur la masse indiciaire mais nous ne connaissons pas les compléments de rémunération. L'information existe dans d'autres bases. Il faudra aller l'y chercher. Se posera ensuite le redoutable problème du traitement des multiaffectations.
M. Serge Lagauche, président . - Je vous remercie de vos réponses, mais, vous l'avez compris, il sera indispensable de nous rencontrer de nouveau.
M. Michel Quéré. - L'audition du directeur général de l'enseignement scolaire complètera déjà le panorama que j'ai esquissé.