II. ... N'A QUE FAIBLEMENT CONTRIBUÉ À FAIRE PROGRESSER L'ÉVALUATION
Il est évident que les conditions mêmes dans lesquelles l'évaluation des politiques publiques est réalisée par les services de l'exécutif comportent trop d'entorses aux principes d'une évaluation pluraliste et transparente pour qu'on puisse décerner aux travaux réalisés en leur sein le label que seuls méritent réellement les travaux effectués dans le cadre d'une institutionnalisation réussie de l'évaluation des politiques publiques.
Leur apport en termes de « satisfaction de la demande sociale » d'évaluation est , par nature, mineur et ce constat pose le problème de l'optimisation des ressources d'expertise que le Parlement concède chaque années à l'exécutif dans le cadre des lois de finances .
En plus de cette problématique centrale, il faut s'interroger sur les effets réels du développement de l'évaluation au sein des ministères, telle qu'elle se pratique.
1. Une illustration des difficultés rencontrées par l'évaluation interne : l'évaluation au ministère de l'Education Nationale
Les écueils sur lesquels bute l'évaluation interne sont particulièrement bien illustrés par les travaux nombreux , et bien documentés, sur les évaluations réalisées dans le domaine de l'enseignement (v. annexe n° ....). Les travaux réalisés par le Haut Conseil de l'Evaluation de l'École établissent des constats d'un très grand intérêt analytique et dessinent, en creux, un certain nombre de recommandations utiles pour améliorer l'évaluation des politiques publiques.
Vos rapporteurs souhaitent à ce propos mettre en évidence l'apport particulièrement important du Haut Conseil de l'Evaluation de l'école dans le domaine des politiques de l'Education Nationale . « L'évaluation des évaluations » à laquelle il procède est, à leurs yeux, une composante nécessaire à une institutionnalisation satisfaisante de l'évaluation des politiques publiques . Le Haut Conseil de l'Evaluation de l'école représente , ainsi, dans le champ qui est le sien, une sorte de préfiguration de la Haute Autorité de l'Evaluation qu'ils proposent de créer (v. infra ).
Evoquant la question de l'évaluation des enseignements à l'université , le Haut Conseil de l'Evaluation de l'école , dans son avis de mars 2002, constate 29 ( * ) :
« l'évaluation des enseignements à l'université est rare. Lorsqu'elle existe, elle n'est pas soutenue. Une telle évaluation est pourtant prévue par un arrêté de 1997 ... [et] des réalisations intéressantes ont pu être mises en place, mais elles restent très souvent informelles, partielles et confidentielles . Elles ne sont pas connues, ou très peu, y compris dans l'université où elles se déroulent. Il n'en existe aucun recensement , ni diffusion , ni évaluation et il est possible qu'elles aient connu un reflux ces dernières années, à la fois parce qu' elles n'ont pas été suivies d'effets visibles , et parce qu' elles n'ont fait l'objet d'aucune impulsion politique ou administrative . L'instruction ministérielle prévue par l'arrêté de 1997 n'a jamais été prise et l'existence d'une procédure d'évaluation des enseignements ne joue aucun rôle dans les relations entre les universités et le ministère . La responsabilité de celui-ci, en particulier de son administration centrale, dans cette situation est donc grande ».
Ces observations identifient remarquablement plusieurs des obstacles que rencontre l'évaluation et dont l'analyse est riche d'enseignements.
Avant de les exposer, il faut, tout d'abord, souligner que, même lorsqu'elle est prévue par une disposition réglementaire, l'évaluation n'est pas systématiquement appliquée. Cette situation concerne des textes d'un niveau politique élevé puisque, bien que prévues par deux circulaires du Premier ministre de novembre 1995 et de janvier 1998, les évaluations devant accompagner les projets de loi et de décret en Conseil d'Etat ont été loin d'être systématiques et, surtout, ont rarement atteint les objectifs affichés.
On rappelle que la circulaire du Premier Ministre du 26 janvier 1998 prévoit que les projets de loi et de décret en Conseil d'Etat sont accompagnés d'une étude d'impact analysant a priori leurs effets administratifs, juridiques, sociaux, économiques et budgétaires, l'objectif recherché étant d'évaluer toutes les conséquences des mesures envisagées sur la base d'une analyse exhaustive de la situation de droit ou de fait qu'elles visent à modifier. Mais, comme le constatent des observateurs directement concernés par les études d'impact, « leur contenu reste encore décevant » 30 ( * ) .
Ce constat liminaire illustre clairement l'existence de plusieurs obstacles à l'évaluation, qu'il faut surmonter pour asseoir efficacement l'évaluation des politiques publiques.
a) L'évaluation contestée
Le Haut Conseil de l'Evaluation de l'école relève, en premier lieu, la forte contestation théorique de la faisabilité même de l'évaluation . Cette constatation se fonde sur les difficultés qu'il y a à cerner les objectifs, les résultats et les liens de causalité en oeuvre dans ce système.
Elle met en évidence que la définition des objectifs du système scolaire consiste souvent à lui assigner des objectifs très larges qui constituent plus des affirmations de valeurs fondamentales ou des ensembles complexes d'objectifs que des cibles précisément définies. Les objectifs quantitatifs sont rares , sinon inexistants, celui de la loi d'orientation sur l'éducation de 1989, qui fixe que quatre élèves sur cinq doivent parvenir au niveau du baccalauréat, apparaissant plus comme l'exception que comme la règle.
Elle relève les difficultés d' appréhender les résultats de l'enseignement scolaire , d'autant qu'ils ne dépendent pas seulement des acteurs de ce système : la mesure des résultats est problématique - la seule mesure du nombre des diplômes observés ne peut rendre compte du savoir qui a été validé à un moment donné - ; l'identification des responsabilités en cause dans le système scolaire serait tout aussi malaisée puisque ce système est intimement imbriqué dans un contexte socio-économique avec lequel il interagit en permanence.
Cette contestation théorique semble relayée par les réticences des personnels devant l'évaluation . Le rapport indique ainsi que « dans tous les cas où l'on a besoin d'informations précises, soit pour des promotions de corps soit pour des personnels en difficulté soit pour des postes à exigences particulières, les évaluations effectuées ne suffisent pas ». Il remarque que les travaux menés par l'inspection générale de l'éducation nationale, afin de remédier à cette situation, paraissent abandonnés tandis que les personnels de direction ne sont plus évalués depuis 1993 .
Ces réticences sont toutes surmontables. Elles ne suffiraient pas en soi à freiner l'évaluation des politiques publiques si ne s'y ajoutaient d'autres obstacles .
b) Une faible impulsion politique
Le rapport du Haut Conseil de l'Evaluation de l'école évoque explicitement un défaut d'impulsion politique. Il serait probablement exagéré de prétendre que l'évaluation des politiques publiques n'a aucune place dans le discours politique. Les circulaires qu'on vient d'évoquer et, plus encore, le récent message au Parlement du Président de la République, dans lequel celui-ci exprimait le voeu que le « Parlement se dote désormais réellement des moyens d'évaluer l'action publique » témoignent de sa présence.
Mais, force est d'observer que ces manifestations de volonté n'ont guère de suites, à commencer dans la pratique de l'exécutif lui-même. Ainsi, la thématique de l'évaluation, qui devrait être au centre de la réforme de l'Etat, apparaît avancer aussi lentement que celle-ci. De façon très illustrative, elle n'est mentionnée que comme quatrième et dernière compétence de la nouvelle délégation à la modernisation de la gestion publique et des structures de l'Etat 31 ( * ) .
c) Des modalités d'évaluation critiquables
Les modalités de l'évaluation peuvent jouer contre son efficacité.
(1) Un problème d'ancrage administratif
L'ancrage administratif de l'évaluation dans l'éducation nationale constitue une première source d'interrogations. Sur ce point, on rappelle que le ministère a confié à une direction d'administration centrale la direction de la programmation et du développement (DPD), qui a succédé avec des missions identiques, sur ce champ, à la direction de l'évaluation et de la prospective (DEP), une compétence centrale en matière d'évaluation . Même s'il existe une sous-direction consacrée spécifiquement à l'évaluation, l'ensemble de la direction, à l'exception de la sous-direction des constructions, y contribue, ce qui représente un effectif de près de 220 personnes , soit, il faut en convenir, un ensemble de moyens important.
La DPD admet que son existence confère à l'évaluation du système éducatif en France un caractère relativement original par rapport aux pays voisins. En effet, dans nombre de pays, les travaux d'évaluation sont commandés à des équipes universitaires ou réalisés par des agences.
Elle estime que la présence au sein d'une administration centrale d'une telle structure présente des avantages et remarque que d'autres départements ministériels s'en sont d'ailleurs inspirés :
« - elle contribue à la pertinence des travaux réalisés au regard des décisions à prendre, notamment au niveau national, en facilitant la « commande » de ces travaux par les décideurs ;
- elle assure une réponse aussi rapide que possible à la plupart de ces « commandes » ;
- elle rend aisée une collaboration étroite avec les autres instances qui, au sein du ministère, assurent des missions d'évaluation et/ou de contrôle ;
- elle constitue une « passerelle » avec les milieux de la recherche et permet d'établir, en fonction des décisions à éclairer, des synthèses des résultats et des données disponibles ;
- elle garantit la nécessaire cohérence méthodologique et scientifique des travaux d'études et d'évaluation conduits dans les académies, travaux dont la DPD s'efforce d'animer le développement 32 ( * ) ;
- elle permet une diffusion effective auprès de l'ensemble des enseignants et des responsables déconcentrés de l'éducation nationale des outils d'évaluation et de pilotage élaborés pour eux ;
- elle facilite la réalisation d'actions de formation et d'animation au sein du système éducatif, en collaboration étroite avec les instances responsables du pilotage de la politique éducative et de la formation ;
- elle bénéficie d'un lien de proximité avec le système d'informations et de gestion du ministère, ce qui facilite la réalisation d'études et de travaux qui requièrent un accès aisé à toutes les ressources de celui-ci ».
Vos rapporteurs ne sont pas pleinement convaincus par ce plaidoyer .
De fait, une telle structure peut s'appuyer sur les services statistiques et de gestion du ministère dont les recueils d'informations et les outils de gestion sont conçus en tenant compte des besoins des travaux d'évaluation.
Pour autant, il est essentiel de peser soigneusement les avantages invoqués dont beaucoup, sinon tous, ne peuvent être considérés comme tels qu'au prix d'une vision quelque peu décourageante du fonctionnement administratif, qui partirait du constat que l'administration ne saurait travailler que pour... l'administration.
A l'inverse, les avantages d'une évaluation extérieure doivent être gardés à l'esprit, ainsi que les inconvénients de confier la tâche d'évaluer un organisme à l'une de ses composantes.
(2) Des méthodes peu robustes
La question des méthodes de l'évaluation est également importante . Elles appellent, d'abord, la définition d'un référentiel précis qui fait souvent défaut . Sur ce point, le rapport souligne les lacunes que présente la gestion des processus d'évaluation. Par exemple, il relève que :
« l'appréciation de la qualité du travail des enseignants est peu formalisée : les inspections sont rares et se limitent encore souvent à l'observation d'un cours. Les notations par les chefs d'établissement portent sur des attitudes plus que sur des compétences. En outre, il n'existe pas de véritable référent avec des conséquences en termes de diversité des pratiques des évaluations, de fiabilité des évaluations, d'équité et donc d'acceptation du système évaluatif ».
La qualité des méthodes d'évaluation suppose aussi le choix d'outils pertinents . A cet égard, le rapport regrette que la DPD procède largement par questionnaires , recueillant ainsi sur les pratiques pédagogiques des déclarations plutôt que des observations et qu'elle ne porte pas véritablement de jugement évaluatif, se contentant trop souvent de restitutions purement descriptives.
d) Des travaux sans suites ?
Enfin, l' utilité des évaluations est mise en cause . Le rapport remarque que les rapports, les notes, les articles fournissent une information très riche, ce qui correspond à l'objectif de rendre compte, mais que le système donne l'impression que les destinataires ne sont pas réellement identifiés : « dans beaucoup de cas, on peut penser qu'il s'agit de responsables du système, mais les rapports les atteignent à un moment où les décisions correspondantes ne sont pas nécessairement à l'ordre du jour ».
L'Inspection générale de l'administration de l'Éducation nationale et de la Recherche (I GAENR) , examinant les suites données à ses rapports, parle, quant à elle, de « manque de visibilité des résultats ». Et elle constate qu'entre 1995 et 1999, près de la moitié de ses rapports sont restés sans suite et seulement 20 % ont reçu une exploitation largement positive . Encore, parmi eux, seule une minorité concerne-t-elle l'ensemble du système éducatif et non une académie ou un établissement particulier. Ces rapports ont alors une caractéristique commune : il s'agit de « l'accompagnement d'une politique ministérielle : l'IGAENR était invitée à participer à la construction d'un dispositif en temps réel, en apportant les éléments d'information nécessaires à l'autorité responsable ».
Ces constats s'étendent aux autres évaluateurs. Souvent, les rapports ne servent qu'à nourrir d'autres rapports. « On se trouve rarement dans un processus de pilotage régulé où des évaluations précèdent les décisions, qui sont suivies de nouvelles évaluations conduisant à des décisions correctrices ». Une des explications avancées réside dans la large indépendance de la plupart des organes d'évaluation par rapport aux décideurs, non seulement pour l'évaluation elle-même, mais aussi dans le choix des sujets.
Enfin, pour les inspections générales et pour la DPD, la publication des rapports est soumise à l'accord du ministre, ce qui constitue une dépendance n'allant pas dans le sens de la transparence du compte-rendu .
Le « rapport Pair » en déduit que les destinataires les plus importants ne sont pas les responsables du système.
e) Une évaluation sans lisibilité ?
Pour conclure, le rapport met en évidence une conclusion très significative . La multiplication des organes et des travaux d'évaluation - qui ne va pas sans redondances - n'empêche pas que le système éducatif dans son ensemble n'est pas évalué.
« Les travaux concernant le système éducatif dans sa globalité sont rares . Les rapports annuels des inspections générales constituent une mine d'informations, mais pas une évaluation d'ensemble. Celui de l'IGEN 33 ( * ) est une juxtaposition de travaux sectoriels, celui de l'IGAENR a davantage un caractère de synthèse, mais seulement sur les points examinés au cours de l'année. Pour l'enseignement supérieur, le CNE 34 ( * ) adresse chaque année un rapport au Président de la République ; c'est, pour l'essentiel, un rapport d'activité du Comité.
Le seul document portant sur l'ensemble du système est « l'état de l'école », publié chaque année par la DPD . Mais, avec ce document, il s'agit d'un ensemble d'indicateurs commentés, au nombre de trente, sur les coûts, les activités, les résultats, plus que d'une évaluation proprement dite, même si les évolutions temporelles qu'il indique en font un excellent outil de compte-rendu.
Conclusion éclairante, « il existe beaucoup d'évaluations concernant les aspects particuliers de la politique éducative mais elles ne dessinent pas une évaluation globale ; «l'état de l'école» donne des indicateurs pertinents et les place dans une évolution temporelle, mais ne les relie pas à la politique éducative » ; il y aurait place pour un rapport périodique d'évaluation de la politique éducative française examinant les conséquences des arbitrages effectués sur la réalisation d'objectifs déterminés ».
2. Un apport limité
On a déjà mentionné, dans le présent rapport, les difficultés d'ancrage de la fonction d'évaluation dans les services ministériels, qu'il s'agisse ou non des services d'inspection. Elles empêchent de souscrire pleinement à la présentation de leurs missions affichée par les services et de reconnaître qu'ils apportent une contribution efficace à l'évaluation des politiques publiques sur elles-mêmes.
Mais les difficultés d'organisation administrative de la fonction d'évaluation ne sont qu'un des aspects des problèmes que rencontre le développement de l'évaluation au sein de l'exécutif tel qu'il se déroule.
a) L'impossible quantification des travaux d'évaluation ministérielle
La confidentialité de leurs travaux ne favorise pas l'analyse de l'activité effective des services en termes d'évaluation.
Les entretiens effectués pour élaborer le présent rapport permettent toutefois d'apporter quelques précisions. Ils témoignent d'un important écart entre la présentation des missions de certains services et leur activité effective dans le champ de l'évaluation .
S'agissant des inspections , les explications viennent surtout de ce que les missions traditionnelles d'inspection ainsi que la multiplication des demandes urgentes exercent un effet d'éviction. De façon illustrative, il a pu être regretté que l'IGAS soit trop un « pompier du social et pas assez un apporteur de réflexions ».
S'agissant des services ministériels , l'absence d'une culture d'évaluation bien ancrée, les problèmes d'encombrement suscités par l'exercice d'autres missions, mais aussi un certain nombre de considérations liées à la « culture administrative » 35 ( * ) sont à la source d'un développement de l'évaluation beaucoup moins achevé que ce que la seule considération des textes d'attribution de compétences et des comptes rendus de missions laisserait supposer. Les réponses au questionnaire de vos rapporteurs concernant la Direction de l'animation de la recherche, des études et des statistiques (DARES) du ministère de l'Emploi, qui représente pourtant un service particulièrement expert en politiques du travail, illustrent les difficultés liées à un cumul de charges excessif. Le panorama des interventions de la DARES dans le champ de l'évaluation tel qu'il figure dans l'encadré ci-dessous contraste avec celui de ses autres activités énumérées pages 66 et suivantes du présent rapport.
Un exemple d'absorption des moyens d'un service
d'études et d'évaluation par les contraintes du suivi
statistique : la DARES
On a précédemment mentionné la lourdeur des travaux statistiques mis à la charge de la DARES. Ils exercent incontestablement un effet d'éviction sur les autres missions de cette direction.
Les travaux d'évaluation de la DARES sont présentés succinctement dans un programme de travail annuel, qui fait l'objet d'une publication régulière et très accessible.
Les différents travaux qu'elle mentionne sont repérés en fonction de leur nature et il existe un rubricage propre aux activités d'évaluation des politiques publiques. Le cas échéant, les activités d'évaluation des politiques publiques sont distinguées de ce qui relève de la simple évaluation et les activités mixtes, à vocation évaluative mais aussi de suivi ou d'études, sont mentionnées comme telles.
La liste des activités entrant dans le champ de l'évaluation dans le programme 2002 comporte les projets ci-après :
- évaluation de l'externalisation de la mise en oeuvre des politiques d'emploi (nature de l'opération : évaluation de politiques publiques) ;
- évaluation du contrat de progrès de l'AFPA (nature de l'opération : évaluation) ;
- évaluation du contrat de plan Etat/Région Ile-de-France (nature de l'opération : évaluation) ;
- suivi des contrats de plan Etat-Régions (nature de l'opération : suivi/évaluation) ;
- évaluation de la formation professionnelle en région (nature de l'opération : évaluation).
Le nombre des activités d'évaluation apparaît ainsi comme plutôt modeste au regard de l'ensemble des travaux de la DARES. L' essentiel de ceux-ci ont, de fait, une dimension statistique , marquée d'ailleurs principalement par un souci de suivi des dispositifs. En outre , les études ou recherches précèdent en nombre, de beaucoup , les projets d'évaluation et, parmi ceux-ci, un seul projet relève, selon la DARES, de l'évaluation des politiques publiques.
En outre, les réponses adressées au questionnaire envoyé par vos rapporteurs aux différents ministères témoignent d' imprécisions quant à la nature des travaux effectués, de nombreuses opérations de simple suivi statistique étant qualifiées d'évaluation par exemple . Ces confusions présentent en soi un certain intérêt. Elles apportent d'abord la démonstration d'une diffusion encore modeste et très inégale de la culture d'évaluation .
Elles traduisent ensuite l'un des biais que favorise l'attribution de missions d'évaluation à des services internes lorsque celles-ci ne sont pas suffisamment précisées , à savoir la tendance naturelle des administrations centrales, à qui ces missions sont presque systématiquement confiées, d'en promouvoir une conception tournée vers le contrôle de gestion , qui plus est, le contrôle des services déconcentrés. Ce biais a lui-même pour conséquence d'exempter les administrations centrales de l'évaluation alors même que c'est à leur niveau que les politiques publiques sont conçues. L'évaluation des politiques publiques en ressort largement vidée de son sens.
Il serait en conséquence erroné d'assimiler le développement de structures administratives consacrées à l'évaluation et le développement réel de celle-ci.
b) Un contexte peu propice à l'apport évaluatif des travaux réalisés en interne
La confidentialité des travaux apparaît déjà en soi comme une réponse à la question de l'estimation de l'apport évaluatif des travaux réalisés en interne , d'autant qu'elle s'inscrit dans un contexte plus global qui place les services ministériels et les services d'inspection sous la dépendance hiérarchique du ministre .
Il serait évidemment excessif de dénier, de ce seul fait, tout apport évaluatif aux travaux des inspections ou des services. Théoriquement, une bonne évaluation peut être considérée comme dépendant avant tout de la compétence de son auteur et de sa capacité d'indépendance. De ces derniers points de vue, à défaut de garanties formelles, on ne saurait négliger la tradition d'indépendance des inspections, tradition qui n'existe pas pour les services ministériels, qui s'appuie sur une déontologie, essentielle à leur mission de contrôle.
Malgré tout, par plusieurs aspects, on doit estimer que les conditions dans lesquelles sont réalisés les travaux d'évaluation internes font obstacle à une complète reconnaissance de leur contribution à l'évaluation des politiques publiques .
(1) Les défauts inhérents aux travaux d'autoévaluation
Pour se résumer, on peut relever que les travaux des services en cause sont des travaux d'autoévaluation.
Tout d'abord, leurs interventions , en tant qu'évaluateurs, relèvent du jugement de politiques ou d'actions publiques qui sont celles d'un ministère dont ils relèvent , y compris lorsqu'elles portent sur l'action d'organismes sous simple tutelle ou sont conduites dans le cadre, qui reste assez rare, d'évaluations interministérielles.
Il peut ainsi être délicat d'aborder certains sujets ou de présenter des conclusions dont on pressent qu'elles ne sont pas conformes aux orientations politiques du ministre ou qu'elles peuvent remettre en cause l'action d'une direction du même ministère. Sans que ces considérations constituent systématiquement un obstacle et, il faut le mentionner même si, paradoxalement, la confidentialité peut être un facteur favorisant le développement d'une approche évaluative.
Toutefois, elle a un revers : même si certains rapports, en particulier ceux des inspections, sont élaborés en suivant une procédure de discussion nettement formalisée, celle-ci, à la connaissance de vos rapporteurs, reste purement interne. Ainsi, sauf exception, quand les rapports sont publiés, ces évaluations ne font pas intervenir d'oeil extérieur .
Incidemment, on peut relever que cette situation est assez curieuse puisque, si les missions d'évaluation des inspections sont dérivées de leurs missions de contrôle, le principe du contradictoire, appliqué à ces dernières missions, n'a pas déteint sur les évaluations où il pourrait se révéler pourtant utile et légitime .
En bref, les évaluations ainsi réalisées le sont au terme d'un processus fermé qui offre peu de garanties d'une suffisante exhaustivité des approches sur une question donnée et sur la prise en compte de la diversité des points de vue.
(2) Des défauts renforcés par l'identité culturelle forte des services ministériels
Cette situation est d'autant moins satisfaisante que l' identité culturelle des corps administratifs français est forte , les filières de recrutement étant peu diversifiées et l'ouverture sur l'extérieur demeurant exceptionnelle. On peut ajouter, pour les inspections, qu'elles sont particulièrement marquées par leurs fonctions originelles de contrôle et une certaine propension à la rationalisation abstraite, que certains nomment de façon peu obligeante et très exagérée de « technocratisme ».
Il n'est pas dans l'intention de vos rapporteurs de souscrire à ce qui constitue une approche excessivement critique des grands corps d'inspection de l'Etat. Il faut, d'ailleurs, relever la préoccupation de diversifier les recrutements qui se traduit par exemple pour l'IGAS et l'IGA par une réelle pluralité dans l'origine des effectifs, avec une part des inspecteurs directement issus de l'ENA qui n'est que de l'ordre de la moitié. Il reste que leur identité s'appuie sur une culture qui ne favorise pas toujours la diversité des analyses, non plus que la prise en compte prioritaire, ni des finalités ultimes de l'action publique, ni de ses conditions concrètes.
L' absence de regard extérieur sur les rapports d'évaluation réalisés en interne ne permet pas de contrebalancer les biais qui peuvent les frapper, non plus que les inconvénients résultant de leur caractère d'autoévaluation. C'est d'autant plus vrai que, non discutés lors de leur élaboration, ils le sont rarement après adoption du fait d'une absence de publication, qui demeure trop souvent la règle.
Cette situation peut être assez contre-productive pour l'exécutif lui-même . Il est souvent dangereux, comme cela a pu être observé à l'occasion de la réforme avortée des administrations fiscales, de s'appuyer sur des évaluations auto-produites.
LA RÉFORME DES ADMINISTRATIONS
FISCALES
Le dénouement, au début 2000, de la réforme des administrations fiscales est pleinement illustrative des pièges de l'autoévaluation. En un raccourci saisissant, M. Thierry Bert en rend compte en ces termes 36 ( * ) :
« Le 6 janvier 2000 était rendu public un rapport élaboré par Paul Champsaur, directeur général de l'INSEE, et par moi-même, qui dessinait les grandes lignes de ce que pouvait être à notre avis une administration fiscale modernisée, simplifiée et davantage tournée qu'elle ne l'est vers le service du public. Dès le 26 janvier, le ministre de l'Economie et des Finances annonçait un plan de réforme reprenant certaines de ces propositions, en écartant d'autres, comme la retenue à la source de l'impôt sur le revenu, et proposant une négociation avec les organisations syndicales pour mettre au point les modalités des restructurations envisagées. Le 20 mars, le projet de réforme était retiré. Quelques jours plus tard, le ministre démissionnait... ».
Cet épilogue brutal mit un terme à un processus dont les différentes étapes méritent d'être citées :
- deux hauts fonctionnaires 37 ( * ) analysent la meilleure manière de procéder à la fusion des ministères des Finances et de l'Industrie et, dans la présentation des résultats de ces travaux, en présence de tous les ministres et de tous les directeurs , émettent le souhait de voir le nouveau ministère recourir de manière plus fréquente à la comparaison internationale des systèmes de gestion, des procédures et des résultats ;
- une mission d'analyse comparative des administrations fiscales est confiée à l'inspection générale des finances qui rend des conclusions critiquant l'organisation du système français.
- A partir de ce diagnostic, la « mission 2003 » est créée avec la nomination de deux rapporteurs , le chef de l'Inspection générale des finances et le directeur général de l'INSEE et un comité de pilotage présidé par les ministres, les directions concernées, qu'elles soient transversales (direction du personnel, direction de la communication) ou directement concernées par les problèmes traités (Direction générale des impôts, Direction générale de la comptabilité publique, Direction générale des douanes et des droits indirects) étaient requises de participer activement aux travaux, leurs directeurs participant naturellement au comité de pilotage.
Cette description est directement tirée de l'ouvrage précité. Celui-ci précise, en outre, le déroulement des travaux de la mission 2003.
Il indique que la mission développa son action dans trois directions.
« Des groupes techniques , composés de techniciens des administrations centrales et de responsables de terrain , analysaient à Paris les aspects procéduraux, organisationnels et informatiques des sujets traités. Les aspects informatiques furent étudiés avec l'appui de la société Gemini-Consulting, qui élabora avec les responsables administratifs le diagnostic de l'existant et les propositions qu devaient permettre de parvenir aux objectifs.
Parallèlement, la mission lançait trois études sur les opinions et les propositions des usagers du service public fiscal : l'une auprès des entreprises, deux autres auprès des particuliers. »
Cette présentation est complétée comme suit :
« Enfin, l'opinion des agents eux-mêmes fut sollicitée . La mission prit l'initiative d'une lettre mensuelle d'information et de discussion, nommée « Dialogues » ; elle se dota d'une adresse postale et d'une adresse Intranet, auxquelles les agents de tous grades envoyèrent environ 1 300 contributions, dont certaines extrêmement détaillées. Les problèmes soulevés par la commande ministérielle et les solutions envisageables furent évoqués d'abord devant l'ensemble des cadres lors de réunions locales tenues par la mission en juin et juillet 1999, puis repris par des « ateliers locaux de propositions » qui mobilisèrent environ 7 000 agents des trois directions, par groupe de quinze, au cours des mois de septembre et d'octobre. Le ministre lui-même assuma à la même époque huit débats directs d'une journée en province. Le tout fut repris, débattu et synthétisé lors de 10 conventions interrégionales qui permirent jusqu'à la fin du mois de novembre de confronter les opinions. Les syndicats furent reçus systématiquement à la fin de chaque réunion tenue au niveau local... ».
Il est intéressant d'observer que le compte-rendu du processus de réforme insiste sur le haut degré de préparation qui l'a entourée avec des travaux techniques rigoureux et approfondis, mais aussi une consultation des agents, des usagers et des syndicats. Dans ces conditions, l'échec de la réforme emprunterait au mauvais-vouloir de certains traduisant une allergie profonde à la remise en cause du périmètre des missions.
Vos rapporteurs ne peuvent entièrement souscrire à cette présentation. Ils se souviennent, comme parlementaires, n'avoir eu connaissance du projet de réforme qu'aux tous derniers instants. Surtout, le processus qu est retracé leur paraît très en marge d'un processus organisé d'évaluation d'une action publique. Même s'il en réunit plusieurs des ingrédients, d'autres font défaut et ceux qui sont mentionnés témoignent d'un maniement qui n'a pas été conforme à ce qu'il aurait été dans le contexte d'un processus d'évaluation bien conduit. Le découpage tranché entre la phase de diagnostic et les étapes suivantes, l'absence à tous les niveaux d'une réelle confrontation entre les différentes parties prenantes, et entre celles-ci et des experts extérieurs, le manque de transparence d'un processus insuffisamment intégré sont à relever.
Les travaux d'expertise réalisés par les services du ministère ont atteint un degré élevé de qualité. Il reste que le diagnostic, globalement exact, aurait mérité d'être affiné, comme l'a montré un excellent rapport de notre commission des finances 38 ( * ) . Une observation finale sur ce sujet mérite d'être mentionnée : comme le montre l'épisode ici évoqué, l'évaluation des politiques publiques, dès lors qu'elle est réalisée dans un contexte respectueux des règles de déontologie souhaitables, permet d'éviter les échecs qui concluent souvent les processus de « pseudo-évaluation », quand bien même les travaux techniques qui les accompagnent sont d'une qualité satisfaisante. En ce sens, l'évaluation est un instrument indispensable de la réforme de l'Etat.
Le caractère fermé des entreprises d'évaluation réalisées par les seuls services ôte, en tout cas, à ces évaluations, la dimension pluraliste et la visibilité qui sont les composantes fondamentales des démarches d'évaluation, et une condition essentielle de leur contribution à la réforme de l'Etat .
c) La confidentialité des travaux réalisés en interne limite leur contribution à l'évaluation des politiques publiques
La confidentialité des évaluations pose, à l'évidence, un problème fondamental : celui de la contribution de l'évaluation réalisée sous ce pavillon à l'utilité sociale.
(1) Des travaux « fermés »
Bien qu'inégale, en fonction des cultures propres à chacun des services ou corps d'inspection , des traditions établies ainsi que des intérêts du moment, elle conduit à réserver la publication de leurs travaux à la décision politique du ministre .
Pour les services d'inspection , il faut sans doute distinguer entre les situations de confidentialité systématique confinant au secret et celles où la tradition de publication est de mise. Mais, même dans ce dernier cas, les ministres disposent d'une priorité dans l'information. On peut, dès lors, légitimement se demander si la publication ne donne pas lieu à l'exercice d'un contrôle visant à expurger les travaux de leurs conclusions politiquement sensibles.
D'après les sites respectifs de l'IGAS et de l'IGF, seuls 36 rapports de la première et 6 rapports de la seconde ont été mis en ligne sur Internet.
Quant aux évaluations réalisées par les services ministériels , il est impossible de quantifier le ratio des travaux publiés rapportés aux travaux réalisés,nul recensement de ces derniers n'étant disponible.
Ces données témoignent d'une conception fermée des travaux réalisés par les services ministériels et limitent évidemment leur contribution à l'utilité sociale .
Certaines des personnes auditionnées ont mentionné l'accessibilité des études dont s'agit à travers le mécanisme de garantie d'accès aux documents administratifs assuré par la commission du même nom (CADA). Mais, en réalité, rien ne permet d'affirmer que l'ensemble des travaux puisse être effectivement consultable par cette voie, ne serait-ce que parce qu'aucune publicité systématique de leur existence n'est organisée.
Il faut souligner en particulier que, ni le programme de travail ni les rapports des inspections ne sont publics, sauf, pour ces derniers, décision contraire du ministre 39 ( * ) .
Cette situation correspond à une conception selon laquelle les productions des services ministériels appartiennent aux ministres concernés . En dehors de ceux-ci, elle ne peut vraiment satisfaire personne. Le Parlement, en particulier, qui ne s'accorde pas les mêmes moyens d'expertise, mais qui vote les crédits permettant au Gouvernement d'en disposer, peut considérer à bon droit que son « autodiscipline budgétaire » est mal récompensée par l' exercice d'un monopole de l'expertise aussi restrictif que celui auquel il tente, moyennant des efforts aussi lassants qu'opiniâtres, d'apporter quelque inflexion.
(2) Une illustration, l'évaluation de la norme fiscale
Un point de vue sur le monopole de
l'évaluation par l'exécutif :
le dernier rapport du
Conseil des impôts
40
(
*
)
.
« L'évaluation de la norme fiscale est absente de la pratique française.
Si l'on excepte le Conseil des impôts , dont les moyens ne lui permettent guère de produire plus d'un rapport par an , les dispositifs d'évaluation de la norme fiscale sont rares dans notre pays.
L'évaluation des mesures fiscales ressortit en pratique essentiellement à la direction de la prévision , la direction de la législation fiscale étant plutôt chargée de la technique fiscale et du chiffrage budgétaire. L'INSEE n'intervient dans le domaine fiscal que de manière incidente, souvent dans une problématique d'étude large mais ponctuelle, ou dans une problématique économique très transversale. Mais la direction de la prévision ayant pour mission de conseiller le ministre , - ce qui exige, à l'évidence, une confidentialité réelle -, ses travaux ne sont rendus publics que s'ils lui ont en réalité été demandés par une instance extérieure , à l'instar du conseil d'orientation pour les retraites (COR) ou du conseil d'analyse économique (CAE).
Les évaluations publiques des normes fiscales , du point de vue de leur efficacité, doivent en réalité être aujourd'hui effectuées par les institutions qui souhaitent en disposer , avec leurs moyens propres . De ce fait, elles ne sont guère fréquentes. Le Parlement a supprimé, pour des raisons d'inadaptation de la procédure, l'Office parlementaire d'évaluation des politiques publiques. La mission d'évaluation et de contrôle de l'Assemblée nationale (MEC) n'a pour sa part abordé les questions fiscales que sous l'angle du recouvrement de l'impôt. Les études parlementaires ayant un caractère d'évaluation sont rares 41 ( * ) . »
Vos rapporteurs ont souhaité citer le point de vue du Conseil des impôts sur l'évaluation de la norme fiscale pour l'intérêt du constat qu'il établit. Il peut être étendu à un champ plus vaste composé des organismes administratifs ayant une vocation analogue. Cependant, il faut aussi exposer les raisons pour lesquelles ils n'en partagent pas les conclusions et sont conduits à proposer d'autres solutions que celles exprimées par le Conseil .
(3) Quelles solutions ?
Le quasi monopole de l'expertise exercé par l' exécutif entraîne des déséquilibres qu'il faut corriger . Pour vos rapporteurs, ce rééquilibrage devrait, idéalement, se fonder sur un retour à une conception des missions des administrations publiques moins réductrice que celle qui a cours aujourd'hui, après une dérive regrettable.
En prenant, une à une, les observations du Conseil des Impôts, qui, même si elles ne portent que sur un secteur particulier, paraissent généralisables, on est conduit à se démarquer de celles-ci sur plusieurs points :
- le rôle de la direction de la prévision, qui est mentionnée, ne peut être, sans approximations, qualifié de « conseil du ministre ». Le décret n° 2003-773 du 20 août 2003, qui fixe ses attributions 42 ( * ) , ne mentionne pas cette compétence . Son article 2 liste les missions de la direction :
« La direction de la prévision et de l'analyse économique produit des analyses et des évaluations, et formule des recommandations dans les domaines de la politique économique suivants : politiques macroéconomiques, finances publiques, politiques sociales, politiques sectorielles.
Elle élabore des prévisions de la situation économique, française et internationale, et établit les prévisions macroéconomiques et financières associées à la préparation des lois de finances, des lois de financement de la sécurité sociale et des engagements européens de la France. A ce titre, elle établit les budgets économiques de la nation.
Elle assure le secrétariat de la commission économique de la nation, de la conférence économique annuelle et de l'observatoire économique de l'achat public.
Elle contribue au développement et à la diffusion des techniques de prévision et d'analyse économique.
Elle assure ses missions en liaison avec les autres organismes d'étude, d'analyse économique et de prospective. »
Le décret ne mentionne nullement que la direction exerce ses missions au profit du seul ministre . Notre organisation politique et administrative place sans doute les services ministériels sous la dépendance hiérarchique du ministre. Mais, elle comporte, en outre, deux caractéristiques qu'il faut rappeler : les services administratifs exercent des missions d'intérêt général , qui semblent interdire de systématiser une conception selon laquelle ces missions seraient exercées au bénéfice exclusif d'un ministre ; celui-ci dispose , par tradition, de cabinets qui ont précisément cette fonction .
Si, en consacrant cette conception critiquable selon laquelle une administration pourrait jouer un rôle exclusif de conseil du ministre, on justifie la confidentialité des travaux réalisés en son sein, il faut admettre qu'une autre conception , plus conforme à la loi, doit déboucher sur d'autres conclusions où la confidentialité des travaux des directions ministérielles ne saurait être générale.
On peut certes admettre que les travaux réalisés en réponse à une demande du ministre, qu'elle soit explicite ou anticipée, soient confidentiels. On ne peut , en revanche, se résoudre à une situation où tous les produits d'une administration seraient présumés , par principe , correspondre à une telle demande et, dès lors, rester confidentiels . Il faut malheureusement admettre que , même si elle n'est pas conforme au droit, ni à l'intérêt général, c'est cette dernière conception qui prévaut , comme l'observation du Conseil des impôts en témoigne. Elle l'emporte en pratique sur des analyses et recommandations plus nuancées où l'expertise serait mieux partagée.
Il convient donc de sortir de ce qui constitue une impasse . Sur ce point, le Conseil des impôts préconise une solution qui suscite le scepticisme de vos rapporteurs .
Avant que d'en exposer les raisons, il faut, au contraire, pleinement souscrire à l'idée selon laquelle « les évaluations des normes fiscales, ..., doivent en réalité être aujourd'hui effectuées par les institutions qui souhaitent en disposer, ... ». Le Parlement en semble bien convaincu qui , malgré de nombreux obstacles, s'efforce de mener cette tâche à bien . De fait, le Conseil des impôts ne représente pas le seul dispositif d'évaluation de la norme fiscale en France, même si la qualité de ses travaux est, sans doute, irréprochable. Il est d'ailleurs regrettable que le Parlement ne puisse saisir le Conseil des impôts , d'autant que sa contribution à l'évaluation de la norme fiscale ne satisfait pas entièrement son excellente préconisation que l'évaluation des normes fiscales soit effectuée par les institutions qui souhaitent en disposer .
Pour améliorer la situation , le Conseil préconise que lesdites institutions , en particulier les deux assemblées parlementaires, se dotent de moyens propres . Vos rapporteurs s'interrogent sur les implications d'une telle recommandation .
S'il s'agit de constituer auprès du Parlement des services capables d'évaluer la politique fiscale et, plus largement, les politiques économiques dans les mêmes conditions que ceux « monopolisés » par le gouvernement, il faudrait a minima dupliquer la direction de la prévision et de l'analyse économique .
Cette entreprise , qui supposerait le recrutement par le Parlement - voire, du fait de leur autonomie, par chacune des assemblées - de quelque deux cents agents (soit l'effectif de la direction de la prévision) aurait un coût certain pour des avantages plus indéterminables puisqu'aussi bien l'évaluation des politiques concernant les prélèvements obligatoires, et, plus encore, l'évaluation en propre des politiques économiques suppose de pouvoir accéder à la totalité des données nécessaires, qui resteraient produites par l'administration de l'exécutif.
Dans la concurrence qui pourrait s'instaurer entre les services d'expertise du gouvernement et ceux des assemblées, on devine ce que cette situation pourrait avoir comme prolongements. Une pareille mesure appliquée à d'autres politiques aurait des coûts considérables.
Surtout, il convient de souligner que notre système politique diffère profondément du système américain qui semble être le seul à connaître une situation telle que celle préconisée par le Conseil des impôts. La séparation stricte des pouvoirs connue aux Etats-Unis ne correspond pas à notre tradition , qui est celle d'une séparation souple des pouvoirs . Celle-ci conduit à privilégier d'autres arrangements que ceux évoqués par le Conseil des impôts. Elle constitue, d'ailleurs, en soi, une objection à la conception d'une administration centrale à la seule disposition du ministre.
Ces considérations doivent guider les choix à effectuer. L'autre branche de l'alternative consiste, aux yeux de vos rapporteurs, à réunir les conditions d'un meilleur accès à l'expertise existante . Il convient de sortir de la confusion de plus en plus grande entre les rôles administratifs et politiques des différentes composantes des ministères.
Cet objectif doit être tenu comme particulièrement essentiel s'agissant de services administratifs dont la vocation n'est pas d'être directement opérationnels, mais consiste à produire de la connaissance et de l'expertise. Si celui-ci devait s'avérer hors d'atteinte dans le cadre institutionnel actuel, il faudrait entreprendre les modifications nécessaires.
Dans un premier temps, une concertation devrait être lancée entre le Parlement et le gouvernement pour envisager les modalités d'un meilleur accès aux moyens de l'évaluation dont celui-ci dispose. Des « chartes de service public » pourraient être élaborées précisant les conditions d'accès aux ressources nécessaires à la diffusion de l'expertise des services de l'exécutif. Les conditions d'accès aux données seraient précisées, de même que celles concernant les transferts de savoir-faire 43 ( * ) développés par les administrations à partir des ressources publiques qui leur ont été allouées. Les conventions nécessaires, telle que celle conclue au tournant des années 80 entre le Premier ministre et le Président du Sénat, prévoyant la mise à disposition du Sénat des outils de calcul économique développés au sein de la direction de la prévision et de l'INSEE avec le concours financier du Sénat, pourraient être conclues.
A défaut de succès , il faudrait entreprendre les ajustements nécessaires. On peut à ce sujet imaginer de redistribuer les fonds publics dans un sens permettant de favoriser l'essor de l'expertise indépendante ou (et) de délier, pour partie, les services concernés de la relation hiérarchique dans laquelle ils se trouvent .
Ces dernières entreprises permettraient de mettre à niveau les moyens indépendants de l'expertise et de l'évaluation des politiques publiques. Elles permettraient de remédier à une faiblesse importante de l'offre d'évaluation, la modestie des centres d'expertise et d'évaluation indépendants. Cette réorganisation aurait pour premier grand avantage de favoriser l'accès à l'expertise de l'ensemble des acteurs de la décision publique. Cette réforme serait par ailleurs peu coûteuse . Même si elle ne supprimerait pas les besoins des institutions en moyens autonomes, elle entraînerait des surcoûts nettement plus faibles que ceux associés à la préconisation du Conseil des impôts. Un réaménagement plus général des moyens d'expertise pourrait, en outre, être l'occasion de quelques simplifications. L'existence de nombreux centres ministériels d'expertise peut engendrer des redondances dans les travaux réalisés du fait de l'absence de maîtrise des problèmes de coordination interministérielle que pose l'éparpillement des acteurs.
* 29 Les passages en gras sont soulignés par vos rapporteurs.
* 30 Extrait de l'exposé des motifs de la proposition de loi constitutionnelle du 2 octobre 2002 du groupe socialiste de l'Assemblée nationale, tendant à modifier l'article 34 de la Constitution.
* 31 Créée par le décret n° 2003-141 du 21 février 2003 portant création de services interministériels pour la réforme de l'Etat.
* 32 La DPD est certes une structure centrale, mais elle anime le réseau des services statistiques académiques qu'elle incite et aide depuis quelques années à développer les travaux touchant à l'évaluation et aux études en liaison avec une déconcentration de plus en plus marquée du ministère de l'éducation nationale.
* 33 Inspection générale de l'Éducation nationale.
* 34 Comité national de l'Éducation.
* 35 A titre d'illustration, il a ainsi pu être observé que la neutralité du système statistique interdit de juger l'efficacité ou la pertinence des politiques publiques à tel service statistique ministériel.
* 36 In « Notre Etat », Roger Fauroux et Bernard Spitz.
* 37 Les passages en gras soulignent les propos de l'auteur qui sont largement repris dans l'encadré.
* 38 « Les missions fiscales de la direction générale des impôts ». Rapport n° 205 du 2 février 2000. Sénat, Commission des Finances. M. Bernard Angels.
* 39 La LOLF prévoit cependant que certaines autorités désignées par elle ont accès aux rapports des inspections, qui, théoriquement, devraient en tant que documents administratifs être accessibles auprès de la Commission d'accès aux documents administratifs, la CADA.
* 40 Les passages soulignés en gras le sont par vos rapporteurs.
* 41 Mais pas totalement inexistantes. Cf. Rapport d'information du rapporteur général de la Commission des finances de l'Assemblée nationale sur la défiscalisation des investissements outre-mer, n° 1060, du 9 juillet 1998.
* 42 En même temps qu'il procède à un changement d'intitulé, la direction devenant direction de la prévision et de l'analyse économique, et d'organigramme.
* 43 Ces savoir-faire peuvent consister en des méthodes très variées de traitement de l'information.