II. L'ÉVALUATION DES POLITIQUES PUBLIQUES, UNE ENTREPRISE RIGOUREUSE
Les objectifs de l'évaluation des politiques publiques supposent, pour être atteints, que soient réunies un certain nombre de conditions . Certaines d'entre elles dessinent une véritable déontologie de la conduite des évaluations ; d'autres ont un caractère plus pratique et visent à ce que les processus d'évaluation produisent leur plein effet.
A. L'ÉVALUATION DES POLITIQUES PUBLIQUES APPELLE LE RESPECT D'UNE VÉRITABLE DÉONTOLOGIE
L'évaluation des politiques publiques est exposée au risque permanent d'instrumentalisation au service d'un message politique particulier. Cette dérive peut être voulue ou subie, selon qu'elle résulte d'instructions ou simplement de biais en lien avec des modalités d'organisation qui prédétermineraient les résultats de l'évaluation.
Pour éviter ces écueils , une série de principes , composant une sorte de déontologie, doivent être posés afin que l'évaluation soit indépendante . En plus des règles qu'appelle cet objectif, le pluralisme et la transparence ressortent comme des garanties essentielles dans cette perspective.
1. Lignes directrices : appliquer à l'évaluation une véritable déontologie
Instrument d'intelligence des décisions publiques , l' évaluation des politiques publiques, entreprise singulière , doit, pour atteindre ses objectifs, respecter un corps de principes , une véritable déontologie .
La littérature sur l'évaluation des politiques publiques est unanime à reconnaître cette exigence. La conduite d'une évaluation suppose de dérouler un processus particulier et , surtout, de respecter un certain nombre de critères qui sont autant de garanties que les finalités de l'évaluation - dans ses deux composantes, démocratique et cognitive - seront atteintes.
Trois critères sont usuellement mis en exergue : l' indépendance , le pluralisme et la transparence .
Ces critères, on le reconnaîtra, ne sont pas très différents de ceux qu'on exige d'un classique processus d'audit ou de contrôle.
Cependant, deux nuances sont à souligner. L' évaluation réclame plus systématiquement, du fait de son objet , un réel pluralisme , qu'il soit de compétences (on parlera alors souvent de pluridisciplinarité ) ou de points de vue que, pour les mêmes raisons, les préoccupations d'audit ou de contrôle ignorent en général. Par ailleurs, par sa dimension démocratique , elle appelle, plus que le contrôle ou l'audit, un haut niveau de participation des citoyens et de transparence.
Ces critères conduisent, en général, à mettre en évidence la nécessité d'organiser formellement la conduite des évaluations . L'évaluation des politiques publiques au sens du présent rapport appelle une institutionnalisation élaborée .
A ce titre, il convient de définir les différents acteurs de l'évaluation, en partant des objectifs poursuivis par elle, et de préciser leur rôle et leurs prérogatives. Cette nécessaire organisation revêt un aspect technique : il s'agit alors de prévoir une procédure efficace, ce qui suppose d'agencer en ce sens les différentes étapes du processus d'évaluation. Mais elle a surtout une dimension déontologique . L'évaluation doit être respectueuse de principes, à défaut, ses finalités ne sauraient être pleinement garanties.
Jusqu'à présent, cet impératif n'a pas trouvé de traduction concrète dans notre droit positif , excepté, sur certains points, par voie de circulaires. Vos rapporteurs estiment qu' il conviendrait de remédier à cette lacune et de consacrer également les quelques principes nécessaires à une évaluation satisfaisante.
C'est à ces principes que sont consacrés les développements de la présente section.
Le respect des critères d'indépendance, de pluralisme et de transparence conduit, le plus souvent dans la littérature consacrée à l'évaluation, à se focaliser sur le rôle des instances d'évaluation et à recommander, en particulier, que la conduite des évaluations soit confiée à des instances respectant, dans leur organisation, les critères d'indépendance et de pluralisme, tandis que le souci d'assurer sa transparence et sa dimension participative s'accompagne de la consécration de quelques règles de fonctionnement de ces instances.
Il semble à vos rapporteurs que cette attention est justifiée , mais qu' il est nécessaire de préciser également d'autres aspects de l'organisation de l'évaluation des politiques publiques afin de donner à ces critères leur pleine efficacité.
Avant que d'exposer les recommandations découlant de cet objectif, il faut lever une hypothèque de principe. Il existe une tendance, dans la doctrine, à souhaiter que l'autonomie du processus d'évaluation des politiques publiques soit consacrée. Les grands principes ici abordés tendent à consolider celle-ci. Cependant, si, pour vos rapporteurs , l'indépendance des évaluateurs doit être pleinement reconnue , il serait contre-productif d'en tirer des conclusions excessives . Il apparaît, en particulier, que celles qui ont conduit, dans le passé, à confier l'animation de l'évaluation des politiques publiques à des acteurs sans liens directs avec les processus d'action et de décision publiques, constituent une traduction regrettable d'une préoccupation, quant à elle légitime, de garantir l'indépendance de l'évaluation. En bref, la reconnaissance de l'indépendance ne doit pas être pervertie en une complète autonomie. Si celle-ci doit être entière s'agissant des méthodes, elle doit céder le pas afin que le système d'évaluation soit à même de mieux répondre à la demande d'évaluation et, ainsi, échappe à la dérive de l'académisme.
2. Les acteurs de l'évaluation doivent être indépendants et pluralistes
Cette exigence est souvent traduite, a-t-on remarqué, par l'importance accordée à la constitution d' instances d'évaluation . Il convient pour autant de ne pas négliger les autres animateurs de l'évaluation que sont les commanditaires et les pilotes de l'évaluation .
Pour vos rapporteurs, l'autonomie de l'évaluation des politiques publiques revêt trois significations : une « autonomie-indépendance », qui correspond à l'ambition de formuler un jugement objectif, ou, au moins, non suspect de complaisance ; une « autonomie-spécificité » qui accole à chaque projet d'évaluation un objet ou un objectif propre ; une « autonomie-participation », qui doit permettre à l'ensemble des intéressés de participer au processus. Ces trois composantes de l'évaluation militent pour la consécration d'une évaluation pluraliste et indépendante .
Cela ne suppose pas seulement , comme on y insiste trop exclusivement, que chaque acteur de l'évaluation réunisse ces propriétés. Il faut aussi que la chaîne de l'évaluation soit organisée de sorte que le pluralisme et l'indépendance soient garantis .
Cette dernière préoccupation implique de tourner le dos à des architectures de l'évaluation tombant dans le piège du technocratisme pour promouvoir une évaluation plus dynamique, car répondant mieux à la demande naturelle d'évaluation, tout en demeurant respectueuse de la nécessaire déontologie de l'évaluation.
a) Le pluralisme, un impératif aux implications diverses
La constitution , au coup par coup, d' instances d'évaluation est, en général, la première recommandation doctrinale tirée de la préoccupation d'assurer à l'évaluation une dimension pluraliste . Vos rapporteurs souhaitent y ajouter des recommandations issues de leurs propres réflexions : il faut, pour donner toute sa vitalité au dispositif d'évaluation, diversifier ses acteurs dans le sens d'une participation effective de la demande d'évaluation à son animation.
(1) Des instances d'évaluation au service du pluralisme
La constitution d' instances d'évaluation répond à deux objectifs : éviter les pièges de l'auto-évaluation et refuser le point de vue univoque, la pensée unique, au profit d'une pluralité d'approches.
Pour vos rapporteurs, l'organisation de l'évaluation des politiques publiques implique donc, en premier lieu, que les fonctions des instances d'évaluation soient reconnues . Il faut ainsi, d'abord prévoir le principe de l'intervention de telles instances dans le déroulement des évaluations.
Dans une conception du pluralisme où celui-ci a en particulier pour fonction d'assurer la confrontation des opinions informées , il paraît en outre exclu d'imaginer qu' une instance d'évaluation constituée une fois pour toutes puisse permettre de satisfaire cet objectif . Cette donnée plaide donc pour une autre recommandation : la constitution, au coup par coup, des instances en charge de l'évaluation , en fonction du projet d'évaluation lui-même.
C'est du reste ainsi qu'ont été, en pratique, constituées les instances réunies dans le cadre de la procédure d'évaluation interministérielle mise en place à partir de 1998.
Au-delà d'une reconnaissance de ses fonctions, il faut, pour que l' instance d'évaluation constitue effectivement un organe autonome, que soient garantis, outre son indépendance , on y revient plus après, son pluralisme.
L'objectif de pluralisme suppose principalement que la composition de l'instance respecte quelques règles . A cet égard, l'essentiel est que la composition de l'instance permette une réelle confrontation des points de vue des responsables directs de la mise en oeuvre de la politique et des points de vue extérieurs (experts du domaine, acteurs sociaux concernés par la politique en tant que partenaires ou « bénéficiaires »...). Il faut, par conséquent, établir des règles générales de composition des instances garantissant la diversité des origines de leurs membres et la représentation pluridisciplinaire indispensable. En l'état actuel de l'évaluation, ces exigences ne sont pas pleinement prises en compte.
Enfin, il faut aussi reconnaître , comme le repérait bien le « Petit guide de l'évaluation » du Conseil scientifique de l'évaluation dès le début des années 1990, que l' instance d'évaluation doit être plus qu'un comité de pilotage . En particulier, elle doit bénéficier d'une large responsabilité dans le cadre du mandat écrit du commanditaire. Elle doit conduire l'évaluation, c'est-à-dire mener à son terme le projet d'évaluation et suivre les différents travaux nécessaires. C'est aussi à elle qu'il revient de répondre aux questions posées par le mandat d'évaluation, de formuler des conclusions générales et , le cas échéant, des propositions .
(2) Un principe dont la portée doit être étendue
Dans l'organisation de l'évaluation, il est légitime de mettre en évidence le rôle des instances d'évaluation . Pourtant, vos rapporteurs entendent insister sur l'idée que le pluralisme de l'évaluation conduit à porter l'attention sur d'autres éléments, aussi fondamentaux, qui, jusqu'à présent, ont été trop absents des modalités d'institutionnalisation de l'évaluation.
L'insuffisante portée donnée à l'impératif de pluralisme dans l'organisation actuelle de l'évaluation des politiques publiques se traduit, en particulier, dans la distribution des rôles des acteurs en charge de l'évaluation. Cette distribution ne doit pas ignorer les demandeurs d'évaluation.
En l'état, à côté des instances d'évaluation , le Conseil national de l'évaluation (CNE) joue un rôle pivot. La composition du CNE, déterminée à partir de critères d'appartenance à des organismes donnés ou à des milieux professionnels, traduit une certaine foi dans l'efficacité d'aréopages réunissant ce qu'il est convenu d'appeler des « sages ». Ce parti pris présente de grands inconvénients, s'agissant d'une mission réclamant des compétences demandant, au coup par coup, une technicité adaptée. En outre, lorsque la fonction de l'organisme consiste à intervenir sur des sujets controversés et variés, une composition figée est un lourd handicap. Enfin, la composition d'un organe comme le CNE, marquée par le souci de modérer les discussions éventuelles suscitées par les travaux des instances et n'assurant pas de représentation suffisante des personnes directement intéressées à l'évaluation, n'est pas propice à une évaluation vivante.
Vos rapporteurs sont favorables à une réforme en profondeur des conditions de l'institutionnalisation de l'évaluation des politiques publiques . Leurs propositions sont présentées en détail ultérieurement dans le rapport. Dès ce stade, ils soulignent la nécessité de construire une architecture de l'évaluation retenant l'intervention d'acteurs plus diversifiés qu'aujourd'hui. En soi, cette architecture représenterait une organisation plus respectueuse du pluralisme.
Ils se démarquent ainsi d'une conception , parfois défendue, selon laquelle un organisme unique composé de membres ne varietur pourrait se voir chargé une fois pour toutes , et sur tous les sujets, d' un rôle central dans l'animation de l'évaluation , non plus qu'à la tendance , souvent suivie, de « technocratiser » l'évaluation en en confiant le pilotage exclusivement à des « sages ». Les organes chargés de l'animation et du pilotage de l'évaluation doivent à leurs yeux être pluralistes , ce qui implique non seulement qu'ils soient composés en accord avec ce principe , mais encore qu'ils soient réellement pluriels .
Dans cette dernière perspective, il convient de dépasser les modalités actuelles d'organisation de l'évaluation qui attribuent à un couple formé, d'un côté, d'un aréopage de sages, de l'autre, d'instances expertes, la responsabilité d'animer l'évaluation des politiques publiques.
S'il est indispensable qu'une autorité-gardienne de l'évaluation intervienne dans le dispositif, afin, notamment, de veiller à l'observation des bonnes pratiques, et que les travaux d'évaluation soient conduits par des organes « ad hoc », adaptés à chaque projet évaluatif, la fonction d'animateur de l'évaluation doit être attribué à des organismes ménageant mieux l'implication des différents demandeurs d'évaluation , dont le rôle doit être plus actif que celui qu'implique la seule dévolution d'un droit de saisine.
C'est pourquoi vos rapporteurs jugent souhaitable d'intercaler dans le dispositif un échelon supplémentaire . Celui-ci serait destiné à favoriser l'association effective de la « demande » d'évaluation aux processus de mise en oeuvre de l'évaluation. Cet échelon prendrait concrètement la forme d'organismes eux-mêmes pluralistes. Composés en fonction des objectifs poursuivis par l'évaluation des politiques publiques, qui supposent la participation des différentes « personnes concernées » et qualifiées, ils réuniraient des membres divers par leur origine.
Le pluralisme doit également s'appliquer aux commanditaires de l'évaluation . Dans le passé, cette préoccupation, sans être totalement absente, s'est incarnée dans des choix critiquables. On ne peut que considérer comme une anomalie la mise à l'écart du Parlement . Vos rapporteurs n'imaginent pas que l'évaluation des politiques publiques puisse connaître une institutionnalisation réussie sans que celui-ci soit étroitement impliqué. Ils estiment d'ailleurs qu'il est souhaitable d'ouvrir plus largement l'évaluation et que les citoyens puissent , dans certaines conditions, y accéder .
Enfin, même si les fonctions de régulateur de l'évaluation qu'ils proposent de confier à un organisme, créé sous la dénomination de « Haute Autorité de l'Evaluation », peuvent s'accommoder d'une composition plus spécifique, cet organisme devra pouvoir réunir les compétences nécessaires au bon exercice de ses missions - c'est-à-dire des membres aux compétences diversifiées.
b) Une nécessité, l'indépendance
Dans l'architecture institutionnelle proposée par vos rapporteurs, il importe tout particulièrement de veiller à l'indépendance de deux acteurs : les instances d'évaluation et l'autorité-gardienne de l'évaluation. Pour ce qui est de l'échelon chargé de l'animation de l'évaluation, l'autorité-gardienne de l'évaluation, la question de l'indépendance est moins primordiale que celle de sa capacité à fonctionner régulièrement et selon un principe d'équilibre.
(1) Pour une stricte indépendance des instances d'évaluation et de l'autorité-gardienne de l'évaluation
Les développements ci-après, centrés sur les instances d'évaluation, sont naturellement applicables à l'autorité-gardienne de l'évaluation.
Le pluralisme des origines des membres de l' instance d'évaluation serait, bien sûr, la première protection de son indépendance , mais, celle-ci suppose également que l'instance puisse bénéficier d'un certain nombre de garanties de principe. Elle doit être à l'abri d'instructions de quelque origine que ce soit.
Cette protection doit bénéficier à chacun de ses membres . Cette recommandation s'impose même si la composition des instances doit permettre une forme d'implication des institutions et des personnes intéressées aux politiques publiques. Il peut être difficile de concilier indépendance et implication. Cependant, il est souhaitable que les membres de l'instance, quelle que soit leur origine, ne se comportent pas en son sein comme les représentants d'un mandant quelconque, afin que l'instance puisse acquérir et développer une culture d'indépendance. On peut, à cet effet, prévoir que les membres de l'instance soient déliés de tout mandat de la part des autorités dont ils émanent et qu'un statut protecteur leur soit assuré.
Pour revenir à l'instance elle-même , ses travaux doivent pouvoir rester confidentiels si elle le souhaite , ce qui ne signifie pas qu'elle soit systématiquement fermée à l'extérieur. Au contraire, il est justifié d'organiser des rendez-vous réguliers entre le commanditaire et l'instance. Sauf exception, cette confidentialité doit céder une fois les travaux achevés , l'utilité et la déontologie de l'évaluation commandant qu'elle soit la plus transparente possible. Plus encore, l'instance doit pouvoir compter sur la publication de ses travaux . Celle-ci doit être garantie et échapper au bon vouloir du commanditaire.
Mais, aux yeux de vos rapporteurs , l'indépendance de l'instance n'aurait pas toute sa signification si celle-ci devait ne pas être dotée des moyens nécessaires , considération trop fréquemment mésestimée dans la littérature sur l'évaluation des politiques publiques. Ces moyens peuvent être financiers . Même si le coût de l'évaluation doit rester raisonnable, il est souhaitable que l'instance dispose d'un budget délégué . En outre , la participation à une instance d'évaluation doit être un investissement à temps plein , ce qui justifie une rémunération à due proportion et une série de dispositions concrètes destinées à faciliter la mobilité vers l'instance et les retours à partir de l'instance . D'autres moyens doivent être mentionnés. L'instance d'évaluation doit pouvoir accéder à l'ensemble des données nécessaires à ses travaux . Un droit d'accès aux documents administratifs et financiers publics et privés doit lui être reconnu ainsi, le cas échéant, qu'aux tiers, prestataires de services, agissant pour son compte. Ce droit doit pouvoir s'exercer pleinement, c'est-à-dire qu'il doit être compris aussi largement que la protection des secteurs traditionnellement secrets le permet et pouvoir être sanctionné par le recours à un juge. En ce domaine, il convient de s'inspirer des solutions apportées par la loi organique sur les lois de finances. L'importance des données statistiques pour l'évaluation conduit à porter une attention particulière aux conditions d'accès aux données pertinentes. Un droit d'accès gratuit aux données disponibles doit être reconnu à l'instance. Il faut l' étendre aux travaux à façon . De ce point de vue, le directeur général de l'INSEE doit être désigné comme « l'interlocuteur-garant » de l'instance.
(2) Pour une autonomie de l'échelon d'animation de l'évaluation
Dans le schéma proposé par vos rapporteurs, l'échelon d'animation de l'évaluation est destiné à regrouper les différentes parties prenantes naturelles à l'évaluation : les demandeurs d'évaluation, les experts, les acteurs des politiques publiques...
Dans les faits, il peut être difficile de concilier cette volonté et la consécration d'un principe de totale indépendance de cet échelon.
Pour autant, le bon fonctionnement de celui-ci suppose que l'exercice de ses attributions ne soit pas grippé par des confrontations incessantes engendrées par les conflits d'objectifs de ses membres, ce qui pourrait advenir s'ils devaient se comporter comme de simples représentants d'intérêts préexistants.
Il doit être entendu qu'aucune instruction ne puisse leur être donnée et, lorsque c'est nécessaire, il faut organiser un statut protecteur des personnes qui pourraient être exposées à des pressions. Il en va ainsi tout particulièrement pour les fonctionnaires appelés à participer aux organismes chargés de l'évaluation des politiques publiques, que ce soit à l'échelon d'animation ou à celui de la réalisation des évaluations.
3. Le respect de certaines règles de fonctionnement axées sur la transparence
Il apparaît, à tous égards, essentiel que la conduite des évaluations soit totalement transparente .
La transparence doit d'abord s'appliquer à la composition et au fonctionnement de l' instance d'évaluation .
Transparence de la composition , car l'on ne peut accepter la posture selon laquelle la composition de l'instance est sans effet sur ses conclusions. Il importe de pouvoir identifier les auteurs de l'évaluation. Comme l'indique le « petit guide » du Conseil scientifique de l'évaluation : « Quel que soit le dispositif choisi, celui-ci doit permettre d'imputer clairement l'évaluation à un auteur (collectif ou individuel), qui en assume la responsabilité... ».
Transparence du fonctionnement afin que ne se produisent pas dans le déroulement des travaux de l'instance les phénomènes, courants dans la vie des organisations, de confiscation de l'information, mais aussi parce que les membres de l'instance doivent être en situation de responsabilité. On a vu que si, idéalement, les instances d'évaluation devaient être des lieux où, par la délibération, des conclusions raisonnables sont déduites des analyses effectuées, un risque permanent existe : celui de voir les instances constituer un lieu de médiation de différents intérêts qu'il conviendrait d'accommoder.
On ne peut exclure que les instances deviennent des lieux de négociation 2 ( * ) .
Ainsi, une exigence minimum d'exposé public des points de vue semble s'imposer .
La transparence doit aussi caractériser le rapport de l' instance d'évaluation .
Les recommandations du Conseil scientifique de l'évaluation rappellent à juste titre cette exigence. Selon ces recommandations, tout rapport d'évaluation devrait comprendre les éléments suivants :
- « des éléments d'information suffisants sur la politique évaluée , l'historique des mesures examinées, l'analyse des textes établissant ces mesures, l'exposé des objectifs du gouvernement, des éléments de cadrage statistique, etc.
- un exposé méthodologique rappelant les différentes étapes de l'évaluation depuis l'élaboration du projet initial jusqu'à la rédaction du rapport final... Les principaux choix méthodologiques effectués par l'instance et les évolutions successives du projet doivent être lisibles dans le rapport.
- un bref compte rendu des études réalisées : le rapport ... doit ... mettre en évidence l'apport propre de chacune de ces études dans les réponses apportées par l'instance au questionnement évaluatif.
- des développements informatifs : le rapport d'évaluation comporte des parties descriptives, éventuellement extraites des études soumises à l'instance, qui, sans répondre directement au questionnement évaluatif, constituent par elles-mêmes des informations utiles aux décideurs.
- des raisonnements bien identifiés : le coeur du rapport de l'instance d'évaluation est constitué par l'exposé des arguments et raisonnements conduisant aux conclusions. La rédaction doit en être claire, fût-ce au prix d'un certain didactisme ; le style allusif doit être évité ; les différentes questions abordées séquentiellement, dans un ordre logique. Lorsque l'argumentation s'appuie sur des résultats d'études précis, les renvois aux documents de base doivent être systématiques.
- des recommandations dont le statut doit être clarifié :
Les rapports d'évaluation comprennent généralement des recommandations ou des propositions de réforme de la politique évaluée. Le statut de ces prises de positions doit être précisé : s'inscrivent-elles directement dans le prolongement des réponses apportées au questionnement évaluatif, ou ne font-elle que refléter l'opinion des membres de l'instance ? Faut-il les considérer comme des recommandations fermes techniquement nécessaires, comme des propositions de nature politique ou comme de simples orientations devant donner lieu à de nouvelles études ? Il n'est pas exclu que le rapport établisse une distinction entre les préconisations qui font l'unanimité de l'instance d'évaluation et celles pour lesquelles de fortes divergences se sont manifestées. Dans tous les cas, la nature du lien entre des diverses formes d'affirmations normatives et le contenu de l'évaluation doit apparaître clairement au lecteur, ce qui implique au minimum des références explicites aux raisonnements développés dans le corps du rapport ».
* 2 Même s'il ne concerne pas un organisme d'évaluation « canonique », ce reproche a été récemment formulé par le Secrétariat général du Gouvernement à propos du comité d'enquête sur le coût et le rendement des services publics (v. infra).