CHAPITRE VII :
LES TROISIÈMES CONTRAT DE PLAN
ETAT-RÉGIONS ET L'ÉVALUATION DES POLITIQUES PUBLIQUES
I. LA PROCÉDURE DES TROISIÈMES CONTRATS DE PLAN ETAT-RÉGION ENCOURAGEAIT ET ORGANISAIT L'ÉVALUATION DES POLITIQUES PUBLIQUES
A. LA PROCÉDURE DE CONTRAT DE PLAN ETAT-RÉGION FACILITE L'ÉVALUATION DES POLITIQUES PUBLIQUES
•
A priori
, la procédure de contrat de plan devrait
favoriser
, selon diverses modalités,
l'évaluation
des politiques publiques contractualisées.
En premier lieu,
l'élaboration
des contrats de plan
représente pour l'Etat et les collectivités locales un cadre
privilégié pour confronter leurs diagnostics et leurs
stratégies, et pour s'interroger sur la pertinence de leurs politiques,
notamment en matière d'aménagement du territoire.
De plus, le calendrier d'élaboration des contrats de plan peut
constituer un
horizon
mobilisateur pour la réalisation
d'études d'impact.
Au total, la procédure des contrats de plan pourrait favoriser
l'évaluation
ex ante
des politiques publiques.
Les études d'impact et les évaluations
ex ante
des
politiques publiques contractualisées, qui n'étaient pas rendues
obligatoires par la procédure, furent toutefois très rares lors
de l'élaboration des troisièmes contrats de plan.
Cela s'explique sans doute par les
difficultés
particulières de ce type d'exercice, comme par le manque de
ressources humaines
disponibles, les personnes compétentes
étant par ailleurs mobilisées par la préparation, la
négociation et la rédaction des contrats.
L'ÉVALUATION ET LES CONTRATS DE PLAN
ETAT-RÉGION : DÉFINITIONS
160(
*
)
1) Qu'est-ce que l'évaluation ?
La circulaire du Premier ministre du 28 décembre 1998 propose pour
l'évaluation des politiques publiques la
définition
suivante :
"
L'évaluation d'une politique publique consiste à
comparer ses résultats aux moyens qu'elle met en oeuvre (juridiques,
administratifs ou financiers) et aux objectifs initialement fixés. Elle
se distingue du
contrôle
et du travail d'inspection en ce qu'elle
doit aboutir à un jugement partagé sur l'efficacité de
cette politique et non à la simple vérification du respect de
normes administratives ou techniques
".
2) Quels peuvent être les objectifs de l'évaluation ?
D'une manière générale, l'évaluation répond
à un besoin de rationalité et de cohérence des choix
publics. L'évaluation cherche ainsi à apprécier dans
quelle mesure la politique évaluée présente les
qualités d'une bonne politique :
-
Cohérence
dans la conception et la mise en oeuvre : les
différents objectifs sont-ils cohérents entre eux ? Les
moyens mis en place sont-ils adaptés à ces objectifs ?
-
Effectivité de la mise en oeuvre
: la politique
annoncée a-t-elle effectivement mise en oeuvre ?
-
Atteinte des objectifs
: dans quelle mesure les évolutions
constatées sont-elles conformes aux objectifs de la politique
poursuivie ?
-
Efficacité
: dans quelle mesure la politique
étudiée a produit les effets escomptés ?
L'efficacité doit être distinguée de l'atteinte des
objectifs. En effet, certains des objectifs peuvent être atteint
grâce à des évolutions indépendantes des politiques
mises en oeuvre, et sans que ces politiques soient efficaces ou utiles.
-
Efficience
: les ressources financières mobilisées
par la politique mise en oeuvre ont-elles été bien
mobilisées ? La politique mise en oeuvre constitue-t-elle le moyen
le moins coûteux pour atteindre les objectifs fixés ? Notons
qu'une politique peut-être efficace sans être efficiente, c'est
à dire produire les effets escomptés au prix d'un gâchis de
ressources.
-
Impact socio-économique
: quels sont l'ensemble des effets
socio-économiques de la politique mise en oeuvre ?
-
Pertinence
: les objectifs explicites de la politique mise en
oeuvre sont-ils adaptés à la nature des problèmes que
cette politique est censée résoudre ou prendre en charge ?
3) Quels sont les différents niveaux d'évaluation possibles
pour les contrats de plan ?
Il convient de
distinguer
l'évaluation de la procédure de
contrat de plan Etat-Région de l'évaluation d'ensemble du contenu
des contrats de plan, comme de l'évaluation des politiques
contractualisées.
- Evaluer la
procédure
de contrat de plan, c'est se demander dans
quelle mesure cette procédure a permis des politiques publiques plus
efficaces, plus efficientes, plus transparentes et davantage en
adéquation avec les souhaits de nos concitoyens. C'est la
démarche adoptée dans l'ensemble de ce
rapport
.
- Evaluer
l'ensemble du contenu
des contrats de plan, c'est se demander
si les politiques contractualisées sont globalement efficaces, c'est
à dire notamment si les grands objectifs assignées aux contrats
de plan ont été atteints.
Le ministère de l'Equipement indique à cet égard que
"
les contrats de plan font l'objet de deux types
d'évaluation : une évaluation au niveau régional
conduite par le préfet qui porte sur l'adéquation de chaque
contrats à la stratégie de l'Etat en région ; des
évaluations conduites par les l'administration centrale qui portent sur
l'adéquation de l'ensemble des contrats aux politiques globales
conduites au niveau nationales
".
Ces évaluations sont toutefois très
formelles
. Elles
consistent pour l'essentiel à vérifier que les actions
contractualisées sont bien conformes aux critères
d'éligibilité établis à Paris. Ces exercices sont
en outre conduit dans un cadre sectoriel.
En fait, comme votre rapporteur l'a souligné au chapitre
précédent, l'Etat avait expressément
écarté
toute évaluation d'ensemble du contenu des
troisièmes contrats de plan Etat-Région.
- Enfin, il est également possible d'essayer d'évaluer les effets
isolés de
certaines
des
politiques
publiques
contractualisées, sans chercher à porter une appréciation
globale sur les disposition du contrat de plan. C'est ce type
d'évaluation, plus modeste, qui avait été
préconisée par le Commissariat général du Plan.
4) A quel moment peut intervenir l'évaluation ?
Les évaluations des politiques publiques contractualisées peuvent
intervenir aux différents stades des contrats de plan : lors
l'élaboration
des contrats (études d'impact,
évaluations
ex ante
), pendant l'exécution des contrats
(évaluations concomitantes ou au fil de l'eau), ou bien après
l'achèvement des contrats (évaluations
ex post
).
5) Quelles sont les différentes méthodes
d'évaluation ?
Le terme " d'évaluation " peut recouvrir des
pratiques
très différenciées, depuis des évaluations lourdes,
longues, coûteuses, à la méthodologie
élaborée, et à visée " scientifique ",
jusqu'à des audits plus ponctuels ou plus " politiques ",
toutes ces pratiques ayant leur champ de pertinence propre.
6) Quels sont les critères d'une " bonne "
évaluation ?
Le Conseil scientifique de l'évaluation a retenu
cinq
critères
de qualité d'une évaluation :
-
utilité-pertinence
: c'est le fait que l'évaluation
produise de l'information compréhensible et utile ;
-
fiabilité
: l'évaluation doit être digne de
confiance, en particulier éviter les biais résultant des
techniques de collecte et de traitement des informations ;
-
objectivité
: le fait que les résultats de
l'évaluation n'ont pas été influencés par les
préférences personnelles ou les positions institutionnelles des
responsables de l'évaluation, ou du moins que ces
préférences ont été suffisamment explicitées
ou contrôlées pour que l'on puisse supposer qu'une autre
évaluation répondant aux mêmes questions et utilisant les
mêmes méthodes conduirait aux mêmes conclusions ;
- possibilité de
généralisation
: dans quelle
mesure les conclusions peuvent-elles être étendues à
d'autres situations, d'autres contextes, voire à des politiques
différentes ;
-
transparence
: l'évaluation doit expliciter ses
méthodes, son mode d'emploi et ses limites.
On peut certes considérer, avec le ministère de la
Défense, que la "
contractualisation participe [en principe]
implicitement d'une évaluation
[légère]
",
dès lors que "
pour contractualiser certaines propositions et
les rendre attrayantes, il convient d'avoir au préalable
défini le projet et, au minimum, l'avoir évalué
sommairement, non pas seulement en termes de coûts mais également
par référence à ses effets sur l'activité, l'emploi
et plus généralement les critères du développement
durable
".
Néanmoins, comme le reconnaît le ministère de la
Défense, "
la négociation peut faire varier sensiblement
l'assiette de l'opération envisagée et les
priorités
de chaque partenaire se révèlent dans les
faits aussi importantes que l'optimalisation intrinsèque du
projet
".
En d'autres termes, au moment de l'élaboration des contrats de plan, les
impératifs de la négociation l'emportent sur ceux de
l'évaluation.
En outre, la Direction du Budget souligne que "
la procédure de
contrat de plan ne permet pas toujours d'allouer des crédits à
des projets parfaitement identifiés, dont la pertinence aurait pu
être appréciée au fond par les services
compétents... la logique qui prévaut est parfois celle de
l'allocation
d'enveloppes
dont l'affectation précise est
déterminée ultérieurement
".
• La procédure des contrats de plan
facilite
toutefois
l'évaluation concomitante ou
ex post
des politiques publiques
contractualisées.
En effet, la procédure contractuelle invite à affecter des moyens
bien délimités à des objectifs clairs, dans un cadre
formalisé, pluriannuel et transparent. Le CIAT du 23 juillet 1992 avait
d'ailleurs insisté sur la définition
d'objectifs
précis
, exprimés en termes
d'effets
attendus
.
Cette démarche facilite évidemment l'évaluation des
politiques publiques.
Par ailleurs, la contractualisation Etat-Régions favorise
a
priori
le décloisonnement de l'Etat, les échanges
d'information entre administrations, l'émergence de
référentiels communs à l'Etat et aux collectivités
locales (comme des schémas directeurs), ainsi que la constitution de
bases de données
partagées (indicateurs
socio-économiques, indicateurs budgétaires et financiers, etc.),
qui constituent souvent des préalables à la mise en oeuvre d'une
évaluation réussie.
Les contrats de plan Etat-Régions pourraient ainsi avoir favorisé
le développement des observatoires régionaux de l'emploi et de la
formation (OREF), comme des
réseaux d'information économique
et sociale
, placés sous l'égide des Conseils
économiques et sociaux régionaux et animés par des
chargés de mission de l'INSEE, avec pour missions de mettre en
réseau les services de l'Etat et de la Région, ainsi que de
réaliser et de diffuser des informations socio-économiques
locales (par exemple des atlas des zonages).
Enfin, certains ministères ont diffusés des
guides
méthodologiques
pour l'évaluation des politiques publiques
dans leur domaine. En particulier, un "
dossier-ressources pour
l'évaluation des contrats de ville
" et un "
guide
méthodologique des tableaux de bord socio-démographiques des
quartiers
" ont été produits à l'initiative de la
Délégation interministérielle à la Ville, pour
aider à la mise en oeuvre de l'évaluation des contrats de ville.
Par ailleurs, les troisièmes contrats de plan
prévoyaient
l'évaluation d'un certain nombre de politiques publiques
contractualisées.