3. Des travaux de qualité variable
La
qualité
et la pertinence scientifiques des évaluations
furent également très
hétérogènes
.
Ainsi, selon une Région, "
certains travaux se contentent
souvent de procéder à un simple
bilan
statistique
".
De même, nombre d'évaluations de dispositifs d'intervention
économique se sont surtout interrogées, par voie de sondage, sur
la
perception
des aides par les bénéficiaires,
plutôt que sur leur efficacité réelle.
Certaines Régions soulignent aussi les confusions existant entre les
études, les évaluations, les propositions, la prospective, le
contrôle et le contrôle de gestion.
Plus précisément, une étude
162(
*
)
réalisée sous
l'égide du service de l'évaluation et de la modernisation de
l'Etat du Commissariat général du Plan, à partir d'un
échantillon de 25 évaluations conduites dans le cadre des
troisièmes contrats de plan Etat-Région, suggère que de
nombreuses évaluations ont connu des
biais
ou des
lacunes
méthodologiques
:
- en confondant
l'effectivité
des mesures (leur mise en oeuvre),
leur efficacité (le fait d'atteindre les objectifs assignés) et
leur efficience (le fait d'atteindre ces objectifs au moindre coût) ;
- en distinguant mal les impacts
déclarés
par les
bénéficiaires de certains dispositifs, d'une part, les
effets
réels
de ces dispositifs, d'autre part ;
- en n'explicitant pas assez les méthodes
d'échantillonnage
;
- en ne combinant pas assez des techniques quantitatives et des
appréciations qualitatives ;
- on omettant d'interroger sur leurs
attentes
les publics visés
par certaines mesures ;
- en omettant d'interroger les non-bénéficiaires des dispositifs
étudiés, par exemple les entreprises qui n'avaient pas pu, pas su
ou pas souhaité s'inscrire dans un dispositif d'intervention
économique ;
- enfin, en n'associant pas assez, voire en n'interrogeant pas les
services
de l'Etat et des collectivités locales chargés de
la mise en oeuvre des programmes évalués.
Ces défauts ne sont pas sans
conséquences
.
En effet, la
crédibilité
des évaluations s'en
trouvait obérée. En outre, les services de l'Etat ou des
collectivités locales étaient parfois peu enthousiastes à
l'idée de mettre en oeuvre des recommandations qui ne s'appuyaient pas
assez sur leur expérience quotidienne, et qui leur apparaissaient
parfois peu réalistes.
Au total, ces évaluations ne pouvaient guère infléchir les
dispositifs étudiés.
Plus généralement, l'inégale qualité des
évaluations réalisées portait parfois atteinte à la
légitimité
de la démarche elle-même.