b) Les objectifs et indicateurs de qualité de service : la problématique des enquêtes d'opinion
Les objectifs de qualité de service ayant pour finalité d'améliorer la qualité des prestations rendues à l'usager, de nombreux indicateurs retenus dans les avant-PAP proposent de mesurer la satisfaction des usagers en conduisant auprès d'eux des enquêtes d'opinion.
Votre commission des finances se félicite de la lisibilité de tels indicateurs, immédiatement interprétables. Ceux-ci comportent toutefois des biais inhérents à toute enquête d'opinion : la représentativité de l'échantillon, la neutralité du libellé de la question et l'indépendance de l'enquêteur constituent autant d'écueils à l'obtention de résultats fiables, vérifiables et incontestables.
Il y a aussi lieu de s'interroger devant la prolifération des enquêtes d'opinion proposées : votre commission des finances a relevé des dizaines d'indicateurs de la sorte dans les avant-PAP. Les sondages ne sauraient pourtant constituer un étalon universel de mesure de l'efficacité administrative .
Certains indicateurs de satisfaction des usagers qui sont proposés apparaissent particulièrement complexes ou sans relation avec une mesure de la performance.
Parmi les indicateurs peu lisibles, celui dénommé « Coût du point de bonnes opinions » de l'objectif n° 1 « Améliorer l'impact de la communication de la défense », corrélé à l'action 4 « Communication » du programme « Lien entre la nation et son armée » de la mission « Mémoire et liens avec la nation » doit mesurer le ratio entre les dépenses des services en charge de la politique de communication (en l'espèce, entendus de façon trop restrictive), rapporté au pourcentage de bonnes opinions à la question « Dans l'ensemble quelle opinion avez-vous des armées françaises ? En avez-vous une opinion très bonne, plutôt bonne, plutôt mauvaise, très mauvaise ? » Les réponses à une telle question dépendent largement de facteurs exogènes au ministère de la défense.
Au titre des indicateurs ne s'inscrivant nullement dans une démarche de performance, il a été proposé un sondage sur la « Qualité de l'image de la science dans l'opinion », afin de mesurer l'atteinte de l'ambitieux objectif n° 5 « Renforcer les liens entre la science et la société » du programme « Orientation et pilotage de la recherche » dans la mission « Recherche et enseignement supérieur ».
A l'intérieur du programme « Stratégie économique et financière » de la mission « Stratégie économique et pilotage des finances publiques », l'indicateur n° 1 (« Taux de satisfaction des membres des commissions des finances, de l'économie générale et du plan des deux assemblées parlementaires ») de l'objectif n° 3 (« Assurer un bon niveau de réponse aux demandes formulées par les parlementaires ») est un indicateur de complaisance à peine déguisé , puisque les membres des commissions des finances de l'Assemblée nationale et du Sénat disposent en ce domaine de pouvoirs d'investigation très clairement définis par l'article 57 de la LOLF.
Dans le programme « Concours spécifiques et administration » (action : Administration des relations avec les collectivités territoriales) de la mission « Relations avec les collectivités territoriales », l'indicateur n° 1 « Réponses aux élus locaux et pouvoirs publics » associé à l'objectif n° 3 « Améliorer l'information des collectivités territoriales et de l'administration territoriale sur la décentralisation » répond à un souci louable, mais n'est pas entièrement satisfaisant en l'état, faute précisément d'enquêtes d'opinion sur la qualité des réponses apportées dans des délais brefs.
Dans le cadre de la mise en oeuvre de son contrat d'objectifs et de moyens, la direction générale des impôts (DGI) du ministère de l'économie, des finances et de l'industrie a mis en place un dispositif élaboré d' « appels mystères » qui permet d'éviter le biais d'un mauvais échantillonnage , repris pour l'indicateur n° 1 « Au téléphone, une réponse précise à chacun des appels » de l'objectif n° 2 « Faciliter l'impôt pour le citoyen » du programme « Gestion fiscale et financière de l'Etat et du secteur public local » de la mission « Gestion et contrôle des finances publiques ». Cet indicateur, sous la forme d'une note sur cinq, correspond au taux d'appels ayant abouti par la qualité des réponses fournies par les agents. La mesure est effectuée par le biais d'appels mystères passés par un prestataire externe sur la base de scénarios types. Les mesures sont effectuées chaque trimestre dans la moitié des départements, à raison de plusieurs dizaines d'appels par département. Cet indicateur est déjà utilisé par la DGI pour le pilotage de son activité et pourrait être repris avec profit par d'autres ministères, sous réserve que son coût ne soit pas supérieur aux économies de gestion escomptées . Ainsi, au sein du programme « Soutien à la politique du sport, de la jeunesse et de la vie associative » de la mission « Sport, jeunesse et vie associative », un nouvel objectif pourrait se propose d' « Améliorer la connaissance des politiques du ministère », tant auprès du grand public que des agents du ministère.
Toujours au sein de la mission « Gestion et contrôle des finances publiques », s'agissant du programme « Soutien des politiques financières et industrielles », votre commission des finances relève l'intérêt de conduire des enquêtes non seulement auprès du grand public, mais aussi des agents de l'administration. En l'espèce, l'indicateur n° 2 « Connaissance de l'évolution du ministère de l'économie, des finances et de l'industrie » de l'objectif n° 3 « Renforcer l'impact des actions de communication » prend en compte la communication interne au ministère, sur la base d'une enquête qui serait réalisée par un organisme extérieur.
Un assez bon exemple d'indicateur de qualité de service figure dans le programme « Coordination du travail gouvernemental » de la mission « Direction de l'action du gouvernement », pour mesurer l'atteinte de l'objectif « Améliorer l'information du citoyen sur les actions du gouvernement ». L'indicateur proposé (« Pourcentage de personnes interrogées dans le cadre du baromètre SIG 65 ( * ) de la communication déclarant « avoir l'impression de voir, lire ou entendre régulièrement ou de temps en temps des campagnes de publicité faites par les pouvoirs publics ») a le mérite d'être déjà disponible, sur la base d'enquêtes qualitatives réalisées cinq fois par an par le SIG auprès d'un échantillon national représentatif de 1.000 Français âgés de 15 ans et plus. Si cet indicateur mesure bien la visibilité de l'action gouvernementale, il peut être regretté qu'il ne relève pas d'une source extérieure au service dont la performance est mesurée, bien qu'il convienne de veiller à limiter le coût d'externalisation de telles enquêtes . En outre, la formulation de la question reste vague : il s'agit de mesurer l'« impression » (et non l'impact effectif) de voir, lire ou entendre régulièrement « ou de temps en temps » de telles campagnes, sans que l'influence du contexte de l'actualité gouvernementale ne puisse être complètement neutralisée.
Dans la mission « Ville et logement », les éléments de contexte semblent en revanche déterminants pour les enquêtes d'opinion réalisées auprès des personnes âgées de plus de 75 ans satisfaites de leur logement (indicateur n° 1 de l'objectif n° 4 du programme « Développement et amélioration de l'offre de logement ») et des locataires en zone urbaine sensible (indicateur n° 2 de l'objectif n° 2 du programme « Equité sociale et territoriale et soutien »)
La notion d'indépendance de l'évaluation ou de l'appréciation constitue un critère essentiel de fiabilité . Ainsi, les indicateurs comportant une auto-appréciation de son efficacité par l'administration sont par définition biaisés, à l'instar par exemple de l'indicateur n° 2 « Pourcentage d'avis permettant de conduire à des décisions dans des délais jugés adaptés par l'administration » de l'objectif n° 4 « Améliorer les conditions de recours à l'expertise » du programme « Veille et sécurité sanitaire » de la mission « Sécurité sanitaire ». Il n'est pas acceptable que l'administration elle-même juge les délais adaptés.
L'indicateur de qualité de service « Taux de fraude détectée » de l'objectif n° 2 « Améliorer les conditions de délivrance de titres fiables », associé au programme « Administration territoriale » de la mission « Administration générale et territoriale », pose des difficultés similaires de détection par l'administration des demandes frauduleuses.
* 65 Service d'information du gouvernement.