Projet de loi de finances pour 2013 : Aide publique au développement

E. LE DÉVELOPPEMENT D'INDICATEURS DE RÉSULTATS CONSTITUE UN ÉLÉMENT INCONTOURNABLE D'UNE POLITIQUE DE COMMUNICATION ACTIVE SUR LES SUCCÉS DE NOTRE COOPÉRATION

En ce qui concerne les indicateurs de résultats demandés par les deux évaluations, votre commission constate qu'en 2009, le Comité interministériel sur la coopération internationale et le développement (CICID) a demandé (point 2.8 « Pilotage de l'aide » du relevé de décisions) que soit élaborée une matrice d'indicateurs des résultats et de l'impact de l'aide française, assortie d'un tableau interministériel de suivi, en complément des indicateurs de moyens existants.

En 2010, le document-cadre de coopération au développement adopté, quant à lui, soulignait : « Mesurer la qualité des interventions menées et apprécier leurs résultats est indispensable. Il s'agit d'une exigence démocratique à l'égard du Parlement et des citoyens français comme des populations et des autorités des pays bénéficiaires. Cette analyse des résultats est également nécessaire pour améliorer la pertinence et l'efficacité des opérations conduites, responsabiliser les acteurs chargés de leur mise en oeuvre et permettre de capitaliser sur les expériences passées ».

Il prévoyait également que des indicateurs synthétiques sur les résultats prévus et obtenus seront mis au point : « Un tableau d'indicateurs rendant compte des effets attendus des programmes financés au niveau bilatéral, communautaire et multilatéral et fournissant une appréciation sur les résultats obtenus à l'issue de leur mise en oeuvre, sera mis en place et permettra de communiquer de façon simple et explicite sur l'action du gouvernement ».

En 2012, le Parlement attend toujours ces indicateurs de résultats qui ne figurent dans aucun document budgétaire officiel.

L'administration française a néanmoins commencé à avancer sur ce dossier.

En effet, l'AFD a mis en place des indicateurs de suivi « agrégeables » utilisés dans ses rapports. Le rapport biannuel communiqué à votre commission lors de l'audition du ministre contient une matrice de 19 indicateurs.

En 2011, le co-secrétariat du CICID aurait adopté cette matrice de 19 indicateurs de suivi de l'aide bilatérale française.

On retrouve, parmi les indicateurs de moyens et de conformité, les indicateurs de concentration des subventions et de l'effort financier. Les indicateurs de résultats portent sur les activités de l'AFD avec les limites précitées.

N°	Intitulé de l'indicateur	Référence	Valeur cible	Valeur 2010	Valeur 2011
Indicateurs de moyens et de conformité
1	Part du PNB affecté à l'APD	Versements	0,7% (2015)	0,50%	0,46%*
2	Part de l'effort financier de l'Etat en : - ASS - Méditerranée - pays émergents	Engagements	> 60% 20 % < 10%	N.D	N.D
3	Répartition en volume des engagements par OMD (année considérée)	Engagements	Indicateur de suivi	Total AFD : 2836M€ - OMD 1 = 106M€ - OMD 2 = 66M€ - OMD 3 = 0 M€ - OMD 4 = 49M€ - OMD 5 = 56M€ - OMD 6 = 7 M€ - OMD 7 = 2383M€ - OMD 8 = 169 M€	Total AFD: 3280M€ - OMD 1 = 69 M€ - OMD 2 = 32 M€ - OMD 3 = 0 M€ - OMD 4 = 18 M€ - OMD 5 = 38 M€ - OMD 6 = 10 M€ - OMD 7 = 2971M€ - OMD 8 = 142 M€
4	Part des subventions dans les : - 14 PPP - Pays en crise	Versements	> 50% 10%	31% 17%	47% 10%
5	Engagements contribuant à un développement durable (cible 9 de l'OMD 7)	Engagements		AFD : 1353M€	AFD : 1385 M€
6	Part de l'APD bilatérale versée dans les pays ayant signé un accord de gestion concertée des flux migratoires	Versements		N.D	N.D
7	Part de l'APD transitant par des ONG	Versements	2% APD	1,74%	N.D
8	Part de l'aide budgétaire française qui s'inscrit dans un processus harmonisé entre bailleurs de fonds et/ou dans un cadre régional	Versements	80 % (2013)	83,7%	85%
9	Effet de levier sur prêts concessionnels AFD en APD - global - par région - par secteur CICID	Engagements		AFD global = 9,1 - ASS = 5,2 - Méd. = 10,8 - Asie = 11,5 - Amé. Lat. = NS - Agriculture = 5,5 - Eau et ass. = 6,2 - Education = 7,7 - Env. = 17 - Infrastructure = 7,7 - Santé = 8,2 - Secteur prod. = 11,8	AFD global = 10,1 - ASS = 7,5 - Méd. = 11,7 - Asie = 14,8 - Amé. Lat. = NS - Agriculture = 7,2 - Eau et ass. = 6,4 - Education = 4,7 - Env. = 20,9 - Infrastructure = 8,9 - Santé = NC - Secteur prod. = 7,1

Indicateurs de résultats par secteurs
10	Part des projets AFD jugés au moins satisfaisants dans la réalisation de leurs objectifs (rapports d'achèvement de projets)	Engagements	-	76%	77%
11	Nombre de nouvelles personnes desservies par les structures et services de santé concernés	Engagements	-	873 270 Personnes	743 000 personnes
12	Nombre d'enfants achevant chaque année le cycle primaire d'éducation	Engagements	-	N.D	61 700
13	Part des filles dans le total des enfants scolarisés au niveau du collège	Engagements	-	42%	44%
14	Nombre de personnes bénéficiant d'une formation professionnelle	Engagements	-	28 000 Personnes	430 000 personnes
15	Population bénéficiant directement d'un projet agricole ou d'irrigation	Engagements	-	1 450 735 personnes	2 274 000 personnes
16	Tonnes d'équivalent carbone évitées par an grâce aux projets financés	Engagements	-	2,9 millions Teq CO2/an	2,1 millions Teq CO2/an
17	Nombre de personnes gagnant un accès pérenne à une source d'eau potable améliorée	Engagements	800 000 pers. / an	905 000 Personnes	1 317 200 personnes
18	Nombre d'habitants des quartiers défavorisés dont l'habitat est amélioré ou sécurisé	Engagements	-	319 750 Personnes	1 894 633 personnes
19	Investissements accompagnés	Engagements	-	1 304 670 533 €	1 136 000 000 €

Les limites de ces indicateurs sont nombreuses.

Les indicateurs agrégeables de résultats de ce tableau permettent de rendre compte, de façon consolidée, des effets attendus des actions auxquelles concourent les financements autorisés par le Groupe AFD au cours d'une année donnée. Il s'agit cependant d'indicateurs évalués ex ante renseignés au cours de l'instruction de chaque projet sur la base des résultats qu'il devrait générer une fois celui-ci terminé.

Contrairement à leur finalité initiale, ces indicateurs ne sont donc pas des indicateurs pertinents pour le pilotage opérationnel :

- les indicateurs sont seulement renseignés et collectés ex ante,

- ils n'ont généralement pas de valeur initiale mesurée et ne peuvent donc pas servir de point de référence à un système de suivi. Ils ne sont pas utilisés, sauf rares exceptions, pour le pilotage des projets ;

- ils servent exclusivement à des fins de communication, sur la base d'une douzaine d'indicateurs, globalement toujours les mêmes d'une année sur l'autre ;

- ils ne couvrent pas tous les types d'opérations (aide budgétaire globale, renforcement de capacité et fonds d'études, etc.).

La collecte des données se fait sur la base du reporting des chefs de projets dans le système d'information, et est donc, de ce fait, peu fiable.

Les résultats attendus peuvent varier fortement d'une année sur l'autre, ce qui ne permet pas une approche comparative et peut présenter un risque en matière de communication.

Conscients de ces limites, l'AFD, le trésor et la DGM ont mis en place des groupes de travail pour les surmonter.

Votre commission plaide pour la mise en place, tout au long de la gestion des projets de coopération, d'un dispositif de récolte des données. Seule une comparaison entre la situation avant l'intervention de la France et après permettra d'évaluer l'impact des projets financés.

Il faut sans doute bien être conscient que cette collecte des données sera étalée dans le temps avec un décalage entre le moment des décaissements et celui de l'évaluation des résultats. Cette méthode suppose, en outre, un fort investissement dans l'analyse de chaque projet financé puis une agrégation des résultats. C'est là sans doute la méthode la plus fiable.

Le recours à des analyses macro-économiques -procédés très utilisées- qui consiste à mettre en regard les résultats ex-post d'un secteur et les financements auquel un pays a contribué présente, en effet, beaucoup de faiblesse. Il s'agit en effet de s'appuyer sur les résultats des pays partenaires et de calculer les résultats qui sont attribuables à un donateur en fonction de contributions au financement du secteur. Or cette méthode dépend de la fiabilité des données statistiques des pays partenaires que l'on sait toute relative et conduit à s'approprier des résultats d'un secteur donné sans qu'on puisse véritablement imputer ces derniers à l'action de la coopération française.

Chaque méthode a ses avantages et ses inconvénients qui sont, par ailleurs, variables selon les secteurs et le type d'instrument utilisé. L'aide projet permet un suivi fin des résultats, l'aide budgétaire globale impose une analyse macro-économique. Le DIFID connu pour son avance dans ce domaine panache les deux types de méthode avec des résultats probants en termes de communication et parfois contestables en termes de méthode.

Source : rapport annuel DFID 2011 - 2012

La volonté de produire rapidement des résultats ne doit pas conduire à sacrifier la réflexion sur les meilleurs moyens de produire des indicateurs fiables, robustes et susceptibles d'être suivis sur le long terme.

Enfin, vos rapporteurs souhaitent ici souligner que si les indicateurs sont nécessaires à la légitimation de cette politique, ils ne pourraient pas constituer des indicateurs de nature à orienter l'aide. En effet, les résultats produits dépendent de la nature des pays dans lesquels la coopération intervient. Orienter l'aide là où nous obtenons des résultats, ce qui peut paraître de bon sens, conduirait à la recherche de la facilité et à intervenir là où c'est le plus facile et pas forcément là où c'est le plus utile.