II. UNE POLITIQUE QUI DOIT PROCÉDER À UN EFFORT PLUS SOUTENU D'ÉVALUATION
A. UNE POLITIQUE QUI FAIT L'OBJET DE PEU D'ÉVALUATION D'IMPACTS....
Comme vos rapporteurs l'ont déjà souligné à maintes reprises, la politique de coopération fait l'objet de peu d'évaluation aussi bien au niveau de la stratégie globale qu'au niveau des projets.
Lors de la rédaction du document-cadre de coopération au développement, votre commission avait regretté que les auteurs du document définissent la stratégie française de coopération pour les années à venir en faisant l'économie d'un retour sur les objectifs que se sont fixés les pouvoirs publics dans ce domaine depuis des années.
Les différents CICID ont adopté de nombreux objectifs que le document-cadre reprend assez largement et dont il serait utile de faire le bilan.
Il aurait été de bonne méthode de faire un bilan des stratégies passées, pour vérifier si les objectifs ont été atteints.
Un bilan permettrait également de comprendre les raisons pour lesquelles, le cas échéant, ils ne l'ont pas été et enfin pour réévaluer leur pertinence.
Votre commission a réitéré les mêmes propos lors de l'adoption du nouveau contrat d'objectifs et de moyens de l'AFD en mai dernier.
Vos rapporteurs avaient constaté, à leur surprise, que le nouveau contrat d'objectifs et de moyens de l'AFD avait été élaboré sans qu'aucun bilan des objectifs fixés par les derniers COM n'ait été établi.
Il existe, certes, quelques documents techniques sur le bilan statistique, comptables et financiers de l'AFD pour la période 2005-2009 issus du système d'information stratégique de l'agence. Mais ces chiffres ne prennent de sens que confrontés aux objectifs fixés par les deux contrats précédents. Quels sont les objectifs atteints ? Lesquels ne le sont pas ? Pour quelles raisons ? Quels sont les objectifs repris dans le nouveau contrat, ceux qui ne le sont pas ? Pour quelles raisons ? Les réponses à ces questions auraient utilement nourri un bilan des précédents contrats et surtout éclairé la rédaction du nouveau contrat. Aurait-il été de mauvaise méthode que le Conseil d'orientation stratégique, le Parlement, le Conseil d'administration se prononcent à la vue de ce bilan ?
On ne reprendra pas ici chacun des objectifs largement évoqués dans les pages précédentes. Pour ne citer que quelques exemples ponctuels, votre commission aurait, par exemple, souhaité disposer d'un bilan de l'objectif n° 8 du contrat d'objectifs signé avec le ministère des Affaires étrangères : « Développer la coopération avec les collectivités locales françaises », ou de l'objectif 9 : « Associer davantage les organisations de solidarité internationale (OSI) aux opérations de l'AFD » ou de l'objectif n° 10 : « contribuer à mobiliser la production intellectuelle de la France sur les questions de développement » au regard de l'agenda international. Les deux premiers objectifs ne figurent plus dans le nouveau contrat d'objectifs et de moyens de l'AFD, le dernier est, de fait, revu à la baisse. Il aurait été souhaitable qu'un débat puisse s'engager sur la base d'un bilan.
Nous ne trouvons pas non plus de bilan des transferts de compétence à l'Agence française de développement (AFD). Le contrat d'objectifs et de moyens de l'AFD a été adopté sans qu'une évaluation n'ait été effectué sur ce point comme sur d'autres.
Ces questions ne concernent pas seulement le passé. L'évolution du réseau des services de coopération et d'action culturelle (SCAC) et leur intégration dans le réseau de l'Institut Français dédié à la coopération intellectuelle, culturelle et linguistique, à partir de 2013, posera, à terme, la question du devenir des compétences en matière de gouvernance.
Une évaluation des compétences opérationnelles qui demeure au MAE est nécessaire pour préparer les évolutions futures. Gageons que les travaux de la Cour des comptes puissent éclairer ces questions.
De même, nous attendons toujours une évaluation du partenariat avec le FED auquel la France contribue chaque années à hauteur de 800 millions d'euros.
Ces questions auraient mérité des réponses préalables et un débat de nature à éclairer les choix futurs.
Lors de la présentation du document-cadre, le ministre des affaires étrangères, interrogé sur l'absence d'évaluation des politiques menées, a souligné que celle-ci était « difficile ».
Les rapporteurs du budget de l'aide au développement qui ont, sur ce thème de l'évaluation, procédé à de nombreuses auditions ne peuvent que partager ce sentiment.
Mais, comme l'a souligné M. François Bourguignon, ancien chef économiste de la Banque mondiale, lors de la table ronde du 12 mai 2010 : « L'évaluation est l'une des préoccupations majeures que l'on doit prendre en compte ».
Certes, asseoir notre stratégie sur une évaluation suppose un travail important et de nombreux défis :
- un défi de capacité tout d'abord. Pour dépasser le simple recensement des politiques et s'engager dans l'analyse des « réalisations » et de leurs « impacts » réels, la production d'une information systématisée sur les résultats implique la mobilisation de moyens importants autour de la collecte de données et de leur analyse, mais aussi le renforcement d'une articulation étroite avec les pays partenaires dans le suivi des projets, des aides programmes et des aides budgétaires ;
- des défis méthodologiques ensuite : les acteurs nationaux peuvent-ils s'attribuer des résultats de développement qui, de fait, sont collectifs, issus de projets et de programmes par nature pluri-acteurs ?
- le défi de l'agrégation des résultats enfin : la présentation de résultats agrégés permet-elle de rendre compte de la diversité des contextes et de donner à voir les facteurs de succès ou d'échec des opérations menées ?
Ces défis sont réels. Ils ne sont pas nouveaux. Ils sont, pour une part, communs à beaucoup de politiques publiques. De ce point de vue, on ne pourrait pas imaginer que la politique d'aide au développement soit la seule politique publique qui ne soit pas, par nature, évaluable. Ce n'est d'ailleurs pas le cas.
Les moyens d'évaluation existent. Ils ont été perfectionnés et doivent être utilisés pour éclairer la conduite du changement et l'amélioration de notre outil de coopération.
Dans le domaine international, le système de Revue par les Pairs, initié par le Comité d'aide au développement au sein de l'OCDE, fait un travail important.
Les trois entités administratives, l'AFD, le ministère des finances et le ministère des affaires étrangères et européennes effectuent des évaluations de qualité selon des méthodologies qui ont été affinées et formalisées avec le temps.
Sans doute ces organismes d'évaluation devraient être renforcés, plus coordonnés, plus sollicités sur des sujets plus larges et plus stratégiques qui permettent d'avoir des vues plus globales. Mais il importe qu'ils fassent ensemble un saut qualitatif vers la production d'évaluation d'impacts et de résultats..
La question est donc tout autant la difficulté de l'évaluation que la difficulté d'intégrer l'évaluation au processus politique et à prendre en compte cette évaluation dans la conduite de l'aide au développement.
mailbox://C%7C/Documents and Settings/dmancel/Application Data/Thunderbird/Profiles/dlq6lc4c.default/Mail/pop.senat-1.fr/Sent?number=349384594 - _ftn1 Comme l'a souligné l'économiste Esther Duflo dans sa leçon inaugurale au Collège de France sur l'aide au développement : « Les erreurs de diagnostic des économistes, des organisations internationales et des gouvernements sont fréquentes. Elles ne sauraient justifier l'inactivité, mais rendent au contraire les évaluations rigoureuses nécessaires. Celles-ci permettent de tirer des leçons des expériences passées. Or force est de constater qu'aujourd'hui encore la grande majorité des interventions ne sont pas évaluées, soit que leurs promoteurs craignent la révélation d'effets nuls ou moins importants que ce qu'ils escomptaient, soit que la mise en oeuvre d'évaluations rigoureuses soit perçue comme trop difficile. » 56 ( * )
* 56 Expérience, science et lutte contre la pauvreté- Esther Duflo. Leçons inaugurales du Collège de France Paris, Collège de France/Fayard, 2009