Examen des rapports d’évaluation des programmes de la Banque africaine de développement (BaFD) - 2007-2012 - Rapport

Juillet 2013

Liste des sigles et des acronymes

Remerciements

La Direction de l'évaluation du développement tient à remercier toutes les personnes qui ont contribué à cet examen pour leur apport précieux, leur soutien constant et généreux, et leur patience. Nos remerciements vont d'abord à l’équipe indépendante de la société d'experts-conseils Universalia Management Group, qui est composée de Marie-Hélène Adrien, évaluatrice supérieure, de Charles Lusthaus, évaluateur principal, ainsi que d’Halcyon Louis, d'Elisabetta Micaro et d'Emma Mason, consultants.

La Direction de l'évaluation du développement tient également à remercier Vaughn Lantz, Vincent Raiche et Mariette Maillet de la Direction générale des programmes multilatéraux et mondiaux pour leur aide très utile. Nous tenons également à remercier Mohamed Manai et Rakesh Nangia, représentants de la BAfD à Tunis, pour les conseils utiles et pratiques qu'ils ont donnés aux évaluateurs.

Nous remercions Nancy Odeh, agente d'évaluation à la Direction de l'évaluation du développement, qui a largement contribué à améliorer les versions provisoires du rapport. Nous remercions aussi Andres Velez-Guerra, chef d'équipe, qui a participé aux révisions du rapport et aidé à mener l'examen à bonne fin, et James Melanson, directeur de l'Évaluation, qui a supervisé l'examen.

Caroline Leclerc
Chef de l’évaluation du développement

Sommaire

Contexte

La Banque africaine de développement (BAfD) a été créée à la signature de l'accord entre des États membres régionaux, en 1963. Elle est l'une des trois entités qui forment le Groupe de la Banque africaine de développement, les deux autres étant le Fonds africain de développement (FAD) et le Fonds spécial du Nigéria (FSN).

En tant qu'institution de financement qui se consacre au développement multilatéral, la BAfD a comme mission de contribuer au développement économique durable et au progrès social des pays africains. En décembre 2011, la BAfD comptait 77 pays, dont 54 (70 %) sont des membres régionaux. Elle leur fournit une aide au développement par l'entremise des secteurs privé et public sous forme d'instruments financiers, de conseils stratégiques et d'assistance technique. En 2011, la BAfD a financé 184 opérations dans des pays membres régionaux dont le coût s'est élevé à 5,72 milliards d’UC.

But et objectifs

L’examen avait pour but de fournir une évaluation indépendante, fondée sur des données probantes, de l’efficacité de l’aide au développement de la BAfD que pourront utiliser le gouvernement du Canada, la BAfD et d'autres intervenants intéressés. Cependant, une évaluation préliminaire des rapports d'évaluation des programmes de cette institution pour la période de 2007 à 2012 a révélé des lacunes au niveau de la couverture et de la qualité des évaluations.

Par conséquent, le présent rapport contient des recommandations prospectives visant à :

• 1. appuyer le renforcement des évaluations et des rapports de la BAfD sur l’efficacité de son aide au développement ;
• 2. guider la collaboration future entre la Direction générale des programmes multilatéraux et mondiaux d’Affaires étrangères, Commerce et Développement Canada (MAECD)^{Footnote 1} et la BAfD en ce qui concerne les évaluations et les rapports sur l’efficacité de l’aide au développement.

Méthodologie

L’approche et la méthodologie génériques utilisées pour l'examen de l’efficacité de l'aide au développement des organisations multilatérales ont été mises au point sous la supervision du Réseau du CAD sur l’évaluation du développement (CAD/EVALNET). Conformément à cette méthodologie, l’examen de la BAfD comporte trois étapes distinctes :

• Étape 1 : Déterminer l’univers d’évaluation, en collaboration avec la BAfD, en recensant toutes les évaluations des programmes et tous les rapports sur l'efficacité de l'aide au développement^{Footnote 2} que la BAfD a publiés entre 2007 et 2012.
• Étape 2 : Procéder à un examen préliminaire des évaluations des programmes et des rapports sur l’efficacité de l’aide au développement de la BAfD en deux étapes au cours desquelles il faudra :
  1. évaluer si un document donné dans l’univers était en fait une évaluation ou un rapport sur l'efficacité de l'aide au développement, par opposition à un examen stratégique ou à un document d’information, et s’il se situe dans la période à l’étude ;
  2. évaluer la couverture et la qualité des rapports d’évaluation à l'aide du guide de notation de la couverture et de la qualité des évaluations du CAD/EVALNET.
• Étape 3 : En fonction des résultats de l’examen préliminaire, validés au moyen de l’évaluation institutionnelle réalisée par le MOPAN, classer la fonction d'évaluation indépendante et les rapports sur l’efficacité de l’aide au développement de la BAfD selon l'un des trois scénarios suivants :
  1. Les rapports sur l’efficacité de l'aide au développement sont adéquats;
  2. Les rapports sur l'efficacité de l'aide au développement sont inadéquats, mais la fonction d'évaluation de l'organisation multilatérale fournit suffisamment de renseignements sur l'efficacité de l'aide au développement;
  3. Les rapports sur l’efficacité de l'aide au développement sont inadéquats et la fonction d'évaluation de l'organisation multilatérale ne fournit pas suffisamment de renseignements sur l’efficacité de l'aide au développement.

À la suite de la mise en oeuvre du processus susmentionné, on a déterminé que les rapports d’évaluation des programmes de la BAfD étaient inadéquats et que la fonction d'évaluation de l'organisation multilatérale ne fournissait pas suffisamment de renseignements sur l'efficacité de l'aide au développement en général. Par conséquent, le présent rapport contient des recommandations visant à soutenir de meilleures évaluations et de meilleurs rapports sur l'efficacité de l'aide au développement, comme le suggère la méthodologie d'évaluation du CAD de l'OCDE.

Principales constatations du rapport préliminaire

La fonction d'évaluation de la BAfD n'a pas produit suffisamment d'évaluations des programmes et de rapports sur l'efficacité de l'aide au développement entre 2007 et 2012.

Sur les 43 documents fournis par la BAfD qui constituent l’univers d'évaluation, seulement 20 ont satisfait à tous les critères notés pour l'examen préliminaire et précisés dans la méthodologie du CAD/EVALNET. Les 23 autres rapports n'ont pas été retenus dans le cadre de l'examen préliminaire pour trois raisons : Premièrement, le champ d’application du document dépasse la période d'examen prévue (6 documents). Deuxièmement, bien qu'il donne suite à d'autres objectifs, le document en question n'était pas une évaluation des programmes ou un rapport sur l'efficacité de l'aide au développement (13 documents). Troisièmement, le document a reçu une note de qualité faible (4 rapports) entre autres pour sa description vague des objectifs de l'évaluation ou de ses limites, ou une conception erratique de l'évaluation.

Les évaluations des programmes et les rapports sur l'efficacité de l'aide au développement réalisés au cours de la période d'examen (2007-2012) ne traitent pas suffisamment des résultats des programmes de la BAfD dans ses secteurs prioritaires et par rapport à ses objectifs stratégiques.

Les 20 documents qui ont satisfait à tous les critères cotés pour l'examen préliminaire ont porté sur tous les secteurs prioritaires de la BAfD, à l'exception de deux; un rapport portait sur de nombreux secteurs. Il est important de noter cependant que ces documents fournissaient une couverture inadéquate des résultats accomplis. L'examen préliminaire a permis de relever que les rapports des évaluations des programmes de la BAfD sur ses secteurs prioritaires et ses objectifs stratégiques sont avant tous descriptifs et portent principalement sur des activités de programmes de la BAfD, sans toutefois porter sur les résultats de développement de celle-ci. Par conséquent, la BAfD doit revoir l'approche qu'elle utilise pour évaluer ses programmes, en mettant l'accent sur ses rapports sur les résultats de développement.

Les évaluations des programmes et les rapports sur l'efficacité de l'aide au développement ne fournissent pas assez de renseignements sur l'investissement de la Banque dans ses priorités thématiques transversales.

Sur les 20 rapports qui ont satisfait à tous les critères cotés pour l'examen préliminaire, seulement cinq portaient sur les priorités thématiques transversales de la BAfD. Un rapport contenait une discussion sur le thème de la parité hommes-femmes et trois rapports portaient sur l'environnement. Un autre rapport portait sur les changements climatiques. D'après cette constatation, les évaluations des programmes et les rapports sur l'efficacité de l'aide au développement de la BAfD ne fournissent pas suffisamment de renseignements sur l'investissement consenti dans les thèmes prioritaires transversaux.

En raison du délai entre l'année où une évaluation est réalisée et l'année où elle est finalisée et publiée, des rapports sur l'efficacité de l'aide au développement de la BAfD deviennent parfois moins utiles pour la prise de décisions concernant les investissements futurs de la Banque.

Les 43 documents faisant l'objet de l'examen préliminaire ont été publiés dans les délais impartis, à savoir entre janvier 2007 et septembre 2012. Cependant, pour huit rapports, il y a eu un important délai entre le moment de leur publication et les années visées par l’examen. Par exemple, un rapport publié en 2007 portait sur les programmes mis en oeuvre entre 1996 et 2004. Il y a donc eu un délai de trois ans entre la date de la mise en oeuvre et celle de la publication du rapport. Le délai entre la mise en oeuvre des programmes et la mise au point définitive des évaluations de la BAfD a rendu les renseignements qu’elles contenaient moins utiles pour les programmes à venir.

La conception de l’évaluation décrite dans les rapports d'évaluation des programmes examinés n'était pas conforme dans certains cas aux lignes directrices sur la qualité émises par le CAD/EVALNET.

Dans le cadre de l'examen préliminaire, on a alloué des points à chaque rapport à l'aide des critères de vérification de la qualité du CAD/EVALNET (Guide de notation de la couverture et de la qualité des évaluations) afin de démontrer deux aspects de la qualité : l'existence de caractéristiques d'un rapport d'évaluation de base et l'existence des principales composantes exigées pour un examen de l'efficacité de l'aide.

L'examen préliminaire a permis de conclure que les 20 rapports d'évaluation des programmes ont dépassé le seuil exigé pour les caractéristiques d'un rapport d'évaluation de base. Cependant, toujours selon les constations de l'examen préliminaire, on a attribué de faibles notes aux évaluations des programmes examinés en fonction des critères d’une bonne conception d’évaluation. Ces notes correspondent aux conclusions de l’autoévaluation de la fonction d’évaluation indépendante de la BAfD de 2012 qui constatait que la BAfD n’utilisait qu’un éventail limité de méthodologies pour ses évaluations des projets.

Parmi les principaux éléments d’une bonne conception d’évaluation, mentionnons une théorie explicite de l'obtention de résultats, la précision des extrants, des résultats et de l’impact, des données de référence ainsi qu'une comparaison des conditions avant et après la prestation des programmes.

Conclusions

Selon les constatations de l'examen préliminaire des évaluations des programmes de la BAfD, les évaluations faisant l'objet de l'examen ne fournissaient pas une couverture adéquate des résultats en matière de développement des programmes de la BAfD.

De même, il est à noter que la BAfD a démontré un engagement clair à relever certains des défis mentionnés ci-dessus. En particulier, elle a fait part de son intention de « rehausser la qualité », d'assurer la rigueur de la méthodologie d’évaluation, de réaliser un plus grand nombre d'évaluations des programmes, de mieux choisir le moment pour les évaluations, de mettre l’accent sur l'utilité et les priorités stratégiques (y compris les enjeux transversaux) et d'améliorer le processus d'assurance de la qualité. Ces intentions font suite à l'autoévaluation de 2012 de la fonction d’évaluation indépendante de la BAfD et à la stratégie d'évaluation indépendante 2013-2017 de l'institution.

Recommandations

La BAfD devrait avant tout renforcer sa fonction d’évaluation indépendante.

Une fonction d'évaluation plus solide permettrait à la BAfD d'évaluer ses progrès dans l'atteinte des résultats de développement au niveau des programmes et d'utiliser les leçons retenues pour améliorer ses investissements dans les pays membres régionaux. La conception des évaluations et la couverture des résultats en matière d'efficacité de l'aide au développement des programmes ont été les secteurs d'activité d'évaluation de la BAfD dans lesquels l’examen a constaté une faiblesse particulière. On s'attend à ce que le renforcement de la fonction d'évaluation de la BAfD améliore la solidité de la conception des évaluations grâce à l'utilisation de méthodologies appropriées et permette la préparation de rapports plus exhaustifs sur l'efficacité de l'aide au développement.

La BAfD devrait envisager la possibilité de procéder à un examen par les pairs de sa fonction d’évaluation.

Dans sa volonté d'améliorer ses évaluations et ses rapports sur l'efficacité de l'aide au développement, la BAfD pourrait accroître la valeur de son autoévaluation antérieure en procédant à un examen par les pairs. Elle pourrait utiliser cette autoévaluation pour en apprendre davantage sur la capacité et la qualité de sa fonction d'évaluation et pour évaluer la pertinence, la couverture des résultats et la qualité globale de ses rapports sur l'efficacité de l'aide au développement. Les résultats d’un tel examen pourraient aider la BAfD à augmenter la mesure dans laquelle ses évaluations de programmes et ses rapports sur l'efficacité de l'aide au développement guident sa prise de décisions stratégiques. Il est important de noter que la BAfD a indiqué qu'elle prévoit participer à un examen par les pairs en 2014, une fois que la stratégie d'évaluation indépendante sera opérationnelle.

Le Canada, de concert avec d’autres donateurs et les membres du conseil d'administration de la BAfD, devrait soutenir les efforts que la Banque déploie pour renforcer sa fonction d’évaluation.

Le Canada devrait soutenir les efforts que la BAfD déploie pour renforcer sa fonction d'évaluation et la conception de ses évaluations, tel qu'il est indiqué ci-dessus. Pour ce faire, la BAfD pourrait notamment procéder à une analyse annuelle de la couverture des résultats par ses évaluations. Cette analyse ferait partie du plan d'évaluation de la Banque. Plus précisément, le plan continu de la BAfD pourrait fournir certaines mesures de la cible des évaluations des programmes, et de leur mise en oeuvre, peut-être sous forme d’un pourcentage des dépenses totales. Lorsqu'il collabore avec d'autres membres du conseil d'administration et donateurs, le Canada devrait les informer qu'il est prêt à soutenir le renforcement de la fonction d'évaluation de la BAfD. Parmi les éléments importants, mentionnons un examen par les pairs, le renforcement de la capacité pour améliorer la couverture des résultats, la conception et la rapidité d'exécution de l'évaluation, ainsi que l'amélioration des rapports sur l'efficacité de l'aide au développement des programmes.

1.0 Contexte

1.1 Introduction

L’approche et la méthodologie générales utilisées pour l'examen préliminaire ont été élaborées par un groupe de travail multidonateurs sous la supervision du Réseau sur l’évaluation du développement du CAD de l’OCDE. En 2010, l’approche méthodologique de ce réseau a été mise à l’essai dans le cadre d’examens de l’efficacité de l’aide au développement de la Banque asiatique de développement (BAsD) et de l’Organisation mondiale de la santé (OMS). En 2011-2012, la méthodologie d’évaluation a été appliquée aux examens complets de l’efficacité de l’aide au développement du Programme des Nations Unies pour le développement (PNUD) et du Programme alimentaire mondial (PAM).

1.2 Raison d’être de l’examen

L’examen avait pour but de fournir une évaluation indépendante, fondée sur des données probantes, de l’efficacité de l’aide au développement de la BAfD qu’utiliseront le gouvernement du Canada, la BAfD et d'autres intervenants intéressés. Cependant, une évaluation préliminaire des rapports d'évaluation des programmes de cette institution pour la période de 2007 à 2012 a révélé des lacunes en matière de couverture et de qualité des évaluations. Par conséquent, ce rapport contient des recommandations prospectives visant à :

• appuyer le renforcement des évaluations et des rapports de la BAfD sur l’efficacité de son aide au développement;
• guider la collaboration future entre la Direction générale des programmes multilatéraux et mondiaux du MAECD et la BAfD en ce qui concerne les évaluations et les rapports sur l’efficacité de l’aide au développement.

Le FAD accorde à 41 pays africains à faible revenu des prêts concessionnels et des subventions et offre une assistance technique pour la réalisation d’études et d’activités de renforcement des capacités.^{Footnote 3} Les discussions dans le cadre de l'examen à mi-parcours du FAD-12 portaient sur l'efficacité de l'aide au développement de la BAfD, de même que sur ses priorités opérationnelles, son efficacité institutionnelle, l'affectation des ressources ainsi que sur la capacité de financement et la viabilité du FAD. Par conséquent, ce rapport prendra appui sur les constatations découlant de l’examen à mi-parcours et peut orienter une discussion potentielle sur la fonction de l'évaluation de la Banque.

1.3 Banque africaine de développement

La BAfD a été créée à la signature d’un accord entre des États membres régionaux, en 1963. Elle est l'une des trois entités qui forment le Groupe de la Banque africaine de développement, les deux autres étant le Fonds africain de développement (FAD) et le Fonds spécial du Nigéria (FSN). En tant qu'institution de financement qui se consacre au développement multilatéral régional, la BAfD a comme mission de contribuer au développement économique durable et au progrès social des pays africains. Elle compte 77 pays, dont 53 (69 %) sont des membres régionaux. Les 25 autres pays (31 %) ne sont pas des pays membres régionaux ou africains. L’instance suprême de la BAfD est le conseil d’administration, formé de ministres et de hauts fonctionnaires provenant d’institutions économiques et financières des pays membres.

La BAfD fournit une aide au développement à ses pays membres régionaux par l’entremise des secteurs privé et public sous forme d'instruments financiers, de conseils stratégiques et d'assistance technique. Voici les principaux instruments financiers utilisés lors des interventions de la BAfD dans ses pays membres régionaux :

• PPrêts-projets ;
• Opérations fondées sur les politiques ;
• Dons ;
• Marges de crédit ;
• Prise de participation ;
• Garanties.

Chacune des trois entités du Groupe de la BAfD apporte une contribution pour permettre la prestation de l'aide au développement :

• La BAfD génère des ressources par l'entremise d'emprunts sur le marché financier en vue de l'octroi de prêts non assortis de conditions de faveur;
• Les ressources du FAD proviennent des contributions et de reconstitution du Fonds par les États participant aux trois ans;
• Le FSN fournit des ressources en vertu d'une entente signée précisant les conditions d'utilisation.

En 2011, la BAfD a financé 184 opérations dans des pays membres régionaux, dont le coût s'est élevé à 5,72 milliards d’UC. Le tableau 1 présente une ventilation en pourcentage par type d’instrument financier. Quant au graphique 1, il donne un aperçu des affectations financières aux pays membres régionaux en 2011, par secteur d'intérêt stratégique.

Graphique 1 : Financement de la BAfD offert par secteur aux pays membres régionaux, 2011^{Footnote 5}

1.4 Objectifs stratégiques et secteurs prioritaires de la BAfD

La Stratégie à moyen terme 2008-2012 de la BAfD, qui est énoncée dans son cadre stratégique, comprend cinq objectifs stratégiques et secteurs d’activités prioritaires connexes pour les activités de la Banque, pour cette période. Voici les objectifs stratégiques de cette stratégie :

• Sélectivité opérationnelle;
• Résultats et performance;
• Décentralisation ;
• Rationalisation des processus internes;
• Dotation en effectifs, connaissances, finance et partenariats en tant que fondation.

Sous l’objectif stratégique Sélectivité opérationnelle, la BAfD s’engage à assurer une concentration verticale et horizontale sur des domaines clés, de même qu’à intégrer des questions prioritaires transversales et à appuyer des secteurs d’intervention choisis. La BAfD a accordé la priorité à une concentration verticale sur quatre domaines clés différents des secteurs et des sujets de la BAfD : Infrastructure ; gouvernance ; enseignement supérieur et formation professionnelle ; secteur privé^{Footnote 6}. Ces domaines ont été soutenus par une concentration horizontale sur : l’intégration régionale; les États fragiles; l’engagement par rapport à l’écoute du client, en particulier dans les pays à revenu intermédiaire. Pour ce qui est de l’intégration des questions transversales, la BAfD avait comme objectifs thématiques la parité hommes-femmes; l’environnement et le changement climatique. La BAfD a aussi indiqué qu’elle offrirait un appui sélectif au développement de l’agriculture.

En juin 2013, la Banque a adopté une nouvelle stratégie décennale pour 2013 à 2022. Elle se concentrera sur deux objectifs : une croissance inclusive et la transition à une croissance verte. La stratégie réaffirme les cinq domaines opérationnels centraux sur lesquels la Banque axera ses activités :

• le développement de l’infrastructure ;
• le développement du secteur privé ;
• l’intégration économique régionale ;
• la gouvernance et la responsabilisation ;
• le développement des compétences et de la technologie.

La Banque tiendra particulièrement compte des états fragiles, de l’agriculture et de la sécurité alimentaire, ainsi que de l’égalité entre les sexes lors de la mise en oeuvre de sa stratégie décennale et en tant que partie intégrante de ses deux objectifs.

1.5 Autoévaluation de la fonction d’évaluation indépendante de la BAfD

En sa qualité de première institution financière de développement en Afrique, la BAfD participe de façon soutenue à la réforme institutionnelle afin de maximiser l'efficacité de son aide au développement et d'améliorer la qualité de ses opérations. À cette fin, après la réalisation d'une autoévaluation de sa fonction d'évaluation indépendante en 2012, la BAfD a révisé sa politique d'évaluation indépendante et élaboré une nouvelle stratégie pour les évaluations indépendantes.

L'autoévaluation de la fonction d'évaluation de 2012 de la BAfD a été réalisée cinq ans après la mise en oeuvre de la politique d'évaluation indépendante. Le principal objectif de l'autoévaluation était de déterminer les forces et les faiblesses de la fonction d'évaluation de la BAfD ainsi que de recommander des améliorations. Il est important de noter que l'autoévaluation a précédé l'examen préliminaire actuel. Elle illustre un processus continu d'évaluation et de réforme de la BAfD visant à améliorer son efficacité et celle de l'aide au développement. Les constatations de l'examen préliminaire actuel s'appuient sur les principales constatations de l'autoévaluation.

Selon les constatations tirées de l'autoévaluation de 2012, l'institution dans son ensemble offre un appui général à la fonction de l'évaluation indépendante, à la lumière de la valeur ajoutée perçue de l'activité d'évaluation du Département de l’évaluation des opérations de la BAfD. Cependant, tous reconnaissaient la nécessité de réaligner l'approche d'évaluation sur l'orientation stratégique de la BAfD afin de déterminer ce qui a bien fonctionné et les améliorations à apporter. Il sera important que la Banque produise des évaluations plus pertinentes pour ses processus de prise de décisions stratégiques et l'évaluation de son efficacité en appliquant les constatations et les leçons tirées des évaluations.

Les constatations tirées de l'autoévaluation ont servi de base à la stratégie d'évaluation indépendante de 2013-2017. La politique et la stratégie révisées jettent les bases du programme de travail continu de la BAfD pour 2013-2015, y compris pour l'affectation des ressources au sein du Département de l'évaluation des opérations.

Selon la Banque, « le renforcement de la fonction d’évaluation est au coeur de la Stratégie d’évaluation indépendante pour la période de 2013 à 2017(...) [La stratégie révisée] précise les mesures à prendre pour améliorer la qualité des évaluations, notamment la préparation d’un guide d’évaluation, l’établissement de normes de qualité et la mise au point d’un processus d’assurance-qualité plus systématique. Ces mesures seront mises en application à compter de 2013. La stratégie propose également de traiter plus explicitement des thèmes énoncés dans la stratégie décennale de la Banque et d’augmenter les évaluations nationales, sectorielles et thématiques. »^{Footnote 7}

2.0 Méthodologie

La présente section donne un aperçu de la méthodologie utilisée pour réaliser cet examen préliminaire, qui comporte trois étapes :

• Étape 1 : Déterminer l’univers d’évaluation en collaboration avec la BAfD en recensant toutes les évaluations des programmes^{Footnote 8} et tous les rapports sur l'efficacité de l'aide au développement que la BAfD a publiés entre 2007 et 2012.
• Étape 2 : Procéder à un examen préliminaire des évaluations des programmes et des rapports sur l’efficacité de l’aide au développement de la BAfD en deux étapes au cours desquelles il faudra^{Footnote 9}:
  1. évaluer si un document donné dans l’univers était en fait une évaluation ou un rapport sur l'efficacité de l'aide au développement, par opposition à un examen stratégique ou à une étude de cas^{Footnote 10}, et s’il respecte l’échéance prévue pour cet examen;
  2. évaluer la portée et la qualité des rapports d’évaluation à l'aide du guide de notation de la portée et de la qualité des évaluations du CAD/EVALNET.
• Étape 3 : En fonction des résultats de l’examen préliminaire, validés au moyen d'une évaluation institutionnelle réalisée par le MOPAN, classer la fonction d'évaluation indépendante et les rapports sur l’efficacité de l’aide au développement de la BAfD selon l'un des trois scénarios suivants:^{Footnote 11}
  1. Les rapports sur l’efficacité de l'aide au développement sont adéquats (aucune autre mesure requise);
  2. Les rapports sur l'efficacité de l'aide au développement sont inadéquats, mais la fonction d'évaluation de l'organisation multilatérale fournit suffisamment de renseignements sur l'efficacité de l'aide au développement (réaliser une méta-synthèse des évaluations des programmes de l’organisation);
  3. Les rapports sur l’efficacité de l'aide au développement sont inadéquats et la fonction d'évaluation de l'organisation multilatérale ne fournit pas suffisamment de renseignements sur l’efficacité de l'aide au développement (soutenir de meilleurs rapports sur les évaluations et l’efficacité de l’aide au développement).

La section suivante donne des détails précis sur la mise en oeuvre de l’approche susmentionnée.

2.1 Raison d’être

La méthodologie du CAD/EVALNET visait à combler une lacune concernant les renseignements sur l’efficacité de l’aide au développement des organisations multilatérales. Elle exige peu de temps et de ressources, ce qui, par conséquent, permet de réduire le plus possible le fardeau de son exécution imposé aux organisations multilatérales. L'approche méthodologique du CAD/EVALNET a nécessité un examen des évaluations des programmes et des rapports sur l'efficacité de l'aide au développement produits par la BAfD.

Dans le cadre de l’examen, il fallait, dans un premier temps, déterminer l’univers d’évaluation en recensant tous les rapports de programmes sur l'efficacité de l'aide au développement et les évaluations que la BAfD a publiés entre 2007 et 2012. Bien que l'approche du CAD/EVALNET ne précise pas la période visée concernant l'admissibilité des rapports à examiner, tous les examens effectués à ce jour ont porté sur des rapports publiés au cours de la période de cinq ans précédant chaque examen.

On a déterminé l’univers d'évaluation en consultation avec la BAfD afin de veiller à ce qu'il comprenne toutes les évaluations des programmes et tous les rapports sur l'efficacité de l'aide au développement que la BAfD a produits entre janvier 2007 et septembre 2012. Une fois que l'on a convenu de l’univers d'évaluation, on a examiné les documents par rapport aux critères précisés dans la méthodologie du CAD/EVALNET. Des rapports ont été retenus ou rejetés, selon leur degré de conformité à ces critères. Cet examen préliminaire a permis de suggérer lequel des trois scénarios indiqué ci-dessous était le plus approprié pour la BAfD^{Footnote 12}:

Scénario A – Les rapports sur l'efficacité de l'aide au développement sont adéquats (aucune autre mesure requise, option 1).

Si l'examen préliminaire indique que les rapports sur les critères de l'efficacité de l'aide au développement de l’organisation multilatérale sont rigoureux, fondés sur des données probantes et portent sur une importante partie des investissements de l’organisation multilatérale, on peut alors se fier aux rapports, surtout s'ils s'appuient sur des données d'évaluation. Ceci indique la mise en oeuvre de l'option 1 – Se fier aux systèmes de production de rapports de l’organisation multilatérale.

Scénario B – Les rapports sur l'efficacité de l'aide au développement sont inadéquats, mais la fonction d'évaluation de l'organisation multilatérale fournit suffisamment de renseignements sur l'efficacité de l'aide au développement (réaliser une méta-synthèse des évaluations des programmes de l’organisation, option 2).

Si les rapports sont inadéquats mais que l'examen par les pairs du MOPAN, du CAD, du Groupe des Nations Unies pour l'évaluation ou du Groupe de coopération pour l'évaluation indique que la fonction d’évaluation est adéquate, et que l'examen préliminaire confirme que la fonction d'évaluation fournit suffisamment de renseignements crédibles sur les critères pour l'efficacité de l'aide au développement, l'option 2 est alors privilégiée. Cette option exige une méta-synthèse des évaluations des programmes qui permettent de tirer des conclusions à propos de l'efficacité de l'aide au développement.

Scénario C – Les rapports sur l’efficacité de l'aide au développement sont inadéquats et la fonction d'évaluation de l'organisation multilatérale ne fournit pas suffisamment de renseignements sur l’efficacité de l'aide au développement (soutenir de meilleurs rapports sur les évaluations et l’efficacité de l’aide au développement, y compris la fonction de surveillance et d’évaluation, option 3).

Si les rapports sont inadéquats, que l'examen par les pairs du MOPAN, du CAD, du Groupe des Nations Unies pour l'évaluation ou du Groupe de coopération pour l'évaluation indique que la fonction d’évaluation peut être inadéquate, et que l'examen préliminaire confirme que la fonction d'évaluation ne fournit pas suffisamment de renseignements crédibles sur les critères liés à l'efficacité de l'aide au développement, l'option 3 est alors privilégiée.

L’option 3 exige la mise en oeuvre de mesures visant à renforcer les rapports sur les résultats en matière de développement de l’organisation multilatérale. Parmi les mesures potentielles, mentionnons un soutien direct aux systèmes de présentation de rapports sur les résultats et d’évaluation de l’organisation multilatérale (c.-à-d. un examen par les pairs de la fonction d’évaluation) et un soutien pour renforcer les systèmes d’évaluation décentralisés de l’organisation multilatérale.

À la suite de l’examen préliminaire des rapports de programmes sur l’efficacité de l’aide au développement, ainsi que d’un examen du rapport du MOPAN, le scénario C et l’option 3 étaient privilégiés pour la BAfD. (Les sous-sections de 2.2 à 2.5 expliquent la raison d’être et présentent les critères utilisés pour la sélection et l’examen des documents, de même que les faiblesses de l’approche méthodologique.)

La raison pour laquelle on suggère que la BAfD opte pour le scénario C repose sur les deux critères énoncés dans la méthodologie du CAD de l’OCDE. Tout d’abord, les rapports faisant partie de l’univers d’évaluation ne couvrent pas suffisamment les résultats escomptés au niveau des programmes au cours de la période faisant l’objet de l’examen. Ensuite, l’examen du MOPAN a permis de relever d’importantes lacunes dans la mise en oeuvre des évaluations, bien que leur cote ait reposé sur des évaluations prévues. Ce rapport et l’examen du MOPAN indiquent que les évaluations au niveau des programmes « réellement mises en oeuvre » par la BAfD au cours de la période faisant l’objet d’un examen étaient insuffisantes.

Il faut toutefois reconnaître que les rapports de fin de projet et le nombre limité de rapports d’évaluation de projet jouent un rôle important dans les processus de gestion de la Banque. Cependant, ils ne fournissent pas la quantité de données probantes évaluatives nécessaires à une méta-synthèse rigoureuse de l’efficacité de l’aide au développement.

2.2 Portée

La sélection des documents en vue de la détermination de l’univers d’évaluation de la BAfD a été guidée par les directives méthodologiques du CAD/EVALNET pour l’examen et a été réalisée en consultation avec la Banque.

Étant donné que l’approche du Réseau du CAD sur l’évaluation du développement est conçue pour une évaluation de haut niveau de l’efficacité de l’aide au développement, les évaluations de projet ne sont pas prises en considération, étant donné qu’elles ne permettent pas de tirer des conclusions au niveau des programmes qui seraient utilisées à un niveau institutionnel. Par conséquent, cet examen a reposé sur un univers d’évaluation convenu de 43 rapports que la BAfD a produits entre janvier 2007 et septembre 2012 et qui comprenaient les types de documents suivants :

• Évaluations de l’assistance-pays ;
• Revues d’assistance sectorielle et études de cas-pays^{Footnote 13};
• Examens des processus;
• Revues sectorielles, thématiques et de politiques.

Compte tenu de la petite taille de cet univers d’évaluation (par rapport au contenu des examens d’autres organisations), on a décidé d’évaluer tous les rapports qui y étaient contenus plutôt que de sélectionner un échantillon plus limité.

2.3 Critères

Dans le cadre de l’examen préliminaire de l’univers convenu de la BAfD, on a utilisé les quatre critères de sélection du CAD/EVALNET : le type de document, le champ d’application, la portée et la qualité. Ce processus comportait deux étapes :

• Déterminer si un document donné était en fait un rapport d’évaluation, par opposition à un examen stratégique ou à une étude de cas, et s’il respecte la période de temps prévue pour cet examen ;
• Évaluer la couverture des résultats et la qualité des rapports d’évaluation à l'aide du guide de notation de la couverture et de la qualité des évaluations du CAD/EVALNET (Annexe II).

Les quatre critères utilisés dans l’examen préliminaire sont décrits dans les sous-sections de 2.3.1 à 2.3.4. Ils ont été appliqués dans le cadre de l’examen préliminaire.

2.3.1 Type de document

Les évaluations des programmes et les rapports sur l’efficacité de l’aide au développement fournissent des renseignements sur les résultats en matière de développement et peuvent démontrer l’efficacité de l’aide au développement des programmes de la BAfD. Les documents qui n’ont pas satisfait à ce critère ont été rejetés à cette étape de l’évaluation préliminaire.

2.3.2 Portée

Deux critères concernant le champ d’application ont été appliqués. Tout d’abord, un rapport d’évaluation donné doit être publié entre janvier 2007 et septembre 2012. Ensuite, la période de programmation faisant l’objet d’un rapport d’évaluation donné doit prendre fin après 2005 (c.-à-d. un rapport pour 1999-2004 et publié en 2008 ne serait pas retenu). Les documents qui n’ont pas satisfait à ces critères ont été rejetés à cette étape de l’évaluation préliminaire.

2.3.3 Couverture

Ce critère a été sous-divisé en trois secteurs : finance, secteurs prioritaires de la BAfD ; objectifs stratégiques de la BAfD. Ce critère a servi à orienter l’analyse de l’examen plutôt qu’à sélectionner des documents au cours de l’évaluation préliminaire.

L’examen de la couverture financière visait à évaluer le pourcentage des dépenses totales de la BAfD qui a fait l’objet d’évaluations particulières. Cependant, cet objectif n’a pas pu être atteint compte tenu du manque de précision des données financières fournies par plusieurs évaluations examinées.

Lors de l’examen de la couverture des secteurs prioritaires et des objectifs stratégiques de la BAfD, l’examen préliminaire visait à déterminer les secteurs prioritaires ou les objectifs stratégiques de la BAfD indiqués dans chaque document. Ces renseignements ont par la suite permis de déterminer l’étendue de la couverture des résultats des programmes de la BAfD dans les secteurs prioritaires ou par rapport aux objectifs stratégiques.

2.3.4 Qualité des documents

Dans le cadre de l'examen préliminaire, on a alloué des points à chaque rapport en fonction des critères d'évaluation de la qualité du guide de notation de la couverture et de la qualité des évaluations du CAD/EVALNET (Annexe II). Chaque rapport devait obtenir au moins 25 points sur un maximum de 40, selon l’énoncé des critères essentiels d’évaluation suivants :

• Objet;
• Évaluation;
• Organisation;
• Le sujet évalué est clairement décrit;
• Portée;
• Critères d’évaluation;
• Sources de données multiples;
• Conception de l’évaluation;
• Les constatations et les conclusions de l’évaluation sont pertinentes et basées sur des données probantes;
• Limites de l’évaluation;
• Conclusions de l’évaluation.

Trois critères sont particulièrement pertinents pour les examens de l’efficacité de l’aide au développement : utilisation des sources de données multiples; conception de l’évaluation; élaboration de résultats et de conclusions pertinentes et basées sur des données probantes. (Critère G – I du Guide de notation de la portée et de la qualité des évaluations – Annexe II). Les documents devaient obtenir au moins 10 points pour ces sous-éléments d’évaluation de la qualité.

2.4 Assurance de la qualité

L’examen a été effectué conformément aux systèmes de contrôle établis de manière à assurer la qualité, l’uniformité et la transparence au cours de l’application de la procédure et des critères de sélection. Les contrôles suivants ont été respectés :

• Un examinateur principal a été choisi au sein de l’équipe de trois examinateurs pour assurer la surveillance au cours de l’application de la méthodologie du CAD/EVALNET ;
• L’examinateur principal a conçu et animé un atelier de formation^{Footnote 14} pour l’équipe dans le but d’orienter l’examen préliminaire.

2.5 Évaluation, par le MOPAN, de la fonction d’évaluation de la BAfD

L’évaluation du MOPAN indique que les évaluations ne traitent pas adéquatement des principaux secteurs du portefeuille de la BAfD, tout particulièrement les opérations du secteur privé, qui connaissent une croissance rapide. Par ailleurs, le nombre d’évaluations de l’assistance-pays réalisées chaque année par la Banque peut être insuffisant. De plus, la Banque n’a pas été en mesure de lancer un programme d’évaluations rigoureuses des répercussions disposant de ressources suffisantes.

Selon le Plan de travail triennal continu de la BAfD et le budget de 2011-2013, bien que la fonction d’évaluation de la Banque ait été renforcée grâce à l’augmentation des ressources humaines au cours des dernières années, d’autres membres du personnel sont tenus de répondre aux besoins de la Banque en matière d’évaluation. En fait, le budget et le Plan de travail de la fonction d’évaluation semblent indiquer une « lacune en évaluation ».

Étant donné que l’évaluation de la BAfD réalisée par le MOPAN semble indiquer que les mécanismes d’assurance de la qualité de la fonction d’évaluation de la Banque sont inadéquats et que le présent examen a constaté qu’il n’y a pas suffisamment d’évaluations de programmes, la fonction d’évaluation de la BAfD a été classée sous le scénario C.

2.6 Limites

La réalisation d’un examen de l’efficacité de l’aide au développement a fait face à une importante contrainte, à savoir le nombre de documents disponibles pour déterminer l’univers d’évaluation de la BAfD. Par rapport aux examens antérieurs de l’efficacité de l’aide au développement réalisés à l’aide de cette méthodologie, l’univers d’évaluation de la BAfD était restreint, car il ne comptait que 43 documents.

Pour ce qui est de l’examen de l’efficacité de l’aide au développement réalisé par le PNUD, un échantillon de 55 documents a été sélectionné dans un univers d’évaluation de 199 documents.

Pour ce qui est de l’examen de l’efficacité de l’aide au développement réalisé par le PAM, l’univers d’évaluation comprenait 52 documents. Pour atténuer la contrainte de l’univers d’évaluation de la BAfD, à savoir sa petite taille, on a procédé, dans le cadre de l’examen préliminaire, à une évaluation de tous les documents contenus dans cet univers.

Cette contrainte est devenue plus préoccupante à la suite de la sélection et de la notation des documents à l’aide des critères du Réseau du CAD sur l’évaluation du développement. Ce processus a entraîné la réduction de l’univers d’évaluation de 47 %. Seulement 20 documents sur les 43 contenus dans l’univers ont été retenus à la suite de la sélection, selon les critères du type de document et de la portée.

Cependant, 12 des 20 documents qui ont été conservés dans l’univers final portaient sur les politiques et les finances et, par conséquent, traitaient en partie des secteurs prioritaires de la BAfD. De plus, 5 des 20 documents retenus dans l’univers final ne portaient qu’en partie sur le travail de la BAfD, étant donné qu’il s’agissait d’évaluations réalisées conjointement avec d’autres organismes de développement.

Il a été impossible d’atténuer cette contrainte, étant donné que les documents qui n’ont pas été sélectionnés ne satisfaisaient pas aux normes du CAD/EVALNET, et ce, en dépit de leur rôle important aux yeux de la BAfD. En effet, ils fournissent des renseignements pour gérer les risques financiers, en permettant d’assurer une surveillance financière efficace et de donner suite aux points de vue des organismes de cotation financière.

3.0 Résultats de l’examen préliminaire

Cette section présente les résultats de l’examen préliminaire des évaluations de programmes et des rapports sur l'efficacité de l'aide au développement que la BAfD a publiés entre janvier 2007 et septembre 2012. L'examen reposait sur un univers d'évaluation de 43 rapports de la BAfD répartis dans quatre catégories, tel qu'il est indiqué à la sous-section 2.2.

3.1 Principales constatations

Les résultats de l’examen préliminaire des évaluations de programmes et des rapports sur l'efficacité de l'aide au développement de la BAfD ont été résumés sous six constatations aux sous-sections 3.1.1 et 3.1.2..

3.1.1. Couverture

La fonction d'évaluation de la BAfD n'a pas produit suffisamment d'évaluations de programmes et de rapports sur l’efficacité de l’aide au développement entre 2007 et 2012.

Au moment de l'application des critères notés pour l'examen préliminaire du CAD/EVALNET, seulement 20 des 43 documents contenus dans l'univers d'évaluation satisfaisaient à tous les critères d'examen.

Les 23 autres rapports n’ont pas été sélectionnés dans le cadre de l'examen préliminaire pour trois raisons : Premièrement, le champ d’application des rapports : bien que les 43 documents contenus dans l’univers d’évaluation aient été publiés pendant la période d'examen prévue, soit de janvier 2007 à septembre 2012, la portée de six documents (14 % de l’univers d’évaluation) dépassait la période d'examen prévue. Ces documents portaient sur une période de rapportage antérieure, par exemple, de 1996 à 2004.

Deuxièmement, 13 documents (30 % de l’univers d’évaluation) n'étaient pas des évaluations des programmes ou des rapports de l'efficacité de l'aide au développement.

Troisièmement, la qualité du document : quatre documents (9 % de l’univers d’évaluation) n’ont pas été sélectionnés pour diverses raisons, notamment pour la description manquante des objectifs énoncés de l’évaluation, l’omission des limites ou une conception erratique de l'évaluation.

Le graphique 2 donne un aperçu des documents qui ont été rejetés lors de l’examen préliminaire, par type de rapport ou raison du rejet.

Graphique 2 : Documents rejetés, par type de document ou raison du rejet (valeurs réelles, n=23)

Dans l’ensemble, moins de la moitié des documents contenus dans l’univers d’évaluation satisfaisaient à tous les critères de présélection du CAD/EVALNET, comme en témoigne le graphique 3.

Graphique 3 : Rapports sélectionnés par rapport aux rapports rejetés (%, n=43)^{Footnote 15}

L’examen a permis de constater que la fonction d’évaluation de la BAfD n’a pas produit une importante quantité de renseignements sur l’efficacité de l’aide au développement de celle-ci au cours de la période d’examen, soit de janvier 2007 à septembre 2012. Les 20 documents qui ont satisfait aux critères minimums de l’examen préliminaire portaient presque exclusivement sur les évaluations axées sur les politiques et sur la gestion financière (55 % de tous les documents de l’univers d’évaluation).

Très peu de documents (trois) portaient sur les changements observés dans les pays membres régionaux à la suite de l’apport d’une aide financière de la BAfD. Deux rapports (10 % de tous les rapports sélectionnés) portaient sur l’assistance-pays offerte par la BAfD, et un rapport (5% de tous les rapports sélectionnés) traitait du soutien financier de la BAfD à un secteur donné (voir le graphique 4). Par conséquent, les documents sélectionnés ne représentaient pas adéquatement les progrès de la BAfD dans l’obtention d’extrants et de résultats prévus en matière de développement.

Graphique 4 : Documents sélectionnés par secteur d’intérêt (%, n=20)^{Footnote 16}

Cette constatation permet de catégoriser les évaluations des programmes et les rapports sur l’efficacité de l’aide au développement de la BAfD sous le Scénario C – Option 3. Selon la méthodologie d’examen utilisée, les rapports sur l’efficacité de l’aide au développement de l’organisation multilatérale sont inadéquats et la fonction d’évaluation ne fournit pas une base de renseignements adéquats sur l’efficacité de l’aide au développement. Toujours selon cette méthode, l’organisation multilatérale a besoin d’un soutien pour ses rapports sur l’efficacité de l’aide au développement, y compris sa fonction d’évaluation.

Dans l’examen, on mentionne que la BAfD a pris des mesures pour renforcer sa fonction d’évaluation par l’entremise de l’autoévaluation de 2012 de sa fonction d’évaluation indépendante, et de la révision de sa politique et de sa stratégie d’évaluation indépendante qui en ont résulté. La politique d’évaluation révisée a énoncé l’engagement de la BAfD à améliorer l’efficacité de son aide au développement en mettant l’accent sur trois objectifs complémentaires en vue de renforcer sa fonction d’évaluation indépendante, plus précisément l’apprentissage, la responsabilisation et la promotion d’une culture d’évaluation dans l’ensemble de la BAfD. Lors de cet examen, on prévoyait que le renforcement de la fonction d’évaluation comprenne l’amélioration des rapports sur les résultats au niveau des programmes de la BAfD.

Les évaluations des programmes et les rapports sur l’efficacité de l’aide au développement réalisés au cours de la période d’examen (2007-2012) ne fournissaient pas une couverture adéquate des résultats sur les programmes de la BAfD dans ses secteurs prioritaires et par rapport à ses objectifs stratégiques.

Les 20 documents qui ont satisfait à tous les critères pour l’examen préliminaire portaient sur tous les secteurs prioritaires (à l’exception de deux) de la BAfD. De plus, un rapport portait sur de nombreux secteurs et deux rapports portaient sur des questions liées au capital social et humain, qui ont un lien implicite avec l’engagement de la BAfD à offrir un soutien sélectif au Objectifs du Millénaire pour le développement (OMD) ayant trait à la santé. Les 20 rapports portaient sur les objectifs stratégiques de la BAfD. Ces constatations sont illustrées aux graphiques 5 et 6.

Graphique 5 : Secteurs prioritaires de la BAfD traités dans des rapports (valeurs réelles, n=20)^{Footnote 17}

Graphique 6 : Objectifs stratégiques de la BAfD traités dans les rapports (%, n=20)^{Footnote 18}

Dans l’examen préliminaire, on remarque toutefois que les rapports de la BAfD sur ses secteurs prioritaires et objectifs stratégiques sont essentiellement descriptifs et qu’ils donnent un aperçu de ses programmes. Fait important : les rapports ne fournissaient pas une couverture adéquate des résultats obtenus grâce aux programmes de la BAfD dans ses secteurs prioritaires et par rapport à ses objectifs stratégiques. L’examen, qui a été réalisé au moyen des lignes directrices du CAD/EVALNET, relève que les rapports de la BAfD ne fournissent pas de renseignements basés sur les résultats de ses activités de programmes. Il est donc essentiel que la BAfD revoit l’approche qu’elle utilise pour les rapports d’évaluation des programmes, de même que sa capacité de faire rapport de ses résultats en matière de développement.

Les évaluations des programmes et les rapports sur l’efficacité de l’aide au développement de la BAfD ne fournissent pas une couverture adéquate des investissements de la Banque dans ses priorités thématiques transversales.

Dans sa Stratégie à moyen terme pour 2008-2012, la BAfD s’est engagée à rationnaliser trois secteurs thématiques : égalité entre les sexes ; environnement et changement climatique. Toutefois, selon les constatations découlant de l’examen préliminaire, il y a relativement peu de données probantes sur l’exploration de ces thèmes transversaux dans les rapports sur l’efficacité de l’aide au développement de la BAfD. Sur les 20 rapports qui satisfaisaient à tous les critères de l’examen préliminaire, cinq (20 %) portaient sur les priorités thématiques transversales. Un rapport contenait une discussion sur le thème de l’égalité entre les sexes et trois portaient sur l’environnement. Un autre rapport portait sur le thème du changement climatique. Cette constatation reflète la couverture insuffisante des investissements de la BAfD dans ses thèmes transversaux prioritaires contenus dans ses rapports sur l’efficacité de l’aide. Ces renseignements sont toutefois essentiels, étant donné que les priorités transversales constituent les principaux secteurs d’investissement de la BAfD exigeant un soutien financier pour les pays membres régionaux. Il est tout aussi nécessaire de procéder à une évaluation par l’entremise des évaluations des programmes ou des rapports sur le développement afin de déterminer dans quelle mesure les résultats prévus en matière de développement sont atteints dans ces secteurs.

Dans cette évaluation, on mentionne que la BAfD a produit un important rapport interne sur l’égalité entre les sexes en 2012 et qu’elle a établi de nouvelles règles concernant l’intégration de cette problématique. La BAfD prévoit aussi procéder à un examen de cet enjeu en 2014. Entre-temps, elle a procédé à un exercice de synthèse afin de tirer des leçons de l’intégration de la thématique de l’égalité entre les sexes qui est pratiquée par d’autres organisations. Au moment de l’évaluation, la BAfD a présenté un rapport sur l’intégration des questions environnementales dans le secteur des transports et a participé à une évaluation conjointe des Fonds d’investissement climatiques (FIC).

En raison du délai entre l'année où une évaluation est réalisée et l'année où elle est finalisée et publiée, des rapports sur l'efficacité de l'aide au développement de la BAfD deviennent parfois moins utiles pour la prise de décisions concernant les investissements futurs de la Banque.

Les 43 documents faisant l'objet de l'examen préliminaire ont été publiés dans la période à l’étude, à savoir entre janvier 2007 et septembre 2012. Cependant, pour huit rapports, il y a eu un important délai entre le moment de leur publication et les années visées par l’examen. Par exemple, un rapport publié en 2007 portait sur les programmes mis en oeuvre entre 1996 et 2004. Il y a donc eu un délai de trois ans entre la date de leur mise en oeuvre et celle de la publication du rapport. En raison du changement du contexte et des priorités, les évaluations de la BAfD pour lesquelles il y a eu un important délai entre le moment de leur publication et celui de leur examen ont été moins utiles pour la planification des nouveaux programmes. Cette constatation a été corroborée par l’autoévaluation de 2012 de la fonction d’évaluation indépendante de la BAfD, qui a suscité des préoccupations au sujet de l’opportunité de nombreuses évaluations de la BAfD. Cependant, la rétroaction fournie aux gestionnaires des programmes tout au long du processus d’évaluation et précédant la publication du rapport représente tout de même une contribution positive.

Sommaire de la section

L’examen préliminaire des évaluations et des rapports au niveau des programmes sur l’efficacité de l’aide au développement des programmes de la BAfD a permis de constater qu’il n’y a pas suffisamment de données probantes pour illustrer l’efficacité de l’aide au développement pour la période 2007-2012.

À la suite de la détermination de l’univers d’évaluation des 43 évaluations de programmes et rapports sur l’efficacité de l’aide au développement de la BAfD, plus de 50 % des rapports ne satisfaisaient pas aux normes minimales établies par les lignes directrices du CAD/EVALNET.

Dans l’ensemble, l’univers d’évaluation n’a pas fourni une quantité importante de renseignements crédibles sur l’efficacité de l’aide au développement de la BAfD. Il n’a pas non plus fourni une couverture adéquate des priorités transversales énoncées dans la Stratégie à moyen terme 2008-2009 de la BAfD. On laisse aussi entendre que les rapports de développement sont devenus moins utiles pour la planification et les investissements futurs de la BAfD en raison des délais entre le moment de l’évaluation et celui de la publication du rapport d’évaluation. Toutefois, il importe de souligner que la BAfD a consigné son engagement à renforcer sa fonction d’évaluation indépendante. Dans l’examen, on prévoit que cela mènera au renforcement des rapports sur les résultats au niveau des programmes de la BAfD.

3.1.2. Qualité

La conception des évaluations telle que décrite dans les rapports d’évaluation des programmes examinés n’était pas conforme aux lignes directrices émises par le CAD/EVALNET concernant la qualité.

Lors de l’examen préliminaire, on a attribué des points à chaque rapport dans lequel on a appliqué les critères de vérification de la qualité contenus dans le guide de notation de la portée et de la qualité des évaluations du CAD/EVALNET afin de dégager des données probantes sur deux aspects de la qualité : i) caractéristiques d’un rapport d’évaluation de base; ii) existence des principales composantes nécessaires pour examiner l’efficacité de l’aide au développement.

Selon les constatations tirées de l’examen préliminaire, les 20 rapports d’évaluation des programmes qui ont été retenus dans l’univers ont dépassé le seuil de 25 points requis pour démontrer qu’ils possèdent les caractéristiques d’un rapport d’évaluation de base. En effet, ces rapports ont obtenu entre 27 et 36 points sur un maximum de 40, soit une note en pourcentage allant de 68 % à 90 %.

Quant à l’existence des caractéristiques des rapports qui sont nécessaires pour procéder à un examen de l’efficacité de l’aide au développement, les documents ont reçu des notes élevées pour deux des trois critères de présélection : « Sources de données multiples » et « Les constatations et les conclusions de l’évaluation sont pertinentes et fondées sur des données probantes ». Les documents ont reçu 3 ou 4 points sur un total de 4 points pour chaque critère.

Les points obtenus pour « Les évaluations sont bien conçues » sont considérablement plus faibles, allant de 1 à 5, sur un maximum de 5. Des 20 documents examinés, un seul a reçu le nombre maximum de points pouvant être attribués à une évaluation bien conçue. Ces notes correspondent aux conclusions de l’autoévaluation de la fonction d’évaluation indépendante de la BAfD de 2012. L’autoévaluation a énoncé que la BAfD n’utilisait qu’un éventail restreint de méthodologies dans ses évaluations de projets.

Cette constatation fournit des données probantes sur l’attention que porte la BAfD à la qualité de ses rapports sur l’efficacité de l’aide au développement, comme l’indiquent les points allant de moyen à élevé qui ont été attribués aux rapports dont la qualité a été vérifiée. Ceci fournit également une forte indication qu’il est tout aussi nécessaire de renforcer le processus de conception des évaluations.

Pour ce point, on pourrait se reporter aux Lignes directrices et ouvrages de référence du CAD : Normes de qualité pour l’évaluation du développement ». Selon ses lignes directrices, parmi les principaux éléments d’une bonne conception d’évaluation permettant de produire des évaluations clairement expliquées, mentionnons:

• une théorie explicite de l’atteinte des objectifs et des résultats;
• la précision du niveau de résultats atteint, l’accent étant mis sur les extrants, les résultats et l’impact;
• des données de référence (quantitatives ou qualitatives) sur les conditions qui existaient avant la mise en oeuvre des programmes;
• une comparaison des conditions après la prestation des programmes à celles qui existaient avant la mise en oeuvre des programmes.

4.0 Conclusions

L’examen préliminaire avait pour but de fournir une évaluation indépendante, fondée sur des données probantes, de l’efficacité de l’aide au développement de la BAfD que pourront utiliser le gouvernement du Canada, la BAfD et d'autres intervenants intéressés. Il reposait sur un univers de 43 rapports sur les programmes de la BAfD, comprenant des évaluations des programmes et des rapports sur l’efficacité de l’aide qui ont été produits entre janvier 2007 et septembre 2012.

L’examen préliminaire des rapports de programmes sur l’efficacité de l’aide au développement et des rapports d’évaluation de la BAfD a appliqué des critères du CAD/EVALNET pour l’évaluation de la qualité et de la portée. Selon les constatations, les évaluations examinées ne fournissaient pas une couverture adéquate des résultats de développement obtenus par la BAfD.

Voici donc les conclusions de l’examen :

1. L’application des critères du CAD/EVALNET à l’examen préliminaire de l’univers d’évaluation de la BAfD a démontré que cette dernière n’a pas produit un nombre suffisant de renseignements pour permettre d’évaluer l’efficacité de l’aide au développement. Cet examen, par l’entremise de la formulation de recommandations pour l’avenir, peut aider la BAfD à améliorer ses prochaines évaluations et prochains rapports sur l’efficacité de l’aide au développement.
2. Dans l’ensemble, les évaluations des programmes de la BAfD ne fournissent pas une couverture adéquate de ses secteurs prioritaires et ses objectifs stratégiques dans ses rapports au niveau des programmes. On peut le constater dans ses comptes rendus descriptifs d’activités de programme et par le manque de détails sur les résultats en matière de développement. De plus, il y a très peu de données probantes sur ses thèmes transversaux prioritaires dans les évaluations des programmes et les rapports sur l’efficacité de l’aide au développement. La BAfD doit déployer d’autres efforts pour fournir des rapports adéquats axés sur les résultats qui traitent de ses secteurs prioritaires, de ses objectifs stratégiques et de ses thèmes transversaux.
3. Certaines des évaluations de la BAfD contenues dans l’univers de cet examen sont devenues moins utiles en raison du délai entre le moment de l’évaluation et celui de la publication du rapport. Les évaluations de la BAfD sont aussi moins utiles en raison des changements institutionnels internes et de l’évolution du contexte au niveau des pays membres régionaux. On peut ainsi conclure que certaines des évaluations de la BAfD contenues dans l’univers de cet examen sont peu pertinentes pour ses processus décisionnels stratégiques.
4. La gamme restreinte de méthodologies utilisées a nui aux évaluations des programmes de la BAfD. L’utilisation des méthodologies qui ne favorisent pas les évaluations des programmes donne un aperçu inexact des progrès réalisés par la BAfD dans l’atteinte de ses résultats de développement prévus. Bien que la BAfD ait satisfait aux normes de qualité du CAD/EVALNET concernant la production de rapports d’évaluation, il n’en est pas de même la clarté de la conception des évaluations. La BAfD doit donc renforcer sa capacité de conception de ses évaluations de programmes.

5.0 Recommandations

Ces recommandations visent à aider la BAfD à élaborer un nombre suffisant d’évaluations et de rapports sur l’efficacité de l’aide au développement au niveau des programmes qui, à l’avenir, favoriseraient l’application de la méthodologie du CAD/EVALNET en vue d’une méta-synthèse des résultats d’évaluation. Les recommandations visent aussi à soutenir l’engagement futur de l’ACDI envers la BAfD, l’accent étant mis sur le renforcement de la fonction d’évaluation de celle-ci.

Les recommandations s’appuient sur les résultats de cet examen, l’évaluation de la Banque réalisée par le MOPAN, l’autoévaluation de 2012 de la fonction d’évaluation de la BAfD et la stratégie d’évaluation indépendante de la BAfD de 2013-2017. Cette dernière a énoncé l’engagement de la Banque à « rehausser la qualité », à assurer une rigueur méthodologique, de même qu’à améliorer le processus d’assurance de la qualité. De même, la nécessité de procéder à un examen par les pairs périodique de la fonction d’évaluation indépendante de la BAfD a été soulignée dans l’autoévaluation de 2012, dans laquelle on a recommandé que la BAfD envisage un examen par les pairs tous les cinq ans.

5.1 Recommandations pour la BAfD

La BAfD devrait avant tout renforcer sa fonction d’évaluation indépendante.

Si la BAfD renforçait sa fonction d’évaluation, elle pourrait évaluer avec précision ses progrès dans l’atteinte de résultats en matière de développement au niveau des programmes et tirer profit des leçons retenues pour améliorer ses investissements dans les pays membres régionaux.

Selon les constatations et les conclusions de l’examen préliminaire, la fonction d’évaluation de la BAfD n’a pas produit le nombre de rapports requis pour permettre l’examen de l’efficacité de l’aide au développement de la Banque. Les secteurs d’activités d’évaluation de la BAfD dans lequel on a constaté, lors de l’examen, des faiblesses particulières étaient la conception des évaluations et la couverture des résultats de l’efficacité de l’aide au développement des programmes. Le renforcement de la fonction d’évaluation permettra à la BAfD de traiter efficacement chacun de ces secteurs. On prévoit que ce processus permettra d’accroître la solidité de la conception des évaluations grâce à l’utilisation de méthodologies d’évaluation appropriées et à des rapports sur l’efficacité de l’aide au développement plus complets.

La BAfD devrait considérer la possibilité de procéder à un examen par les pairs de sa fonction d’évaluation.

Pour améliorer ses évaluations et maintenir les normes du CAD/EVALNET pour procéder à des évaluations et établir des rapports sur l’efficacité de l’aide au développement, la BAfD devrait procéder à un examen par les pairs de sa fonction d’évaluation. Cet examen est totalement différent d’une autoévaluation. La BAfD utiliserait cet examen pour évaluer la capacité et la qualité de sa fonction d’évaluation. Elle peut aussi utiliser les constatations de l’examen par les pairs pour évaluer la pertinence, l’exhaustivité et la qualité générale de ses rapports sur l’efficacité de l’aide au développement. Les résultats de cet examen lui permettraient de déterminer dans quelle mesure ses évaluations de programmes et ses rapports sur l’efficacité de l’aide au développement permettent de guider sa prise de décisions stratégiques.

En plus de profiter des conseils au sujet du renforcement de sa fonction d’évaluation, la BAfD peut utiliser les constatations de l’examen par les pairs pour élaborer des pratiques exemplaires en matière de diffusion et d’apprentissage, conformément à son engagement à « utiliser la gestion des connaissances »^{Footnote 19}, tel qu’il est énoncé dans sa stratégie d’évaluation indépendante pour 2013-2017.

5.2 Recommandations pour MAECD

Le Canada, de concert avec d’autres donateurs et les membres du conseil d’administration de la BAfD, devrait soutenir la Banque dans ses efforts pour renforcer sa fonction d’évaluation.

Le Canada devrait soutenir la BAfD dans ses efforts pour renforcer sa fonction d’évaluation et la conception de ses évaluations, tel qu’il est énoncé ci-dessus. La BAfD pourrait, entre autres, procéder à une analyse annuelle de la couverture des évaluations à inclure dans son plan d’évaluation. Par exemple, le plan de travail continu de la BAfD pourrait permettre de déterminer la cible d’une évaluation de programmes, et sa mise en oeuvre, peut-être en pourcentage des dépenses totales.

En collaborant avec d’autres membres du conseil d’administration, le Canada devrait envisager, entre autres, de soutenir le renforcement de la fonction d’évaluation de la BAfD. Parmi les éléments importants, mentionnons un examen par les pairs, le développement de la capacité afin de renforcer la couverture des résultats, la conception et l’opportunité des évaluations, ainsi que le renforcement des rapports sur l’efficacité de l’aide au développement des programmes.

Annexe 1 : Univers d’évaluation

N^o 1

• Année : 2012
• Unité de programme^{Footnote 20} : Division des évaluations de haut niveau
• Type : Revues sectorielles, thématiques et de politiques
• Titre de l’évaluation : Promouvoir l’intégration régionale en Afrique : Évaluation des opérations multinationales de la Banque sur la période 2000-2010; rapport de synthèse
• Pages : 52
• Hyperlien : Promouvoir l’intégration régionale en Afrique : Évaluation des opérations multinationales de la Banque sur la période 2000-2010 : Revue du portefeuille
• Résultats de l’examen préliminaire : Accepté: Ce rapport a satisfait aux quatre critères de présélection du CAD/EVALNET.

N^o2

• Hyperlien : Promouvoir l’intégration régionale en Afrique : Évaluation des opérations multinationales de la Banque sur la période 2000-2010 : document d’orientation
• Résultats de l’examen préliminaire : Rejeté: Ce rapport n’est pas une évaluation, mais plutôt un document d’orientation.

N^o3

• Hyperlien : 2000-2010 : Revue des politiques et des stratégies
• Résultats de l’examen préliminaire : Rejeté: Ce rapport n’est pas une évaluation. Il s’agit plutôt d’une revue des politiques et des stratégies.

N^o4

• Hyperlien : 2000-2010 : Étude de cas no 1 – Projet d’aménagement de la route Arusha-Namanga-Athi River
• Résultats de l’examen préliminaire : Rejeté: Ce rapport n’est pas une évaluation. Il s’agit plutôt d’une étude de cas d’une page.

N^o5

• Hyperlien : 2000-2010 : Étude de cas no 2 –Projet énergétique Manantali (Mauritanie, Mali et Sénégal)
• Résultats de l’examen préliminaire : Rejeté: Ce rapport n’est pas une évaluation. Il s’agit plutôt d’une étude de cas d’une page.

N^o6

• Hyperlien : 2000-2010 : Étude de cas no 3 –Projet de gaz naturel de Sasol
• Résultats de l’examen préliminaire : Rejeté: Ce rapport n’est pas une évaluation. Il s’agit plutôt d’une étude de cas d’une page.

N^o7

• Année : 2012
• Unité de programme : Département de l’évaluation des opérations
• Type : Évaluation institutionnelle
• Titre de l’évaluation : Évaluation de l’assistance de la Banque africaine de développement aux États fragiles
• Pages : 44
• Hyperlien : Évaluation de l’assistance de la Banque africaine de développement aux États fragiles
• Résultats de l’examen préliminaire : Rejeté: Il s’agit d’un rapport sommaire qui renvoie à des études de cas et à d’autres outils de collecte de données.

N^o8

• Année : 2012
• Unité de programme : Effort commun de la BAfD, de SIDA et de DANIDA
• Type : Revues sectorielles, thématiques et de politiques
• Titre de l’évaluation : Évaluation de la réforme de la gestion des finances publiques au Burkina Faso, au Ghana et au Malawi 2001-2010 Rapport de synthèse final
• Pages : 126
• Hyperlien : Évaluation de la réforme de la gestion des finances publiques au Burkina Faso, au Ghana et au Malawi 2001-2010
• Résultats de l’examen préliminaire : Accepté: Ce rapport a satisfait aux quatre critères de présélection du CAD/EVALNET.

N^o9

• Année : 2012
• Unité de programme : Effort commun de la BAfD, de SIDA et de DANIDA
• Type : Revue d’assistance sectorielle et étude de cas-pays
• Titre de l’évaluation : Évaluation de la réforme de la gestion des finances publiques au Malawi : Rapport d’étude de cas-pays – version finale
• Pages : 149
• Hyperlien : Évaluation de la réforme de la gestion des finances publiques au Malawi
• Résultats de l’examen préliminaire : Accepté: Ce rapport a satisfait aux quatre critères de présélection du CAD/EVALNET.

N^o10

• Année : 2012
• Unité de programme : Effort commun de la BAfD, de SIDA et de DANIDA
• Type : Revue d’assistance sectorielle et étude de cas-pays
• Titre de l’évaluation : Évaluation de la réforme de la gestion des finances publiques au Ghana : Rapport d’étude de cas-pays – version finale
• Pages : 153
• Hyperlien : Évaluation de la réforme de la gestion des finances publiques au Ghana :
• Résultats de l’examen préliminaire : Accepté: Ce rapport a satisfait aux quatre critères de présélection du CAD/EVALNET.

N^o11

• Année : 2012
• Unité de programme : Effort commun de la BAfD, de SIDA et de DANIDA
• Type : Revue d’assistance sectorielle et étude de cas-pays
• Titre de l’évaluation : Évaluation de la réforme de la gestion des finances publiques au Burkina Faso : Rapport d’étude de cas-pays – version finale
• Pages : 182
• Hyperlien : Évaluation de la réforme de la gestion des finances publiques au Burkina Faso :
• Résultats de l’examen préliminaire : Accepté: Ce rapport a satisfait aux quatre critères de présélection du CAD/EVALNET.

N^o12

• Année : 2012
• Unité de programme : Département de l’évaluation des opérations
• Type : Revues sectorielles, thématiques et de politiques
• Titre de l’évaluation : Intégration de l’égalité des genres : Une voie vers des résultats ou une voie vers nulle part? Synthèse d’évaluation
• Pages : 52
• Hyperlien : Intégration de l’égalité des genres : Une voie vers des résultats ou une voie vers nulle part? Synthèse d’évaluation
• Résultats de l’examen préliminaire : Rejeté: Ce rapport n’est pas une évaluation, mais plutôt un examen des pratiques exemplaires.

N^o13

• Année : 2011
• Unité de programme : Groupe de travail de la Banque
• Type : Évaluation institutionnelle
• Titre de l’évaluation : Revue à mi-parcours (RMP) de la Stratégie à moyen terme 2008-2012 du Groupe de la Banque
• Pages : 31
• Hyperlien : Revue à mi-parcours (RMP) de la Stratégie à moyen terme 2008-2012 du Groupe de la Banque
• Résultats de l’examen préliminaire : Rejeté: Ce rapport est un examen de la stratégie de la BAfD.

N^o14

• Année : 2011
• Unité de programme : Département de l’évaluation des opérations
• Type : Évaluation institutionnelle
• Titre de l’évaluation : Évaluation de la mise en oeuvre de la Déclaration de Paris à la Banque africaine de développement
• Pages : 39
• Hyperlien : Évaluation de la mise en oeuvre de la Déclaration de Paris à la Banque africaine de développement
• Résultats de l’examen préliminaire : Accepté: Ce rapport a satisfait aux quatre critères de présélection du CAD/EVALNET.

N^o15

• Année : 2011
• Unité de programme : Département de l’évaluation des opérations
• Type : Évaluation de l’assistance-pays
• Titre de l’évaluation : Gabon : Évaluation de l’assistance de la Banque, 1996-2008
• Pages : 72
• Hyperlien : Gabon : Évaluation de l'assistance de la Banque, 1996-2008
• Résultats de l’examen préliminaire : Accepté: Ce rapport a satisfait aux quatre critères de présélection du CAD/EVALNET.

N^o16

• Année : 2011
• Unité de programme : Division des évaluations de haut niveau
• Type : Revue d’assistance sectorielle et étude de cas-pays
• Titre de l’évaluation : Évaluation des opérations d’appui aux réformes de la Banque africaine de développement, 1999-2009, Étude de cas-pays : Tanzanie
• Pages : 82
• Hyperlien : Évaluation des opérations d’appui aux réformes de la Banque africaine de développement, 1999-2009, Étude de cas-pays : Tanzanie
• Résultats de l’examen préliminaire : Accepté: Ce rapport a satisfait aux quatre critères de présélection du CAD/EVALNET.

N^o17

• Année : 2011
• Unité de programme : Division des évaluations de haut niveau
• Type : Revue d’assistance sectorielle et étude de cas-pays
• Titre de l’évaluation : Évaluation des opérations d’appui aux réformes de la Banque africaine de développement, 1999-2009, Étude de cas-pays : Sierra Leone
• Pages : 71
• Hyperlien : Évaluation des opérations d’appui aux réformes de la Banque africaine de développement, 1999-2009, Étude de cas-pays : Sierra Leone
• Résultats de l’examen préliminaire : Accepté: Ce rapport a satisfait aux quatre critères de présélection du CAD/EVALNET.

N^o18

• Année : 2011
• Unité de programme : Division des évaluations de haut niveau
• Type : Revue d’assistance sectorielle et étude de cas-pays
• Titre de l’évaluation : Évaluation des opérations d’appui aux réformes de la Banque africaine de développement, 1999-2009, Étude de cas-pays : Maroc
• Pages : 90
• Hyperlien : Évaluation des opérations d’appui aux réformes de la Banque africaine de développement, 1999-2009, Étude de cas-pays : Maroc
• Résultats de l’examen préliminaire : Accepté: Ce rapport a satisfait aux quatre critères de présélection du CAD/EVALNET.

N^o19

• Année : 2011
• Unité de programme : Division des évaluations de haut niveau
• Type : Revue d’assistance sectorielle et étude de cas-pays
• Titre de l’évaluation : Évaluation des opérations d’appui aux réformes de la Banque africaine de développement, 1999-2009, Étude de cas-pays : Rwanda
• Pages : 70
• Hyperlien : Évaluation des opérations d’appui aux réformes de la Banque africaine de développement, 1999-2009, Étude de cas-pays : Rwanda
• Résultats de l’examen préliminaire : Accepté: Ce rapport a satisfait aux quatre critères de présélection du CAD/EVALNET.

N^o20

• Année : 2011
• Unité de programme : Division des évaluations de haut niveau
• Type : Revue d’assistance sectorielle et étude de cas-pays
• Titre de l’évaluation : Évaluation des opérations d’appui aux réformes de la Banque africaine de développement, 1999-2009, Étude de cas-pays : Éthiopie
• Pages : 102
• Hyperlien : Évaluation des opérations d’appui aux réformes de la Banque africaine de développement, 1999-2009, Étude de cas-pays : Éthiopie
• Résultats de l’examen préliminaire : Accepté: Ce rapport a satisfait aux quatre critères de présélection du CAD/EVALNET.

N^o21

• Année : 2011
• Unité de programme : Division des évaluations de haut niveau
• Type : Revue d’assistance sectorielle et étude de cas-pays
• Titre de l’évaluation : Évaluation des opérations d’appui aux réformes de la Banque africaine de développement, 1999-2009, Étude de cas-pays : Burkina Faso
• Pages : 89
• Hyperlien : Évaluation des opérations d’appui aux réformes de la Banque africaine de développement, 1999-2009, Étude de cas-pays : Burkina Faso
• Résultats de l’examen préliminaire : Accepté: Ce rapport a satisfait aux quatre critères de présélection du CAD/EVALNET.

N^o22

• Année : 2011
• Unité de programme : Département de l’évaluation des opérations
• Type : Revue d’assistance sectorielle et étude de cas-pays
• Titre de l’évaluation : Gestion de l’eau pour l’agriculture : Évaluation de l’aide de la Banque africaine de développement au Ghana et au Mali 1990-2010
• Pages : 48
• Hyperlien : Gestion de l’eau pour l’agriculture : Évaluation de l’aide de la Banque africaine de développement au Ghana et au Mali 1990-2010
• Résultats de l’examen préliminaire : Accepté: Ce rapport a satisfait aux quatre critères de présélection du CAD/EVALNET.

N^o23

• Année : 2011
• Unité de programme : Division des évaluations de haut niveau
• Type : Revues sectorielles, thématiques et de politiques
• Titre de l’évaluation : Évaluation des opérations d’appui aux réformes de la Banque africaine de développement, 1999-2009 – Revue du cadre institutionnel et politique
• Pages : 89
• Hyperlien : Évaluation des opérations d’appui aux réformes de la Banque africaine de développement, 1999-2009 – Revue du cadre institutionnel et politique
• Résultats de l’examen préliminaire : Rejeté: Ce rapport est une revue des opérations de la BAfD.

N^o24

• Année : 2011
• Unité de programme : Division des évaluations de haut niveau
• Type : Revues sectorielles, thématiques et de politiques
• Titre de l’évaluation : Évaluation des opérations d’appui aux réformes de la Banque africaine de développement, 1999-2009
• Pages : 45
• Hyperlien : Évaluation des opérations d’appui aux réformes de la Banque africaine de développement, 1999-2009
• Résultats de l’examen préliminaire : Accepté: Ce rapport a satisfait aux quatre critères de présélection du CAD/EVALNET.

N^o25

• Année : 2010
• Unité de programme : Division des évaluations de haut niveau
• Type : Évaluation de l’assistance pays
• Titre de l’évaluation : Évaluation des opérations d’appui aux réformes de la Banque africaine de développement, 1999-2009 Étude de cas-pays : Programme de réforme du secteur des finances en Égypte
• Pages : 16
• Hyperlien : Évaluation des opérations d’appui aux réformes de la Banque africaine de développement, 1999-2009 Étude de cas-pays : Programme de réforme du secteur des finances en Égypte
• Résultats de l’examen préliminaire : Rejeté: Ce rapport est l’étude de cas d’une évaluation de plus grande envergure.

N^o26

• Année : 2010
• Unité de programme : Division des évaluations de haut niveau
• Type : Évaluation de l’assistance-pays
• Titre de l’évaluation : Évaluation des opérations d’appui aux réformes de la Banque africaine de développement, 1999-2009 Étude de cas-pays : Prêt consenti au Botswana pour soutenir la diversification économique
• Pages : 18
• Hyperlien : Évaluation des opérations d’appui aux réformes de la Banque africaine de développement, 1999-2009 Étude de cas-pays : Prêt consenti au Botswana pour soutenir la diversification économique
• Résultats de l’examen préliminaire : Rejeté: Ce rapport est l’étude de cas d’une évaluation de plus grande envergure.

N^o27

• Année : 2010
• Unité de programme : Effort commun de la BAfD, de DANIDA, de DFID et de SIDA, et réalisé par le Overseas Development Institute (ODI)
• Type : Revues sectorielles, thématiques et de politiques
• Titre de l’évaluation : Évaluation du soutien des donateurs à la réforme de la gestion des finances publiques dans les pays en développement – Étude analytique des données probantes quantitatives transnationales – Rapport final
• Pages : 84
• Hyperlien : Évaluation du soutien des donateurs à la réforme de la gestion des finances publiques dans les pays en développement – Étude analytique des données probantes quantitatives transnationales – Rapport final
• Résultats de l’examen préliminaire : Rejeté: Ce rapport est une évaluation conjointe qui ne portait pas sur le travail de la BAfD.

N^o28

• Année : 2010
• Unité de programme : Département de l’évaluation des opérations
• Type : Revues sectorielles, thématiques et de politiques
• Titre de l’évaluation : Évaluation des opérations d’appui aux réformes de la Banque africaine de développement, 1999-2009 – Revue de la littérature et de l’expérience
• Pages : 18
• Hyperlien : Évaluation des opérations d’appui aux réformes de la Banque africaine de développement, 1999-2009 – Revue de la littérature et de l’expérience
• Résultats de l’examen préliminaire : Rejeté: Ce rapport est une revue de la littérature.

N^o29

• Année : 2010
• Unité de programme : Département de l’évaluation des opérations
• Type : Sommaire du rapport d’évaluation
• Titre de l’évaluation : Évaluation indépendante de la qualité à l’entrée des opérations et des stratégies du FAD 2005-2008 : Rapport sommaire final
• Pages : 49
• Hyperlien : Évaluation indépendante de la qualité à l’entrée des opérations et des stratégies du FAD 2005-2008 : Rapport sommaire final
• Résultats de l’examen préliminaire : Accepté: Ce rapport a satisfait aux quatre critères de présélection du CAD/EVALNET.

N^o30

• Année : 2010
• Unité de programme : Département de l’évaluation des opérations (en collaboration avec le Fonds international de développement agricole)
• Type : Revues sectorielles, thématiques et de politiques
• Titre de l’évaluation : Évaluation conjointe des politiques et activités menées en Afrique par la Banque africaine de développement et le Fonds international de développement agricole dans le domaine de l’agriculture et du développement rural – Rapport final
• Pages : 128
• Hyperlien : Évaluation conjointe des politiques et activités menées en Afrique par la Banque africaine de développement et le Fonds international de développement agricole dans le domaine de l’agriculture et du développement rural – Rapport final
• Résultats de l’examen préliminaire : Accepté: Ce rapport a satisfait aux quatre critères de présélection du CAD/EVALNET.

N^o31

• Année : 2010
• Unité de programme : Département de l’évaluation des opérations
• Type : Évaluation institutionnelle
• Titre de l’évaluation : Évaluation indépendante de la supervision des projets à la Banque africaine de développement pour la période 2001-2008 – Rapport final
• Pages : 52
• Hyperlien : Évaluation indépendante de la supervision des projets à la Banque africaine de développement pour la période 2001-2008 – Rapport final
• Résultats de l’examen préliminaire : Accepté: Ce rapport a satisfait aux quatre critères de présélection du CAD/EVALNET.

N^o32

• Année : 2009
• Unité de programme : Groupe d’évaluation indépendant
• Type : Évaluation de l’assistance-pays
• Titre de l’évaluation : Ouganda – Évaluation de l’aide au pays, 2001-2007
• Pages : 174
• Hyperlien : Ouganda – Évaluation de l’aide au pays, 2001-2007
• Résultats de l’examen préliminaire : Accepté: Ce rapport a satisfait aux quatre critères de présélection du CAD/EVALNET.

N^o33

• Année : 2009
• Unité de programme : Département de l’évaluation des opérations
• Type : Revues sectorielles, thématiques et de politiques
• Titre de l’évaluation : Évaluation indépendante de la stratégie et du processus de décentralisation à la Banque africaine de développement
• Pages : 52
• Hyperlien : Évaluation indépendante de la stratégie et du processus de décentralisation à la Banque africaine de développement
• Résultats de l’examen préliminaire : Accepté: Ce rapport a satisfait aux quatre critères de présélection du CAD/EVALNET.

N^o34

• Année : 2009
• Unité de programme : Département du développement humain
• Type : Revues sectorielles, thématiques et de politiques
• Titre de l’évaluation : Évaluation du concours du Groupe de la Banque africaine de développement à la prévention et à la lutte contre le VIH/sida, 1997-2006
• Pages : 26
• Hyperlien : Évaluation du concours du Groupe de la Banque africaine de développement à la prévention et à la lutte contre le VIH/sida, 1997-2006
• Résultats de l’examen préliminaire : Rejeté: Ce rapport était de faible qualité du point de vue de la conception de l’évaluation.

N^o35

• Année : 2009
• Unité de programme : Département de l’évaluation des opérations
• Type : Revues sectorielles, thématiques et de politiques
• Titre de l’évaluation : Évaluation conjointe des politiques et activités menées en Afrique par la Banque africaine de développement et le Fonds international de développement agricole dans le domaine de l’agriculture et du développement rural – Rapport sommaire
• Pages : 43
• Hyperlien : Évaluation conjointe des politiques et activités menées en Afrique par la Banque africaine de développement et le Fonds international de développement agricole dans le domaine de l’agriculture et du développement rural – Rapport sommaire
• Résultats de l’examen préliminaire : Rejeté: Ce rapport était de faible qualité du point de vue de la conception de l’évaluation.

N^o36

• Année : 2008
• Unité de programme : Département de l’évaluation des opérations
• Type : Évaluation de l’assistance-pays
• Titre de l’évaluation : Éthiopie – Évaluation de l’aide au pays, 2001-2007
• Pages : 90
• Hyperlien : Éthiopie – Évaluation de l’aide au pays, 2001-2007
• Résultats de l’examen préliminaire : Rejeté: Ce rapport était de faible qualité du point de vue de la conception de l’évaluation.

N^o37

• Année : 2008
• Unité de programme : Département de l’évaluation des opérations
• Type : Évaluation institutionnelle
• Titre de l’évaluation : Évaluation des activités de l’Institut multilatéral d’Afrique
• Pages : 59
• Hyperlien : Évaluation des activités de l’Institut multilatéral d’Afrique
• Résultats de l’examen préliminaire : Rejeté: Ce rapport était de faible qualité du point de vue de la conception de l’évaluation.

N^o38

• Année : 2008
• Unité de programme : Département de l’évaluation des opérations
• Type : Revue d’assistance sectorielle et étude de cas-pays
• Titre de l’évaluation : Éthiopie – Revue de l’assistance du Groupe de la Banque au multi-secteur, 1992-2004
• Pages : 43
• Hyperlien : Éthiopie – Revue de l’assistance du Groupe de la Banque au multi-secteur, 1992-2004
• Résultats de l’examen préliminaire : Rejeté: Ce rapport dépasse le champ d’application de l’évaluation.

N^o39

• Année : 2008
• Unité de programme : Département de l’évaluation des opérations
• Type : Revue d’assistance sectorielle et étude de cas-pays
• Titre de l’évaluation : Éthiopie – Revue de l’assistance du Groupe de la Banque au secteur de l’agriculture et du développement rural, 1993-2004
• Pages : 51
• Hyperlien : Éthiopie – Revue de l’assistance du Groupe de la Banque au secteur de l’agriculture et du développement rural, 1993-2004
• Résultats de l’examen préliminaire : Rejeté: Ce rapport dépasse le champ d’application de l’évaluation.

N^o40

• Année : 2008
• Unité de programme : Département de l’évaluation des opérations
• Type : Revue d’assistance sectorielle et étude de cas-pays
• Titre de l’évaluation : Cameroun – Évaluation de l’assistance du Groupe de la Banque au secteur social, 1996-2004
• Pages : 55
• Hyperlien : Cameroun – Évaluation de l’assistance du Groupe de la Banque au secteur social, 1996-2004
• Résultats de l’examen préliminaire : Rejeté: Ce rapport dépasse le champ d’application de l’évaluation.

N^o41

• Année : 2008
• Unité de programme : Département de l’évaluation des opérations
• Type : Revue d’assistance sectorielle et étude de cas-pays
• Titre de l’évaluation : Cameroun – Évaluation de l’assistance du Groupe de la Banque au secteur transport, 1996-2004
• Pages : 54
• Hyperlien : Cameroun – Évaluation de l’assistance du Groupe de la Banque au secteur transport, 1996-2004
• Résultats de l’examen préliminaire : Rejeté: Ce rapport dépasse le champ d’application de l’évaluation.

N^o42

• Année : 2008
• Unité de programme : Département de l’évaluation des opérations
• Type : Revue d’assistance sectorielle et étude de cas-pays
• Titre de l’évaluation : Cameroun – Évaluation de l’assistance du Groupe de la Banque au secteur agriculture et développement rural, 1996-2004
• Pages : 75
• Hyperlien : Cameroun – Évaluation de l’assistance du Groupe de la Banque au secteur agriculture et développement rural, 1996-2004
• Résultats de l’examen préliminaire : Rejeté: Ce rapport dépasse le champ d’application de l’évaluation.

N^o43

• Année : 2008
• Unité de programme : Département de l’évaluation des opérations
• Type : Revue d’assistance sectorielle et étude de cas-pays
• Titre de l’évaluation : Cameroun – Évaluation de l’assistance multisectorielle de la Banque, 1996-2004
• Pages : 50
• Hyperlien : Cameroun – Évaluation de l’assistance multisectorielle de la Banque, 1996-2004
• Résultats de l’examen préliminaire : Rejeté: Ce rapport dépasse le champ d’application de l’évaluation.

Annexe 2 : Guide de notation de la couverture et de la qualité des évaluations

Titre de I'évaIuation :

Examinareur

Portée¹ :

Finance² :

Commentaires

Annexe 3 : Documents organisationnels examinés

Agence canadienne de développement international. (Avril 2012). Examen de l'efficacité de l'aide au développement du Programme des Nations Unies pour le développement (PNUD) 2005-2011 : Rapport de synthèse. Gatineau : ACDI.

Fonds africain de développement. (Septembre 2012). Aperçu : Revue à mi-parcours du FAD-12, septembre 2012, Praia, Cap-Vert.

Groupe de la Banque africaine de développement. (Octobre 2012). Stratégie d’évaluation indépendante 2013-2017. Tunis : Groupe de la Banque africaine de développement – Département de l'évaluation des opérations.

Groupe de la Banque africaine de développement. Stratégie à moyen terme 2008-2012 de la Banque. Tunis : Groupe de la Banque africaine de développement.

PERRIN, Burt. (Juillet 2011). Self Assessment of the African Development Bank Group Independent Evaluation Function: Final Report. Fonds africain de développement. ADF/ BD/ WP/ 2012/ 84/ Add.1. (En anglais seulement)

Réseau d'évaluation du rendement des organisations multilatérales (2012). Assessment of Organisational Effectiveness and Reporting on Development Results. Banque africaine de développement (BAfD). Volumes I et II, décembre 2012. (En anglais seulement)

Réseau du CAD de l'OCDE sur l'évaluation du développement. (Juin 2012). Assessing the Development Effectiveness of Multilateral Organizations: Guidance on the Methodological Approach. Paris : Réseau du CAD sur l'évaluation du développement. (En anglais seulement)

Annexe 4 : Commentaires de la Banque africaine de développement sur l’examen des rapports d’évaluation des programmes de la BAfD effectué par l’ACDI

Les commentaires suivants ont été fournis par le Département de l’évaluation des opérations (OPEV), une unité autonome de la Banque africaine de développement en août 2013.

Le Département de l’évaluation des opérations (OPEV), une unité autonome de la Banque africaine de développement (BAfD ou la Banque), accueille favorablement l’examen préliminaire des rapports sur l’efficacité de l’aide au développement de la BAfD effectué par l’ACDI. En tant qu’institution d’aide au développement, la BAfD cherche constamment à améliorer l’efficacité de son aide au développement et accueille toute évaluation externe comme un moyen utile de mieux comprendre à quels égards elle peut améliorer davantage son rendement.

La BAfD reconnaît dans sa Stratégie 2013-2022 l’importance de l’évaluation pour améliorer le rendement de ses opérations et cherche constamment à solidifier cette fonction. La mise en oeuvre de la nouvelle stratégie de l’OPEV produit déjà de premiers résultats visibles en 2013 au chapitre de la qualité des évaluations et de la couverture des résultats, mais il faut du temps avant de récolter tous les fruits d’un programme de changement ambitieux. Dans ce contexte, l’OPEV constate dans l’examen de l’ACDI des éléments qui confirment son propre diagnostic, celui-là même qui l’a poussé à concevoir et à mettre en oeuvre sa nouvelle stratégie. Nous estimons toutefois que la conclusion globale ne tient pas compte des mesures déjà en place pour remédier aux difficultés existantes, notamment les vastes réformes touchant l’ensemble de la Banque.

Les commentaires de l’OPEV tiennent en trois volets : i) le contexte actuel de l’évaluation indépendante au sein de la BAfD ; ii) la portée et la méthodologie de l’examen de l’ACDI ; iii) les recommandations.

1. Le contexte actuel de l’évaluation indépendante au sein de la BAfD

L’examen de l’ACDI fait suite à une « autoévaluation » détaillée de la fonction d’évaluation indépendante de la BAfD. Or, l’autoévaluation de 2012 a mené à l’adoption d’une nouvelle politique d’évaluation indépendante et d’une stratégie d’évaluation indépendante distincte (pour la période 2013-2017). Le programme triennal de travail continu de l’OPEV a ensuite été adapté pour tenir compte de cette orientation stratégique. Ainsi, l’évaluation indépendante a changé de façon radicale au cours de la dernière année à la BAfD. La nouvelle stratégie est en cours de déploiement et vise à aider l’OPEV à relever les principaux défis recensés dans l’autoévaluation. En voici les grandes lignes les plus pertinentes par rapport à l’examen de l’ACDI :

• Changement au niveau des types d’évaluation réalisés. Dans le cadre d’une rééquilibration générale des fonctions de reddition de compte et d’évaluation indépendante, l’OPEV envisage de réduire le nombre d’évaluations de projets autonomes et favoriser plutôt un plus grand nombre d’évaluations thématiques, sectorielles et groupées. Un nombre accru d’évaluations de stratégie de pays est déjà prévu pour 2013. Celles-ci seront très utiles pour saisir des renseignements sur l’efficacité de l’aide au développement à l’échelle nationale. Cela dit, les évaluations de projets individuels demeureront une composante fondamentale, au même titre que les projets constituent l’activité fondamentale de la Banque. En outre, l’OPEV entend continuer de préparer des évaluations institutionnelles ou organisationnelles, car celles-ci sont nécessaires et réclamées. Pour ce qui est des sujets traités, la stratégie prévoit l’engagement de l’OPEV à respecter de manière explicite les priorités stratégiques de la Banque énoncées dans sa nouvelle stratégie décennale. Cela est déjà en application dans le programme de travail continu pour la période de 2013 à 2015, approuvé par le Comité de l’efficacité du développement en 2012.
• Accent accru sur la qualité et l’opportunité. La stratégie met l’accent sur l’importance de la qualité et de l’opportunité des évaluations pour optimiser leur utilité et leur incidence. Pour veiller à ce que toutes les évaluations satisfassent aux mêmes normes de qualité, l’OPEV prend plusieurs mesures, notamment la préparation d’un guide d’évaluation, qui comprendra des pratiques exemplaires et des normes de qualité claires pour les principales étapes du processus d’évaluation. Les normes de qualité aideront l’OPEV à continuer de tirer profit de multiples méthodes et sources de données tout en améliorant l’articulation et la présentation générale des évaluations. Le caractère opportun des évaluations s’améliore grâce à une planification consultative et une gestion plus rigoureuse des processus d’évaluation.
• Mission mettant l’accent sur l’efficacité de l’aide au développement. La mission du département énoncée dans la nouvelle politique et la nouvelle stratégie vise explicitement à soutenir l’efficacité des activités de développement menées par la Banque au moyen d’évaluations contribuant à remplir l’obligation de rendre des comptes, à améliorer l’apprentissage et à favoriser une culture de l’évaluation.
• Des évaluations qui ont de l’influence. La stratégie souligne l’importance de gérer le savoir et de faire le suivi des recommandations formulées dans les évaluations – au moyen d’un mécanisme de déclaration des mesures de gestion en cours d’élaboration.

En plus de modifier radicalement l’évaluation indépendante, la Banque a redoublé ses efforts à l’échelle générale en vue d’améliorer ses rapports sur les résultats en matière de développement. Des examens annuels de l’efficacité de l’aide au développement de niveau continental, sectoriel et national (une addition récente) sont également produits, quoiqu’ils ne fassent pas partie des documents examinés par l’ACDI. Le cadre de mesure des résultats de la Banque est également en cours de révision afin de l’adapter à la nouvelle Stratégie 2013-2022.

Ces transitions sont en cours. Comme toujours, la BAfD accueille volontiers l’appui et la participation de partenaires de développement tels que l’ACDI pour renforcer davantage sa capacité de produire des rapports sur l’efficacité de l’aide au développement, que ce soit par l’entremise d’une évaluation indépendante ou par d’autres moyens.

2. Portée et méthodologie

Dans l’ensemble, l’OPEV convient que l’évaluation indépendante doit apporter une contribution plus importante aux rapports sur les résultats des activités de développement. Néanmoins, il vaut la peine de souligner quelques points relatifs à la portée et à l’application de la méthodologie dans l’examen effectué par l’ACDI puisqu’ils influent possiblement sur les conclusions globales de l’examen. L’OPEV avait signalé ces éléments à l’ACDI lorsqu’elle lui a soumis une première ébauche du rapport, mais ils demeurent problématiques dans la version finale. Mentionnons en particulier les points suivants :

• Une grande partie des évaluations produites par l’OPEV n’ont pas été incluses. En particulier, les évaluations de projet ont été exclues^{Footnote 21}. Or, celles-ci représentent une partie essentielle du travail effectué par le service d’évaluation indépendante au cours de la période visée par l’examen et brossent un tableau détaillé des résultats^{Footnote 22}. Les conseils méthodologiques de 2012 du CAD relatifs à ces examens multilatéraux n’indiquent pas qu’il faille exclure les évaluations de projet et d’ailleurs, d’autres examens en ont tenu compte^{Footnote 23}. Puisque la Banque est une organisation fondée sur des projets et que les évaluations de projet étaient une composante majeure du travail d’évaluation effectué au cours de la période visée par l’examen, des renseignements pertinents sur les résultats des activités de développement ont peut-être été omis.
• En outre, certaines évaluations de programmes importants ont été écartées.Par exemple, l’évaluation de l’assistance de la Banque aux États fragiles n’a pas été incluse parce que l’auteur de l’examen pensait qu’il s’agissait d’une « synthèse » d’autres évaluations. En fait, il s’agit d’un rapport sommaire, qui rassemble diverses composantes, telles que des études de cas, des examens documentaires, etc. La plupart des rapports de l’OPEV suivent ce modèle, et les documents d'appui sont disponibles dans la méthodologie^{Footnote 24}. Il importe également de souligner que les lignes directrices du CAD ont été modifiées en 2012 et proposent maintenant un deuxième seuil minimal. Si l’on se fie au seul original seulement, comme c’est le cas dans la plupart des autres examens, toutes les évaluations de l’OPEV qui ont été acceptées à des fins de contrôle surpassaient amplement le seuil. La majorité satisfaisait également au nouveau seuil supplémentaire^{Footnote 25}. Enfin, il importe de comprendre que, bien qu’il soit important d’examiner les documents de renseignements généraux tels que les documents d’orientation pour évaluer le contexte ou la présentation d’une évaluation, ceux-ci ne répondent pas aux critères d’examen en raison de leur nature. En conclusion, nous suggérons une application plus consciencieuse du processus de contrôle dans les prochains examens.
• Enfin, il convient de signaler que l’examen porte uniquement sur les évaluations publiées par l’OPEV. D’autres rapports sur les résultats des activités de développement, dont la Revue annuelle sur l’efficacité du développement (qui relève du Département de l’assurance-qualité et des résultats), sont des produits importants pour la Banque depuis quelques années. Or, ces rapports n’ont pas été inclus. Les conseils méthodologiques de 2012 du CAD de l’OCDE pour ce genre d’examen indiquent que les rapports d’évaluation indépendante des programmes ne doivent pas nécessairement constituer la seule source d’information.

3. Recommandations

La Banque accueille favorablement l’appui de tous les partenaires de l’aide au développement pour renforcer son service d’évaluation indépendante. À la fin 2012, le comité du conseil d’administration chargé de l’efficacité du développement, dont relève l’OPEV, a discuté des nouvelles politique et stratégie en matière d’évaluation. La stratégie, en particulier, explique comment le service d’évaluation indépendante de la Banque peut être renforcé ; elle a été approuvée par une vaste majorité et a reçu l’approbation officielle du conseil d’administration de la Banque en 2013.

Recommandation à l’intention de la Banque : La BAfD devrait avant tout renforcer sa fonction d’évaluation indépendante.

Réponse : Le renforcement de la fonction d’évaluation est au coeur de la Stratégie d’évaluation indépendante pour la période de 2013 à 2017. L’OPEV a volontairement procédé à une autoévaluation exhaustive pour détecter les points faibles et discerner les forces et les possibilités. À partir de ces données probantes solides, l’OPEV a révisé sa Politique d’évaluation indépendante et préparé une première Stratégie d’évaluation indépendante. Cette dernière précise les mesures à prendre pour améliorer la qualité des évaluations, notamment la préparation d’un guide d’évaluation, l’établissement de normes de qualité et la mise au point d’un processus d’assurance-qualité plus systématique. Ces mesures seront mises en application à compter de 2013. La stratégie propose également de traiter plus explicitement des thèmes énoncés dans la stratégie décennale de la Banque et d’augmenter les évaluations nationales, sectorielles et thématiques. L’OPEV serait heureux de pourvoir compter sur l’appui du Canada dans la mise en oeuvre de sa stratégie.

Recommandation à l’intention de la Banque : La BAfD devrait envisager la possibilité de procéder à un examen par les pairs de sa fonction d’évaluation.

Réponse : Le processus d’examen par les pairs est déjà prévu et devrait se tenir d’ici deux ans. On s’attend à ce que l’exercice forme le fondement de la prochaine vague de réformes de l’OPEV.

Recommandation à l’intention de l’ACDI : L'ACDI, de concert avec d’autres donateurs et les membres du conseil d'administration de la BAfD, devrait soutenir les efforts que la Banque déploie pour renforcer sa fonction d’évaluation.

Réponse : Pour une efficacité optimale, le soutien doit respecter les propres stratégies et politiques de la Banque en matière d’évaluation indépendante. L’ACDI est invitée à discuter de points d’entrée ; de telles discussions sont déjà en cours avec d’autres partenaires intéressés. En ce qui a trait à l’analyse de la couverture des rapports de l’OPEV suggérée, celle-ci fait déjà partie du processus d’élaboration du programme de travail continu, qui comprend une consultation au sein de la Banque et qu’auprès des parties intéressées, y compris les membres du conseil des gouverneurs. En tant que membre du conseil des gouverneurs, le Canada est chaudement invité à prendre part à ce processus.

Annexe 5 : Réponse de la direction

L'examen préliminaire des rapports de la Banque africaine de développement (BAfD) sur l’efficacité de l’aide au développement, rédigé par la Division de l’évaluation de l’ACDI, évalue la fonction d'évaluation au niveau des programmes de la BAfD.

En 2011, la BAfD a financé 184 opérations dans des pays membres régionaux dont le coût s'est élevé à 5,72 milliards d’UC. La BAfD a été créée à la signature de l'accord entre des États membres régionaux, en 1963. Elle est l'une des trois entités qui forment le Groupe de la Banque africaine de développement, les deux autres étant le Fonds africain de développement (FAfD) et le Fonds spécial du Nigéria (FSN). En tant qu'institution régionale de financement qui se consacre au développement multilatéral, la BAfD a comme mission de contribuer au développement économique durable et au progrès social des pays africains. Elle compte 77 pays membres, dont 54 sont des membres régionaux. Elle leur fournit une aide au développement par l'entremise des secteurs privé et public sous forme d'instruments financiers, de conseils stratégiques et d'assistance technique.

Le soutien financier du Canada à la BAfD est constitué : i) de contributions au capital de la Banque par l'achat de parts ; ii) de soutien volontaire à des fonds d'affectation spéciale ; iii) de soutien volontaire au FAfD, qui est le guichet de financement à des conditions de faveur de la Banque. La BAfD continue d'être un partenaire de premier plan pour l'ACDI et contribue à la réduction de la pauvreté dans la région africaine.

L'examen comprenait une méta-synthèse des évaluations des programmes qu’a réalisées le Département de l'évaluation des opérations de la BAfD entre 2017 et 2012, mais pas l'analyse des évaluations effectuées au niveau des projets ou des fonds d'affectation spéciale. Compte tenu de la quantité d'évaluations effectuées au niveau des programmes et de la qualité de ces évaluations, il a été déterminé que les rapports de la BAfD sur l'efficacité de l'aide au développement étaient inadéquats et que la fonction d'évaluation ne fournissait pas suffisamment de renseignements sur l'efficacité de l'aide au développement. Par conséquent, le rapport contient des recommandations visant à améliorer les évaluations et les rapports sur l'efficacité de l'aide au développement, comme le suggère la méthodologie d'évaluation du CAD de l'OCDE.

Les conclusions de l'examen concordent en général avec les opinions exprimées dans l’évaluation de la Banque réalisée par le MOPAN en 2012, qui concluait que l'unité d'évaluation de la BAfD ne semblait pas avoir un processus officiel d'examen de la qualité des évaluations et que le cadre et les systèmes dont elle se servait pour gérer ses résultats organisationnels et en rendre compte devaient être améliorés.

L'ACDI accepte les recommandations de l'examen préliminaire qui visent à améliorer la fonction d'évaluation de la BAfD sur le plan du développement, tout en soulignant que la Banque a apporté certaines améliorations depuis la période visée par l'examen. En particulier, elle a entamé un processus pour améliorer sa fonction d'évaluation, notamment en assurant une plus grande rigueur sur le plan méthodologique et en améliorant son processus d'assurance de la qualité, comme il a été proposé dans l'autoévaluation de la fonction d'évaluation de la BAfD réalisée en 2011 et dans sa stratégie d'évaluation indépendante de 2013-2017.

Les interventions de l’ACDI pour donner suite aux recommandations adopteront l’approche suivante : 1) lors des prochaines réunions sur la reconstitution du Fonds africain de développement, les interventions du Canada porteront en grande partie sur l'amélioration de la fonction d'évaluation de la BAfD ; 2) ces enjeux seront aussi soulevés au conseil d'administration de la BAfD dans le contexte de l'approbation du programme de travail d'évaluation triennal continu ; 3) l'ACDI contribuera au perfectionnement des capacités de la Banque lorsque celle-ci jugera que l'occasion le permet. Ces interventions pourraient être réalisées, par exemple, grâce à de l'expertise qu'il serait possible d'obtenir au moyen d'offres à commandes de la Division de l'évaluation.

Recommandations

1. Le Canada, de concert avec d'autres donateurs et les membres du conseil d'administration de la BAfD, devrait soutenir les efforts que la Banque déploie pour renforcer sa fonction d'évaluation.

Le Canada devrait soutenir la BAfD dans ses efforts pour renforcer sa fonction d’évaluation et la conception de ses évaluations, tel qu’il est énoncé ci-dessus. La BAfD pourrait, entre autres, procéder à une analyse annuelle de la couverture des résultats par les évaluations à inclure dans son plan d’évaluation. Par exemple, le plan de travail continu de la BAfD pourrait permettre de déterminer la cible d’une évaluation de programmes, et sa mise en oeuvre, peut-être en pourcentage des dépenses totales.

Lorsqu'il collabore avec d'autres membres du conseil d'administration, le Canada devrait les informer qu'il est prêt à soutenir le renforcement de la fonction d'évaluation de la BAfD. Parmi les éléments importants, mentionnons un examen par les pairs, le renforcement de la capacité pour améliorer la couverture des résultats, la conception et la rapidité d'exécution des évaluations ainsi que l'amélioration des rapports sur l'efficacité de l'aide au développement au niveau des programmes.

Engagements et mesures

Recommandation acceptée.

1.1 L’ACDI, de concert avec d'autres donateurs, incitera la BAfD, lors de la prochaine réunion sur la reconstitution du Fonds africain de développement (FAfD XIII), à renforcer sa fonction d'évaluation. Les négociations entourant le FAfD XIII devraient se conclure à l'automne 2013.

Responsable : Division des IFI, Direction générale des programmes multilatéraux et mondiaux de l'ACDI

Date d’achèvement : Mars 2014

État : En cours. Question soulevée lors des réunions du 21 et du 22 février 2013 à Tunis.

Engagements et mesures

1.2 La Banque a indiqué qu'elle tient déjà compte de la portée de ses évaluations dans le processus d'élaboration de son programme de travail triennal continu, qui est mis à jour annuellement. Elle en a également tenu compte dans sa stratégie d'évaluation indépendante.

Responsable : Division des IFI, Direction générale des programmes multilatéraux et mondiaux de l'ACDI

Date d’achèvement : Terminé

État : Dans le programme de travail triennal continu.

Engagements et mesures

1.3 Lorsqu'elle collabore avec d'autres membres du conseil d'administration, et conformément à la stratégie d'évaluation de la Banque, l'ACDI aidera celle-ci à perfectionner ses capacités lorsque la Banque jugera que l'occasion le permet. Ces interventions pourraient être réalisées, par exemple, grâce à de l'expertise qu'il serait possible d'obtenir au moyen d'offres à commandes de la Division de l'évaluation.

Date d’achèvement : Mars 2014