Plan de travail quinquennal continu en matière d’évaluation 2012-2013 – 2016-2017

Juin 2012

Liste des sigles et des acronymes

Sommaire

Le Plan de travail quinquennal continu en matière d’évaluation (le « Plan ») a été préparé par la Direction de l’évaluation de la Direction générale des politiques stratégiques et du rendement (DGPSR) de l’ACDI. Il s’agit d’une version actualisée du plan de travail de l’exercice 2011-2012, qui a été approuvé par le Comité d’évaluation en février 2011.

Le Plan décrit les évaluations prévues de 2012-2013 à 2016-2017. L’exécution de ce plan aidera l’ACDI dans ses efforts visant à procéder à l’évaluation de toutes ses dépenses de programme directes, conformément à l’exigence de la Politique sur l’évaluation de 2009 du Conseil du Trésor. Le Plan fournit une vue générale des réalisations de la Direction de l’évaluation en 2011-2012. Il décrit les travaux d’évaluation qui sont prévus par la Direction pour les exercices allant de 2012-2013 à 2016-2017, et en particulier pour l’exercice 2012-2013, ainsi que la liste des ressources requises. Le Plan fournit également la liste des évaluations décentralisées^{Note de bas de page 1} prévues au cours de l’exercice 2012-2013. Le Plan repose sur les meilleures informations existantes à propos de la disponibilité des ressources de l’Agence aux fins des évaluations pour l’exercice 2012-2013.

Réalisations de la Direction de l’évaluation au cours de l’exercice 2011-2012

La Direction de l’évaluation a mené plusieurs évaluations en 2011-2012 et apporté une contribution déterminante à de nombreux projets de l’Agence. Voici les faits saillants de ces réalisations :

• Réalisation des examens de l’Organisation mondiale de la santé (OMS) et de la Banque asiatique de développement (BAsD), de même que les évaluations des programmes-pays du Mali et de la Colombie^{Note de bas de page 2} et du programme-régional des Caraïbes^{Note de bas de page 3}.
• Achèvement des activités d’évaluation suivantes :
  1. évaluations des programmes-pays de l’Ukraine, du Honduras et du Pérou; évaluation du programme régional interaméricain^{Note de bas de page 4}; évaluation de l’aide humanitaire de l’ACDI^{Note de bas de page 5};
  2. examen de l’efficacité du développement du Programme des Nations Unies pour le développement (PNUD)^{Note de bas de page 6} et de l’aide humanitaire du Programme alimentaire mondial^{Note de bas de page 7}; examen des données sur l’efficacité des subventions et des contributions de l’ACDI.
• Soutien au renouvellement des modalités et conditions de l’ACDI, d’après l’examen des données sur l’efficacité des subventions et des contributions de l’ACDI;
• Réalisation de deux évaluations conjointes avec des donateurs internationaux : le Mali et la Déclaration de Paris;
• Définition de la portée et du potentiel d’évaluation du plus important programme d’aide de l’ACDI (Afghanistan) et création du cadre de référence pour cette évaluation;
• Conception de stratégies d’évaluation pour l’Initiative de Muskoka et les trois priorités thématiques de l’ACDI;
• Conception d’une stratégie et d’un plan de travail pour la diffusion des connaissances tirées de l’évaluation;
• Achèvement de la réalisation d’un système de suivi de la qualité pour les évaluations décentralisées, et prestation d’un encadrement, de conseils et d’une orientation pour les directions générales, augmentant ainsi de 113 % les demandes de renseignements pendant l’exercice 2011-2012;
• Les améliorations apportées aux termes de référence génériques pour les évaluations décentralisées et d'autres documents d'orientation;
• Prestation de services de saisies de données de qualité pour plus de 70 évaluations (décentralisées) qui ont été menées par les directions générales;
• Participation à plusieurs initiatives de l’Agence (Rapport sur les plans et les priorités, Rapport sur le rendement de l’Agence, par exemple);
• Contribution à huit présentations au Conseil du Trésor visant de nouvelles initiatives, pour une valeur totale de 528 millions de dollars;
• Gestion rigoureuse de l’offre à commandes relative aux évaluations et élaboration du nouvel arrangement en matière d’approvisionnement à venir bientôt;
• Annulation du mandat de trois évaluations qui étaient menées par des directions générales de programmes, en raison du manque de qualité dans les produits livrables;
• Approbation, par le Réseau du Comité d’aide au développement sur l’évaluation du développement (DAC-EVALNET), d’une nouvelle méthode pour l’évaluation de l’efficacité du développement des organisations multilatérales.

Travaux d’évaluation prévus pour l’exercice 2012-2013

En 2012-2013, la Direction de l’évaluation entamera ou achèvera les évaluations suivantes :

• Pays ciblés et programmes régionaux : Bolivie, Colombie, Mali, Tanzanie, Pakistan, Indonésie et programme régional des Caraïbes;
• États fragiles : Afghanistan et Haïti;
• Organisations multilatérales : Banque africaine de développement, Banque asiatique de développement, Organisation mondiale de la santé et UNICEF;
• Direction générale des partenariats avec les Canadiens : programmes de gouvernance;
• Évaluations générales : une méta-évaluation des évaluations menées par les directions générales, ainsi qu’un rapport sur l’état de la mesure du rendement à l’ACDI.

De plus, la Direction de l’évaluation assumera les tâches suivantes :

• fournir des conseils et du soutien aux directions générales de programmes concernant les évaluations décentralisées;
• préparer un rapport annuel sur les évaluations de l’ACDI, intitulé L’ACDI apprend;
• continuer la mise en œuvre de la stratégie de diffusion des connaissances tirées de l’évaluation;
• servir de secrétariat pour le Comité d’évaluation de l’ACDI.

Ressources

La mise en œuvre de ce plan d’évaluation nécessite un budget d’environ 2,2 millions de dollars en 2012-2013, y compris un budget salarial de base de 1,4 million de dollars pour 18 équivalents temps plein. Pour réaliser des économies de coûts et satisfaire aux exigences relatives à la portée des évaluations, l’examen de l’UNICEF sera mené conjointement avec les Pays-Bas; on optimisera la coordination entre les évaluations centralisées et décentralisées.

La Direction de l’évaluation dispose d’un budget salarial de base d’environ 1,4 million de dollars pour 18 équivalents temps plein. Par ailleurs, elle sait que les effets du plan d’action pour la réduction du déficit pourraient avoir des répercussions sur les ressources nécessaires à l’exécution du Plan. Celui-ci pourrait donc être modifié pour tenir compte d’un scénario différent.

1.0 Contexte

1.1 Introduction

Le présent document expose le Plan de travail quinquennal continu en matière d’évaluation de la Direction de l’évaluation de la Direction générale des politiques stratégiques et du rendement (DGPSR) de l’ACDI. Le Plan tient compte d’une série de facteurs, dont les suivants :

• l’évolution des contextes international, canadien et de l’ACDI;
• les réalisations, expériences et leçons apprises au cours des années précédentes;
• les exigences du Conseil du Trésor du Canada;
• la reddition de comptes, la rentabilité;
• l’évaluation stratégique du risque^{Note de bas de page 8}.

Il est à noter que la portée et le contenu du Plan sont conformes aux exigences de la Loi fédérale sur la responsabilité (LFR) de 2006 et de la Politique sur l’évaluation du Conseil du Trésor (CT) de 2009. Le Plan trace la voie à suivre pour faire progresser l’ACDI vers l’objectif fixé, soit l’évaluation de la totalité de ses dépenses de programme directes, comme l’exigent la LFR et la Politique sur l’évaluation du CT, tout en aidant à répondre aux besoins en matière d’apprentissage et de prise de décisions de l’Agence.

1.2 Contexte international

Adoptée en 2005, la Déclaration de Paris sur l’efficacité de l’aide est le fruit d’un consensus grandissant voulant que les donateurs et les pays en développement revoient leurs modalités d’acheminement et d’utilisation de l’aide de sorte que celle-ci produise davantage de résultats, et de meilleure qualité, en matière de développement. La Déclaration de Paris engageait les pays en développement et les donateurs à se rendre compte mutuellement de l’application à l’échelon national des principes qui la sous-tendent, au moyen d’un ensemble d’indicateurs précis assortis de cibles à atteindre avant 2010.

En 2008, dans le cadre de la première phase de l’évaluation de la Déclaration de Paris, on a évalué dans quelle mesure les pays partenaires et les donateurs avaient changé leurs comportements et on a recensé les bonnes pratiques qu’ont adoptées les partenaires pour honorer leurs engagements envers la Déclaration de Paris. Les résultats de cette première phase sont venus enrichir le débat de fond en cours sur l’efficacité de l’aide, et ont contribué tout particulièrement au Programme d’action d’Accra, adopté en 2008. Le Programme d’action d’Accra complète la Déclaration de Paris par la promotion de politiques et de mesures qui visent à accroître la transparence et la responsabilisation en ce qui a trait au renforcement de l’efficacité de l’aide. En 2011, la deuxième phase de l’évaluation de la Déclaration de Paris a contribué au débat sur l’efficacité de l’aide, en prévision des discussions dans le cadre du 4e Forum de haut niveau sur l’efficacité de l’aide. Dans l’évaluation, on soulignait que les principes et les engagements contenus dans la Déclaration se sont presque tous avérés susceptibles d’améliorer la qualité de l’aide. Toutefois, les données recueillies sur la mise en œuvre de la Déclaration de Paris montrent que même si des progrès ont été enregistrés, l’ampleur et la rapidité des changements ne correspondent pas à ce qu’on avait prévu en 2005.

Le 4e Forum de haut niveau sur l’efficacité de l’aide a eu lieu à Busan, en Corée, à la fin de 2011. Il a permis de faire le point sur les résultats de la mise en œuvre de la Déclaration de Paris et de tracer la voie à suivre en matière d’efficacité de l’aide, en tenant compte tout particulièrement des dynamiques mondiales changeantes et des bouleversements politiques. À l’occasion du Forum de Busan, les décideurs des pays développés et en développement se sont entendus sur un cadre pour la coopération mondiale qui soutient l’atteinte des Objectifs du Millénaire pour le développement. On a également formé un pacte mondial pour un développement efficace à l’horizon de 2015 et au-delà.

1.3 Contexte canadien

En cette ère de mondialisation, le Canada, comme d’autres pays, est aux prises avec les contraintes de la reprise économique, de l’évolution démographique, des changements climatiques et des compressions budgétaires. En outre, l’impact des médias sociaux, les défis particuliers des États fragiles et en conflit, ainsi que l’influence des nouveaux types de donateurs qui participent aux efforts de coopération pour le développement se répercutent sur l’approche du Canada et des autres donateurs en matière de développement international.

Le gouvernement du Canada a exposé, dans le budget fédéral déposé le 6 juin 2011, son plan visant à rééquilibrer son budget d’ici 2015­2016. Dans ce contexte, les ministères ont fait l’objet d’un examen stratégique et fonctionnel dont les résultats éclairent les décisions du gouvernement sur la réduction du déficit. Les évaluations ont appuyé cet objectif en fournissant de l’information sur l’utilité et le rendement des programmes.

Par ailleurs, les ministères et organismes fédéraux ont concentré leurs efforts sur la mise en œuvre de la Politique sur l’évaluation de 2009 du CT. La nouvelle Politique sur l’évaluation a pour objet de créer une base de données d’évaluation fiable et détaillée et de l’utiliser pour appuyer l’amélioration des politiques et des programmes, la gestion des dépenses, la prise de décisions par le Cabinet et les rapports à l’intention du public.

Conformément à la LFR de 2006, la Politique sur l’évaluation de 2009 du CT exige que la totalité des dépenses de programme directes soit évaluée sur une période de cinq ans. Cette exigence sera pleinement en vigueur en 2017-2018. La Politique sur l’évaluation du CT introduit également des approches d’évaluation souples qui sont fondées sur le risque, l’échelle et la portée. Les ministères doivent concevoir un plan d’évaluation stratégiquement ciblé qui s’appuie sur une évaluation des risques, les priorités de l’organisation et les priorités du gouvernement. Cette politique révisée devrait permettre l’établissement d’une fonction d’évaluation plus rigoureuse, axée sur la rentabilité et la responsabilité, ainsi que sur l’obtention en temps voulu de renseignements crédibles et objectifs concernant la pertinence et l’efficacité de toutes les dépenses de programme directes.

1.4 Contexte de l’ACDI

En vue d’améliorer l’efficacité de l’aide, Le Budget de 2007 : viser un Canada plus fort, plus sécuritaire et meilleur prévoyait un programme en trois volets visant à renforcer l’aide internationale du Canada sur les plans de la concentration, de l’efficience et de la responsabilisation. Pour faciliter l’atteinte de cet objectif, le gouvernement « examinera des options pour s’assurer que notre programme d’aide fasse l’objet d’une évaluation indépendante, qui fournira aux parlementaires et à tous les Canadiens une évaluation objective des résultats obtenus en matière d’aide internationale » (p. 286).

Pour donner suite à cet engagement, l’Agence a accepté d’accentuer l’indépendance de sa fonction d’évaluation selon des modalités compatibles avec la LFR et la Politique sur l’évaluation du CT. Elle a donc renforcé la gouvernance, la surveillance et l’indépendance du Comité d’évaluation, qui regroupe maintenant six membres provenant de l’extérieur du gouvernement et cinq cadres supérieurs de l’ACDI, dont la présidente, qui assure la présidence du Comité. Le Comité d’évaluation fait office d’organe consultatif auprès de la présidente sur les activités relatives à l’évaluation, et il constitue un élément central de la fonction d’évaluation à l’Agence.

Au cours des trois dernières années, l’ACDI a mené un examen de ses programmes, de ses politiques et de ses opérations. Elle a mis en place un programme complet relatif à l’efficacité de l’aide, a renforcé sa concentration géographique et thématique, a réalisé un examen de l’efficacité multilatérale et a modernisé ses programmes de partenariats avec les Canadiens.

Dans le cadre du plan d’action du gouvernement du Canada pour réduire le déficit, l’ACDI poursuit ses efforts en vue de faire d’autres gains d’efficacité. Le Projet de modernisation des opérations de l’Agence est une tentative de rationaliser les principaux processus opérationnels de l’Agence par le truchement de la mise en œuvre d’un système qui permet de gérer toutes les politiques et les procédures de l’ACDI (Guide des règles et des outils) et la décentralisation des fonctions de gestion des programmes et d’exécution des projets vers les bureaux sur le terrain.

Ce plan a été élaboré à l’aide des meilleurs renseignements disponibles sur la disponibilité des ressources de l’Agence pour l’évaluation en 2012-2013.

2.0 Fonction d’évaluation de l’ACDI

L’évaluation fournit en temps utile aux Canadiens, aux parlementaires, aux bénéficiaires, aux ministères, aux organismes centraux et à la haute direction de l’ACDI des renseignements neutres, crédibles et basés sur des données probantes au sujet de la pertinence, de l’efficacité, de la viabilité, du rendement, de la cohérence et des aspects intersectoriels des politiques et programmes de l’ACDI. L’objectif principal de la fonction d’évaluation de l’ACDI est de créer une base de données d’évaluation complète et fiable à des fins de reddition de comptes, de gestion des dépenses, de prise de décisions et d’apprentissage.

La fonction d’évaluation de l’ACDI est régie par la Politique sur l’évaluation de l’Agence, laquelle a été mise à jour pour tenir compte des nouvelles exigences énoncées dans la Politique sur l’évaluation du CT de 2009. La Politique de l’Agence est actuellement soumise au processus d’approbation interne de l’Agence. Elle est mise en œuvre par l’entremise du Plan de travail quinquennal continu en matière d’évaluation, qui est approuvé par la présidente sur les conseils du Comité d’évaluation.

La Politique et le Plan sont exécutés par l’entremise des fonctions d’évaluation centralisées et décentralisées de l’Agence. La Direction de l’évaluation dirige la fonction centralisée d’évaluation, qui se concentre sur les évaluations de l’utilité et du rendement au niveau de l’Agence et au niveau des programmes. Les évaluations menées par la Direction de l’évaluation satisfont aux exigences de la Politique sur l’évaluation de 2009 du CT.

Les directions générales de programmes dirigent et gèrent (seules ou avec d’autres donateurs) les évaluations décentralisées, tandis que la Direction de l’évaluation fournit des services techniques d’assurance de la qualité afin de favoriser un environnement d’amélioration de la qualité. Ces évaluations décentralisées portent sur les investissements qui se situent sous l’échelon des sous-sous-activités de l’architecture des activités de programme (AAP). Elles appuient la prise de décisions, l’amélioration des projets et des programmes, la responsabilisation mutuelle et l’apprentissage. Alors que les résultats de ces évaluations accroissent l’efficacité de l’aide de l’ACDI, les pays en développement en sont les premiers bénéficiaires. Ces évaluations servent aussi d’éléments de base pour les évaluations centralisées.

Les évaluations centralisées et décentralisées font partie intégrante de la fonction de supervision rigoureuse de l’ACDI et contribuent à l’apprentissage et à l’adoption de meilleures pratiques. Compte tenu de la nature à la fois centralisée et décentralisée de la fonction d’évaluation à l’Agence, le Plan continuera de recenser les évaluations générales et les évaluations de programmes, ainsi que certaines initiatives multidonateurs.

Les principales responsabilités de la Direction de l’évaluation et des directions générales de programmes sont énumérées ci-dessous.

2.1 Responsabilités de la Direction de l’évaluation

La Direction de l’évaluation a les responsabilités suivantes^{Note de bas de page 9} :

• veiller à ce qu’on affecte des professionnels compétents et en nombre suffisant à la fonction d’évaluation;
• concevoir un plan d’évaluation quinquennal continu qui vise la totalité des dépenses de programme directes de l’ACDI;
• mener des évaluations centralisées d’une façon neutre et efficace par rapport aux coûts;
• diffuser les connaissances tirées des évaluations pour accroître la visibilité, l’accessibilité et l’utilisation des constatations et des leçons tirées des évaluations, tant à l’intérieur qu’à l’extérieur de l’Agence;
• suivre la mise en œuvre des engagements pris dans les réponses de la direction et les plans d’action donnant suite aux recommandations des évaluations;
• renforcer la fonction d’évaluation de l’ACDI par l’entremise de la prestation de services d’assurance de la qualité de l’évaluation aux directions générales de l’Agence, au moyen de conseils, de mentorat, de formation, de lignes directrices, d’outils et de gabarits;
• maintenir des offres à commandes pour les services d’évaluation;
• nouer et entretenir des alliances stratégiques avec des partenaires canadiens et étrangers;
• soutenir le Comité d’évaluation pour assurer une gouvernance et une surveillance rigoureuses.

2.2 Responsabilités des directions générales de programmes

Les directions générales de programmes ont les responsabilités suivantes^{Note de bas de page 10} :

• veiller à la collecte de données fiables et crédibles sur le rendement pour appuyer l’évaluation;
• élaborer des plans de travail pluriannuels en matière d’évaluation (évaluations décentralisées) et les transmettre à la Direction de l’évaluation pour inclusion dans le Plan de travail quinquennal continu en matière d’évaluation;
• gérer les évaluations décentralisées, formuler les réponses de la direction à leur égard et assurer le suivi et le respect des recommandations;
• diffuser les résultats de leurs évaluations décentralisées, aux fins d’apprentissage et de reddition de comptes;
• préparer les réponses de la direction ou des plans d’action en réponse aux évaluations centralisées de leurs programmes;
• mettre en œuvre des mesures reposant sur les réponses de la direction ou les plans d’action approuvés.

3.0 Aperçu des réalisations et des défis pour l’exercice 2011-2012

3.1 Réalisations

3.1.1 Évaluations des programmes géographiques

Au cours de l’exercice 2011-2012, la Direction de l’évaluation a terminé l’évaluation du programme du Pérou et l’a présentée au Comité d’évaluation lors de la réunion de ce dernier en février 2012. L’évaluation conjointe du soutien budgétaire général pour le Mali a aussi été achevée, de même que les évaluations des programmes de l’Ukraine et du Honduras, et du programme interaméricain.

En outre, au chapitre des évaluations des programmes des États fragiles, la Direction de l’évaluation a défini la portée et le potentiel d’évaluation du plus important programme d’aide de l’ACDI (Afghanistan) et a élaboré un cadre de référence pour cette évaluation.

3.1.2 Évaluations des programmes multilatéraux et mondiaux

L’approche de l’évaluation de l’efficacité de l’aide au développement des organisations multilatérales a été mise au point sous la supervision du Réseau du CAD pour l’évaluation du développement (DAC-EVALNET) de l’Organisation de coopération et de développement économiques (OCDE) et approuvée par ses membres, qui considèrent qu’elle constitue une démarche acceptable pour ce type d’examen.

L’approche a été appliquée à deux organisations multilatérales en 2011-2012, à savoir le Programme des Nations Unies pour le développement (projet mené par l’ACDI seule) et le Programme alimentaire mondial (conjointement avec les Pays-Bas). Ces rapports d’évaluation ont été présentés au Comité d’évaluation lors de la réunion de février 2012.

3.1.3. Évaluations générales

La Direction de l’évaluation a mené un examen des données sur l’efficacité des subventions et contributions de l’ACDI. Cet examen portait sur les investissements faits récemment par l’ACDI par le biais de ses trois mécanismes de prestation de l’aide : les programmes bilatéraux, les programmes de partenariats et les programmes multilatéraux. Les résultats de cet examen ont aussi contribué au renouvellement des modalités et des conditions de l’ACDI.

L’évaluation générale de l’aide humanitaire de l’ACDI a été amorcée en 2011, et le rapport final a été présenté au Comité d’évaluation lors de sa réunion de février 2012.

La Direction a conclu sa participation à l’évaluation conjointe de la Déclaration de Paris. Dans le cadre de cette évaluation, la Direction a apporté son aide au Sénégal et au Ghana pour qu’ils achèvent leurs évaluations nationales sous forme d’études de cas, de manière à renforcer également leur capacité d’évaluation.

La Direction de l’évaluation a achevé des stratégies d’évaluation pour l’Initiative de Muskoka et pour les thèmes prioritaires de la croissance économique durable, des enfants et des jeunes et de la sécurité alimentaire.

3.1.4 Évaluations des programmes de partenariats avec les Canadiens

La Direction de l’évaluation a travaillé en collaboration avec la Direction générale des partenariats avec les Canadiens (DGPC), pour élaborer une méthode qui convient à l’évaluation des programmes de la DGPC à l’échelon organisationnel. La Direction de l’évaluation a défini cinq unités d’évaluation et des orientations thématiques au sein de la nouvelle DGPC qui font partie du Plan. Elles correspondent aux thèmes du modèle logique de la DGPC.

3.1.5 Aide aux directions générales de programmes

La Direction de l’évaluation continue de fournir du soutien et des conseils aux directions générales de programme sur les évaluations décentralisées, et a enregistré une augmentation de 113 % du nombre de demandes de renseignements pendant 2011-2012. Voici d’autres exemples du soutien offert :

• l’examen de 75 cadres de référence d’évaluation, de 30 plans de travail d’évaluation et de 20 rapports d’évaluation préliminaires, pour des évaluations qui vont de petites évaluations formatives de mi-parcours (de 60 000 $ à 90 000 $) à de grandes évaluations complexes (de 200 000 $ à 400 000 $);
• la prestation d’un soutien aux programmes pour la sélection des consultants qui participent aux évaluations menées par les directions générales, afin veiller à la correspondance entre les exigences du cadre de référence et l’expérience et les connaissances du consultant;
• la gestion rigoureuse de l’offre à commandes pour les services d’évaluation et l’élaboration du nouvel arrangement d’approvisionnement à venir;
• l’amélioration du cadre de référence générique pour les évaluations décentralisées et les autres documents d’orientation.

Toutes ces activités ont pour but de soutenir les efforts des directions générales de programmes en vue de renforcer leurs évaluations décentralisées, qui, à leur tour, formeront les éléments de base des évaluations à venir de la Direction de l’évaluation.

3.1.6 Aide à d’autres projets de l’Agence

La Direction de l’évaluation a fourni un soutien et une contribution aux initiatives organisationnelles, dont le Rapport sur les plans et les priorités (RPP), le Rapport ministériel sur le rendement (RMR), l’exercice d’examen par les pairs du CAD de l’OCDE, le 4e Forum de haut niveau sur l’efficacité de l’aide à Busan et le Cadre de responsabilisation de gestion (CGR). En 2011-2012, dans le cadre de l’évaluation du CRG du SCT, l’Agence a reçu une note élevée pour l’élément de gestion concernant l’évaluation, et ce, pour la sixième année d’affilée. La Direction de l’évaluation a aussi formulé des conseils et des recommandations pour l’examen des propositions de subventions et de contributions sous l’autorité de la DGPSR, et a continué à contribuer aux décisions de haut niveau par la haute direction de l’ACDI.

3.1.7 Présentations au Conseil du Trésor

De concert avec la Division de la gestion du rendement, la Direction de l’évaluation a aidé les programmes dans l’élaboration de présentations au CT. En particulier, la Direction de l’évaluation a contribué à la préparation de huit présentations au CT cette année. Le tableau 3 (à la fin du document) présente la liste des évaluations qui doivent être menées à la suite de présentations au CT.

3.1.8 Diffusion et utilisation des résultats des évaluations

La Direction de l’évaluation a élaboré une stratégie et un plan de travail pour la diffusion des connaissances tirées de l’évaluation, et elle a amorcé leur mise en œuvre. La stratégie et le plan de travail cadrent avec l’engagement pris par le gouvernement du Canada (dans le budget de 2007) en vue d’améliorer la reddition de comptes aux contribuables canadiens sur les programmes d’aide internationale. La stratégie et le plan de travail contribueront au plan d’action de l’Agence sur la gestion des connaissances et des leçons apprises.

Le plan de travail connexe fournit de plus amples détails sur les activités qui seront menées dans chaque secteur de concentration au cours des deux prochains exercices, dont les produits livrables, les coûts et les échéanciers.

La Direction de l’évaluation a organisé le premier Café­rencontre en évaluation en septembre 2011 avec l’aide du champion des connaissances tirées de l’évaluation de l’Agence, le vice-président de la DGPSR. Cette séance de formation portait sur l’évaluation de la Déclaration de Paris sur l’efficacité de l’aide, et comprenait une présentation de Bernard Wood, chef d’équipe de l’évaluation. Une centaine de personnes (de l’administration centrale et du terrain) ont participé à l’événement, de même que des collègues d’autres ministères. Le Café- rencontre représentait la première d’une série d’activités qui ont eu lieu en 2011-2012, et qui visaient à aider à la diffusion des résultats de l’évaluation et à la promotion de l’apprentissage au sein de l’Agence.

3.1.9 Former et maintenir des alliances stratégiques

La Direction de l’évaluation a renforcé les alliances stratégiques à la faveur d’efforts conjoints au pays, dont l’évaluation horizontale de l’Arrangement sur la police civile au Canada, dirigée par le ministère des Affaires étrangères et du Commerce international (MAECI), avec la participation de l’ACDI, de la Gendarmerie royale du Canada et de Sécurité publique Canada. À l’échelle internationale, la Direction de l’évaluation a continué de collaborer activement avec d’autres donateurs et de participer au DAC-EVALNET. Dans sa participation au DAC- EVALNET, la Direction de l’évaluation a fait la promotion de l’approche commune pour l’évaluation de l’efficacité de l’aide au développement des organisations multilatérales.

3.2 Défis

Au cours de la dernière année, la Direction de l’évaluation a été confrontée à des problèmes qui se sont répercutés dans son travail. Ces défis font partie des éléments pris en compte dans l’élaboration du Plan de travail de la Direction pour 2012-2013 et les exercices suivants. Il s’agit entre autres des défis suivants :

• Capacité d’évaluation : La pénurie d’évaluateurs qualifiés (consultants et employés) représente un problème pour la fonction d’évaluation au Canada; la fonction d’évaluation de l’ACDI ne fait pas exception. Ce problème est aggravé par le départ à la retraite d’évaluateurs expérimentés. Pour pallier cette pénurie, la Direction de l’évaluation se penche actuellement sur la convention d’offres à commandes de l’Agence afin d’améliorer la capacité des consultants. De plus, la Direction de l’évaluation compte embaucher quatre agents d’évaluation subalternes, et leur fournir un cheminement clair de carrière et de perfectionnement. Ces agents recevront de la formation sur les méthodes d’évaluation, ce qui servira à augmenter la capacité de la Direction générale tout en contribuant à un bassin d’évaluateurs compétents au sein de l’ACDI et de la fonction publique.
• Portée de l’évaluation : Un autre défi consiste à satisfaire aux exigences de la portée pour les évaluations visant les organisations multilatérales. Le rôle de premier plan assumé par la Direction dans l’exercice conjoint mené actuellement par des donateurs membres du CAD- OCDE pour élaborer et mettre à l’essai une méthode d’évaluation de l’efficacité de l’aide au développement des organisations multilatérales pourrait bien déboucher sur des résultats fructueux dans ce secteur.
• Évaluation des États fragiles : La Direction de l’évaluation doit surmonter des défis particuliers lorsqu’il est question d’évaluer les États fragiles et touchés par un conflit (Haïti, Soudan, Cisjordanie/bande de Gaza, Afghanistan). Les catastrophes naturelles et les problèmes de sécurité rendent les évaluations sur le terrain problématiques et coûteuses. On s’attaque à ces problèmes de diverses façons, selon la situation. Les évaluations conjointes sont une façon de tirer parti des ressources de multiples donateurs (p. ex. l’évaluation multidonateurs sur les activités de prévention des conflits et de consolidation de la paix au Soudan du Sud) et d’atténuer les risques en matière de sécurité. Dans d’autres cas, la Direction de l’évaluation fera appel à des consultants qui possèdent une expérience substantielle dans les États fragiles (p. ex. en Afghanistan).

4.0 Stratégie et facteurs clés pour élaborer le Plan de travail

La Direction de l’évaluation a tenu compte des facteurs suivants dans l’élaboration du Plan de travail :

1. la nécessité d’évaluer la totalité des dépenses de programme directes de l’ACDI sur cinq ans d’ici 2017-2018;
2. les méthodes d’évaluation utilisées dans différents types de programmes (géographiques, dans les États fragiles, multilatéraux et de partenariats);
3. l’évaluation et la gestion des niveaux de risques spécifiques à chaque évaluation;
4. la double nature de la fonction d’évaluation à l’ACDI (c.-à-d. évaluations centralisées et décentralisées);
5. les engagements pris dans les présentations au Conseil du Trésor;
6. la nécessité de promouvoir davantage l’utilisation des résultats d’évaluation au sein de l’Agence.

4.1 Portée de l’évaluation

Le premier défi à relever pour répondre à l’exigence de la politique du CT concernant la portée de l’évaluation consiste à établir un univers d’évaluation qui englobe la totalité des dépenses de programme directes de l’ACDI sur une période de cinq ans. L’annexe 1, Établir un univers d’évaluation, fournit une description détaillée de cet univers. Compte tenu du climat actuel de restrictions budgétaires, la Direction de l’évaluation donnera la priorité absolue à la satisfaction des exigences en matière de portée prévues dans la Loi sur la responsabilité fédérale de 2006 et la Politique sur l’évaluation du CT de 2009.

Le second défi consiste à établir un calendrier approprié afin d’optimiser l’utilité des évaluations. Plusieurs facteurs interviennent à cet égard, comme les priorités de programme, l’importance relative de l’objet de l’évaluation (sur le plan financier) et la contribution de l’évaluation aux processus décisionnels (p. ex. le renouvellement de la stratégie de programmation, la reconstitution des ressources accordées aux organisations et aux institutions partenaires). Le tableau 2 présente le calendrier des évaluations sur une période de cinq ans.

D’après le profil de risque de l’Agence, la Direction de l’évaluation a entrepris une évaluation préliminaire des risques^{Note de bas de page 11}, afin de connaître les risques liés aux opérations, aux finances, à la réputation et au développement pour une évaluation donnée. Ces évaluations des risques, qui figurent à l’annexe 1, portent plus particulièrement sur la stabilité, le niveau de sécurité et la complexité.

4.2 Approche adoptée pour évaluer les programmes de l’ACDI

Compte tenu de la diversité des mécanismes de programmation de l’ACDI, la Direction de l’évaluation a adopté une stratégie d’évaluation à volets multiples :

4.2.1 Direction générale des programmes géographiques (DGPG)

L’approche adoptée pour l’évaluation des programmes géographiques continuera de mettre l’accent sur les pays ciblés (niveau de priorité 1). La ministre de la Coopération internationale a annoncé que l’ACDI accorderait désormais 80 % des ressources de ses programmes géographiques à 20 pays prioritaires. Le niveau de risque associé aux évaluations des programmes-pays est considéré comme moyen dans le cas des pays ciblés ayant une plus grande stabilité politique, sociale et économique (p. ex., Vietnam, Mozambique, Sénégal, Mali, Honduras)^{Note de bas de page 12}.

Dans le cas des pays sélectionnés qui ne sont pas des pays ciblés, la Direction de l’évaluation propose de mener des évaluations regroupées sur une base infrarégionale afin de maximiser le rapport coût-efficacité des ressources d’évaluation. Puisque cette catégorie comprend également les programmes régionaux, on définira une approche et une méthode d’évaluation fondées sur l’examen des aspects thématiques dans ces pays, au moyen d’un échantillon de projets, à l’aide de diverses sources d’information et des évaluations déjà réalisées par les directions générales de programmes. Dans le cas des pays sélectionnés qui bénéficient d’une aide plus modeste, le risque est considéré comme moyen ou faible. Le niveau de priorité de ces pays est faible ou moyen (niveaux de priorité II et III).

4.2.2 États fragiles

L’évaluation des programmes dans les États fragiles tient compte de l’étendue de l’harmonisation du programme avec les principes pour l’engagement international dans les États fragiles et les situations précaires établis par le CAD-OCDE. Ces principes orientent les interventions internationales dans les États fragiles visant la gouvernance et le renforcement de l’État, en faveur d’une stabilité à long terme. La Direction de l’évaluation s’affaire à rédiger des cadres de référence génériques pour les évaluations de programmes dans les États fragiles qui intègrent complètement les principes et fournissent des orientations sur les stratégies d’atténuation des risques. La Direction de l’évaluation considère que les évaluations de programmes dans les États fragiles sont une priorité élevée (niveau I), compte tenu des investissements importants consentis dans ces programmes. Le niveau de risque de l’évaluation de programmes dans les États fragiles est considéré comme élevé, étant donné les problèmes de sécurité ou la complexité du programme.

4.2.3 Direction générale des programmes multilatéraux et mondiaux (DGPMM)

La DGPMM appuie un grand nombre d’institutions et de fonds internationaux. Sous la supervision du Réseau du CAD pour l’évaluation du développement (DAC-EVALNET), la Direction de l’évaluation a élaboré une approche conjointe visant à évaluer l’information accessible sur l’efficacité de l’aide au développement auprès des organisations elles-mêmes, en utilisant leurs travaux d’évaluation et leurs rapports de rendement. Cette approche, qui a reçu l’approbation du DAC-EVALNET après deux essais pilotes, comprend une méthodologie commune, qui permet d’élargir la portée de l’évaluation à un plus grand nombre d’institutions sur une période plus courte, à un coût moindre pour chacun des participants, et d’exercer une plus forte influence sur la mise en œuvre des changements requis.

Cette approche est complémentaire au travail effectué par le Réseau d'évaluation du rendement des organisations multilatérales (MOPAN) qui, jusqu’en 2011, était axé principalement sur l’efficacité organisationnelle^{Note de bas de page 13}. Le niveau de priorité et de risque pour les évaluations d’organisations multilatérales est considéré comme faible ou moyen (niveaux de priorité II ou III).

4.2.4 Direction générale des partenariats avec les Canadiens (DGPC)

En septembre 2010, la Direction générale a subi une transformation et a recentré son approche. La nouvelle direction générale, rebaptisée Direction générale des partenariats avec les Canadiens, est constituée de deux programmes généraux : le Programme des partenaires pour le développement et le Programme des citoyens du monde.

Par le truchement de ces programmes, la DGPC appuie les projets et les programmes de développement conçus et mis en œuvre par des organisations partenaires canadiennes, en collaboration avec leurs homologues dans les pays en développement. La Direction générale veut également mobiliser les Canadiens et renforcer les connaissances à l’égard du développement international.

La Direction de l’évaluation a cerné cinq unités d’évaluation au sein de la nouvelle organisation de la DGPC et des priorités thématiques. Ces unités d’évaluation correspondent aux thèmes du modèle logique de la DGPC et font partie du présent Plan. Ce sont les suivantes :

1. Gouvernance;
2. Croissance économique et durabilité de l’environnement;
3. Développement humain;
4. Mobilisation des Canadiens;
5. Création et diffusion du savoir.

Les évaluations des programmes-pays porteront également sur les investissements faits par la DGPC dans le cadre des évaluations des dépenses de programmes à l’échelle de l’Agence. En ce qui concerne les unités d’évaluation énumérées ci-dessus, on a consulté la DGPC pour connaître l’ordre dans lequel les unités seront évaluées. Compte tenu du niveau antérieur d’exécution de projets et d’obtention de résultats de la Direction générale dans le secteur de la gouvernance, la première unité d’évaluation sera centrée sur ce secteur thématique. Cette évaluation sera mise en œuvre en 2012-2013 et utilisera les rapports de projets et d’évaluations décentralisées produits par la DGPC, entre autres sources d’information. Même si les incidences financières des programmes de la DGPC sont limitées, le niveau de risque et de priorité est considéré comme moyen en raison de l’intérêt marqué du public à l’égard des programmes de partenariats avec les Canadiens.

4.2.5 Évaluations générales

L’Agence a besoin d’information sur le rendement de ses programmes, mais aussi sur le rendement des initiatives qui touchent l’ensemble de ses activités, comme les politiques, les enjeux thématiques et les mécanismes d’exécution. Les évaluations générales comprennent entre autres des méta-évaluations périodiques de la qualité des évaluations menées par les programmes, et des évaluations thématiques qui peuvent toucher divers programmes-pays ou thèmes prioritaires. Compte tenu de la complexité et de la diversité des situations révélées par les évaluations générales et stratégiques, le niveau de risque est considéré comme moyen. Le niveau de priorité des évaluations générales est moyen (niveau de priorité II).

4.3 Harmonisation entre les évaluations centralisées et décentralisées

Comme nous l’avons expliqué précédemment, les évaluations décentralisées (menées par les directions générales) sont les éléments de base des évaluations centralisées. Elles apportent aussi un complément aux évaluations centralisées en brossant un tableau plus complet du rendement de l’Agence.

La Direction de l’évaluation travaille activement pour arriver à une harmonisation en : 1) intégrant les plans d’évaluation des directions générales de programmes à son Plan de travail quinquennal continu en matière d’évaluation; 2) en offrant des conseils techniques et du mentorat, et en s’assurant que les évaluations décentralisées sont effectuées conformément aux Normes de qualité pour l’évaluation du développement (2010) du CAD de l’OCDE.

4.4 Engagements pris dans les présentations au Conseil du Trésor

Au cours des dernières années, plusieurs engagements en matière d’évaluation ont été pris dans des cadres de gestion et de responsabilisation axés sur les risques et les résultats (CGRRR) et des présentations au CT sollicitant l’approbation d’initiatives importantes. Bon nombre de ces initiatives sont des volets de programmes qui auraient pu être visés par l’évaluation des programmes en question, plutôt que par des évaluations distinctes – conformément aux engagements pris envers le CT. Ces engagements peuvent être respectés à la faveur des évaluations de programmes prévues, plutôt que des évaluations distinctes. Le niveau de risque de ces évaluations dépend du pays, du programme et de l’organisation examinés. Le nombre d’évaluations devrait diminuer à l’avenir. Pour atteindre cet objectif, la Direction de l’évaluation mènera à bien les discussions avec le SCT.

4.5 Optimisation des avantages tirés des évaluations sur le plan de l’apprentissage et du savoir

Les évaluations de l’ACDI constituent une source d’information impartiale et crédible qui est utilisée dans les examens stratégiques, le renouvellement des modalités et des conditions, les présentations au CT, les rapports sur les plans et les priorités, les rapports ministériels sur le rendement et les mémoires au Cabinet.

Même si l’ACDI toujours misé sur les évaluations, il devient de plus en plus nécessaire d’optimiser les avantages tirés des évaluations sur le plan de l’apprentissage et du savoir. La stratégie et le plan de travail de l’ACDI sur la diffusion des connaissances tirées des évaluations permettront d’accroître la visibilité, l’accessibilité et l’utilisation des constatations et des leçons tirées des évaluations, tant à l’intérieur qu’à l’extérieur de l’ACDI. Ainsi, les comités de l’Agence peuvent être des cadres propices à la discussion des résultats des évaluations et à la promotion de l’apprentissage dans l’ensemble de l’Agence.

5.0 Priorités de la Direction de l’évaluation en 2012-2013

Compte tenu du contexte des évaluations, des leçons et des défis de l’exercice précédent et des considérations décrites à la section 4.0, le plan de travail en matière d’évaluation (de 2012-2013 à 2016-2017) portera essentiellement sur les grands secteurs suivants :

1. Évaluations prévues pour l’exercice 2012-2013;
2. Prestation de services de conseil, de soutien et d’assurance de la qualité des évaluations aux directions générales de programmes;
3. Diffusion et utilisation des résultats des évaluations;
4. Structure de gouvernance et alliances stratégiques.

5.1 Évaluations prévues pour l’exercice 2012-2013

5.1.1 Pays ciblés et programmes régionaux

Pour choisir les pays à évaluer, la Direction de l’évaluation accordera la priorité aux pays dans lesquels l’ACDI a concentré son aide. Ces pays ont bénéficié d’investissements majeurs au cours des cinq dernières années. En 2012-2013, la Direction de l’évaluation terminera les évaluations des programmes-pays du Mali et de la Colombie et du programme régional des Caraïbes commencées en 2011-2012. De plus, elle amorcera les évaluations des programmes- pays de la Tanzanie, de la Bolivie, de l’Indonésie et du Pakistan.

5.1.2 États fragiles

La Direction de l’évaluation entreprendra l’évaluation des programmes-pays de l’Afghanistan et d’Haïti, conformément aux engagements pris envers le CT. Ces pays sont prioritaires en raison de leur importance dans le programme d’action du gouvernement canadien et de l’ampleur des ressources qui y ont été investies au cours des cinq dernières années.

La tenue d’évaluations dans ces pays est considérée comme une entreprise très complexe étant donné le niveau d’insécurité et d’instabilité qui y règne et le nombre d’acteurs concernés (dont l’ACDI, le MAECI et le MDN). Pour préparer l’évaluation du programme de l’Afghanistan, la Direction de l’évaluation en a évalué la portée et le potentiel d’évaluation et elle a préparé le cadre de référence. L’évaluation du programme pour l’Afghanistan, qui devrait prendre 15 mois, commencera en juillet 2012 et s’étendra sur 15 mois. L’évaluation du programme pour Haïti sera réalisée au cours de l’exercice 2012-2013 et le rapport final sera déposé au début de l’exercice suivant.

5.1.3 Programmes multilatéraux

Les partenaires multilatéraux sont d’excellents candidats pour l’évaluation conjointe avec d’autres intervenants bilatéraux, dont un grand nombre souhaitent, comme le Canada, en savoir plus à propos de leur propre efficacité. En 2012-2013, l’ACDI procédera à l’examen de la Banque africaine de développement et de l’UNICEF, et finalisera l’examen de la Banque asiatique de développement et de l’Organisation mondiale de la santé. L’examen de l’UNICEF sera réalisé conjointement avec les Pays-Bas en utilisant l’approche commune du DAC- EVALNET. Étant donné le lien étroit entre l’approche conjointe et les travaux du MOPAN, la Direction de l’évaluation poursuivra sa collaboration avec la DGPMM pour maximiser les complémentarités, éviter les efforts en double, et réfléchir à la façon d’officialiser l’approche.

La Direction de l’évaluation continuera à offrir son aide et à fournir des services d’évaluation aux grands partenaires multilatéraux de l’ACDI. Ainsi, elle continuera à commenter les plans et les politiques d’évaluation de nos partenaires multilatéraux, les mandats d’évaluation, les cadres de référence, les rapports d’évaluation et les réponses de la direction, tout en continuant à participer aux comités d’évaluation multidonateurs.

5.1.4 Programmes de partenariats avec les Canadiens

En 2012-2013, la Direction de l’évaluation dirigera la première évaluation des programmes de partenariats avec les Canadiens depuis sa modernisation en 2010. Cette évaluation portera essentiellement sur les programmes de gouvernance de la DGPC et servira à orienter les programmes thématiques connexes à l’échelle de l’ACDI.

5.1.5 Initiatives et évaluations générales

En 2012-2013, la Direction de l’évaluation réalisera une méta-évaluation des évaluations pilotées par les directions générales et terminera un rapport sur l’état de la mesure du rendement à l’Agence. Par ailleurs, elle continuera de fournir des conseils ayant trait à la stratégie d’évaluation thématique de l’Initiative de Muskoka.

5.2 Conseils et soutien aux directions générales de programmes

En 2012-2013, la Direction de l’évaluation continuera à fournir des conseils et à offrir des services de soutien et d’assurance de la qualité des évaluations aux directions générales de programmes dans le cadre des évaluations en cours et à répondre à d’autres besoins connexes. Elle élaborera également de nouveaux outils pour s’assurer que les évaluations de l’ACDI évaluent correctement le rendement en matière d’égalité entre les sexes et des documents d’orientation pour la mise en œuvre d’évaluations de projets. Par ailleurs, elle aidera les directions générales à simplifier leurs plans d’évaluation et à mieux les harmoniser avec son Plan de travail quinquennal continu en matière d’évaluation.

Le plan d’action pour la réduction du déficit entraînera la clôture d’un certain nombre de programmes de l’ACDI, de sorte que la demande des directions générales des programmes pour les services d’évaluation et de soutien de la Direction de l’évaluation augmentera probablement. Des ressources additionnelles pourraient être nécessaires pour répondre à cette hausse de la demande.

5.3 Initiatives organisationnelles

La Direction de l’évaluation continuera d’apporter un soutien aux initiatives à l’échelle de l’organisation, comme le Rapport ministériel sur le rendement, le Rapport sur les plans et les priorités et le Cadre de responsabilisation de gestion (CRG). Elle fournira également des conseils et des recommandations pour l’examen des subventions et contributions, sous la supervision de la DGPSR. De plus, elle continuera de participer à divers comités et groupes de travail (le Comité des programmes, par exemple) qui permettent d’utiliser les renseignements tirés de ses évaluations pour éclairer les processus d’élaboration des politiques et de planification de l’Agence.

5.4 Diffusion et utilisation des résultats d’évaluation

La Direction de l’évaluation poursuivra la mise en œuvre de la stratégie de l’ACDI sur la diffusion des connaissances tirées des évaluations, qui vise à accroître la visibilité, l’accessibilité et l’utilisation des résultats et des leçons tirées des évaluations, tant à l’intérieur qu’à l’extérieur de l’ACDI. La première phase de la mise en œuvre, qui a débuté en 2011-2012, était axée sur les connaissances tirées des évaluations menées par la Direction de l’évaluation et sur les efforts de diffusion au sein de l’Agence.

En 2012-2013, la Direction de l’évaluation poursuivra la mise en œuvre progressive de la stratégie sur la diffusion. La première phase était axée sur les connaissances tirées des évaluations qu’elle a menées et sur les efforts de diffusion au sein de l’Agence. La seconde phase visera à accroître les efforts de diffusion des connaissances tirées des évaluations menées par les programmes et à étendre les efforts de diffusion pour atteindre un public plus vaste à l’extérieur de l’ACDI. La priorité sera donnée à la diffusion au sein de l’ACDI des connaissances tirées des évaluations, en mettant l’accent sur l’amélioration de la planification, de la programmation et du rendement de l’Agence.

Selon le plan de travail connexe, l’un des principaux produits livrables en 2012-2013 sera le rapport annuel sur la fonction d’évaluation de l’ACDI aux fins de la diffusion des connaissances tirées des évaluations menées par la Direction de l’évaluation et les directions générales. Le rapport présentera les principales leçons tirées des évaluations menées par la Direction de l’évaluation et les directions générales au cours de l’exercice précédent. Le rapport contiendra plus spécifiquement un aperçu des principales leçons tirées des évaluations, des améliorations attribuables aux évaluations menées par la Direction de l’évaluation, des ressources ministérielles affectées aux évaluations et des résumés d’une à deux pages pour chacune des évaluations menées par la Direction de l’évaluation et les directions générales qui ont été utilisées dans l’analyse du rapport, en précisant l’objectif, les constatations et les leçons tirées de chacune d’entre elles.

5.5 Structure de gouvernance et alliances stratégiques

5.5.1 Aide au Comité d’évaluation

La Direction de l’évaluation, qui fait office de secrétariat du Comité d’évaluation, continuera d’affecter les ressources humaines, techniques et financières nécessaires pour permettre au Comité de fonctionner le plus efficacement possible.

5.5.2 Formation et maintien des alliances stratégiques

À l’extérieur de l’Agence, la communauté canadienne de praticiens en évaluation est composée du Centre d’excellence en évaluation (CEE) du SCT, des responsables de l’évaluation d’autres ministères et de la Société canadienne d’évaluation. Sur la scène internationale, la Direction de l’évaluation est membre du réseau d’évaluation du Comité d’aide au développement (DAC- EVALNET), du Groupe Nordic Plus (un sous-groupe du DAC-EVALNET) et du Réseau d’évaluation du rendement des organisations multilatérales (MOPAN). L’ACDI a été particulièrement active au sein du DAC-EVALNET, où elle a plaidé en faveur d’une approche commune pour évaluer l’efficacité de l’aide au développement des organisations multilatérales.

Les rapports avec ces communautés de praticiens sont importants pour le maintien et l’essor du leadership canadien dans le domaine de l’évaluation. Ils constituent pour la Direction de l’évaluation une source de pratiques exemplaires et de leçons tirées de l’expérience. De plus, ils encouragent la réalisation d’évaluations conjointes avec d’autres donateurs, comme l’évaluation du soutien budgétaire général, l’initiative du CAD sur l’efficacité des institutions multilatérales, l’évaluation conjointe de la Déclaration de Paris, et l’Initiative internationale pour l’évaluation de l’impact (l’initiative 3IE).

6.0 Plans d’évaluation des directions générales de programmes pour 2012-2013

Comme on l’explique dans les sections précédentes, la fonction d’évaluation de l’ACDI est double – centralisée et décentralisée. La fonction d’évaluation centralisée, gérée par la Direction de l’évaluation, se concentre sur les évaluations à l’échelle organisationnelle (à l’échelle de l’Agence) et les évaluations des programmes. La fonction d’évaluation décentralisée, dans les directions générales de programmes, vise à réaliser des évaluations pour appuyer le processus décisionnel au niveau des projets et des programmes (c’est-à-dire au niveau des sous-sous-sous-activités). À titre de responsable fonctionnel de l’évaluation à l’échelle de l’Agence, la Direction de l’évaluation fournit des outils, des conseils, des orientations, de la formation et l’aiguillage vers des experts en évaluation aux directions générales de programmes pour les aider à effectuer leurs évaluations décentralisées.

La section suivante décrit les activités d’évaluation prévues par les directions générales au cours de l’exercice 2012-2013. L’information pour cette section a été fournie directement par chacune des directions générales de programmes. La Direction de l’évaluation est consciente que les activités d’évaluation menées par les directions générales ne peuvent pas toutes être considérées comme des évaluations aux termes de la Politique sur l’évaluation du CT. Cela dit, les activités menées par les directions générales apportent un complément aux travaux d’évaluation de la Direction de l’évaluation en fournissant des évaluations du rendement, des données de suivi et d’autres renseignements utiles.

6.1 Direction générale des programmes géographiques (DGPG) – évaluations décentralisées prévues en 2012-2013

À la DGPG, une trentaine d’évaluations pilotées par la direction générale sont prévues en 2012-2013. Ces évaluations tiendront compte de la pertinence, de l’efficience, de l’efficacité et de la durabilité du projet. Soulignons que les plans de travail de la DGPG pourraient être modifiés avant le début de l’exercice. La liste ci-dessous des évaluations prévues n’est donc pas définitive.

6.2 Direction générale des partenariats avec les Canadiens (DGPC) – évaluations décentralisées prévues en 2012-2013

La DGPC a entrepris plusieurs évaluations thématiques en 2011-2012 qui seront terminées et rendues publiques en 2012-2013. Voici les thèmes retenus : les coopératives; l’eau et l’assainissement; les sports au service du développement; le programme de coopération volontaire.

En 2012-2013, la DGPC entreprendra des évaluations thématiques sur l’éducation de base et le modèle de volontariat de courte durée.

6.3 Direction générale des programmes multilatéraux et mondiaux (DGPMM) – évaluations décentralisées prévues en 2012-2013

À la fin de 2011-2012, la DGPMM a réalisé une évaluation formative de mi-parcours de l’Initiative sur les micronutriments. Cette évaluation, qui donnait suite à un engagement pris dans une présentation au CT, a fourni des renseignements sur le rendement de cette initiative. En 2012­2013, la DGPMM mettra également en œuvre une évaluation de mi-parcours du Fonds pour l’extension des services de lutte antituberculeuse (120 millions de dollars), qui relève du Partenariat Halte à la tuberculose de l’Organisation mondiale de la santé. Aucun lien n’a été identifié entre ces évaluations décentralisées et les évaluations générales qui seront menées par la Direction de l’évaluation au cours du prochain exercice.

7.0 Estimations des ressources et défis

7.1 Dépenses de fonctionnement et d’entretien (à l’exclusion des salaires)

Comme l’indique le tableau 2 à la fin du document, le Plan prévoit un budget d’environ 2,2 millions de dollars en 2012-2013 pour la mise en œuvre du plan proposé. Ce montant comprend le coût des services contractuels d’experts de l’extérieur, ainsi que d’autres dépenses administratives non salariales, dont les frais de traduction, d’impression et de déplacements du personnel. Pour économiser sur les coûts tout en répondant aux exigences relatives à la portée des évaluations, le Plan tient compte du fait que l’examen de l’UNICEF sera réalisé conjointement avec les Pays-Bas. En outre, la Direction de l’évaluation cherchera à améliorer la coordination entre les évaluations centralisées et décentralisées en vue de maximiser l’efficience des ressources.

7.2 Budget salarial

La Direction de l’évaluation dispose maintenant d’un budget salarial de base d’environ 1,4 million de dollars et d’un effectif de 18 équivalents temps plein (ETP) : le directeur, 16 évaluateurs et un employé de soutien.

7.3 Défis

La Direction de l’évaluation est consciente que les résultats du plan d’action pour la réduction du déficit pourraient avoir un impact sur les ressources nécessaires à l’exécution du Plan. Celui- ci pourrait donc être modifié pour tenir compte d’un scénario différent. On pourrait notamment proposer des approches de mise en œuvre différentes ou réduire la portée des évaluations prévues.

Initiatives de l’ACDI en matière d’évaluation (de 2012-2013 à 2016-2017)

Remarques :

• Seules les initiatives pour l’exercice 2012-2013 sont chiffrées. Les montants comprennent toutes les dépenses de fonctionnement et d’entretien non salariales (p. ex. pour les services professionnels, l’impression et les déplacements).
• Le niveau d’investissement total des programmes ne rend compte que des investissements engagés pour la période allant de 2006-2007 à 2010-2011. Il ne comprend pas les programmes terminés.
• Les chiffres pour l’exercice 2011-2012 figurent dans le tableau de façon à offrir une meilleure vue d’ensemble de l’univers de l’évaluation. Toutefois, il est entendu que le plan quinquennal continu s’échelonne de 2012-2013 à 2016-2017.

Codes :

• E = Pilotée par la Direction de l’évaluation. (Les activités d’évaluation au cours du prochain exercice sont surlignées en vert)
• S = Pilotée par les directions générales des programmes et supervisée par la Direction de l’évaluation (contrôle de la qualité)
• D = Diffusion / partage des connaissances.
• C = Soutien à l’échelle de l’Agence (Les activités de diffusion au cours du prochain exercice sont surlignées en bleu.)

Engagements envers le SCT en matière d’évaluation^{Note de bas de page 16}

Le tableau ci-dessous présente uniquement les engagements en matière d’évaluation précisés dans les présentations au CT qui ont été approuvées entre 2006-2007 et 2010-2011. Il ne comprend pas les engagements déjà respectés.

Annexe 1 : Détermination de l’univers d’évaluation

En tenant compte de l’architecture des activités de programme (AAP), des cadres de mesure du rendement (CMR) approuvés par le SCT et des engagements pris dans les présentations au CT, la Direction de l’évaluation a établi un univers d’évaluation provisoire qui comprend 65 unités d’évaluation à réaliser au cours des cinq prochaines années :

• 5 unités d’évaluation liées aux États fragiles et aux collectivités touchées par une crise;
• 14 unités d’évaluation liées aux pays à faible revenu;
• 15 unités d’évaluation liées aux pays à revenu intermédiaire;
• 21 unités d’évaluation liées à l’engagement à l’échelle mondiale et aux politiques stratégiques;
• 5 unités d’évaluation liées à l’engagement canadien;
• 5 unités d’évaluation liées aux initiatives organisationnelles;
• des engagements précis envers le CT (voir le figure 2), qui seront respectés dans le cadre des évaluations au niveau des programmes et de l’Agence.

Le nombre d’unités de cet univers d’évaluation a été revu et corrigé dans le Plan, en fonction de l’AAP de l’Agence, qui a été approuvée par le CT le 15 septembre 2011.

Le tableau 4 indique les unités d’évaluation susmentionnées. Vu le grand nombre d’évaluations à réaliser au cours des cinq prochaines années, la Direction de l’évaluation envisage de répartir le travail entre l’ACDI et des organisations partenaires. Certaines évaluations seront réalisées conjointement avec d’autres partenaires (Programmes géographiques et Programmes multilatéraux), tandis que d’autres (Partenariats) nécessiteront l’élaboration de nouvelles méthodes pour examiner la nouvelle structure organisationnelle.

Dans le cas des organisations multilatérales, la Direction de l’évaluation utilisera l’approche commune approuvée par le DAC-EVALNET.

À la suite du plan d’action pour la réduction du déficit, l’ACDI devra (en consultation avec le SCT et les Services juridiques) déterminer quelles sont ses obligations en matière d’évaluation en ce qui concerne :

1. La clôture des programmes du Cambodge, de la Chine, du Malawi, du Népal, du Niger, du Rwanda, de la Zambie et du Zimbabwe.
2. Les programmes-pays qui font face à une réduction, particulièrement la Bolivie, le Pakistan, le Mozambique, l’Éthiopie, la Tanzanie et l’Afrique du Sud.
3. Les programmes régionaux qui sont en voie de regroupement ou de réduction, en particulier les programmes de l’Afrique qui seront regroupés avec le programme régional panafricain, et le programme régional de l’Asie du Sud-Est qui sera réduit.
4. Les programmes multilatéraux et mondiaux, qui sont en voie de regroupement ou de réduction.
5. Les programmes de partenariats avec les Canadiens, qui seront réduits ou regroupés.