Examen de l’efficacité de l’aide au développement de l’Organisation mondiale de la santé

2007-2010

Rapport final - décembre 2012

Remerciements

La Direction de l’évaluation de l’ACDI tient à remercier toutes les personnes qui ont contribué à l’examen pour leur apport précieux, leur soutien constant et généreux, et leur patience.

Nous remercions d’abord l’équipe indépendante de la firme Goss Gilroy Inc., soit le chef d’équipe Ted Freeman et les analystes Danielle Hoegy et Tasha Truant. Nous voulons aussi remercier le ministère du Développement international du Royaume-Uni et l’Agence suédoise d’évaluation de la coopération pour le développement, qui ont apporté un appui sous forme d’analyses pendant les examens de l’Organisation mondiale de la santé (OMS) et de la Banque asiatique de développement.

La Direction de l’évaluation veut également remercier l’équipe de direction de la Direction des initiatives mondiales de l’ACDI (Direction générale des programmes multilatéraux et mondiaux), à l’administration centrale à Gatineau, pour son précieux soutien.

Nos remerciements vont aussi aux représentants de l’OMS pour l’aide et les conseils pratiques et utiles qu’ils ont fournis aux évaluateurs.

À la Direction de l’évaluation de l’ACDI, nous remercions Vivek Prakash, agent d’évaluation, de son aide pour l’examen, de même que Michelle Guertin, gestionnaire de l’évaluation de l’ACDI, d’avoir dirigé cet examen jusqu’à son achèvement et de sa contribution à la réalisation de ce rapport.

Caroline Leclerc
Directrice générale
Direction de la planification stratégique, du rendement et de l’évaluation

Liste des abréviations

Résumé

Contexte

Le présent rapport expose les résultats d’un examen de l’efficacité de l’aide au développement de l’Organisation mondiale de la santé (OMS). Fondée en 1948, l’OMS est l’autorité chargée de la direction et de la coordination en matière de santé internationale au sein du système des Nations Unies, dans le but général d’atteindre le plus haut niveau de santé possible pour tous. Elle ne fournit pas directement de services de santé, mais coordonne plutôt les efforts de santé mondiaux et établit des normes mondiales en matière de santé. L’OMS emploie plus de 8 000 spécialistes de la santé publique, notamment des médecins, des épidémiologistes, des chercheurs, des gestionnaires, des administrateurs et d’autres professionnels. Ces spécialistes de la santé travaillent dans 147 bureaux de pays, six bureaux régionaux et à l’administration centrale à Genève.

Bien que la réduction de la pauvreté ne soit pas au cœur du mandat de l’OMS, l’organisation y contribue au moyen de son leadership mondial – par exemple, en établissant des normes mondiales de santé auxquelles se conforment les pays en développement et en appuyant la coordination de l’aide humanitaire – et de son assistance technique aux pays en développement.

Santé Canada assume la responsabilité première au regard de la coopération du gouvernement Canada avec l’OMS et dirige la délégation canadienne à l’Assemblée mondiale de la santé. Font partie des principaux engagements de l’Agence canadienne de développement international (ACDI) avec l’OMS le dialogue politique et les programmes d’aide au développement visant les maladies infectieuses, la santé des enfants et l’aide humanitaire. Plus précisément, l’OMS joue aussi un rôle essentiel dans l’élaboration d’indicateurs sur la santé et la collecte de données à l’appui de l’Initiative sur la santé des mères, des nouveau-nés et des enfants lancée par le Canada lors du Sommet du G8.

Grâce à l’appui financier de 284 millions de dollars canadiens fourni par l’ACDI pendant quatre exercices, soit de 2007-2008 à 2010-2011, l’OMS s’est classée au huitième rang des organisations multilatérales soutenues par l’ACDI en raison de la somme reçue. Dans le secteur de la santé, seul le Fonds mondial de lutte contre le sida, la tuberculose et le paludisme se classe à un rang plus élevé en raison d’une contribution de 450 millions de dollars canadiens de l’ACDI au cours de la même période.

But

L’examen vise à fournir une évaluation indépendante et fondée sur des données probantes de l’efficacité de l’aide au développement (ci-après appelée « l’efficacité ») de l’OMS pour répondre aux exigences d’évaluation établies par la Politique sur l’évaluation du gouvernement du Canada et pour fournir à la Direction générale des programmes multilatéraux et mondiaux de l’ACDI des données probantes sur l’efficacité de l’aide au développement de l’OMS.

Approche et méthode

L’approche et la méthode utilisées dans cet examen ont été établies sous la direction du Réseau du Comité d’aide au développement sur l’évaluation du développement (DAC-EVALNET) de l’Organisation de coopération et de développement économiques (OCDE). Deux essais pilotes sur l’OMS et la Banque asiatique de développement ont été menés en 2010, pendant la phase d’élaboration de l’approche et de la méthode communes. Le rapport repose donc sur l’analyse de l’essai pilote des rapports d’évaluation publiés par le Bureau des services de contrôle interne de l’OMS, ainsi que sur un examen des documents organisationnels de l’OMS et de l’ACDI et une consultation avec le gestionnaire de l’ACDI chargé de gérer les relations avec l’OMS.

La méthode ne se fonde pas sur une définition particulière de l’efficacité (de l’aide au développement). Le groupe de gestion et le groupe de travail mis sur pied par le DAC-EVALNET dans le but de mettre au point la méthode ont déjà cherché à déterminer s’il fallait utiliser une définition explicite de l’efficacité de l’aide au développement. En l’absence d’une définition convenue d’un commun accord, la méthode met l’accent sur certaines des caractéristiques essentielles d’une programmation efficace pour les organisations multilatérales sur le plan du développement que voici :

1. Pertinence des interventions : les activités et les extrants de programmation sont adaptés aux besoins du groupe cible et de ses membres.
2. Atteinte des objectifs de développement et des résultats escomptés : la programmation contribue à l’atteinte des objectifs de développement et des résultats escomptés à l’échelle nationale et locale dans les pays en développement (y compris des incidences positives pour les membres du groupe cible).
3. Viabilité des résultats et des bienfaits : les bienfaits pour les membres du groupe cible et les résultats en matière de développement obtenus sont durables.
4. Efficacité : les programmes sont offerts de manière rentable et dans les délais.
5. Thèmes transversaux (viabilité de l’environnement et égalité entre les sexes) : les programmes sont inclusifs, en ce sens qu’ils appuient l’égalité entre les sexes et sont viables pour l’environnement (ainsi, ils ne compromettent pas les perspectives de développement futur).
6. Amélioration de l’efficacité à l’aide de l’évaluation et du suivi : les programmes contribuent efficacement au développement en permettant aux organisations participantes qui offrent leur appui de tirer parti des expériences antérieures et d’utiliser des outils de gestion du rendement et de responsabilisation, tels que l’évaluation et le suivi, pour améliorer l’efficacité au fil du temps.

À partir de ces caractéristiques, un ensemble commun de critères d’évaluation s’inspirant des critères d’évaluation actuels du Comité d’aide au développement [CAD] (Annexe 1) a été établi pour la méthode d’examen. En juin 2011, l’approche et la méthode générales^{Note de bas de page 1} ont reçu l’aval des membres du DAC-EVALNET; en effet, ceux-ci ont jugé qu’elles constituaient un outil acceptable pour évaluer l’efficacité de l’aide au développement des organisations multilatérales.

L’examen comportait une métasynthèse structurée d’un échantillon de 25 évaluations de l’OMS réalisées entre 2007 et 2010 à l’échelle nationale, régionale et mondiale ou thématique. Le processus d’échantillonnage est expliqué plus en détail à l’Annexe 3. Le nombre limité de rapports d’évaluation disponibles restreint ce rapport, comme nous le verrons plus loin.

Après avoir été étudiée pour en assurer la qualité (l’approche et les critères employés sont décrits à l’Annexe 4), chaque évaluation a été examinée dans le but de dégager les conclusions relatives aux six principaux critères (et aux sous-critères connexes décrits dans l’Annexe 1) qui seront employés pour évaluer l’efficacité. L’équipe d’examen a coté les constatations pour chaque critère à l’aide d’une échelle de 1 à 4 : « très satisfaisant », « satisfaisant », « insatisfaisant » ou « très insatisfaisant ». Cette notation reposait sur une grille d’instructions précises pour chaque note allouée aux sous-critères (Annexe 5). L’équipe d’examen a aussi déterminé les facteurs qui contribuent ou nuisent aux résultats.

Il est à noter que, bien qu’aucune évaluation n’ait été écartée en raison de lacunes attribuables à la qualité, les évaluations ne répondent pas à tous les critères déterminés dans les éléments essentiels à un développement efficace. C’est pourquoi cet examen se penche sur les données disponibles à propos de chaque critère avant de présenter des résultats, et qu’il ne comporte pas de résultats pour certains critères.

Les pourcentages indiqués dans le présent rapport sont fondés sur le nombre total d’évaluations traitant des sous-critères. Toutefois, la couverture des différents sous-critères dans les évaluations examinées varie; elle va d’une couverture élevée à une couverture faible. Des mises en garde sont fournies dans le rapport lorsque la couverture le justifie.

Outre les 25 évaluations, l’examen comportait une revue de documents stratégiques et de reddition de comptes pertinents de l’OMS, tels que les rapports du Comité du programme, du budget et de l’administration au Conseil exécutif, les rapports sur la réforme de l’OMS par le directeur général, les documents sur la politique d’évaluation, les rapports annuels et l’évaluation provisoire du plan stratégique à moyen terme (voir l’Annexe 6). Ces documents ont permis à l’équipe d’examen de juger de l’évolution continue de l’évaluation et de la reddition de comptes sur les résultats à l’OMS et de mettre en contexte les conclusions présentées dans les rapports d’évaluation.

L’équipe d’examen a aussi mené une entrevue auprès du personnel du Bureau des services de contrôle interne (BSCI) à l’OMS pour mieux comprendre l’univers des rapports d’évaluation disponibles de l’OMS et mettre en contexte la situation changeante de la fonction d’évaluation.

Enfin, l’équipe d’examen a mené une entrevue avec le gestionnaire de l’ACDI le plus directement responsable de la relation soutenue entre l’ACDI et l’OMS afin de mieux évaluer la contribution de l’OMS aux priorités de développement international du Canada.

Comme c’est toujours le cas avec les métasynthèses, des problèmes de nature méthodologique peuvent restreindre les constatations. Pour cet examen, la plus importante contrainte vise la généralisation des résultats de l’examen à tous les programmes de l’OMS. L’ensemble des rapports d’évaluation disponibles et valides ne fournit cependant pas une couverture suffisante des programmes et des activités de l’OMS pendant la période visée pour permettre une généralisation des résultats à l’ensemble des programmes de l’OMS^{Note de bas de page 2}. Les rapports d’évaluation disponibles fournissent cependant des impressions sur l’efficacité de l’aide au développement des programmes de l’OMS évalués.

Principales constatations

Pas suffisamment de données probantes pour tirer des conclusions sur l’Organisation mondiale de la santé

Cet examen a principalement permis de constater que l’ensemble limité des rapports d’évaluation disponibles et valides ne contient pas assez de renseignements pour tirer des conclusions quant à l’efficacité de l’aide au développement de l’OMS.

Les rapports d’évaluation disponibles, bien que limités, fournissent des impressions sur l’efficacité de ces programmes de l’OMS. Les résultats de l’examen de ces évaluations sont présentés ci-dessous, mais en raison de la taille limitée de l’échantillon, ils ne peuvent être généralisés à l’organisation dans son ensemble.

Une analyse de la politique d’évaluation de 2012 de l’OMS indique que, bien que l’approbation d’une politique d’évaluation constitue un pas dans la bonne direction, des lacunes demeurent dans la politique pour ce qui est de la planification, de l’établissement de priorités, de la budgétisation et de la divulgation des évaluations de l’OMS. De plus, l’OMS pourrait éclaircir davantage les rôles et les responsabilités des gestionnaires de programme à l’égard des évaluations et fournir des conseils pour juger de la qualité des évaluations.

En 2012, un examen du Corps commun d’inspection des Nations Unies a aussi soulevé des inquiétudes à l’égard de l’indépendance et de la crédibilité des évaluations de l’OMS; selon cet examen, l’OMS devrait avoir une meilleure capacité d’évaluation centrale. On y recommande également qu’un examen par les pairs de la fonction d’évaluation soit mené par le Groupe des Nations Unies pour l’évaluation et présenté au Conseil exécutif de l’OMS d’ici 2014.

Dans l’échantillon limité qui était disponible, les programmes de l’OMS semblaient répondre aux besoins des intervenants et aux priorités nationales. Les évaluations indiquaient que les programmes de l’OMS étaient bien adaptés aux besoins des intervenants; 89 % des évaluations (soit 16 des 18 évaluations qui portaient sur ce critère) présentaient des constatations satisfaisantes ou très satisfaisantes, et étaient bien harmonisées aux objectifs de développement nationaux (les 12 évaluations qui portaient sur ce critère ont toutes été cotées satisfaisantes ou très satisfaisantes). De plus, les objectifs des projets et des programmes appuyés par l’OMS demeuraient valides au fil du temps (les 21 évaluations ont toutes été cotées satisfaisantes ou plus). Il y a cependant place à l’amélioration quant à la description de l’échelle des activités de programme de l’OMS par rapport à leurs objectifs (60 % des 20 évaluations étaient cotées satisfaisantes) et à des partenariats plus efficaces avec les gouvernements (61 % des 18 évaluations étaient cotées satisfaisantes ou très satisfaisantes).

Un facteur qui contribue à la pertinence des programmes de l’OMS est l’expérience de l’organisation à faire correspondre la conception des programmes au fardeau des maladies dans les pays partenaires. Une autre est la consultation d’intervenants clés à l’échelle nationale et locale pendant la conception des programmes.

L’OMS semble être plus efficace pour atteindre la plupart de ses objectifs de développement et ses résultats escomptés, puisque 71 % (15 évaluations sur 21 ont indiqué un rendement satisfaisant ou plus élevé). De plus, les programmes de l’OMS génèrent des avantages pour les membres du groupe cible à l’échelle individuelle, communautaire et du ménage, puisque 64 % des 14 évaluations montraient que le rendement pour ce sous-critère était satisfaisant ou très satisfaisant. Cependant, les évaluations n’indiquent pas uniformément le nombre de bénéficiaires qui ont pu profiter des interventions, et aucun résultat n’est signalé pour ce sous-critère. Dans l’atteinte des objectifs de l’OMS, les facteurs qui contribuent au rendement incluent une solide conception technique des interventions des programmes et de hauts niveaux de prise en charge nationale dans les principaux programmes.

Les avantages des programmes de l’OMS semblent être durables, mais le maintien des capacités de ses partenaires suppose des difficultés. Les avantages des programmes de l’OMS sont susceptibles d’être conservés, puisque 73 % des évaluations ont obtenu la cote « satisfaisant » ou « très satisfaisant » dans ce domaine (bien que seulement 11 évaluations abordent ce critère). Cependant, l’OMS est confrontée à un enjeu dans le domaine du renforcement de la capacité institutionnelle de ses partenaires en matière de viabilité. Seulement 37 % des évaluations (6 des 16 évaluations) ont conclu que les programmes de l’OMS étaient satisfaisants en termes d’appui à la capacité institutionnelle locale en matière de viabilité. Un facteur qui contribue à la viabilité a été le recours aux réseaux locaux de fournisseurs de services pour maintenir le succès des programmes de vaccination.

Efficience – Aucun résultat à signaler. À peine quelques évaluations ont fait état de la rentabilité (9 évaluations) et à savoir si la mise en œuvre des programmes et l’atteinte des objectifs se faisaient en temps voulu (5 évaluations). Les rapports d’évaluation qui portaient sur ces sous-critères faisaient état, le plus souvent, de facteurs qui nuisaient à l’efficience. Un élément commun de ces conclusions a été le lien entre les retards dans la mise en place des programmes et l’augmentation des coûts.

Évaluations de l’OMS qui ne portaient pas régulièrement sur l’efficacité dans l’appui à l’égalité entre les sexes ou à la viabilité de l’environnement. Aucune évaluation ne faisait état du thème transversal de l’égalité entre les sexes, et seulement une évaluation faisait état de la viabilité de l’environnement, ce qui n’a pas permis, au cours de l’examen, de déterminer si des résultats avaient été atteints dans ce domaine. L’absence de la question de l’égalité entre les sexes dans les évaluations de l’OMS constitue une lacune essentielle dans les renseignements sur l’efficacité de l’organisation.

Les évaluations examinées ont permis de constater que les systèmes d’évaluation et de suivi de l’OMS sont insatisfaisants. En tout, 56 % des résultats déclarés sur l’efficacité des systèmes et des processus d’évaluation étaient cotés comme étant insatisfaisants ou très insatisfaisants (9 des 16 évaluations). Dans le même ordre d’idées, les systèmes de suivi sont insatisfaisants : 58 % des résultats des évaluations (11 des 19 évaluations) ont été cotés comme insatisfaisants ou très insatisfaisants. Les sous-critères relatifs aux systèmes et processus efficaces de gestion axée sur les résultats et les résultats d’évaluation employés pour améliorer l’efficacité de l’aide au développement ont été abordés dans seulement trois et neuf évaluations, respectivement. Aucun résultat n’est donc présenté pour ces sous-critères.

En particulier, les évaluations examinées signalent un manque de ressources financières et de personnel local qualifié; ce sont des facteurs importants qui contribuent à des résultats peu satisfaisants dans le domaine de l’évaluation et du suivi. Lorsque les systèmes d’évaluations sont déclarés satisfaisants, ce résultat est en partie attribuable à la tradition d’un examen conjoint de la mise en œuvre des programmes par l’OMS et ses partenaires.

Conclusions : l’efficacité de l’aide au développement de l’OMS

La fonction d’évaluation de l’OMS doit être renforcée : Tout compte fait, les rapports d’évaluation disponibles ne donnent pas assez de renseignements sur les programmes et les activités de l’OMS pendant cette période pour permettre de généraliser les résultats à l’ensemble de la programmation de l’OMS, mais ils fournissent des renseignements sur l’efficacité des programmes de développement de l’OMS qui ont été évalués.

Rendement : Les évaluations menées entre 2007 et 2010 indiquent que les activités de l’OMS sont très bien adaptées aux besoins des membres du groupe cible (16 de 18 évaluations) ainsi qu’aux objectifs et aux priorités des gouvernements nationaux (dans les 12 évaluations). De plus, les projets de l’OMS pendant la période examinée ont permis d’atteindre les objectifs de développement (15 de 21 évaluations) et de procurer des avantages positifs aux membres du groupe cible (9 de 14 évaluations). Les avantages directs de la programmation de l’OMS sont jugés durables dans la plupart des évaluations (8 des 11 évaluations) qui abordent cette question, bien qu’il y ait des difficultés tenaces relativement à la capacité institutionnelle de viabilité des ententes liées aux programmes (seulement 6 de 16 évaluations ont obtenu une bonne note).

Lacunes : Bien que la plupart des programmes de l’OMS examinés aient été en mesure de concrétiser leurs objectifs de développement directs, le niveau de couverture des dépenses fourni par les évaluations de l’organisation est assez faible. Par ailleurs, les évaluations de l’OMS étaient souvent axées sur les opérations et l’aspect technique et, même si elles étaient souvent bien conçues selon leurs propres paramètres, elles ne décrivaient pas les changements qui en découlaient pour le groupe cible ou bénéficiaire. La fonction d’évaluation exige un renforcement important afin de couvrir les programmes et les projets de l’OMS et de donner une plus grande assurance que les résultats déclarés pourront être applicables à l’organisation dans son ensemble. Dans le même sens, les évaluations de l’OMS ne comportent pas systématiquement un examen de l’efficacité de ses programmes quant à la contribution à l’égalité entre les sexes.

Afin de renforcer le système d’évaluation de l’OMS, le Conseil exécutif a approuvé la mise en œuvre d’une nouvelle politique d’évaluation lors de sa 131e session tenue les 28 et 29 mai 2012, dans le cadre de la réforme de la gestion de l’organisation.

L’OMS contribue aux priorités de développement du Canada. Il est clairement établi que l’OMS apporte une contribution directe importante aux priorités de développement international du Canada, à savoir accroître la sécurité alimentaire (particulièrement à celle des femmes enceintes et qui allaitent, des enfants et des personnes les plus touchées par les crises) et assurer l’avenir des enfants et des jeunes. Il y a aussi des données probantes qui indiquent que les activités de l’OMS contribuent indirectement à une croissance économique durable en appuyant les systèmes de santé publique et en aidant les pays en développement à réduire le fardeau des maladies transmissibles et non transmissibles.

Recommandations faites à l’ACDI

Cette section présente les recommandations faites à l’ACDI, qui sont fondées sur les constatations et les conclusions tirées de cet examen de l’efficacité de l’aide au développement de l’OMS. Ces recommandations, qui visent à améliorer l’évaluation et la gestion axée sur les résultats à l’OMS, sont conformes aux objectifs liés aux engagements actuels du Canada auprès de l’OMS. Comptant parmi les intervenants qui collaborent avec l’OMS, le Canada, qui a une influence limitée sur l’organisation, pourrait devoir s’allier à d’autres intervenants pour mettre en œuvre ces recommandations. (Voir la réponse de la direction de l’ACDI à l’Annexe 8.)

1. Le Canada devrait surveiller les efforts de réforme de la fonction de l’évaluation à l’OMS pendant la mise en œuvre de la nouvelle politique d’évaluation. En particulier, l’ACDI devrait se servir de son influence au Conseil exécutif et auprès d’autres organismes donateurs pour promouvoir une fonction d’évaluation capable et disposant de ressources suffisantes qui peut fournir une bonne couverture de la programmation de l’OMS au fil du temps.
2. L’ACDI devrait faire le suivi de la mise en œuvre de la politique d’évaluation afin que les prochaines évaluations de l’OMS abordent suffisamment le thème de l’égalité entre les sexes.
3. L’ACDI devrait encourager l’OMS à mettre en place un système de publication de rapports réguliers (peut•être des rapports annuels) sur l’efficacité de l’aide au développement qui s’appuie sur le travail de la fonction d’évaluation réformée. En règle générale, il faut renforcer l’engagement de l’OMS à rendre compte de l’efficacité des programmes.
4. L’ACDI devrait encourager l’OMS à gérer systématiquement en fonction des résultats. La mise à niveau constante et une mise en œuvre élargie du Système mondial de gestion à l’OMS pourraient offrir une telle possibilité.

1.0 Introduction

1.1 Contexte

Le présent rapport fait état des résultats d’un examen de l’efficacité de l’aide au développement de l’Organisation mondiale de la santé (OMS) des Nations Unies (ONU). L’approche et la méthode communes employées dans ce rapport ont été élaborées sous la direction du Réseau du Comité d’aide au développement sur l’évaluation du développement (DAC-EVALNET) de l’Organisation de coopération et de développement économiques (OCDE). Deux essais pilotes sur l’OMS et la Banque asiatique de développement ont été menés en 2010 pendant la phase d’élaboration de l’approche et de la méthode communes. Le rapport repose donc sur l’analyse de l’essai pilote des rapports d’évaluation publiés par le Bureau des services de contrôle interne de l’OMS, ainsi que sur un examen des documents organisationnels de l’OMS et de l’ACDI et une consultation avec le gestionnaire de l’ACDI chargé de gérer les relations avec l’OMS.

La méthode utilisée fait appel à un ensemble commun de critères d’évaluation s’inspirant des critères d’évaluation employés par le CAD (Annexe 1). En juin 2011, l’approche et la méthode^{Note de bas de page 3} générales ont reçu l’aval des membres du DAC-EVALNET. En effet, ceux-ci ont jugé qu’elles constituaient une approche acceptable pour évaluer l’efficacité de l’aide au développement des organisations multilatérales. Pour simplifier les choses, l’efficacité de l’aide au développement est appelée ci-après « l’efficacité » dans ce rapport.

Dès le départ, le processus de conception et de réalisation des examens de l’efficacité de l’aide au développement et le travail du Réseau d’évaluation du rendement des organisations multilatérales (MOPAN) ont été coordonnés. On s’efforce, dans le cadre des examens, de mettre l’accent sur l’efficacité de l’aide au développement et de sélectionner avec soin les critères d’évaluation afin d’éviter de faire double emploi avec le travail du MOPAN. En règle générale, un examen de l’évaluation de l’efficacité de l’aide au développement se fait la même année qu’une enquête du MOPAN visant une organisation multilatérale donnée. Une enquête du MOPAN sur l’OMS a été menée en 2010 parallèlement à cette analyse^{Note de bas de page 4}.

1.2 Bien-fondé de l’examen

Cet examen offre au Canada et à d’autres intervenants une évaluation indépendante de l’efficacité des programmes de l’OMS en matière d’aide au développement qui est fondée sur des données probantes, évaluation qui sera utile au Canada et à ces autres intervenants. De plus, l’examen répond aux exigences d’évaluation de tous les programmes établis par la Politique sur l’évaluation du gouvernement du Canada.

Les objectifs de l’examen sont les suivants :

• fournir à l’ACDI des données probantes sur l’efficacité de l’aide au développement de l’OMS qui peuvent permettre d’orienter l’engagement actuel du Canada auprès de l’OMS^{Note de bas de page 5};
• fournir des données sur l’efficacité de l’aide au développement qui pourront être utilisées dans les relations continues entre le gouvernement du Canada et l’OMS, de façon à s’assurer que les priorités du Canada en matière de développement international bénéficient d’investissements^{Note de bas de page 6}.

Bien que ce rapport ait été préparé, entre autres, dans le but de satisfaire aux exigences en matière de reddition de comptes du Canada au sein du gouvernement du Canada, on s’attend à ce que les résultats soient utiles à d’autres intervenants bilatéraux.

1.3 L’OMS, une organisation mondiale résolue à améliorer la santé

1.3.1 Contexte et objectifs

En tant qu’autorité chargée de diriger et de coordonner l’action sanitaire internationale au sein du système des Nations Unies, l’OMS emploie plus de 8 000 spécialistes de la santé publique, y compris des médecins, des épidémiologistes, des chercheurs, des gestionnaires, des administrateurs et d’autres professionnels. Ces spécialistes de la santé travaillent dans 147 bureaux de pays, six bureaux régionaux et au siège de Genève^{Note de bas de page 7}. Il y a 194 pays membres de l’OMS et deux membres associés (Porto Rico et Tokelau). Ils se rencontrent chaque année dans le cadre de l’Assemblée mondiale de la santé pour établir les politiques de l’Organisation, approuver le budget et, tous les cinq ans, nommer le directeur général. L’Assemblée mondiale de la santé élit les 34 membres du Conseil exécutif.

Le onzième programme général de travail de l’OMS (2006-2015) définit les fonctions essentielles suivantes de l’Organisation :

1. Jouer le rôle de chef de file dans les domaines essentiels pour la santé et créer des partenariats lorsqu’une action conjointe est nécessaire;
2. Fixer les priorités de la recherche et inciter à acquérir, à appliquer et à diffuser des connaissances utiles;
3. Fixer des normes et des critères, encourager et surveiller leur application;
4. Définir des politiques conformes à l’éthique et fondées sur des données probantes;
5. Fournir un appui technique, se faire l’agent du changement et renforcer durablement les capacités institutionnelles;
6. Surveiller la situation sanitaire et évaluer les tendances.

L’OMS dirige aussi la coordination des interventions humanitaires internationales du groupe mondial responsable de la santé^{Note de bas de page 8}. L’OMS héberge un certain nombre de programmes indépendants et de partenariats public-privé, dont l’Initiative mondiale pour l’éradication de la poliomyélite, le Partenariat Halte à la tuberculose et le Partenariat pour la santé de la mère, du nouveau-né et de l’enfant^{Note de bas de page 9}.

1.3.2 Plan stratégique

Le Plan stratégique à moyen terme de l’OMS énonce 11 objectifs stratégiques de haut niveau pour l’amélioration de la santé mondiale pendant la période 2008-2013. Il inclut aussi deux objectifs stratégiques pour améliorer le rendement de l’OMS. Voici les 11 objectifs stratégiques pour améliorer la santé mondiale^{Note de bas de page 10} :

1. Réduire le fardeau des maladies transmissibles;
2. Lutter contre le VIH/sida, la tuberculose et le paludisme;
3. Prévenir et réduire les maladies chroniques non transmissibles;
4. Améliorer la santé des mères et des enfants ainsi que la santé sexuelle et génésique, et promouvoir un vieillissement en bonne santé;
5. Réduire les conséquences sur la santé des crises et des catastrophes;
6. Prévenir et réduire les facteurs de risque pour la santé, notamment le tabac, l’alcool, les drogues et l’obésité;
7. S’attaquer aux déterminants sociaux et économiques pour la santé;
8. Favoriser un environnement plus sain;
9. Améliorer la nutrition, de même que la salubrité et la sécurité alimentaires;
10. Améliorer les services et les systèmes de santé;
11. Veiller à accroître l’accès et le recours au matériel médical et aux technologies connexes, de même que la qualité de ceux-ci.

Le Plan stratégique à moyen terme définit aussi deux objectifs orientés sur les rôles et les fonctions propres à l’OMS :

12. Jouer un rôle de chef de file dans le domaine de la santé mondiale, en collaboration avec d’autres partenaires;
13. Faire en sorte que l’OMS soit et demeure une organisation en apprentissage constant.

1.3.3 Champ d’action et couverture géographique

L’OMS est financée par des quotes-parts^{Note de bas de page 11} et des contributions volontaires de la part des États membres. Le ministère canadien des Affaires étrangères et du Commerce international (MAECI) est responsable des quotes-parts du Canada. À l’instar d’autres organisations de l’OMS, cette dernière prépare un budget biennal qui porte sur les deux années d’activités. Le budget du programme pour le rapport biennal de 2010-2011 était de 4,54 milliards de dollars américains, dont 945 millions de dollars étaient des quotes-parts^{Note de bas de page 12}.

Puisque le budget est composé de quotes-parts et de contributions volontaires, les fonds réels qui sont à la disposition de l’OMS pour régler les dépenses occasionnées par un programme ou une priorité pendant toute une année donnée peuvent être plus élevés ou plus faibles que la somme prévue dans le budget (selon le volume des contributions volontaires). Le Tableau présente le budget approuvé, les fonds réels déclarés comme étant disponibles au cours de la période de deux ans et la somme dépensée^{Note de bas de page 13}.

La Figure 1 présente la part des dépenses de 2010 comptabilisée pour chaque région d’activités et pour le siège de l’OMS.

Figure 1 : Part régionale des dépenses de l’OMS en 2010-2011

1.3.4 Évaluations et rapports sur les résultats

Évaluation

La fonction d’évaluation à l’OMS est une responsabilité décentralisée où la plupart des évaluations sont commandées et gérées par des programmes techniques individuels et des bureaux régionaux et de pays. Le Bureau des services de contrôle interne (BSCI) relève directement du directeur général; il mène des vérifications internes, enquête sur des déclarations d’actes répréhensibles et met en œuvre la politique d’évaluation des programmes. Le BSCI est chargé de la fonction d’évaluation.

Lorsque l’essai pilote a été effectué en 2010, les évaluations commandées par l’OMS n’étaient ni publiées en documents imprimés, ni en ligne. On a donc demandé au BSCI de repérer les évaluations pour l’essai pilote et d’en chercher les sources. Le BSCI a indiqué que, dans la plupart des cas, l’OMS et les pays concernés par l’évaluation étaient tous deux responsables des rapports d’évaluation. Des exemplaires devraient être demandés aux bureaux des pays de l’OMS visés. Il n’y avait pas de dépôt central des évaluations publiées offertes en format électronique ou en format imprimé.

En mai 2010, le personnel du BSCI a indiqué qu’un examen important de la politique d’évaluation à l’OMS était en cours et qu’une nouvelle politique et une nouvelle structure seraient élaborées sous peu.

La réorganisation et la restructuration de la politique d’évaluation de l’OMS sont maintenant devenues un élément d’une initiative importante et coordonnée pour réformer la gestion de l’organisation. En prévision d’une session extraordinaire du Conseil exécutif en novembre 2011, le Secrétariat de l’OMS a produit une proposition de cinq éléments qui visent des réformes^{Note de bas de page 14} en matière de gestion portant sur les domaines suivants :

1. « efficacité de l’Organisation, harmonisation et efficience;
2. « politiques et gestion [améliorées] dans le domaine des ressources humaines;
3. « [plus grandes] planification axée sur les résultats, gestion et responsabilisation;
4. « financement [consolidé] de l’Organisation, s’accompagnant d’une stratégie institutionnelle de mobilisation des ressources;
5. « cadre stratégique de communication ».

Sous la planification axée sur les résultats, la gestion et la responsabilisation, les réformes liées à la gestion proposées visaient à délimiter « une approche de l’évaluation indépendante ».

Le Conseil exécutif a officiellement adopté la nouvelle politique d’évaluation à sa 131e Session, qui a été tenue en mai 2012^{Note de bas de page 15}. La politique vise à « favoriser une culture de l’évaluation et l’évaluation proprement dite au sein de l’Organisation; à proposer un cadre institutionnel d’évaluation consolidé aux trois niveaux de l’OMS et à faire en sorte que l’évaluation à l’OMS soit conforme aux pratiques exemplaires ainsi qu’aux normes et règles d’évaluation du Groupe des Nations Unies pour l’évaluation ».

La nouvelle politique^{Note de bas de page 16} choisit de renforcer le BSCI plutôt que de créer une nouvelle unité d’évaluation qui relèverait directement du Conseil exécutif. La politique délimite aussi en détail les rôles et les responsabilités du Conseil exécutif, du groupe de travail mondial sur l’évaluation nouvellement créé et du BSCI en ce qui a trait aux évaluations. Elle décrit aussi les principes qui guident tout le travail d’évaluation à l’OMS.

Les nouvelles tâches les plus importantes du BSCI incluent notamment : la préparation d’un plan de travail annuel pour l’évaluation de l’ensemble de l’Organisation; la tenue à jour d’une base de données en ligne des différentes évaluations effectuées à l’OMS; l’assurance que les rapports d’évaluation sont conformes à la politique; la tenue à jour d’un système de suivi de la mise en œuvre des réponses apportées par la direction aux évaluations; la soumission d’un rapport annuel sur les activités d’évaluation au Conseil exécutif, par le biais du directeur général.

Il reste à voir de quelle manière ces propositions seront mises en place et quel effet elles auront sur la force de la fonction d’évaluation à l’OMS. L’introduction de la nouvelle politique proposée décrit l’enjeu auquel est confronté l’OMS^{Note de bas de page 17} :

« D’un point de vue institutionnel plus large, elle [l’OMS] a moins bien réussi à promouvoir une culture de l’évaluation, à développer les capacités d’évaluation à tous les niveaux de l’Organisation et à appliquer des approches participatives de l’évaluation. Ceci s’explique par les dispositions institutionnelles relatives à l’évaluation (notamment l’absence de mécanisme direct de contrôle par les organes directeurs) et l’absence d’allocation budgétaire effective pour financer l’évaluation. »

L’OMS n’a pas encore fait l’objet d’un examen professionnel par les pairs du CAD et du Groupe des Nations Unies pour l’évaluation, et l’équipe d’examen n’a pas réalisé un tel examen. Cependant, celle-ci a mené son propre examen de la qualité des évaluations pour les inclure dans le rapport.

Les résultats de l’analyse de la qualité par l’équipe d’examen étaient mitigés : 52 % des évaluations examinées ont obtenu une note de 30 points ou plus et 24 % des évaluations ont reçu une note de moins de 19 points sur une possibilité de 48. Pour le critère 1 sur la qualité (les constatations tirées de l’évaluation sont pertinentes et fondées sur des données probantes), seulement trois rapports d’évaluation sur les 25 ont obtenu une note de moins de trois points sur une possibilité de cinq (voir l’Annexe 3, qui explique en détail la méthode d’examen, et l’Annexe 4, qui présente la grille de pointage pour juger la qualité de l’évaluation). Toutes les évaluations ont été conservées pour l’examen, puisque les notes étaient jugées raisonnables dans l’ensemble.

Les rapports d’évaluation de l’OMS étaient souvent axés sur les opérations et l’aspect technique, c’est-à-dire qu’ils portaient sur la mesure dans laquelle une méthode de prestation de service, un système de surveillance ou même l’introduction d’un nouveau vaccin donné était mis en œuvre plutôt que sur les changements qui en découlaient pour le groupe cible ou bénéficiaire. Un problème important se pose lorsqu’il s’agit de juger de la qualité des évaluations, puisque ces études (même si elles étaient souvent bien conçues selon leurs propres paramètres) manquaient souvent des principaux composants d’une évaluation de qualité (tels que les effets sur le groupe cible ou bénéficiaire) lorsqu’elles étaient évaluées en fonction de critères de qualité issus des normes du Groupe des Nations Unies pour l’évaluation.

Bien qu’aucune évaluation n’ait été écartée en raison de préoccupations relatives à la qualité, les rapports d’évaluation ne répondent pas à tous les critères déterminés dans les éléments essentiels à un développement efficace. C’est pourquoi chaque sous-critère examiné plus loin est abordé dans moins de 25 évaluations. Cet examen se penche sur les données disponibles à propos de chaque critère avant de présenter des résultats, et il ne présente pas de résultats pour certains critères.

Rapports sur les résultats

L’OMS ne prépare pas de rapport annuel sur l’efficacité de l’aide au développement ou de résumé annuel des résultats d’évaluation. Elle fournit cependant chaque année de nombreux rapports sur la situation mondiale et régionale en matière de santé à l’Assemblée mondiale de la santé. Elle présente aussi chaque année des rapports spéciaux sur des sujets précis d’intérêt planétaire et des questions touchant la santé publique. Tous les deux ans, l’OMS publie un rapport d’évaluation du rendement qui décrit la mesure dans laquelle elle a atteint ses objectifs et sous-objectifs stratégiques au cours des deux dernières années.

Système mondial de gestion

Depuis quelques années, l’OMS met en œuvre un système de suivi et de compte rendu des résultats fondé sur le système de gestion de base de données Oracle. Ce Système mondial de gestion existe depuis 2008 et est actuellement mis à jour après une longue phase de mise en œuvre. Il a pour but de mettre la planification, la mise en œuvre et le suivi des programmes et des projets en adéquation avec les objectifs stratégiques de l’agence au niveau ministériel, régional et national.

Depuis 2008, l’OMS a fait un effort pour mettre en place le système dans chaque région et, en janvier 2011, elle a pu informer le Conseil d’administration qu’elle avait réalisé des « progrès importants » dans la mise en œuvre du système dans cinq régions et à son siège. Le Conseil exécutif (EB128/3) était satisfait des progrès réalisés, mais le fait que la Région des Amériques/l’Organisation panaméricaine de la santé (OPS) ait choisi de ne pas utiliser ce système le préoccupait.

En mai 2011, le secrétariat de l’OMS a fait rapport des progrès réalisés dans la mise en œuvre du Système mondial de gestion au Comité du Programme, du Budget et de l’Administration au Conseil exécutif. Voici ce qu’on peut lire dans le rapport du comité au Conseil exécutif ^{Note de bas de page 18} :

« Le Comité s’est déclaré satisfait que le Système mondial de gestion ait été mis en place avec succès dans la Région africaine. Des questions ont été posées concernant la mise à jour prévue du Système et les coûts qu’elle entraînerait ainsi que les économies qui résulteront de sa mise en œuvre. Des questions ont également été posées au sujet de l’harmonisation entre le Système mondial de gestion et le nouveau système mis en place dans la Région des Amériques/à l’OPS. »

Selon la documentation actuellement disponible au sujet de ce système, il mettrait toujours l’accent sur les finances, l’administration, la planification de l’affectation des ressources et la gestion des ressources humaines. On ne sait pas encore si le système permettra de consolider le système de gestion et de présentation des résultats utilisé à l’OMS.

Lors de la Session extraordinaire sur la réforme de l’OMS, tenue en novembre 2011, le Conseil exécutif a accueilli avec satisfaction les propositions du directeur général relatives aux réformes gestionnaires et a demandé qu’il soit donné suite à plusieurs propositions, notamment celle visant à améliorer la surveillance et la notification^{Note de bas de page 19}. Tel que mentionné, à la suite de cette demande, on a proposé de créer une politique sur l’évaluation, que le Comité exécutif a officiellement adoptée lors de sa réunion de mai 2012. On ne sait pas encore si cette politique renforcera les exigences en matière d’établissement de rapports sur l’efficacité des programmes de l’OMS et surpassera celles qui s’appliqueraient dès la mise en œuvre complète du Système mondial de gestion.

Enfin, il faut tenir compte du fait que l’OMS a publié un rapport d’évaluation du rendement en mai 2012 pour faire le suivi des indicateurs de mesure des progrès visant l’atteinte des objectifs et sous-objectifs stratégiques au cours des deux dernières années^{Note de bas de page 20}. Un rapport semblable a été publié en 2010. Bien que les rapports ne fournissent que des renseignements mondiaux (et parfois régionaux) et qu’ils ne décrivent pas la méthode employée pour faire le suivi et la vérification des indicateurs, ils représentent un excellent pas dans la bonne direction en vue de la reddition de comptes sur le rendement de l’OMS.

2.0 Méthode

La présente section décrit brièvement les éléments principaux de la méthode employée pour effectuer l’examen. Une description plus détaillée de cette méthode se trouve à l’Annexe 3.

2.1 Raison d’être

En tant qu’importante organisation des Nations Unies, l’OMS a été choisie pour l’essai pilote de l’approche commune, de même que la Banque asiatique de développement (en tant que banque de développement multilatérale). Le fait que l’OMS ait été choisie a permis de faire un essai de l’approche sur un organisme spécialisé des Nations Unies ayant un fort mandat social. Les membres du DAC-EVALNET ont aussi manifesté un intérêt marqué pour l’examen de l’efficacité de l’OMS en tant qu’organisation essentielle aux efforts pour atteindre les Objectifs du Millénaire pour le développement (OMD) relatifs à la santé.

Le terme « approche commune » décrit le recours à une méthode standard, comme celle utilisée dans le présent examen, pour évaluer de manière uniforme l’efficacité de l’aide au développement des organisations multilatérales. Cette approche fournit un moyen économique et rapide d’évaluer l’efficacité, comparativement à une évaluation conjointe, qui est plus coûteuse et prend plus de temps^{Note de bas de page 21}. Elle a été élaborée dans le but de combler une lacune concernant l’efficacité des organisations multilatérales. Bien que ces organisations produisent des rapports annuels à l’intention de leur équipe de direction ou de leur conseil d’administration, les intervenants bilatéraux n’ont pas une vue d’ensemble exacte du rendement de ces organisations sur le terrain. Pour régler ce problème, le Réseau d’évaluation du rendement des organisations multilatérales (MOPAN) a entrepris des évaluations de l’efficacité organisationnelle. Cette approche complète les évaluations du MOPAN.

Selon l’approche commune, deux conditions particulières justifient la réalisation d’un examen fondé sur les rapports d’évaluation internes de l’organisation^{Note de bas de page 22} :

1. La nécessité de renseignements fondés sur des données probantes, mis à l’essai sur le terrain, concernant l’efficacité de l’organisation multilatérale.
2. L’organisation multilatérale à l’étude a une fonction d’évaluation qui produit un ensemble adéquat de données sur l’évaluation, fiables et crédibles, lesquelles appuient l’utilisation d’une méthode de métaévaluation permettant de faire la synthèse d’une évaluation de l’efficacité de l’organisation.

L’OMS a rempli l’une des deux exigences pour mener à bien un examen de l’efficacité au moment de l’essai pilote. On a clairement besoin de plus de renseignements fondés sur des données probantes, mis à l’essai sur le terrain, concernant l’efficacité de la programmation de l’OMS. Les résultats du deuxième essai étaient plus marginaux. La disponibilité de rapports d’évaluation de qualité raisonnable au moment de l’essai pilote était limitée, seulement 25 évaluations de la sorte ont été fournies par l’OMS au cours de la période 2007•2010 à l’équipe responsable de l’essai pilote. L’examen a été réalisé parce que ces 25 évaluations avaient pu aborder modérément quatre des six principaux critères employés pour évaluer l’efficacité. Cependant, cette faible quantité d’évaluations raisonnables limite la mesure dans laquelle les résultats peuvent être généralisés pour l’ensemble de l’organisation.

2.2 Portée

L’échantillon de 25 évaluations disponibles pour cet examen de l’OMS offre une couverture limitée du budget de programmation de plus de 4,5 milliards de dollars américains disponible pendant la période de deux ans (2010-2011). Il est difficile d’estimer le niveau de couverture fourni puisque les rapports d’évaluation ne donnent souvent pas de données sur la valeur globale des programmes évalués. Néanmoins, les évaluations montrent la portée à l’échelle nationale, régionale et mondiale ou thématique, et il y a certains liens intéressants entre l’échantillon et le profil du budget de l’OMS.

• Les maladies transmissibles (objectif stratégique 1) : 8 des 25 évaluations portaient sur la mise en œuvre de programmes élargis de vaccination dans toute un éventail de pays (République centrafricaine, République démocratique du Congo, Cameroun, Vietnam, Sierra Leone, Zambie et Philippines). Ces programmes contribuent directement au plus important objectif stratégique de l’OMS, en termes de valeur monétaire.
• Urgences et catastrophes (objectif stratégique 5) : 3 des 25 évaluations portaient sur l’intervention sanitaire en cas de crise dans une région ou un pays donné : 1 en Afrique, 1 au Myanmar et 1 en Palestine. (De plus, une évaluation de programme sur les interventions sanitaires en cas de crise était incluse dans la catégorie générale ci-dessous). Ces programmes contribuent au troisième objectif stratégique en importance en termes de financement.
• Un grand nombre d’évaluations examinées sont de portée générale ou organisationnelle. Elles comprennent entre autres :
  1. l’évaluation du département Pour une grossesse à moindre risque (2010);
  2. l’évaluation indépendante des principaux obstacles à l’interruption de la transmission du poliovirus (2009);
  3. l’évaluation indépendante du partenariat Halte à la tuberculose (2008);
  4. l’examen des programmes de nutrition de l’OMS à la lumière des défis planétaires et de la structure internationale de la nutrition (2008);
  5. l’évaluation de la mise en œuvre, des répercussions et des processus de la Stratégie pharmaceutique de l’OMS (2007);
  6. l’évaluation du Programme de renforcement institutionnel d’Interventions sanitaires en cas de crise (2007);
  7. l’évaluation des programmes – Aspects choisis du département de Santé publique et environnement (2007);
  8. l’évaluation thématique de la collaboration entre l’OMS et les centres partenaires (2007).

Cet examen porte sur des évaluations qui ont toutes été produites par l’OMS pendant la période qui s’étend du début de 2007 au milieu de 2010, moment où l’examen a été effectué (Annexe 3). Bien que certaines évaluations portent sur des programmes qui peuvent avoir eu lieu avant 2007, la plupart des activités de programmes de l’OMS abordées dans les évaluations examinées ont eu lieu entre 2007 et 2010. L’équipe d’examen a aussi analysé certains documents de l’OMS publiés en 2011 et au début de 2012 pour faire une mise à jour de certaines constatations tirées des évaluations examinées.

En somme, bien que la liste des évaluations appropriées pour l’examen que l’équipe de l’essai pilote a obtenue de l’organisation ne puisse se comparer aisément à la distribution des activités sur le plan géographique et de la programmation, elle fournit du moins un ensemble partiel de matériel d’évaluation testé sur le terrain portant sur l’efficacité. Pour cette raison (et pour apprendre les leçons qui pourraient être tirées de la réalisation de cette étude), l’équipe a effectué l’examen de l’efficacité (essai pilote) de l’OMS.

Outre les 25 évaluations, l’examen comportait une revue de documents stratégiques et de reddition de comptes pertinents de l’OMS, tels que les rapports du Comité du programme, du budget et de l’administration au Conseil exécutif, les rapports sur la réforme de l’OMS par le directeur général, des documents sur la politique d’évaluation, des rapports annuels et l’évaluation provisoire du plan stratégique à moyen terme (voir l’Annexe 6). Ces documents ont permis à l’équipe d’examen de juger de l’évolution permanente de l’évaluation et de la reddition de comptes sur les résultats à l’OMS et de mettre les constatations dans le contexte dans les rapports d’évaluation.

L’équipe d’examen a aussi mené une entrevue auprès du personnel du Bureau des services de contrôle interne (BSCI) à l’OMS pour mieux comprendre l’univers des rapports d’évaluations disponibles de l’OMS et mettre en contexte la situation changeante de la fonction d’évaluation. Enfin, l’équipe d’examen a mené une entrevue avec le gestionnaire de l’ACDI le plus directement responsable de la relation soutenue entre l’ACDI et l’OMS afin de mieux évaluer la contribution des organisations aux priorités de développement international du Canada.

2.3 Critères

La méthode employée ne repose pas sur une définition particulière de l’efficacité de l’aide au développement. Le groupe de gestion et le groupe de travail mis sur pied par le DAC-EVALNET dans le but de développer la méthode ont déjà cherché à déterminer s’il fallait formuler une définition explicite de l’efficacité. En l’absence d’une définition convenue de l’efficacité, la méthode vise l’évaluation de quelques-unes des caractéristiques essentielles qui permettent de démontrer l’efficacité des programmes des organisations multilatérales sur le plan du développement. Ces caractéristiques sont les suivantes :

1. Pertinence des interventions : les programmes sont adaptés aux besoins des membres du groupe cible;
2. Atteinte des objectifs de développement et des résultats escomptés : les programmes contribuent à l’atteinte des objectifs de développement et des résultats de développement escomptés à l’échelle nationale et locale dans les pays en développement;
3. Viabilité des résultats et des bienfaits : les bienfaits pour les membres du groupe cible et les résultats en matière de développement obtenus sont durables;
4. Efficacité : les programmes sont exécutés de façon efficace et rentable;
5. Thèmes transversaux (viabilité environnementale et égalité entre les sexes) : les programmes sont inclusifs en ce sens qu’ils appuient l’égalité entre les sexes et sont viables du point de vue environnemental (ainsi, ils ne compromettent pas les perspectives de développement futur);
6. Amélioration de l’efficacité à l’aide de l’évaluation et du suivi : les programmes contribuent efficacement au développement en permettant aux organismes participants et aux organisations qui appuient le développement de tirer parti des expériences antérieures et d’utiliser des outils de gestion du rendement et de responsabilisation, comme l’évaluation et le suivi de l’amélioration de l’efficacité au fil du temps.

La méthode utilisée pour l’examen fait donc appel à une métasynthèse systématique et structurée des constatations tirées d’évaluations de l’OMS, en fonction de 6 critères principaux et de 18 sous-critères qui sont considérés comme des éléments essentiels à un développement efficace (Annexe 5). Les principaux critères et sous-critères s’inspirent des critères d’évaluation du CAD.

2.4 Limites

Comme c’est toujours le cas avec les métaévaluations, des problèmes de nature méthodologique peuvent survenir et restreindre les constatations. Dans le cas du présent examen, les contraintes de nature méthodologique visent, notamment, les biais d’échantillonnage, la difficulté d’assurer une couverture adéquate des critères employés et les problèmes de classification des constatations tirées des évaluations.

La principale limite de cet examen de l’OMS vise le nombre de rapports d’évaluation disponibles au BSCI central et mis à la disposition de l’équipe responsable de l’examen en 2010 (couvrant la période allant de 2007 à 2010). L’ensemble des rapports d’évaluation disponibles et valides ne fournit pas, cependant, une couverture suffisante des programmes et des activités de l’OMS pendant la période pour permettre une généralisation des résultats des programmes de l’OMS dans son ensemble. Les 25 rapports d’évaluations disponibles fournissent cependant des impressions sur l’efficacité des programmes de développement de l’OMS évalués pendant cette période.

Une autre contrainte vient du fait que bon nombre de ces 25 évaluations n’abordent pas certains des sous-critères employés pour évaluer l’efficacité. Puisque les contraintes viennent du petit nombre d’évaluations disponibles et du manque de couverture de certains sous-critères, les constatations sont relevées plus bas seulement pour les critères dont la couverture a été cotée comme étant forte ou modérée.

3.0 Constatations relatives à l’efficacité de l’aide au développement de l’OMS

Pas suffisamment de données probantes pour tirer des conclusions sur l’OMS

La principale contrainte de cet examen était qu’il n’y avait que 25 rapports d’évaluation disponibles au BSCI central qui ont été mis à la disposition de l’équipe responsable de l’examen. Ce petit échantillon ne fournit pas une couverture suffisante des programmes et des activités de l’OMS pour permettre de généraliser les résultats à l’OMS dans son ensemble.

De plus, le nombre limité de rapports d’évaluation n’a pas permis aux examinateurs de contrôle le biais de sélection dans l’échantillon des évaluations. Cet enjeu est accentué par le fait que les rapports d’évaluation ne présentent pas toujours le rapport du budget du programme qui a été évalué.

Enfin, de nombreuses évaluations disponibles n’abordaient pas les sous-critères employés dans cet examen pour évaluer l’efficacité, ce qui limitait la quantité de renseignements sur lesquels cet examen pouvait faire le rapport.

Prises ensemble, ces contraintes font qu’il n’y a pas assez de renseignements pour tirer des conclusions sur l’efficacité de l’aide au développement de l’OMS. Cependant, dans l’intérêt de fournir des renseignements utiles et de synthèse, certaines constatations sont présentées plus bas.

Politique d’évaluation de 2012 de l’OMS

Une analyse de la politique d’évaluation de 2012 de l’OMS (section 3.6.4) indique que, bien que l’approbation d’une politique d’évaluation représente un pas positif, des lacunes demeurent dans la politique pour ce qui est de la planification, de l’établissement de priorités, de la budgétisation et de la divulgation des évaluations de l’OMS.

Un examen du Corps commun d’inspection des Nations Unies a aussi soulevé des inquiétudes à l’égard de l’indépendance et de la crédibilité des évaluations de l’OMS; selon cet examen, l’OMS devrait avoir une meilleure capacité d’évaluation centrale. On y recommande également qu’un examen par les pairs de la fonction d’évaluation soit mené par le Groupe des Nations Unies pour l’évaluation et présenté au Conseil exécutif de l’OMS d’ici 2014.

Observations sur l’efficacité de l’aide au développement de l’OMS

La présente section fait état des résultats de l’examen de l’efficacité de l’aide au développement relativement aux six critères principaux, et aux sous-critères qui leur sont associés (Tableau 2 et Annexe 5). En particulier, le tableau présenté ci-dessous décrit les cotes « Satisfaisant » et « Insatisfaisant » attribuées par l’équipe d’examen à chacun des six critères principaux, ainsi qu’aux sous-critères qui s’y rattachent. On y trouve également le nombre d’évaluations où chaque sous-critère est abordé (représenté par la lettre a)^{Note de bas de page 23}.

Aucun résultat n’est fourni pour les sous-critères abordés dans moins de dix évaluations. Lorsque la couverture d’un sous-critère donné est solide (c’est-à-dire que ce sous-critère est abordé dans 18 à 25 rapports d’évaluation) ou modérée (ce sous-critère est abordé dans 10 à 17 rapports), les résultats sur l’efficacité sont présentés.

Chacune des sections suivantes commence par un résumé de la couverture des critères et sous-critères et des principales constatations, et est suivie des principaux facteurs qui ont eu une incidence sur ces résultats. Une quantification du nombre d’évaluations qui abordent un facteur en particulier décrit l’importance des facteurs positifs et négatifs qui contribuent aux résultats pour chaque critère évalué.

3.1 Les programmes de l’OMS semblent cadrer avec les besoins des intervenants et les priorités nationales

3.1.1 Couverture des sous-critères

Comme le montre la Figure , les évaluations examinées abordent le sujet pertinent; quatre des cinq sous-critères (soit  1.1, 1.3, 1.4 et 1.5) ont obtenu une cote « élevée » au chapitre de la couverture. La couverture pour un sous-critère (soit 1.2) a reçu la cote « modérée », car ce sous-critère a été abordé dans 12 évaluations.

Figure 2 : Nombre d’évaluations abordant le sous-critère de la pertinence

3.1.2 Principales constatations

En somme, les évaluations examinées accordent une cote « élevée » aux projets et aux programmes appuyés par l’OMS sur une échelle de pertinence. En particulier, les programmes évalués répondent bien aux besoins des membres du groupe cible, sont harmonisés aux priorités nationales et leurs objectifs demeurent valides au fil du temps, comme le décrit la Figure 3 qui suit.

Pour ce qui est de savoir si les programmes et les projets financés par l’OMS sont adaptés aux besoins des membres du groupe cible (sous-critère 1.1), l’examen a permis de constater dans 16 des 18 rapports d’évaluation qui abordaient ce critère (soit 89 %) que les constatations étaient considérées comme satisfaisantes ou mieux, et que la moitié de ces évaluations lui donnait la cote « très satisfaisant ». Les 12 évaluations qui abordaient la question de l’harmonisation des programmes financés par l’OMS aux priorités et aux objectifs de développement nationaux (sous-critère 1.2) étaient cotées « satisfaisant » ou mieux.

Plus d’évaluations ont jugé le sous-critère 1.3 (l’efficacité des partenariats à tous les ordres de gouvernement); 11 des 18 évaluations (soit 61 %) l’ont coté « satisfaisant » ou mieux. Cependant, 7 évaluations (39 %) étaient cotées « insatisfaisant ».

Les 20 évaluations qui abordaient le sous-critère 1.4 sur la validité continue des objectifs des programmes ont relevé des constatations satisfaisantes ou mieux. La question de la correspondance entre les objectifs des programmes et les activités des programmes (sous-critère 1.5) n’était pas si claire; en effet, seulement 12 des 20 rapports d’évaluation (soit 60 %) ont déclaré que les constatations étaient satisfaisantes. Ces résultats reflètent aussi la nature technique de certaines évaluations de l’OMS, qui n’ont pas permis à l’équipe d’examen de vérifier que l’élaboration des projets incluait une évaluation systématique des liens de cause à effet entre les activités et extrants de programmes et les objectifs atteints.

Les conclusions de cet examen et celles de l’enquête du MOPAN de 2010 concordent sur le sujet de pertinence^{Note de bas de page 24}. L’OMS s’est classée au sommet de l’indicateur « adéquat » du MOPAN pour ce qui est des « résultats élaborés en consultation avec les bénéficiaires » et « fort » pour les indicateurs « résultats escomptés conformes aux stratégies de développement nationales » et « appuient les plans nationaux ».

Figure 3 : Pertinence des interventions (constatations en pourcentage du nombre d’évaluations qui abordent le sous-critère a, sur un total de 25 évaluations)

L’encadré ci-dessous illustre les résultats obtenus pour le critère 1.2, « Les programmes s’alignent sur les objectifs nationaux en matière de développement », comme on le fait remarquer dans l’évaluation de la santé des enfants au Guyana.

3.1.3 Facteurs déterminants

Deux facteurs importants ont contribué aux conclusions positives de l’évaluation dans le domaine de la pertinence :

• l’expérience de l’OMS à faire correspondre l’élaboration des programmes au fardeau (morbidité et mortalité) des maladies dans les pays où les programmes sont exécutés (11 évaluations)^{Note de bas de page 25};
• les consultations avec des intervenants clés à l’échelle nationale et locale pour veiller à ce que l’élaboration des programmes corresponde aux besoins des utilisateurs et aux priorités nationales.

L’encadré 2 fournit un exemple de la manière dont les consultations mondiales ont servi à définir le cadre des interventions de l’OMS dans les programmes d’interventions sanitaires en cas de crises dans les pays touchés par une crise.

Un certain nombre de facteurs ont contribué à quelques constatations insatisfaisantes tirées des évaluations dans le domaine de la pertinence :

• relations et responsabilités peu claires chez les gouvernements et les organisations non gouvernementales participants (2 évaluations);
• manque de coordination chez les organisations de soutien (OMS et Bureau de coordination des affaires humanitaires de l’ONU, par exemple), ce qui complique la coordination avec les partenaires d’administrations régionales et locales (1 évaluation);
• faible capacité des partenaires gouvernementaux et non gouvernementaux (1 évaluation);
• malentendus avec les programmes quant aux rôles des différents organismes et des différentes unités du gouvernement (1 évaluation).

3.2 L’OMS semble avoir atteint ses objectifs de développement et les résultats escomptés

3.2.1 Couverture

Deux des trois sous-critères de l’atteinte des objectifs et des résultats escomptés ont une couverture forte (sous-critère 2.1) ou modérée (sous-critère 2.2.). Comme l’illustre la Figure , la couverture du sous-critère 2.3 (Les programmes et les projets améliorent la situation d’un nombre considérable de bénéficiaires) était faible, puisque seulement huit évaluations abordaient le nombre de bénéficiaires des programmes.

Figure 4 : Nombre d’évaluations où les sous-critères relatifs à l’atteinte des objectifs sont abordés

3.2.2 Principales constatations

En somme, les évaluations examinées indiquent que les programmes de l’OMS atteignent leurs objectifs relatifs au développement et qu’ils permettent d’obtenir des avantages pour les membres du groupe cible désigné.

Des 21 rapports d’évaluation qui abordent le sous-critère 2.1 (les programmes et les projets atteignent les objectifs énoncés), 15 évaluations (71,4 %) indiquent que les constatations sont satisfaisantes, tandis que seulement six évaluations (28,6 %) ont été notées comme étant insatisfaisantes. Les programmes de l’OMS ont aussi permis d’obtenir des avantages pour les membres du groupe cible, comme le font remarquer les constatations de 9 des 14 évaluations (64 %) qui abordent le sous-critère 2.2.

Figure 5 : Résultats quant à l’atteinte des objectifs (constatations en pourcentage du nombre d’évaluations qui abordent le sous-critère a sur un total de 25 évaluations)

Les encadrés 3 et 4 illustrent la manière dont les programmes de l’OMS atteignent leurs objectifs de développement. L’Encadré 3 indique que l’OMS était en mesure de jouer un rôle de courtage neutre afin de jouer un rôle de chef de file dans la coordination du groupe des Nations Unies responsable de la santé pendant les opérations d’urgence en Afrique. L’encadré 4 donne un exemple des programmes de l’OMS qui contribuent aux résultats positifs visant la santé des nouveau-nés et des enfants au Cambodge.

3.2.3 Facteurs déterminants

Deux facteurs communs ont été observés dans les évaluations comme déterminant l’atteinte des objectifs de développement dans les programmes de l’OMS :

• des éléments techniques solides dans l’élaboration des programmes qui correspondent aux interventions dans les programmes pour alléger le fardeau des maladies (11 évaluations);
• des niveaux élevés de prise en charge à l’échelle nationale et locale à la suite de processus de consultation de l’élaboration de programmes (4 évaluations).

Lorsque les évaluations ont permis d’observer que les avantages pour les membres du groupe cible manquaient ou étaient limités dans leur portée, les évaluations ont permis de constater :

• une mise en œuvre faible ou retardée (2 évaluations);
• un manque de financement adéquat et de ressources humaines investis dans le programme (1 évaluation);
• des retards dans la hausse prévue de financement de la part des donateurs (1 évaluation).

3.3 Les avantages des programmes de l’OMS semblent être durables, mais le maintien des capacités de ses partenaires suppose des difficultés

3.3.1 Couverture des sous-critères

Les évaluations ont fourni un niveau de couverture modéré pour les sous-critères d ’évaluation de la viabilité. Le sous-critère 3.1 (les avantages des programmes sont susceptibles de continuer) a été abordé par 11 rapports d’évaluation, tandis que le sous-critère 3.2 (les programmes appuient la capacité institutionnelle) a été abordé dans 16 des 25 rapports d’évaluation.

Figure 6 : Nombre de rapports d’évaluation qui ont abordé les sous-critères relatifs à la viabilité

3.3.2 Principales constatations

Les constatations relatives à la viabilité reflètent un niveau de rendement mitigé (Figure 7). Les évaluations examinées indiquent que les avantages des programmes de l’OMS sont durables, mais qu’il y a des enjeux importants pour s’assurer que les dispositions institutionnelles pour la prestation continue des programmes sont durables. Pour le sous-critère 3.1 (les avantages des programmes sont susceptibles de continuer), 8 des 11 rapports d’évaluation (73 %) font état de constatations satisfaisantes ou mieux. À l’opposé, pour le sous-critère 3.2 (les programmes appuient la capacité institutionnelle), seulement 37 % des évaluations font état de constatations positives, puisque 10 des 16 évaluations ont donné une note insatisfaisante ou plus faible.

Figure 7 : Viabilité des résultats et des bienfaits (résultats exprimés sous forme de pourcentage du nombre d’évaluations abordant le sous-critère a sur un total de 25 évaluations)

3.3.3 Facteurs déterminants

Trois facteurs ont été mentionnés dans les évaluations comme contribuant à la viabilité des résultats des programmes de l’OMS :

• une prise en charge à l’échelle nationale et locale forte (4 évaluations);
• des processus de consultation pour déterminer les principaux enjeux en matière de santé et s’entendre sur les dispositions de mise en œuvre de solutions (4 évaluations);
• l’utilisation des réseaux locaux pour maintenir la réussite des dispositions des programmes de vaccination.

Deux facteurs ont été déterminés comme contribuant à des résultats moins que satisfaisants quant à la viabilité :

• l’absence de ressources financières adéquates et soutenues des gouvernements et des donateurs pour maintenir les services des programmes au niveau actuel (1 évaluation);
• des problèmes liés à l’interruption de services de l’OMS dans des pays et des régions en crise (1 évaluation).

L’Encadré 5 illustre une capacité institutionnelle locale forte et le recours au réseautage pour améliorer l’efficacité et la viabilité des programmes.

3.4 Les évaluations de l’OMS n’ont pas traité de l’efficience

3.4.1 Couverture

En règle générale, les évaluations de l’OMS n’ont pas traité de l’efficience pendant la période se situant entre 2007 et 2010. Dans les deux sous-critères regroupés sous la rubrique de l’efficience, la combinaison d’un échantillon de petite taille et du petit nombre de cas valides mine gravement la validité des observations que l’on peut faire à partir des évaluations examinées. Le sous-critère 4.1, « Les programmes évalués sont efficaces par rapport au coût », n’a été traité que dans neuf rapports d’évaluation (36 % de l’échantillon). Seulement cinq évaluations ont traité du sous-critère 4.2, « Les programmes ont été exécutés et les objectifs ont été atteints dans les délais prévus ». Par conséquent, aucun résultat n’est présenté pour ces sous-critères.

Les résultats de l’enquête et de l’analyse des documents du MOPAN ne sont pas directement comparables avec les critères de l’efficience du présent examen. Le MOPAN mesure la rapidité d’exécution des programmes et des projets, mais pas la rapidité avec laquelle les objectifs sont atteints.

Figure 8 : Nombre de rapports d’évaluation qui ont abordé les sous-critères relatifs à l’efficience

3.4.2 Facteurs déterminants

Lorsque les rapports d’évaluation ont traité de ces sous-critères, ils ont plus souvent qu’à leur tour constaté des facteurs qui ont nui à l’efficience. Une caractéristique commune de ces constatations est l’existence d’un lien entre les retards dans la mise en œuvre des programmes et l’augmentation des coûts. Les facteurs qui contribuent à l’obtention de résultats insatisfaisants relativement à l’efficience des programmes sont entre autres :

• des pratiques de passation des marchés inefficientes et chronophages (1 évaluation);
• la faiblesse du suivi permanent des dépenses (1 évaluation);
• les retards dans le décaissement des fonds par les gouvernements partenaires (1 évaluation);
• le manque de formation adéquate pour les logisticiens (1 évaluation);
• les retards dans le processus d’approbation pour le transfert des fonds aux autres partenaires de l’ONU (1 évaluation);
• la faiblesse de l’information financière, notamment sur le coût des opérations des organisations partenaires locales (1 évaluation);
• les retards dans la mobilisation des ressources, y compris le personnel à forfait (1 évaluation).

3.5 Les évaluations de l’OMS n’ont pas traité de l’égalité entre les sexes et de la viabilité de l’environnement

3.5.1 Couverture

Les évaluations de l’OMS n’ont pas régulièrement traité de l’efficacité des programmes à appuyer l’égalité entre les sexes ou de la viabilité de l’environnement (Figure 9). Le sous•critère 5.1, « Les programmes traitent efficacement de l’égalité entre les sexes », n’a été abordé dans aucun des 25 rapports d’évaluation examinés. Le sous•critère 5.2, « Les changements sont écologiquement viables », n’a été abordé que dans un seul rapport d’évaluation. Par conséquent, aucun résultat n’est présenté pour ces sous-critères.

L’absence de l’égalité entre les sexes en tant qu’enjeu dans les évaluations de l’OMS représente un manque crucial d’information sur l’efficacité de l’organisation.

Figure 9 : Nombre d’évaluations qui ont abordé les sous-critères relatifs à l’égalité entre les sexes et à la viabilité de l’environnement

L’absence de considérations liées à l’égalité entre les sexes dans les évaluations complète l’étude du MOPAN sur l’OMS, réalisée en 2010, qui a attribué à l’intégration de l’égalité entre les sexes la note « solide » dans son analyse des documents, mais seulement « suffisant » dans les réponses à l’enquête. Le MOPAN fait remarquer : « Au chapitre de l’intégration de l’égalité entre les sexes et des approches axées sur les droits de la personne à l’OMS, le classement divergent entre l’analyse des documents et l’enquête laisse entendre que bien que l’OMS intègre les cadres stratégiques et les directives obligatoires dans ses documents, elle ne les applique peut-être pas encore de façon cohérente dans ses activités de programmation à tous les échelons de l’organisation^{Note de bas de page 26} » [Traduction].

Les constatations du présent examen rejoignent celles du rapport réalisé par l’OMS en 2011 sur l’évaluation de référence de la stratégie de l’OMS sur l’égalité entre les sexes, qui a révélé que moins de 5 % des agents de planification intégraient « solidement » les questions hommes-femmes aux étapes du suivi et de l’évaluation de la programmation de l’OMS^{Note de bas de page 27}.

Quant au thème transversal de la viabilité de l’environnement, le MOPAN a une opinion plus favorable, en soulignant que « les tentatives de l’OMS d’intégrer l’environnement à ses activités de programmation ont été considérées comme suffisantes par les répondants à l’enquête et solides par l’analyse des documents » [Traduction]. Le présent examen n’a pas été en mesure de fournir de résultats sur l’intégration de l’environnement.

3.6 Les évaluations font état de lacunes dans les systèmes de suivi et d’évaluation

3.6.1 Couverture des sous-critères

La prudence est de mise lorsque vient le temps d’interpréter les résultats obtenus concernant le recours au suivi et à l’évaluation pour améliorer l’efficacité puisque la couverture de deux sous-critères sur quatre a été jugée faible (Figure 10). Le sous-critère 6.1, « Les systèmes et les processus d’évaluation sont efficaces », a été traité dans 16 rapports d’évaluation et sa couverture a été considérée comme moyenne. Le sous-critère 6.2, « Les systèmes et les processus de suivi sont efficaces », a été traité dans 19 évaluations et sa couverture a été considérée comme solide. Les deux derniers sous-critères, « Les systèmes et les processus de gestion axée sur les résultats sont efficaces » et « Les résultats de l’évaluation sont utilisés pour améliorer l’efficacité de l’aide au développement », ont été traités dans moins de 10 rapports d’évaluation et leur couverture a été classée comme faible.

Figure 10 : Nombre de rapports d’évaluation qui ont abordé le sous-critère relatif au recours à l’évaluation pour améliorer l’efficacité de l’aide au développement

3.6.2 Principales constatations

Les systèmes et les processus en vigueur à l’OMS pour utiliser le suivi et l’évaluation dans le but d’améliorer l’efficacité ont été évalués comme insatisfaisants. Les rapports d’évaluation qui ont traité du sous-critère 6.1, « Les systèmes et les processus d’évaluation sont efficaces », ont souvent fait état de constatations insatisfaisantes car seulement 7 évaluations sur 16 (44 %) ont coté les constatations « satisfaisant » ou mieux. Dans le même ordre d’idées, seulement 8 évaluations sur 19 (42 %) ont attribué la cote « satisfaisant » ou mieux au sous-critère 6.2, « Les systèmes et les processus de suivi sont efficaces ».

Figure 11 : Recours à l’évaluation et au suivi pour améliorer l’efficacité de l’aide au développement (résultats exprimés sous forme de pourcentage du nombre d’évaluations abordant chaque sous-critère (= a), n = 25)

Les constatations de l’enquête du MOPAN concordent avec celles du présent examen. Le rapport du MOPAN conclut que l’indépendance du Bureau des services de contrôle interne a été considérée comme suffisante par les répondants à l’enquête et par l’analyse des documents. Toutefois, d’autres constatations de l’évaluation laissent entendre que la fonction d’évaluation de l’OMS devrait être renforcée : la couverture des évaluations est restreinte et difficile à établir avec précision à cause de la nature décentralisée de l’évaluation; il n’y a pas d’archivage central pour les évaluations (bien qu’un inventaire existe) et il est difficile de consulter les évaluations dans le site Web de l’OMS^{Note de bas de page 28}.

Les résultats de l’enquête du MOPAN démontrent que la probabilité que les programmes fassent l’objet d’une évaluation par des tiers était presque au bas de la fourchette « suffisant ». Toutefois, 40 % des répondants ont répondu « ne sais pas » à cette question et l’analyse des documents a classé le rendement de l’OMS comme « insuffisant ».

L’analyse des documents du MOPAN a classé comme « suffisant » les modifications aux stratégies, aux politiques et à la programmation qui découlent de l’information sur le rendement, mais mentionne : « Bien qu’il y ait des évaluations périodiques des programmes de l’OMS (qui évaluent les résultats des activités de l’OMS dans le cadre d’évaluations thématiques, de programmes ou par pays), les rapports présentés au Conseil exécutif ne semblent pas prendre appui sur les constatations ou les recommandations des évaluations^{Note de bas de page 29} » [Traduction]. Dans le même ordre d’idées, le MOPAN n’a trouvé qu’un seul exemple concret d’information sur le rendement menant à des modifications à la programmation.

3.6.3 Facteurs déterminants

Trois facteurs ont été cités comme ayant contribué à l’obtention de résultats favorables relativement à la solidité des systèmes d’évaluation et de suivi :

• une tradition d’examen conjoint des programmes de l’OMS qui réunit l’OMS, les gouvernements des pays hôtes et d’autres intervenants (3 évaluations);
• l’habitude de tenir des évaluations périodiques ou à mi-mandat pour les nouveaux programmes, par exemple lors du lancement d’un nouveau vaccin (3 évaluations);
• l’habitude de tenir des évaluations externes par des tiers pour les programmes de grande envergure soutenus par l’OMS (2 évaluations).

La critique la plus fréquemment émise à l’égard des systèmes et des procédures d’évaluation concerne l’absence de référence, dans les rapports d’évaluation, à des évaluations semblables du même programme dans le passé ou à des évaluations prévues (4 évaluations). En règle générale, les rapports d’évaluation n’ont pas joint d’information qui permettait à l’équipe d’examen de situer la présente évaluation dans le contexte d’un système ou d’un processus plus vaste qui exige une évaluation systématique des programmes faisant l’objet de l’examen.

Les autres facteurs qui ont contribué à l’obtention de résultats moins que satisfaisants sur le plan de la solidité des systèmes d’évaluation et de suivi sont les suivants :

• les lacunes institutionnelles parmi les partenaires et, plus précisément, l’absence de dotation des postes de suivi et d’évaluation, qui sont une caractéristique des exigences en matière de conception de programmes (4 évaluations);
• certaines données sont absentes ou bien les données convenues n’ont pas été collectées d’une façon régulière et fiable (6 évaluations);
• certains partenaires de l’OMS ont le sentiment que les exigences relatives à la collecte des données sont trop bureaucratiques et que les données ne seront pas utilisées, ce qui fait en sorte qu’ils consacrent moins d’efforts à la collecte des données (1 évaluation).

L’Encadré 6 illustre comment le manque de ressources et le faible engagement envers l’exigence de présenter des rapports sur les résultats (perçue comme trop bureaucratique) ont nui à l’efficacité du suivi et de l’évaluation.

3.6.4 Coup d’œil sur la politique d’évaluation de 2012 de l’OMS

Une brève comparaison de la politique d’évaluation de 2012 de l’OMS et des normes du Groupe des Nations Unies sur l’évaluation (GNUE) fait ressortir des améliorations et des secteurs qui doivent continuer d’obtenir l’attention de l’OMS. Le Groupe des Nations Unies sur l’évaluation est un réseau qui vise à réunir les unités spécialisées en évaluation dans le système des Nations Unies. Ses normes d’évaluation pour le système des Nations Unies décrivent entre autres les attentes à l’égard des politiques d’évaluation parmi les organisations membres. Le Tableau 3 compare la norme du GNUE avec la nouvelle politique de l’OMS en matière d’évaluation.

Tableau 3 : Comparaison des normes du Groupe des Nations Unies sur l’évaluation et de la politique d’évaluation de l’OMS

Exigence du GNUE :
Expliquer clairement la notion d’évaluation et le rôle de l’évaluation au sein de l’organisation

Est-elle traitée par la politique d’évaluation de l’OMS?
Oui.

Exigence du GNUE :
Définir clairement les rôles et les responsabilités des spécialistes de l’évaluation, de la haute direction et des gestionnaires de programme

Est-elle traitée par la politique d’évaluation de l’OMS?
Oui, mais pas clairement – Le rôle des gestionnaires de programme est décrit dans la section « utilisation et suivi », mais sans énoncer de responsabilités claires en matière de surveillance et de reddition de comptes.

Exigence du GNUE :
Insister sur la nécessité de respecter les lignes directrices de l’organisation en matière d’évaluation

Est-elle traitée par la politique d’évaluation de l’OMS?
En partie – Les principes et les normes en matière d’évaluation sont clairement exprimés et la politique contient une sous-section sur la « qualité », qui fait référence aux « lignes directrices applicables ». Bien que la nouvelle politique remplace les lignes directrices antérieures en matière d’évaluation, l’OMS ne semble pas encore avoir mis en place de nouvelles lignes directrices en matière d’évaluation.

Exigence du GNUE :
Expliquer l’établissement des priorités et la planification des évaluations

Est-elle traitée par la politique d’évaluation de l’OMS?
En partie – La politique dresse une liste de facteurs qui seront pris en compte dans la planification des évaluations et l’établissement des priorités, mais elle reste vague dans l’ensemble.

Exigence du GNUE :
Décrire l’organisation, la gestion et la budgétisation des évaluations

Est-elle traitée par la politique d’évaluation de l’OMS?
En partie – La politique contient une description claire de l’organisation et de la gestion des évaluations, mais la budgétisation ne décrit pas les sources de financement.

Exigence du GNUE :
Insister sur l’exigence d’assurer le suivi des évaluations

Est-elle traitée par la politique d’évaluation de l’OMS?
Oui.

Exigence du GNUE :
Énoncer clairement la nécessité de divulguer et de diffuser les rapports

Est-elle traitée par la politique d’évaluation de l’OMS?
En partie – Un énoncé est fourni, mais il est vague : « l’OMS mettra les rapports d’évaluation à la disposition du public en conformité avec la politique de l’organisation en matière de divulgation ». La référence à une politique de divulgation risque de dérouter les lecteurs, qui se demanderont quels rapports d’évaluation seront rendus publics.

Comme le Tableau 3 le démontre, des lacunes persistent dans la politique d’évaluation concernant la planification, l’établissement de priorités, la budgétisation et la diffusion des évaluations de l’OMS. De plus, l’OMS gagnerait à mieux préciser les rôles et les responsabilités des gestionnaires de programme concernant les évaluations et à préciser les lignes directrices qu’elle utilisera pour juger la qualité des évaluations.

En 2012, le Corps commun d’inspection des Nations Unies a procédé à un examen de la gestion, de l’administration et de la décentralisation à l’Organisation mondiale de la santé^{Note de bas de page 30}. L’examen soulève des préoccupations quant à l’indépendance et à la crédibilité des évaluations de l’OMS, laisse entendre que l’OMS devrait posséder une capacité d’évaluation centrale plus solide et recommande qu’un examen par les pairs de la fonction d’évaluation soit effectué par le Groupe des Nations Unies sur l’évaluation et présenté au Conseil exécutif de l’OMS avant 2014.

4.0 L’OMS et les priorités du Canada en matière de développement international

En mai 2009, la ministre de la Coopération internationale a annoncé que le Canada concentrerait son aide au développement sur trois priorités thématiques : accroître la sécurité alimentaire, favoriser une croissance économique durable et assurer l’avenir des enfants et des jeunes. Dans un premier temps, on examine la relation entre le Canada et l’OMS, y compris la responsabilité en matière de gestion à l’ACDI; puis, on se penche sur la mesure dans laquelle l’OMS contribue aux priorités du Canada en matière de développement international et sur la mise en œuvre des objectifs stratégiques de l’ACDI au chapitre de la collaboration avec l’OMS.

Figure 12 : Les priorités thématiques du Canada

• Accroître la sécurité alimentaire des pauvres dans les pays et les régions partenaires où la sécurité alimentaire a été retenue comme priorité de premier plan;
• Favoriser une croissance économique durable qui augmentera la production de revenus, générera de l’emploi et provoquera une réduction de la pauvreté dans les pays en développement;
• Soutenir les filles, les garçons, les jeunes femmes et les jeunes hommes pour qu’ils deviennent les citoyens en santé, scolarisés et productifs de demain.

4.1 L’appui de l’ACDI à l’OMS

En 2010-2011, le Canada, par l’intermédiaire de l’ACDI, arrivait au troisième rang des donateurs pour ce qui est des contributions volontaires fournies à l’OMS, dépassé seulement par les États•Unis et le Royaume•Uni^{Note de bas de page 31}.

Avec 284 millions de dollars canadiens versés par l’ACDI au cours des quatre exercices financiers de 2007•2008 à 2010•2011, l’OMS arrive au huitième rang des organisations multilatérales appuyées par l’ACDI en valeur monétaire. Dans le domaine de la santé, seul le Fonds mondial de lutte contre le sida, la tuberculose et le paludisme (FMLSTP), qui a reçu 450 millions de dollars canadiens en appui de l’ACDI pendant la même période, dépasse l’OMS.

Le volume du soutien financier de l’ACDI à l’égard de l’OMS illustre l’importance de l’organisation en tant que mécanisme de prestation de l’aide au développement du Canada. Il démontre également l’importance du Canada pour l’OMS en tant que source de financement. Le Tableau 4 donne un aperçu des formes de soutien de l’ACDI à l’OMS au cours des quatre dernières années.

4.2 Gestion de la relation de l’ACDI avec l’OMS

Santé Canada assume la responsabilité première au regard de la coopération du Canada avec l’OMS et dirige la délégation canadienne à l’Assemblée mondiale de la santé. En 2009, le Canada a été élu pour un mandat de trois ans au Conseil exécutif de l’OMS (jusqu’en 2012).

Le cadre stratégique de Santé Canada oriente le mandat du Canada au Conseil exécutif et sa collaboration générale avec l’OMS. Ce cadre prévoit deux grands objectifs stratégiques : favoriser le renforcement de l’organisation et de ses capacités pour qu’elle réponde efficacement aux besoins changeants des États membres; protéger la santé et le mieux-être des Canadiens et faire progresser les objectifs de politique de développement international, de politique étrangère et de politique nationale qui sont liés à la santé mondiale.

La Stratégie de coopération de l’ACDI avec l’Organisation mondiale de la santé décrit de façon assez détaillée le rôle de l’ACDI dans la gestion de cette relation^{Note de bas de page 32} :

« L’ACDI collabore avec l’OMS de deux importantes façons : le dialogue sur les politiques et la programmation en matière d’aide au développement dans des domaines comme les maladies infectieuses, la santé de l’enfant et l’aide humanitaire. L’ACDI entretient depuis longtemps des relations fructueuses avec l’OMS, s’associant à cette organisation dans le cadre de nombreuses initiatives importantes, dont l’Initiative « 3 millions d’ici 2005 », l’Initiative mondiale pour l’éradication de la poliomyélite et le Dispositif mondial pour l’approvisionnement en médicaments. En outre, l’OMS joue un rôle clé dans l’élaboration d’indicateurs sur la santé et la collecte de données à l’appui de l’Initiative sur la santé des mères, des nouveau-nés et des enfants lancée par le Canada lors du Sommet du G8. »

Le personnel de la Direction générale des programmes multilatéraux et mondiaux à l’administration centrale de l’ACDI collabore avec le personnel de la mission permanente du Canada auprès de l’Office des Nations Unies à Genève pour assurer un dialogue cohérent et permanent sur les politiques et les programmes. Plus récemment, le personnel de la Direction générale des programmes multilatéraux et mondiaux a joué un rôle actif dans la promotion du processus de réforme en cours à l’OMS, en insistant particulièrement sur l’amélioration des politiques et des pratiques d’évaluation et de suivi.

4.3 Alignement sur les priorités thématiques du Canada

4.3.1 Accroître la sécurité alimentaire

Conformément à l’objectif stratégique 9 de l’OMS, l’organisation effectue des activités techniques et normatives cruciales pour favoriser une meilleure nutrition, notamment pour les femmes enceintes ou qui allaitent, les enfants et les personnes touchées par des crises. De plus, comme le souligne l’examen de ses programmes en santé des nouveau-nés et des enfants au Cambodge, l’OMS promeut l’allaitement précoce, le maintien de l’allaitement pendant au moins six mois et l’apport en micronutriments, dont l’utilisation du sel iodé. En outre, à titre de chef du groupe sectoriel Santé sur les secours d’urgence, l’OMS communique des lignes directrices sur les rations efficaces à utiliser pendant l’aide alimentaire d’urgence et les opérations de secours et de redressement à plus long terme. Les dépenses de l’OMS en vertu de l’objectif stratégique 9 (nutrition et sécurité sanitaire des aliments) contribuent directement à l’objectif d’accroître la sécurité alimentaire dans les pays en développement.

4.3.2 Favoriser une croissance économique durable

L’OMS contribue indirectement à l’objectif de favoriser une croissance économique durable. Au moyen de l’objectif stratégique 10 (systèmes et services de santé), l’OMS vise à améliorer les services de santé publique dans les pays en développement en renforçant la gouvernance, le financement, la dotation en personnel et la gestion. De plus, elle agit directement pour appuyer les systèmes d’information sur la santé pour qu’ils fournissent des données fiables et accessibles qui servent de fondement solide aux politiques de santé publique. En 2010, l’OMS a dépensé 136 millions de dollars américains pour appuyer les systèmes et les services de santé (7,3 % des dépenses globales).

Il va de soi que les dépenses dans d’autres aspects du mandat de l’OMS favoriseront également la croissance économique durable en réduisant les heures de travail perdues à cause de la maladie et en réduisant le fardeau des maladies qui freinent la productivité et font basculer les gens dans la pauvreté. Ces autres secteurs d’activité de l’OMS sont : les maladies transmissibles (objectif stratégique 1), le VIH/sida, la tuberculose et le paludisme (objectif stratégique 2), les maladies chroniques non transmissibles (objectif stratégique 3), les facteurs de risque pour la santé (objectif stratégique 6), les déterminants sociaux et économiques de la santé (objectif stratégique 7), et les technologies et les produits médicaux (objectif stratégique 11). Mis ensemble, ces objectifs, qui ont représenté plus de 1,1 milliard de dollars américains en dépenses par l’OMS en 2010 (61 % du total), contribuent de manière importante à créer les conditions nécessaires à la croissance économique durable dans de nombreux pays en développement.

4.3.3 Assurer l’avenir des enfants et des jeunes

Dans la mesure où les programmes de l’OMS ont atteint leurs objectifs de développement, il ne fait aucun doute que l’organisation a fait un apport à la priorité du Canada qui consiste à assurer l’avenir des enfants et des jeunes. Les dépenses de l’OMS en vertu de l’objectif stratégique 4 (santé de l’enfant, de l’adolescent et de la mère, et vieillissement) visent souvent à améliorer la santé des enfants et des adolescents ainsi que de leur mère et contribuent ainsi à assurer leur avenir. Dans le même ordre d’idées, les dépenses en vertu de l’objectif stratégique 9 (nutrition et sécurité sanitaire des aliments) portent souvent sur les besoins nutritionnels des enfants et de leur mère.

La programmation relative à l’objectif stratégique 1 (maladies transmissibles) englobe les programmes élargis de vaccination qui apportent des avantages directs aux enfants en les protégeant contre les infections évitables. L’objectif stratégique 2 (VIH/sida, tuberculose et paludisme) comprend le soutien à la prévention de la transmission du VIH/sida de la mère à l’enfant ainsi que, bien entendu, le soutien aux programmes nationaux de lutte contre le paludisme et la tuberculose.

Les dépenses combinées de l’OMS en vertu des objectifs stratégiques 1, 2, 4 et 9 ont représenté 1,1 milliard de dollars américains en 2010 (58 % du total).

Enfin, l’OMS effectue périodiquement des travaux normatifs importants sur la santé des enfants et des adolescents tels que l’élaboration et la promotion de lignes directrices sur la Prise en charge intégrée des maladies de l’enfant (PCIME). Un de ces exemples est illustré dans l’Encadré 7.

4.4 De quelle manière l’OMS contribue-t-elle à l’atteinte des objectifs stratégiques déterminés par l’ACDI?

L’ACDI, de concert avec les autres ministères canadiens, axe ses efforts sur deux objectifs stratégiques dans sa collaboration avec l’OMS^{Note de bas de page 33} :

1. Renforcer le partenariat de l’ACDI avec l’OMS en soutien aux priorités du développement dans le domaine de la santé, particulièrement ayant trait à la santé des mères et des enfants, et de la nutrition;
2. Appuyer l’OMS en tant que partenaire institutionnel clé, en encourageant une organisation plus efficace et plus solide.

4.4.1  Favoriser les travaux de l’OMS dans les priorités du développement en matière de santé

Dans la première de ses deux priorités pour la collaboration avec l’OMS, l’ACDI s’engage à appuyer le mandat de l’OMS en tant qu’organisme directeur mondial en santé publique. L’ACDI encourage également l’organisation à miser sur ses points forts pour appuyer les priorités du développement du Canada, particulièrement en santé des mères et des enfants, et en nutrition. Les rapports d’évaluation examinés n’abordent pas directement la question à savoir si l’OMS tire le meilleur parti de ses forces dans les domaines de la santé des mères et des enfants, et de la nutrition, bien que l’organisation affecte des ressources considérables à des programmes dans ce secteur. Dans le même ordre d’idées, le profil des budgets et des dépenses de l’OMS démontre que l’organisation est active dans les secteurs prioritaires de l’ACDI que sont les ressources humaines en santé et le renforcement des systèmes de gestion et d’information sur la santé.

4.4.2 Favoriser une organisation plus efficace et plus solide

Des entrevues avec le personnel de l’ACDI et une analyse des documents sur la réforme de l’OMS (y compris les rapports au Conseil et les décisions du Conseil en 2010, 2011 et 2012) démontrent que l’ACDI a joué un rôle très actif au Conseil exécutif et à l’Assemblée mondiale de la santé pour faire progresser d’importantes réformes organisationnelles. Les propositions faites par le directeur général et les décisions du Conseil exécutif à la session extraordinaire sur la réforme de l’OMS (EBSS/2/DIV/2) en novembre 2011 démontrent que des changements importants sont enclenchés à propos des programmes et de l’établissement des priorités, de la gouvernance et des réformes de gestion. Sous la rubrique des réformes de gestion, la session extraordinaire de novembre 2011 a demandé de donner suite aux propositions détaillées dans les domaines suivants :

• l’efficacité, l’alignement et l’efficience de l’organisation;
• le financement de l’organisation;
• les politiques et la gestion des ressources humaines;
• la planification, la gestion et la responsabilisation axée sur les résultats (ce qui comprend l’évaluation par des tiers);
• les communications stratégiques.

L’ACDI a clairement accordé son appui à ces réformes et jouera un rôle important dans le suivi de leur efficacité. Il est encore trop tôt pour dire si les propositions approuvées à la réunion de mai 2012 du Conseil exécutif de l’OMS amèneront les améliorations souhaitées dans l’efficacité de l’organisation. Néanmoins, elles représentent une première étape importante pour concrétiser cette priorité de l’ACDI dans sa collaboration avec l’organisation.

5.0 Conclusions

5.1 Pas suffisamment de données probantes pour tirer des conclusions sur l’OMS

Cet examen a principalement permis de constater que l’ensemble limité des rapports d’évaluation disponibles et valides ne contient pas assez de renseignements pour tirer des conclusions quant à l’efficacité de l’aide au développement de l’OMS.

Les rapports d’évaluation disponibles, bien que limités, fournissent des impressions sur l’efficacité de ces programmes de l’OMS. Les résultats de l’examen sont présentés ci-dessous, mais ne peuvent être généralisés à l’organisation dans son ensemble.

Une analyse de la politique d’évaluation de 2012 de l’OMS indique que, bien que l’approbation d’une politique d’évaluation constitue un pas dans la bonne direction, des lacunes demeurent dans la politique pour ce qui est de la planification, de l’établissement de priorités, de la budgétisation et de la divulgation des évaluations de l’OMS. De plus, l’OMS pourrait éclaircir davantage les rôles et les responsabilités des gestionnaires de programme à l’égard des évaluations et fournir des conseils pour juger la qualité des évaluations.

En 2012, un examen du Corps commun d’inspection des Nations Unies a aussi soulevé des inquiétudes à l’égard de l’indépendance et de la crédibilité des évaluations de l’OMS; selon cet examen, l’OMS devrait avoir une meilleure capacité d’évaluation centrale. On y recommande également un examen par les pairs de la fonction d’évaluation mené par le Groupe des Nations Unies pour l’évaluation et présenté au Conseil exécutif de l’OMS d’ici 2014.

D’après un examen systématique des rapports d’évaluation disponibles et valides ainsi que les principales constatations et les facteurs déterminants, cet examen permet de conclure ce qui suit :

1. Dans l’échantillon limité qui était disponible, les programmes de l’OMS semblaient répondre aux besoins des intervenants et aux priorités nationales. Les évaluations indiquaient que les programmes de l’OMS étaient bien adaptés aux besoins des intervenants; 89 % des évaluations (soit 16 des 18 évaluations qui portaient sur ce critère) présentaient des constatations satisfaisantes ou très satisfaisantes, et étaient bien harmonisées aux objectifs de développement nationaux (les 12 évaluations qui portaient sur ce critère ont toutes été cotées satisfaisantes ou très satisfaisantes). De plus, les objectifs des projets et des programmes appuyés par l’OMS demeuraient valides au fil du temps (les 21 évaluations ont toutes été cotées satisfaisantes ou plus). Il y a cependant place à l’amélioration quant à la description de l’échelle des activités de programme de l’OMS par rapport à leurs objectifs (60 % des 20 évaluations étaient cotées satisfaisantes) et à des partenariats plus efficaces avec les gouvernements (61 % des 18 évaluations étaient cotées satisfaisantes ou très satisfaisantes). Ces niveaux élevés d’évaluations pertinentes et positives relevés dans les évaluations indiquent que l’OMS a été en mesure de s’assurer que ses programmes répondent aux besoins importants et constants tout en demeurant harmonisée aux priorités nationales dans le domaine de la santé.
2. L’OMS semble être plus efficace pour atteindre la plupart de ses objectifs de développement et ses résultats escomptés, puisque 71 % (15 évaluations sur 21 ont indiqué un rendement satisfaisant ou plus élevé). De plus, les programmes de l’OMS génèrent des avantages pour les membres du groupe cible à l’échelle individuelle, communautaire et du ménage, puisque 64 % des 14 évaluations montraient que le rendement pour ce sous-critère était satisfaisant ou très satisfaisant
3. Les avantages des programmes de l’OMS semblent être durables, mais la capacité institutionnelle de viabilité des ententes liées aux programmes suppose des difficultés. Les avantages des programmes de l’OMS sont susceptibles d’être conservés, puisque 73 % des évaluations ont obtenu la cote « satisfaisant » ou « très satisfaisant » dans ce domaine (bien que seulement 11 évaluations abordent ce critère). Cependant, l’OMS est confrontée à un enjeu dans le domaine du renforcement de la capacité institutionnelle de ses partenaires en matière de viabilité. Seulement 37 % des évaluations (6 des 16 évaluations) ont conclu que les programmes de l’OMS étaient satisfaisants en termes de fourniture d’un appui à la capacité institutionnelle locale en matière de viabilité.
4. Efficience – Aucun résultat n’a été obtenu pendant la période allant de 2007 à 2010. À peine quelques évaluations ont fait état de la rentabilité (9 évaluations) et à savoir si la mise en œuvre des programmes et l’atteinte des objectifs se faisaient en temps voulu (5 évaluations). Les rapports d’évaluation qui portaient sur ces sous-critères faisaient état, le plus souvent, de facteurs qui nuisaient à l’efficience. Un élément commun de ces conclusions a été le lien entre les retards dans la mise en place des programmes et l’augmentation des coûts.
5. La fonction d’évaluation de l’OMS n’a pas traité adéquatement de l’efficacité pour appuyer l’égalité entre les sexes ou la viabilité de l’environnement.Par conséquent, l’examen n’a pas permis de déterminer si des résultats avaient été obtenus dans ce domaine.
   1. Le thème transversal de l’égalité entre les sexes n’a pas été abordé dans les rapports d’évaluation de l’OMS et constitue une lacune essentielle dans les renseignements sur l’efficacité de l’organisation.
   2. Il n’y a qu’une évaluation qui a abordé ce thème transversal, possiblement en raison du faible nombre de programmes appuyés par l’OMS qui ont une incidence directe sur la viabilité de l’environnement.
6. Les évaluations examinées ont permis de constater que les systèmes d’évaluation et de suivi de l’OMS sont insatisfaisants. En tout, 56 % des résultats déclarés sur l’efficacité des systèmes et des processus d’évaluation étaient cotés comme étant insatisfaisants ou très insatisfaisants (9 des 16 évaluations). Dans le même ordre d’idées, les systèmes de suivi sont insatisfaisants : 58 % des résultats des évaluations (11 des 19 évaluations) ont été cotés comme insatisfaisants ou très insatisfaisants. En particulier, les évaluations examinées signalent un manque de ressources financières et de personnel local qualifié; ce sont des facteurs importants qui contribuent à des résultats peu satisfaisants dans le domaine de l’évaluation et du suivi. Lorsque les systèmes d’évaluations sont déclarés satisfaisants, ce résultat est en partie attribuable à la tradition d’un examen conjoint de la mise en œuvre des programmes par l’OMS et ses partenaires. Les sous-critères sur des systèmes et des processus efficaces sur la GAR et les résultats d’évaluation employés pour améliorer l’efficacité de l’aide au développement ont été abordés dans seulement trois et neuf évaluations, respectivement. Aucun résultat n’est donc présenté pour ces sous-critères.

5.2 L’OMS contribue aux priorités de développement du Canada

L’OMS contribue aux priorités de développement du Canada. Il est clairement établi que les programmes de l’OMS apportent une contribution directe importante aux priorités de développement international du Canada, à savoir veiller à la sécurité alimentaire (particulièrement à celle des femmes enceintes et qui allaitent, des enfants et des personnes les plus touchées par les crises) et assurer l’avenir des enfants et des jeunes. Il y a aussi de solides données probantes qui indiquent que les programmes de l’OMS contribuent indirectement à une croissance économique durable en appuyant les systèmes de santé publique et en aidant les pays en développement à réduire le fardeau des maladies transmissibles et non transmissibles.

5.3 Évaluation et rapports sur l’efficacité

Les évaluations et les rapports sur l’efficacité devraient être renforcés. L’examen de la fonction d’évaluation mené par l’équipe de l’essai pilote et les lacunes relevées dans cet examen montrent la nécessité de renforcer la fonction d’évaluation au sein de l’OMS. En particulier, il faut assurer une couverture adéquate des programmes et des projets de l’OMS grâce à une fonction d’évaluation systématique disposant de ressources suffisantes. De plus, il faut mettre les rapports d’évaluation produits par l’OMS à la disposition du personnel et des intervenants externes. Les efforts déployés pour améliorer le système d’évaluation a donné lieu à l’adoption d’une nouvelle politique d’évaluation par le Conseil exécutif lors de sa session en mai 2012.

6.0 Recommandations faites à l’ACDI

Cette section présente les recommandations faites à l’ACDI, qui sont fondées sur les constatations et les conclusions tirées de cet examen de l’efficacité de l’aide au développement de l’OMS. Ces recommandations, qui visent à améliorer l’évaluation et la gestion axée sur les résultats à l’OMS, sont conformes aux objectifs liés aux engagements actuels du Canada auprès de l’OMS. Comptant parmi les intervenants qui collaborent avec l’OMS, le Canada, qui a une influence limitée sur l’organisation, pourrait devoir s’allier à d’autres intervenants pour mettre en œuvre ces recommandations. (Voir la réponse de la direction de l’ACDI à l’Annexe 8.)

1. Le Canada devrait faire un suivi des efforts déployés pour réformer la fonction d’évaluation à l’OMS, après la mise en œuvre de la nouvelle Politique sur l’évaluation. L’ACDI devrait notamment utiliser l’influence qu’elle a au Conseil exécutif et auprès des autres organismes donateurs pour prôner la mise en œuvre d’une fonction d’évaluation qui dispose de ressources suffisantes afin que, au final, l’OMS soit en mesure de couvrir l’ensemble des programmes qu’elle met en œuvre.
2. L’ACDI devrait faire un suivi de la mise en œuvre de la Politique d’évaluation, afin de veiller à ce que les évaluations futures de l’OMS tiennent adéquatement compte de l’égalité entre les sexes.
3. L’ACDI devrait encourager l’OMS à mettre en place un système pour publier, à intervalles réguliers (peut-être annuellement), des rapports sur l’efficacité de l’aide au développement, système qui s’appuie sur la fonction d’évaluation améliorée. De façon générale, il faut renforcer l’engagement de l’OMS de rendre compte de l’efficacité des programmes.
4. L’ACDI devrait encourager l’OMS à adopter systématiquement une gestion axée sur les résultats. L’amélioration et la mise en œuvre continues du Système mondial de gestion à l’OMS permettrait peut-être de le faire.

Annexe 1 : Critères utilisés pour évaluer l’efficacité de l’aide au développement

Pertinence des interventions

Sous-critères

1.1 Les programmes répondent aux besoins des membres du groupe cible
1.2 Les programmes cadrent avec les objectifs nationaux en matière de développement
1.3 Les partenariats mis en place avec les gouvernements portent leurs fruits
1.4 Les objectifs du programme restent pertinents
1.5 Les activités du programme cadrent avec les objectifs du programme

Atteinte des objectifs de développement et des résultats escomptés

Sous-critères

2.1 Les programmes et les projets atteignent les objectifs énoncés
2.2 Les programmes ont des effets positifs sur les membres du groupe cible
2.3 Un nombre considérable de personnes bénéficient du programme

Viabilité des résultats et des bienfaits

Sous-critères

3.1 Les bienfaits se maintiendront probablement après la fin du programme
3.2 Les programmes renforcent la capacité institutionnelle à l’égard de la viabilité

Efficacité

Sous-critères

4.1 L’évaluation a permis de déterminer que les programmes sont rentables
4.2 Le programme est mis en œuvre et les objectifs sont atteints dans les délais prévus

Thèmes transversaux : Développement inclusif et durable (égalité entre les sexes et viabilité de l’environnement)

Sous-critères

5.1 Les programmes tiennent compte efficacement de la question de l’égalité entre les sexes
5.2 Les changements sont écologiquement viables

Amélioration de l’efficacité de l’aide de l’évaluation et du suivi

Sous-critères

6.1 Les systèmes et les processus d’évaluation sont efficaces
6.2 Les systèmes et les processus de suivi sont efficaces
6.3 Les systèmes et les processus de la GAR sont efficaces
6.4 Les résultats de l’évaluation sont utilisés pour améliorer l’efficacité de l’aide au développement

Annexe 2 : Échantillon d’évaluations

1. Année : 2010; Titre : Le département Pour une grossesse à moindre risque; Type : Siège de l’OMS
2. Année : 2009; Titre : République centrafricaine – Évaluation de la surveillance; Type : PEV
3. Année : 2009; Titre : République démocratique du Congo – Évaluation de la surveillance; Type : PEV
4. Année : 2009; Titre : Mission conjointe sur le terrain pour étudier la capacité de prévention et d’intervention en cas de catastrophe de l’OMS dans le territoire palestinien occupé; Type : Intervention sanitaire en cas de crise
5. Année : 2009; Titre : République démocratique du Congo – Évaluation post•introduction (PIE) d’un nouveau vaccin - Pentavalent; Type : PEV
6. Année : 2009; Titre : Cameroun – Évaluation de la surveillance; Type : PEV
7. Année : 2009; Titre : Vietnam – Évaluation du PEV; Type : PEV
8. Année : 2009; Titre : Sierra Leone – Campagne de vaccination contre la fièvre jaune et la rougeole, évaluation rapide de la couverture vaccinale à l’aide de la méthode de contrôle par échantillonnage de la qualité des lots (LQAS); Type : PEV
9. Année : 2009; Titre : Évaluation indépendante des principaux obstacles à l’interruption de la transmission du poliovirus; Type : Siège de l’OMS
10. Année : 2009; Titre : Zambie – Évaluation post•introduction (PIE) d’un nouveau vaccin – Remplacement du Pentavalent lyophilisé par du Pentavalent liquide; Type : PEV
11. Année : 2009; Titre : Philippines – Évaluation de l’approvisionnement en vaccins; Type : PEV
12. Année : 2008; Titre : Évaluation indépendante du partenariat Halte à la tuberculose – McKinsey & Co.; Type : Partenariat Halte à la tuberculose
13. Année : 2008; Titre : Examen de la surveillance de la paralysie flasque aiguë en Afghanistan; Type : Équipe d’éradication de la poliomyélite, Bureau régional pour la méditerranée orientale (EMRO)
14. Année : 2008; Titre : Examen des programmes de nutrition de l’OMS à la lumière des défis planétaires et de la structure internationale de la nutrition; Type : Nutrition pour la santé et le développement
15. Année : 2008; Titre : Court examen du programme pour la santé du nouveau•né et de l’enfant, Népal; Type : Bureau régional de l’Asie du Sud•Est (SEARO) et Santé et développement de l’enfant et de l’adolescent/ Siège de l’OMS
16. Année : 2008; Titre : Mission conjointe sur le terrain pour étudier la capacité de prévention et d’intervention en cas de catastrophe de l’OMS, dans le contexte de l’intervention du Groupe de santé à la suite du cyclone Nargis au Myanmar; Type : Intervention sanitaire en cas de crise
17. Année : 2008; Titre : Examen externe de la surveillance des maladies, Éthiopie; Type : Maladies à prévention vaccinale/Bureau régional de l’OMS pour l’Afrique (AFRO)
18. Année : 2008; Titre : Bref examen de programme pour la santé de l’enfant au Guyana; Type : Bureau régional des Amériques (AMRO), Santé et développement de l’enfant et de l’adolescent/Siège de l’OMS
19. Année : 2008; Titre : Examen du programme pour la santé du nouveau-né et de l’enfant, Cambodge; Type : Bureau régional du Pacifique occidental (WPRO) et Santé et développement de l’enfant et de l’adolescent/Siège de l’OMS
20. Année : 2007; Titre : Évaluation de la mise en œuvre, des répercussions et des processus de la Stratégie pharmaceutique de l’OMS, 2004-2007 ; Type : À l’échelle de l’organisation
21. Année : 2007; Titre : Programme de renforcement institutionnel d’Interventions sanitaires en cas de crise (le programme triennal); Type : À l’échelle de l’organisation
22. Année : 2007; Titre : Évaluation des programmes – Aspects choisis du département de Santé publique et environnement (siège de l’OMS); Type : Thématique mondiale
23. Année : 2007; Titre : Évaluation thématique de la collaboration entre l’OMS et les centres partenaires; Type : Thématique mondiale
24. Année : 2007; Titre : Travail d’Interventions sanitaires en cas de crise en Afrique; Type : AFRO
25. Année : 2007; Titre : Évaluation de la deuxième génération de surveillance du VIH, Népal; Type : Thématique nationale

Annexe 3 : Approche et méthodologie

Cette annexe explique plus en détail les éléments clés de la méthodologie utilisée pour examiner l’efficacité de l’aide au développement de l’OMS. Elle présente, dans l’ordre, les tâches accomplies dans le cadre de l’examen : déterminer la raison d’être de l’examen; faire la synthèse de l’échantillon des évaluations; procéder à l’examen et contrôler la qualité à l’étape de l’analyse; évaluer la portée de l’examen. L’équipe d’examen a également interrogé le personnel du Bureau des services de contrôle interne (BSCI) de l’OMS afin de mieux comprendre quels rapports d’évaluation de l’OMS sont disponibles et de mettre en contexte l’évolution de la fonction d’évaluation.

Un examen des documents internes de l’OMS connexes à l’évaluation et à l’établissement de rapports sur l’efficacité de l’aide au développement, ainsi qu’une consultation avec le gestionnaire de l’ACDI responsable de la gestion des relations avec l’OMS, complètent l’examen des rapports d’évaluation^{Note de bas de page 34}. Le but était de situer les résultats de l’examen dans leur contexte et de tenir compte des progrès réalisés depuis la réalisation de l’essai pilote en 2010. La liste des documents consultés se trouve à l’Annexe 5.

Voici une liste sommaire des documents internes pertinents de l’OMS qu’on a consultés : les rapports présentés par le Comité du Programme, du Budget et de l’Administration au Conseil exécutif; les rapports sur la réforme de l’OMS publiés par le directeur général; des documents sur la politique d’évaluation; des rapports annuels et l’évaluation intérimaire du Plan stratégique à moyen terme. Ces documents ont permis à l’équipe d’examen non seulement d’évaluer l’évolution continue de l’évaluation et de la déclaration de résultats à l’OMS, mais de mettre en contexte les conclusions présentées dans les rapports d’évaluation.

Raison d’être de l’examen de l’efficacité de l’aide au développement

Le recours à une approche et à une méthode communes est une façon rapide et rentable d’évaluer l’efficacité de l’aide au développement d’une organisation multilatérale, contrairement aux évaluations conjointes, plus longues et plus coûteuses. Cette approche a été élaborée dans le but de combler le manque de données concernant l’efficacité de l’aide au développement (efficacité de l’aide au développement) des organisations multilatérales. Bien que ces organisations présentent des rapports annuels à leur direction ou à leur conseil d’administration, les actionnaires bilatéraux n’ont pas de vue d’ensemble complète du rendement de ces organisations sur le terrain. Afin de combler ce manque, le Réseau d’évaluation du rendement des organisations multilatérales (MOPAN) a entrepris de réaliser des évaluations de l’efficacité organisationnelle. Cette approche-ci complète les évaluations du MOPAN. Ainsi, on procède à un examen fondé sur les rapports d’évaluation internes de l’organisation seulement si deux conditions particulières existent^{Note de bas de page 35} :

1. On a besoin d’information fondée sur des données probantes, testée sur le terrain, concernant l’efficacité de l’organisation multilatérale.
2. La fonction d’évaluation de l’organisation multilatérale qui fait l’objet d’un examen produit un ensemble adéquat de données à la fois fiables et crédibles sur l’évaluation. Cet ensemble permet d’utiliser une méthode de méta-évaluation afin de faire la synthèse de l’évaluation de l’efficacité de l’organisation.

En ce qui concerne la première condition, le rapport sur l’évaluation intérimaire du Plan stratégique à moyen terme permet de mieux comprendre comment les États membres perçoivent certains aspects de la contribution de l’OMS. Or, un sondage sur les perceptions ne remplace pas un rapport en bonne et due forme sur l’efficacité des activités et des programmes de développement de l’OMS, fondé sur des données probantes. Par conséquent, dans le cas de l’OMS, la première condition, à savoir le besoin de renseignements fondés sur des données probantes, testés sur le terrain, concernant l’efficacité de l’aide au développement, est remplie.

Les résultats pour la deuxième condition, discutés ci-après, étaient moins probants, car l’OMS n’a fourni que 25 rapports d’évaluation de bonne qualité à l’équipe qui a réalisé l’essai pilote. Cette dernière a cependant pu mener à bien l’examen de l’efficacité de l’aide au développement, car ces 25 évaluations lui ont fourni suffisamment de données concernant quatre des six critères principaux utilisés pour évaluer l’efficacité de ces activités. Toutefois, en raison de ce petit nombre d’évaluations de bonne qualité, on ne peut pas généraliser et appliquer les résultats à l’ensemble de l’organisation.

Fonction d’évaluation de l’OMS (Quantité et qualité)

Quantité d’évaluations

Les évaluations que l’OMS a commandées dans le cadre de l’essai pilote réalisé en 2010 n’ont pas été publiées, ni en format papier, ni en format électronique. Par conséquent, on a demandé au BSCI de répertorier et de déterminer l’origine des évaluations utilisées pour l’essai pilote. Selon ce dernier, l’OMS et les pays visés par l’évaluation sont, dans la plupart des cas, propriétaires des rapports d’évaluation, et il faudrait demander une copie du rapport au bureau régional de l’OMS responsable du pays concerné. Les évaluations ne sont pas versées dans un dépôt central, ni en format électronique, ni en format papier.

Entre 2007 et 2010, seulement 58 études ont été réalisées et l’OMS n’a été en mesure d’en fournir que 34 à l’équipe d’évaluation. En outre, seules 25 des 34 études fournies étaient des études d’évaluation et présentaient des conclusions pertinentes par rapport au critère évalué.

Qualité des évaluations

Souvent, les rapports d’évaluation de l’OMS ne portaient que sur les aspects opérationnels et techniques. Autrement dit, ils évaluaient la mise en œuvre d’une méthode de prestation de services, d’un système de surveillance ou d’un nouveau vaccin plutôt que d’évaluer les effets de la mise en œuvre sur le groupe cible. Par conséquent, il s’est avéré difficile d’évaluer la qualité de l’évaluation, car la plupart de ces études (même si elles étaient souvent bien conçues et permettaient d’atteindre le but visé) ne respectaient pas les règles d’évaluation de la qualité du Groupe des Nations Unies pour l’évaluation (GNUE).

L’OMS n’a pas encore fait l’objet d’un examen par les pairs de la fonction d’évaluation du CAD/GNUE et l’équipe d’examen n’a pas non plus entrepris un tel examen. Elle a cependant réalisé son propre examen de la qualité des évaluations en vue de l’inclure dans le présent rapport.

Les résultats de l’analyse de qualité réalisée par l’équipe d’examen sont inégaux, puisque 52 % des évaluations examinées ont obtenu une note égale ou supérieure à 30, tandis que 24 % ont obtenu une note inférieure à 19 sur 48. Pour le critère de qualité I, les « conclusions de l’évaluation sont pertinentes et fondées sur des faits », seulement trois rapports d’évaluation ont obtenu moins de trois points sur cinq points possibles (la grille de notation de la qualité de l’évaluation se trouve à l’annexe 4). On a tenu compte de toutes les évaluations pour l’examen, puisque, dans l’ensemble, elles ont été bien notées.

Globalement, par contre, l’échantillon de rapports d’évaluation obtenus ne reflète pas adéquatement les programmes et les activités mis en œuvre par l’OMS durant la période visée. Par conséquent, on ne peut pas généraliser et appliquer les résultats à l’ensemble des programmes de l’OMS. Les 25 rapports d’évaluation fournis donnent cependant un aperçu de l’efficacité des programmes de développement de l’OMS évalués.

Rapports de l’OMS sur l’efficacité de l’aide au développement

L’OMS ne prépare ni un rapport annuel sur l’efficacité de l’aide au développement, ni un sommaire annuel des résultats d’évaluation. Elle présente toutefois des rapports annuels détaillés sur la situation sanitaire mondiale et régionale à l’Assemblée mondiale de la santé. En outre, elle présente, chaque année, des rapports spéciaux sur des sujets et des défis mondiaux en lien avec la santé publique.

Depuis quelques années, l’OMS met en œuvre un système de suivi et de compte rendu des résultats fondé sur le système de gestion de base de données Oracle. Ce Système mondial de gestion existe depuis 2008 et est actuellement mis à jour après une longue phase de mise en œuvre. L’un des objectifs est d’aligner la planification, la mise en œuvre et le suivi des programmes et des projets sur les objectifs stratégiques de l’agence au niveau organisationnel, régional et national.

Depuis 2008, l’OMS a fait un effort pour mettre en place le système dans chaque région et, en janvier 2011, elle a pu informer le Conseil exécutif qu’elle avait réalisé des « progrès importants » dans la mise en œuvre du système dans cinq régions et au siège de l’OMS. Le Conseil exécutif (EB128/3) était satisfait des progrès réalisés, mais le fait que la Région des Amériques/l’Organisation panaméricaine de la santé (OPS) ait choisi de ne pas utiliser ce système le préoccupait.

En mai 2011, le secrétariat de l’OMS a fait rapport des progrès réalisés dans la mise en œuvre du Système mondial de gestion au Comité du Programme, du Budget et de l’Administration au Conseil exécutif. Voici ce qu’on peut lire dans le rapport du comité au Conseil exécutif^{Note de bas de page 36} :

« Le Comité s’est déclaré satisfait que le Système mondial de gestion ait été mis en place avec succès dans la Région africaine. Des questions ont été posées concernant la mise à jour prévue du Système et les coûts qu’elle entraînerait ainsi que les économies qui résulteront de sa mise en œuvre. Des questions ont également été posées au sujet de l’harmonisation entre le Système mondial de gestion et le nouveau système mis en place dans la Région des Amériques/à l’OPS. »

Selon la documentation actuellement disponible au sujet de ce système, il mettrait toujours l’accent sur les finances, l’administration, la planification de l’affectation des ressources et la gestion des ressources humaines. On ne sait pas encore si le système permettra de consolider le système de gestion et de présentation des résultats utilisé à l’OMS.

Lors de la Session extraordinaire sur la réforme de l’OMS, tenue en novembre 2011, le Conseil exécutif a accueilli avec satisfaction les propositions du directeur général relatives aux réformes gestionnaires et a demandé qu’il soit donné suite à plusieurs propositions, notamment celle visant à améliorer la surveillance et la notification^{Note de bas de page 37}. Tel que mentionné, à la suite de cette demande, on a proposé de créer une politique sur l’évaluation, que le Comité exécutif a officiellement adoptée lors de sa réunion de mai 2012. On ne sait pas encore si cette politique renforcera les exigences en matière d’établissement de rapports sur l’efficacité des programmes de l’OMS et surpassera celles qui s’appliqueraient dès la mise en œuvre complète du Système mondial de gestion.

Pour finir, il est à noter que l’OMS a publié, en 2011, une évaluation intérimaire des progrès réalisés par rapport aux objectifs du Plan stratégique à moyen terme^{Note de bas de page 38}. Ce rapport s’appuie sur une enquête réalisée, entre novembre 2010 et mars 2011, auprès des États membres et des membres associés. Au total, 104 États membres et un membre associé ont répondu aux questions.

Les questions de l’enquête étaient regroupées sous cinq rubriques :

1. la situation sanitaire générale et ses tendances;
2. les politiques et les systèmes de santé nationaux;
3. la coopération et la collaboration avec les partenaires;
4. la mobilisation et la gestion des ressources;
5. l’adéquation de la coopération avec l’OMS.

La plupart des questions visaient à connaître l’ampleur des progrès réalisés par les pays (avec l’aide de l’OMS) en vue d’atteindre les objectifs énoncés dans le Plan stratégique à moyen terme. Les pays ont également fait rapport (sous la cinquième rubrique) de l’adéquation de la coopération avec l’OMS dans chacun des six domaines de travail énoncés dans son onzième programme de travail^{Note de bas de page 39} :

1. fournir un appui technique;
2. jouer le rôle de chef de file et créer des partenariats;
3. fixer des normes et des critères;
4. surveiller la situation sanitaire et évaluer les tendances;
5. fixer les priorités de la recherche et diffuser des connaissances;
6. définir des politiques conformes à l’éthique et fondées sur des données probantes.

Dans l’ensemble, la contribution de l’OMS répond aux attentes des États membres, 92 % des personnes interrogées estimant que celle-ci est conforme ou supérieure aux attentes et 8 % qu’elle est inférieure^{Note de bas de page 40}. En revanche, les pays à revenu moyen (inférieur et supérieur) ont estimé que la contribution de l’OMS était inférieure aux attentes, en particulier s’agissant de la réponse aux besoins liés à quatre objectifs stratégiques :

• les maladies chroniques non transmissibles (objectif stratégique 3);
• les déterminants sociaux et économiques de la santé (objectif stratégique 7);
• les systèmes et les services de santé (objectif stratégique 10);
• les technologies et produits médicaux (objectif stratégique 11).

L’évaluation intérimaire du Plan stratégique à moyen terme permet de mieux comprendre comment les États membres perçoivent certains aspects de la contribution de l’OMS. Or, un sondage de ce genre ne remplace pas un rapport en bonne et due forme sur l’efficacité des activités et des programmes de développement de l’OMS, fondé sur des données probantes.

Sélection de l’échantillon d’évaluations

Recenser et obtenir les évaluations

L’OMS ne publie pas ses rapports d’évaluation et ne les distribue pas non plus en format électronique. Par conséquent, on a demandé au responsable de la fonction d’évaluation, le BSCI, de répertorier et de déterminer l’origine des évaluations utilisées pour l’essai pilote en 2010. On a appris, par le personnel du BSCI, que les évaluations ne sont pas versées dans un dépôt central, ni en format électronique, ni en format papier. On a également appris que l’OMS et les pays visés par l’évaluation sont, dans la plupart des cas, propriétaires des rapports d’évaluation et qu’il faudrait demander une copie desdits rapports au bureau régional de l’OMS responsable du pays concerné. Durant une conférence téléphonique, le personnel du BSCI a expliqué pourquoi il est difficile d’obtenir l’approbation du pays d’accueil pour la publication des évaluations en question.

Entre 2007 et 2010, seulement 58 études ont été réalisées et l’OMS n’a été en mesure d’en fournir que 34 à l’équipe d’évaluation. En outre, seules 25 des 34 études fournies étaient des études d’évaluation et présentaient des conclusions pertinentes par rapport au critère évalué.

Le BSCI a signalé que l’OMS a arrêté de faire des évaluations des programmes-pays avant 2006 et les a remplacées par une série de vérifications internes. L’équipe qui a réalisé l’essai pilote a examiné le rapport de 2009 du vérificateur interne et a constaté que les vérifications des bureaux nationaux étaient axées sur l’évaluation des mesures de gestion des risques – notamment les risques administratifs et financiers, ainsi que les risques liés aux programmes – et que, par conséquent, elles n’étaient pas pertinentes pour l’examen.

Puisque l’OMS n’a fourni que peu d’évaluations pour l’examen, on ne peut pas dire qu’elles constituent un échantillon, mais plutôt un recensement des rapports d’évaluation disponibles et pertinents à l’examen au moment de l’essai pilote. La liste des évaluations se trouve à l’Annexe 2.

Évaluation de la portée des programmes de l’OMS

Les 25 évaluations utilisées pour l’essai pilote à l’OMS ne brossent pas un tableau complet des programmes d’une valeur de 4,5 milliards de dollars américains que l’OMS a mis en œuvre sur une période de deux ans. Quoi qu’il en soit, l’échantillon et le profil budgétaire de l’OMS se recoupent en plusieurs points. La Figure 13 illustre les types d’évaluations réalisées par l’OMS. Ainsi :

• 8 des 25 évaluations portent sur la mise en œuvre de programmes élargis de vaccination dans toute une série de pays (République centrafricaine, République démocratique du Congo, Cameroun, Vietnam, Sierra Leone, Zambie et Philippines). Ces programmes contribuent directement à l’objectif stratégique 1, maladies transmissibles, qui est le mieux financé;
• 3 des 25 évaluations portent sur l’intervention sanitaire en cas de crise dans une région ou un pays donné : 1 en Afrique, 1 au Myanmar et 1 en Palestine (la catégorie des évaluations à l’échelle mondiale ci-après comprend également une évaluation-programme de l’intervention sanitaire en cas de crise). Ces programmes contribuent au troisième objectif stratégique en importance, à savoir situations d’urgence et catastrophes;
• Un grand nombre d’évaluations examinées ont une portée mondiale ou organisationnelle. Elles comprennent, entre autres :
  1. l’évaluation du département Pour une grossesse à moindre risque (2010);
  2. l’évaluation indépendante des principaux obstacles à l’interruption de la transmission du poliovirus (2009);
  3. l’évaluation indépendante du partenariat Halte à la tuberculose (2008);
  4. l’examen des programmes de nutrition de l’OMS à la lumière des défis planétaires et de la structure internationale de la nutrition (2008);
  5. l’évaluation de la mise en œuvre, des répercussions et des processus de la Stratégie pharmaceutique de l’OMS (2007);
  6. l’évaluation du Programme de renforcement institutionnel d’Interventions sanitaires en cas de crise (2007);
  7. l’évaluation des programmes – Aspects choisis du département de Santé publique et environnement (2007);
  8. l’évaluation thématique de la collaboration entre l’OMS et les centres partenaires (2007).

Figure 13 : Types d’évaluations exprimées en pourcentage de l’échantillon

Les évaluations incluses dans l’examen ont été publiées par l’OMS entre le début de 2007 et le moment où l’examen a été réalisé, à la mi-2010. La Figure 14 illustre le nombre d’évaluations publiées par année durant cette période.

Figure 14 : Nombre d’évaluations par année de publication

En résumé, même s’il est difficile de comparer la liste d’évaluations pertinentes que l’équipe responsable de l’essai pilote a obtenue de l’OMS à la répartition géographique et à la répartition par programme des activités, elle permet néanmoins de se faire une idée de l’efficacité de l’aide au développement. C’est pourquoi – et pour voir quelles leçons elle pourrait tirer du processus d’examen des évaluations – l’équipe a quand même réalisé l’essai pilote sur l’OMS.

Le petit nombre d’échantillons d’évaluations posait problème, d’autant plus que la plupart des rapports d’évaluation ne traitent pas de l’efficacité de l’aide au développement, un critère important. Par conséquent, pour la plupart des critères choisis pour évaluer l’efficacité de l’aide au développement, le nombre d’observations est insuffisant pour permettre de tirer des conclusions ou des leçons générales. Dans ces cas, aucune conclusion n’est présentée.

Le processus d’examen et l’assurance de la qualité

L’examen a été réalisé par une équipe composée de quatre analystes et d’un chef d’équipe. Les analystes ont suivi une formation de deux jours afin de comprendre les critères d’examen. Ensuite, les analystes et le chef d’équipe ont réalisé un essai préliminaire, afin d’examiner séparément deux évaluations. L’équipe a comparé les notes attribuées à ces deux évaluations et a convenu d’une classification des résultats pour tous les sous-critères. Grâce à ce processus, l’équipe a pu normaliser les décisions prises par les analystes au sujet de la classification. Au cours de l’examen des évaluations, les analystes se sont régulièrement consultés afin de régler les problèmes de classification.

Au terme des examens, le chef d’équipe a passé en revue les conclusions et a étudié avec soin les données probantes fournies ainsi que les facteurs contributifs. Il a ensuite modifié légèrement les conclusions. Le processus de formation, de vérification et de suivi du processus d’examen des évaluations a permis de réduire les problèmes de fiabilité entre les analyses et de dissiper les préjugés des membres de l’équipe d’examen.

Examen de la portée des critères d’efficacité de l’aide au développement

Pour évaluer la portée des sous-critères, l’équipe d’examen a créé un système notation. Ainsi, la portée du critère (a) est considérable s’il est abordé dans 18 à 25 évaluations, modérée s’il est abordé dans 10 à 17 évaluations et faible s’il est abordé dans moins de 10 évaluations.

En résumé, sur les18 sous-critères, seulement 6 ont fait l’objet de conclusions pertinentes dans au moins 18 rapports d’évaluation (portée considérable); 5 sous-critères ont fait l’objet de conclusions pertinentes dans 10 à 17 rapports d’évaluation (portée modérée). Au total, 7 sous•critères, dont tous ceux concernant l’égalité entre les sexes et l’efficacité, ont fait l’objet de conclusions pertinentes dans moins de 10 évaluations (portée faible).

Annexe 4 : Qualité des évaluations – Grille de notation et résultats

Règle d’évaluation du GNUE à noter

1. Le sujet à évaluer doit être décrit avec clarté. Le rapport d’évaluation décrit l’activité ou le programme visé par l’évaluation, les réalisations attendues, la façon dont le problème de développement sera abordé par l’activité, ainsi que les modalités de mise en œuvre.
   Points disponibles : 4
2. L’objet et le contexte de l’évaluation sont précisés clairement. Le rapport d’évaluation explique pourquoi l’évaluation est réalisée, ce qui a amené à la réaliser (y compris le calendrier de l’évaluation et les étapes du cycle de gestion) et comment elle sera utilisée.
   Points disponibles :  3
3. Les objectifs de l’évaluation sont réalistes et réalisables. Les objectifs de l’évaluation doivent découler de l’objet de celle-ci. Ils doivent être clairs et convenus par toutes les parties prenantes.
   Points disponibles : 3
4. La portée de l’évaluation est clairement définie. Le rapport d’évaluation fixe les limites de l’évaluation. Il précise le calendrier, les phases de la réalisation, le contexte géographique et le degré de participation des parties prenantes. Les limites de l’évaluation sont également définies.
   Points disponibles : 5
5. Le rapport d’évaluation explique clairement les critères d’évaluation retenus par les évaluateurs. D’ordinaire, cela comprend :
   • la pertinence
   • l’atteinte des objectifs
   • l’efficacité
   • l’impact
   • la viabilité
   Points disponibles : 5
6. Les méthodes d’évaluation doivent être suffisamment rigoureuses pour évaluer le sujet de l’évaluation et garantir que cette évaluation sera complète, honnête et dépourvue de parti pris. Le rapport d’évaluation décrit clairement les méthodes d’évaluation utilisées et la source des
   données utilisées. Différentes sources d’information sont utilisées, de façon à garantir l’exactitude, la validité et la fiabilité des données. Toutes les parties prenantes sont prises en compte. Les méthodes doivent faire référence aux questions relatives à l’égalité des sexes et aux groupes sous-représentés.
   Points disponibles : 5
7. Les méthodes d’évaluation sont adaptées aux critères évalués. Le rapport d’évaluation décrit la pertinence des méthodes utilisées pour évaluer les principaux critères d’évaluation. Lorsqu’on se fie aux échantillons, l’échantillon choisi est décrit et sa fiabilité ainsi que sa validité sont évalués. Si on a recours à des méthodes qualitatives ou quantitatives, il faut le mentionner. En outre, il faut faire état des forces et des faiblesses. Lorsque les impacts sont évalués (au moyen de méthodes quantitatives ou qualitatives), il faut décrire les impacts prévus (approche théorique) ou présenter une hypothèse.
   Points disponibles : 5
8. L’évaluation reconnaît les limites des méthodes d’évaluation retenues. Le rapport d’évaluation évalue les limites de la méthode choisie, du point de vue de la conception (avant la mise en œuvre). Le rapport décrit également les limites découlant de l’expérience de l’équipe d’évaluation dans la mise en œuvre des méthodes choisies. Le rapport présente une évaluation globale de la pertinence des méthodes choisies en tenant compte des limites répertoriées.
   Points disponibles : 5
9. Les constatations et conclusions de l’évaluation sont pertinentes et fondées sur des faits. Le rapport dresse la liste des conclusions d’évaluation pertinentes aux critères d’évaluation (y compris les problèmes et les questions) précisés. Les conclusions sont corroborées par des preuves présentées clairement découlant de l’analyse des données recueillies grâce à la méthode choisie. Les conclusions sont liées aux conclusions d’évaluation présentées.
   Points disponibles : 5
10. Les recommandations de l’évaluation découlent des conclusions. Les recommandations de l’évaluation sont clairement liées aux conclusions présentées dans le rapport.
    Points disponibles : 3
11. Les organes directeurs et la direction visés par les recommandations donnent une réponse claire. Le rapport d’évaluation, soit dans le corps du texte ou dans l’annexe, comprend une réponse de la direction. Cette réponse, ainsi que le rapport, ont été présentés au niveau de gouvernance approprié (conseil d’administration) (s’il y a lieu). Dans sa réponse, la direction s’engage à mettre en œuvre certaines ou toutes les recommandations. Un calendrier de mise en œuvre est présenté. À quelques exceptions près, cette réponse ne figure pas dans le rapport d’évaluation.
    Points disponibles : 5

Total 48

Résultats – Notes pour la qualité des évaluations

Durant l’essai pilote, le groupe de gestion des organismes de développement participants, qui guidait le travail au nom du DAC-EVALNET, a proposé de diviser l’échelle de notation de la qualité des évaluations en huit niveaux, comprenant une fourchette de six points chacun, afin de rehausser le niveau de détail et de transparence.  Cela permet en outre aux observateurs indépendants de tirer leurs propres conclusions sur la répartition des notes pour la qualité des évaluations.

Annexe 5 : Guide à l’intention de l’équipe d’examen pour la classification des constatations des évaluations

Pertinence

Sous-critère :
1.1 Les programmes et les projets financés par l’organisation multilatérale (OM) répondent aux besoins ou aux priorités du groupe cible.

(1) Très insatisfaisant :
Selon le rapport d’évaluation, la plupart des composants des activités et des extrants des programmes ou des projets ne répondaient pas aux besoins et aux priorités du groupe cible.

(2) Insatisfaisant :
Selon le rapport d’évaluation, les besoins et les priorités du groupe cible n’ont pas fait l’objet d’une analyse systématique à l’étape de la conception, ou il ressort de l’évaluation que les activités du programme et du projet ne concordent pas avec les extrants, les besoins et les priorités du groupe cible.

(3) Satisfaisant :
Selon le rapport d’évaluation, l’activité, le programme ou le projet financé par l’OM est conçu pour tenir compte des besoins du groupe cible, lesquels ont été définis dans le cadre d’un processus d’analyse de la situation ou du problème. En outre, les activités qui en découlent sont conçues pour répondre aux besoins du groupe cible.

(4) Très satisfaisant :
Le rapport d’évaluation dresse la liste des méthodes utilisées lors de l’élaboration du projet en vue de définir les besoins et les priorités du groupe cible (y compris les consultations avec les membres du groupe cible). En outre, il ressort du rapport que le programme ou le projet tient compte de ces besoins et priorités et est conçu pour y répondre (qu’il y parvienne ou non).

Sous-critère :
1.2 Les projets et les programmes financées par l’OM cadrent avec les objectifs nationaux en matière de développement.

(1) Très insatisfaisant :
Selon le rapport d’évaluation, la plupart des composants des programmes et projets financés par l’OM vont à l’encontre des priorités nationales en matière de développement, ce qui diminue l’efficacité et entraîne un chevauchement des efforts.

(2) Insatisfaisant :
Selon l’évaluation, bon nombre (le quart ou plus) de programmes et de projets financés par l’OM assujettis à l’évaluation ne cadrent pas avec les priorités et plans nationaux, mais rien ne prouve qu’ils vont à l’encontre de ces priorités ou entraînent un chevauchement des efforts.

(3) Satisfaisant :
Selon l’évaluation, la plupart des programmes et des projets soutenus par l’OM cadrent parfaitement avec les priorités et les plans nationaux, conformément aux priorités et aux plans nationaux et sectoriels relatifs à l’éradication de la pauvreté. Même si l’on rapporte dans l’évaluation que les programmes et projets financés par l’OM ne soutiennent pas directement les priorités et les plans nationaux, ils ne vont pas à l’encontre de ces priorités et n’entraînent pas un chevauchement des efforts.

(4) Très satisfaisant :
Selon l’évaluation, tous les projets et programmes financés par l’OM assujettis à l’évaluation cadrent parfaitement avec les objectifs nationaux en matière de développement décrits dans les priorités et plans nationaux et sectoriels, en particulier en ce qui a trait à la stratégie nationale d’éradication de la pauvreté et aux priorités stratégiques sectorielles.

Sous-critère :
1.3 Les partenariats que l’OM a établis avec les gouvernements, les organisations de développement bilatérales et multilatérales ainsi que les ONG en ce qui a trait à la planification, la coordination et la mise en œuvre du soutien au développement portent leurs fruits.

(1) Très insatisfaisant :
Selon l’évaluation, les priorités de l’OM diffèrent considérablement de celles de ses partenaires (gouvernement, ONG ou donateur). L’OM n’a pas de stratégie ou de plan crédible qui aplanirait cette divergence et permettrait de renforcer le partenariat avec le temps.

(2) Insatisfaisant :
Selon l’évaluation, l’OM a eu beaucoup de difficulté à établir des relations fructueuses avec ses partenaires. Les priorités de l’OM diffèrent considérablement de celles de ses partenaires.

(3) Satisfaisant :
Selon l’évaluation, l’OM a amélioré ses relations avec ses partenaires durant la période visée par l’évaluation. Le partenariat était fructueux au moment de l’évaluation ou s’est manifestement amélioré.

(4) Très satisfaisant :
Selon l’évaluation, l’OM a entretenu de très bonnes relations pendant toute la période d’évaluation.

Sous-critère :
1.4 Les objectifs des programmes financés par l’OM restent pertinents.

(1) Très insatisfaisant :
Selon l’évaluation, un nombre considérable de sous-objectifs ou certains des objectifs de premier plan des programmes et projets financés par l’OM ne répondaient plus aux besoins et aux priorités du groupe cible au moment de l’évaluation et cela nuit considérablement à l’efficacité.

(2) Insatisfaisant :
Selon l’évaluation, même si la majorité des objectifs des programmes et projets financés par l’OM répondent encore aux besoins et aux priorités du groupe cible, certains objectifs ou sous-objectifs ne sont plus pertinents. Néanmoins, selon l’évaluation, les objectifs de premier plan restent pertinents.

(3) Satisfaisant :
Selon l’évaluation, même si aucun effort systématique n’a été fait pour évaluer les objectifs des programmes et des projets financés par l’OM et en confirmer la validité, les objectifs restent pertinents, car ils répondent aux besoins et aux priorités du groupe cible.

(4) Très satisfaisant :
Selon l’évaluation, la validité des objectifs des programmes et des projets financés par l’OM, assujettis à l’évaluation, ont fait l’objet d’un examen systématique. La validité a été confirmée ou les objectifs ont été adaptés en conséquence.

Sous-critère :
1.5 Les activités et les résultats cadrent avec les objectifs du programme et permettent de les atteindre.

(1) Très insatisfaisant :
Selon le rapport d’évaluation, le lien de causalité entre les activités et les résultats des projets et des programmes financés par l’OM et les objectifs de ces derniers est quasi inexistant. Soit le lien est faible ou inexistant, soit la portée des activités et des résultats ne cadre pas avec les objectifs visés. Note : dans l’évaluation, il faut tenir compte du fait que l’OM ne fournira pas tous les intrants des projets et des programmes pour les projets et programmes conjoints et pilotés par les pays.

(2) Insatisfaisant :
Le rapport d’évaluation ne permet de pas vérifier si la conception des programmes et des projets financés par l’OM évalue systématiquement les liens de causalité entre les activités et les résultats de programme et l’atteinte des objectifs. Néanmoins, rien ne prouve que ces liens n’existent pas dans le programme.

(3) Satisfaisant :
Selon le rapport d’évaluation, il existe un lien de causalité entre les activités et les résultats des programmes et des projets financés par l’OM et les objectifs visés, ce qui favorise l’atteinte des objectifs visés. Cependant, l’étendue des activités et des résultats n’est pas décrite ou ne cadre pas avec la démarche permettant d’atteindre les objectifs visés.

(4) Très satisfaisant :
Selon le rapport d’évaluation, il existe un lien de causalité clairement défini entre les activités et les résultats des programmes et des projets financés par l’OM, ce qui devrait logiquement favoriser l’atteinte des objectifs visés. De plus, l’étendue des activités et des résultats cadre avec la démarche permettant d’atteindre les objectifs visés ou l’OM contribue activement à la stratégie globale dans le secteur.

Atteinte des objectifs en matière de développement et des résultats escomptés

Sous-critère :
2.1 Les programmes et les projets financés par l’OM atteignent les objectifs énoncés ainsi que les résultats escomptés.

(1) Très insatisfaisant :
Selon l’évaluation, au moins l’un des principaux objectifs établis à l’égard des extrants et des résultats n’a pas été atteint.

(2) Insatisfaisant :
Selon l’évaluation, la moitié ou moins de la moitié des objectifs établis à l’égard des extrants et des résultats sont atteints.

(3) Satisfaisant :
Selon l’évaluation, les programmes et les projets financés par l’OM atteignent soit une majorité des objectifs établis à l’égard des extrants et des résultats (plus de 50 %), soit les principaux objectifs établis en la matière.

(4) Très satisfaisant :
Selon l’évaluation, les programmes et les projets financés par l’OM atteignent la totalité ou la majorité des principaux objectifs de développement établis à l’égard des extrants et des résultats.

Sous-critère :
2.2 Les programmes et les projets financés par l’OM ont des effets positifs sur les membres du groupe cible.

(1) Très insatisfaisant :
Selon l’évaluation, en raison de problèmes dans la conception ou la mise en œuvre d’activités financées par l’OM, il n’y a pas eu d’effets positifs ou il est peu probable qu’il y en aura.

(2) Insatisfaisant :
Selon l’évaluation, il est impossible de faire une évaluation crédible des répercussions du programme, parce que la liste des répercussions prévues n’a pas été dressée. Si des données crédibles sont disponibles et si les répercussions prévues sont énoncées, mais qu’il n’a pas été possible d’évaluer les répercussions parce que le programme ou le projet est trop récent, il faut l’indiquer au moyen de codes, sans essayer de trouver une solution.

(3) Satisfaisant :
Selon l’évaluation, les programmes et les projets financés par l’OM se sont traduits par des changements positifs pour les membres du groupe cible (les particuliers, les ménages ou la collectivité).

(4) Très satisfaisant :
Selon l’évaluation, les programmes et les projets financés par l’OM se sont traduits par des changements positifs généralisés et importants pour les membres du groupe cible. Ces changements ont été mesurés au moyen de méthodes quantitatives ou qualitatives (voire d’une comparaison des répercussions sur ceux qui ne sont pas visés par les programmes).

Sous-critère :
2.3 Les programmes et projets de l’OM ont entraîné des changements positifs dans la vie d’un grand nombre de bénéficiaires.

(1) Très insatisfaisant :
Selon les mesures quantitatives ou qualitatives de l’évaluation, les programmes et les projets financés par l’OM n’ont pas entraîné de changements positifs dans la vie des bénéficiaires.

(2) Insatisfaisant :
Selon l’évaluation, les programmes et les projets financés par l’OM ont entraîné des changements positifs dans la vie d’un petit nombre de bénéficiaires seulement (par rapport aux objectifs du projet ou du programme).

(3) Satisfaisant :
Selon les mesures quantitatives ou qualitatives de l’évaluation, les programmes et les projets financés par l’OM ont entraîné des changements positifs dans la vie d’un grand nombre de bénéficiaires.

(4) Très satisfaisant :
Selon les mesures quantitatives ou qualitatives de l’évaluation, les programmes et les projets financés parl’OM ont entraîné des changements positifs dans la vie d’un très grand nombre de bénéficiaires, autrement dit chez la majorité des membres du groupe cible.

Viabilité

Sous-critère :
3.1 Les bienfaits du programme ou du projet se maintiendront probablement après la fin du programme.

(1) Très insatisfaisant :
Selon l’évaluation, il est très peu probable que le groupe cible continue de profiter des bienfaits prévus après la fin du programme ou du projet.

(2) Insatisfaisant :
Selon l’évaluation, il est peu probable que le groupe cible continue de profiter des bienfaits prévus après la fin du programme ou du projet.

(3) Satisfaisant :
Selon l’évaluation, il est probable que le groupe cible continue de profiter des bienfaits prévus après la fin du programme ou du projet.

(4) Très satisfaisant :
Selon l’évaluation, il est très probable que le groupe cible continue de profiter des bienfaits prévus après la fin du programme ou du projet.

Sous-critère :
3.2 Mesure dans laquelle les programmes et les projets financés par l’OM renforcent la capacité des institutions ou des collectivités à l’égard de la viabilité.

(1) Très insatisfaisant :
Les programmes et les projets financés par l’OM, tels que conçus, n’ont pas permis de renforcer la capacité des organisations ou des collectivités.

(2) Insatisfaisant :
Il se peut que les programmes et les projets financés par l’OM n’aient pas contribué à renforcer les capacités des institutions ou des collectivités.

(3) Satisfaisant :
Il se peut que les programmes et les projets financés par l’OM aient contribué à renforcer les capacités des institutions ou des collectivités, mais avec un succès mitigé.

(4) Très satisfaisant :
Les programmes et les projets financés par l’OM ont considérablement contribué à renforcer la capacité des institutions ou des collectivités ou les partenaires institutionnels et les collectivités possédaient déjà les capacités nécessaires pour maintenir les résultats du programme.

Efficacité

Sous-critère :
4.1 Les activités du programme sont rentables.

(1) Très insatisfaisant :
Selon l’évaluation, il existe des données crédibles indiquant que les programmes et les projets financés par l’OM ne sont pas rentables.

(2) Insatisfaisant :
Selon l’évaluation, il n’existe pas de données crédibles et fiables sur le coût des activités et des intrants des programmes et des projets financés par l’OM et visés par l’évaluation. Il n’est donc pas possible de rendre compte de la rentabilité.

(3) Satisfaisant :
Selon l’évaluation, le niveau d’extrants obtenus par rapport aux coûts des activités et des intrants des programmes est approprié même si le processus de conception des programmes n’a pas tenu compte directement d’autres méthodes de prestation des programmes et de leurs coûts.

(4) Très satisfaisant :
Selon l’évaluation, les programmes et les projets financés par l’OM sont conçus de manière à inclure des activités et des intrants qui produisent des extrants de la façon la plus rentable possible au moment de l’évaluation.

Sous-critère :
4.2 Selon l’évaluation, le programme est mis en œuvre et les objectifs sont atteints dans les délais prévus.

(1) Très insatisfaisant :
Selon l’évaluation, moins de la moitié des objectifs établis à l’égard des extrants et des résultats des programmes et des projets financés par l’OM sont atteints dans les délais prévus et il n’existe aucun plan crédible qui laisserait présager une amélioration de la situation à l’avenir.

(2) Insatisfaisant :
Selon l’évaluation, moins de la moitié des objectifs établis à l’égard des extrants et des résultats des programmes et des projets financés par l’OM sont atteints dans les délais prévus, mais la conception du programme ou du projet a été modifiée pour tenir compte des problèmes survenus, ce qui devrait permettre d’atteindre les objectifs plus rapidement à l’avenir.

(3) Satisfaisant :
Selon l’évaluation, plus de la moitié des objectifs établis à l’égard des extrants et des résultats des programmes et des projets financés par l’OM sont atteints dans les délais prévus. Ce niveau est approprié, compte tenu du contexte dans lequel les programmes sont mis en œuvre.

(4) Très satisfaisant :
Selon l’évaluation, la quasi-totalité des objectifs établis à l’égard des extrants et des résultats des programmes et des projets financés par l’OM sont atteints dans les délais prévus.

Thèmes transversaux : Égalité entre les sexes et viabilité écologique

Sous-critère :
5.1 Mesure dans laquelle les activités financées par l’OM tiennent compte efficacement de la question transversale de l’égalité entre les sexes.

(1) Très insatisfaisant :
Selon l’évaluation, il est peu probable que les activités financées par l’OM contribuent à l’égalité entre les sexes ou pourraient, en fait, accroître l’inégalité entre les sexes.

(2) Insatisfaisant :
Selon l’évaluation, les activités financées par l’OM ne sont pas dotées d’objectifs en matière d’égalité entre les sexes ou atteignent moins de la moitié des objectifs établis en la matière. (Note : lorsqu’un programme ou une activité est clairement sexospécifique (p. ex. un programme sur la santé maternelle), il est justifié de mettre une note satisfaisante si plus de la moitié des objectifs établis sont atteints).

(3) Satisfaisant :
Les programmes et les projets financés par l’OM atteignent la majorité (plus de 50 %) des objectifs établis en matière d’égalité entre les sexes.

(4) Très satisfaisant :
Les programmes et les projets financés par l’OM atteignent la totalité ou la majorité des objectifs établis en matière d’égalité entre les sexes.

Sous-critère :
5.2 Mesure dans laquelle les changements sont écologiquement viables.

(1) Très insatisfaisant :
Les programmes et les projets financés par l’OM ne comprennent pas d’activités planifiées ou de critères de conception de projet visant à promouvoir la viabilité écologique. De plus, les changements découlant des programmes et des projets financés par l’OM ne sont pas écologiquement viables.

(2) Insatisfaisant :
Les programmes et les projets financés par l’OM ne comprennent pas d’activités planifiées ou de critères de conception de projet visant à promouvoir la viabilité écologique. Cependant, rien n’indique concrètement que les résultats des programmes ou des projets ne sont pas écologiquement viables.

(3) Satisfaisant :
Les programmes et les projets financés par l’OM comprennent certaines activités planifiées et certains critères de conception de projet visant à promouvoir la viabilité écologique. Ces activités sont mises en œuvre avec succès et les résultats sont écologiquement viables.

(4) Très satisfaisant :
Les programmes et les projets financés par l’OM sont expressément conçus pour être écologiquement viables et comprennent de nombreuses activités planifiées ou de nombreux critères de conception de projet visant à promouvoir la viabilité écologique. Ces activités sont mises en œuvre avec succès et les résultats sont écologiquement viables.

Utilisation de l’évaluation et du suivi pour accroître l’efficacité de l’aide au développement

Sous-critère :
6.1 Les systèmes et les processus d’évaluation sont efficaces.

(1) Très insatisfaisant :
Selon l’évaluation, les pratiques utilisées pour évaluer les programmes et les projets de ce genre comportent de graves lacunes.

(2) Insatisfaisant :
Selon l’évaluation, rien n’indique que le programme est systématiquement et régulièrement évalué.

(3) Satisfaisant :
Selon l’évaluation, le programme visé fait systématiquement et régulièrement l’objet d’évaluations, ou il existe des signes évidents de l’utilisation d’une telle pratique. Aucune politique ou pratique visant des programmes ou des projets semblables n’est mentionnée.

(4) Très satisfaisant :
Selon le rapport d’évaluation, le programme visé (et d’autres programmes et projets semblables) fait systématiquement et régulièrement l’objet d’évaluations, ou il existe des signes évidents de l’utilisation d’une telle pratique.

Annexe 6 : Documents internes examinés

Documents internes de l’ACDI

ACDI. 2011. Stratégie de coopération avec l’Organisation mondiale de la santé de l’ACDI.

ACDI. 2011. Examen de l’efficacité des subventions et des contributions de l’ACDI, de 2005•2006 à 2010•2011.

Documents internes de l’OMS

OMS. 2011. Décisions. Session extraordinaire du Conseil exécutif sur la réforme de l’OMS. OMS. 2012. Décisions et liste des résolutions. Cent trente et unième Session du Conseil exécutif (EB131/DIV/2).

OMS. 2006. S’engager pour la santé, Onzième programme général de travail 2006•2015, Programme mondial d’action sanitaire.

OMS. 2011. Gender mainstreaming in WHO: where are we now? Report of the baseline assessment of the WHO Gender Strategy (en anglais uniquement).

OMS. 2011. Plan stratégique à moyen terme 2008•2013 : évaluation intérimaire.

OMS. 2011. Rapport du Comité du Programme, du Budget et de l’Administration du Conseil exécutif.

Corps commun d’inspection des Nations Unies, 2012. Review of Management, Administration and Decentralization in the World Health Organization. JIU/REP/2012/6 (en anglais uniquement).

OMS. 2011. Réformes gestionnaires.

OMS. 2012. Réforme de l’OMS : Projet de politique d’évaluation formelle.

OMS. 2007. Œuvrer pour la santé. Présentation de l’Organisation mondiale de la santé.

Annexe 7 : Financement de l’ACDI accordé aux organisations multilatérales d’aide humanitaire et de développement

Financement institutionnel à long terme^{Note de bas de page 41}

Le financement institutionnel à long terme peut être défini comme des fonds non affectés à une fin particulière qui sont octroyés à une organisation multilatérale pour l’aider à s’acquitter de son mandat. Selon l’OCDE, on compte actuellement 170 organisations multilatérales actives dans le secteur du développement et admissibles à un financement au titre de l’aide. En 2010•2011, l’ACDI a accordé un financement institutionnel à long terme à 30 de ces organisations multilatérales. Le financement de l’ACDI est très concentré : neuf organisations multilatérales ont reçu 80 % de la totalité du financement institutionnel à long terme entre 2007•2008 et 2010•2011.

Financement d’initiatives multilatérales et mondiales précises

Le financement pour des initiatives multilatérales et mondiales particulières peut se définir ainsi : les fonds versés à des organisations multilatérales pour un programme ou une activité clé, habituellement dans un domaine thématique précis et ayant généralement une portée mondiale. Cette catégorie se divise en deux sous-catégories : 1) l’aide humanitaire; 2) les autres programmes visant des initiatives mondiales.

L’aide humanitaire est fournie en fonction des besoins et habituellement en réponse à des appels lancés par des organisations multilatérales qui possèdent des compétences en matière d’aide humanitaire. Les principales organisations multilatérales qui fournissent une aide humanitaire sont le Programme alimentaire mondial (PAM), le Haut Commissariat des Nations Unies pour les réfugiés (HCR), le Comité international de la Croix-Rouge (CICR) et le Bureau de la coordination des affaires humanitaires des Nations Unies. Le Fonds des Nations Unies pour l’enfance (UNICEF), même s’il n’est pas principalement une organisation humanitaire, fournit également une aide humanitaire, plus particulièrement pour répondre aux besoins des enfants.

La deuxième sous-catégorie de financement pour des initiatives multilatérales et mondiales particulières a trait aux initiatives mondiales dans d’autres secteurs. Il s’agit d’initiatives qui portent sur des questions transfrontières et qui se prêtent donc à une approche multilatérale. La santé, l’environnement et la croissance économique sont les principaux secteurs qui reçoivent ce type de financement de l’ACDI. Le secteur de la santé vient au premier rang, compte tenu surtout des problèmes liés aux maladies infectieuses comme le sida et la tuberculose, qui ignorent les frontières internationales. Il est peu probable qu’un programme bilatéral mis en œuvre dans un seul pays permette de lutter contre les maladies infectieuses en l’absence de programmes mondiaux et régionaux.

Financement d’initiatives multilatérales par d’autres directions générales de l’ACDI

Les initiatives multilatérales peuvent également recevoir un financement d’autres directions générales de l’ACDI, principalement un financement multi-bilatéral des Programmes géographiques. Par financement multi-bilatéral, on entend les fonds affectés à une initiative particulière d’une organisation multilatérale par un programme géographique de l’ACDI pour appuyer une activité précise dans un pays donné ou un groupe de pays particulier. Ce financement est considéré comme une aide bilatérale parce qu’il est fourni par le truchement des programmes géographiques dans le contexte de stratégies-pays ou de cadres de programmation-pays.

Le financement multi-bilatéral représente une part considérable et croissante des ressources de l’ACDI. Il a plus que triplé entre 2002•2003 et 2007•2008, principalement en raison du financement important accordé pour des programmes réalisés dans les États fragiles. En 2007•2008, le financement multi-bilatéral de l’ACDI s’élevait à 691 millions de dollars, dont 53 % ont été dépensés dans les États fragiles, y compris 37 % de la totalité du financement multi-bilatéral en Afghanistan.

Dans les États fragiles, où les organisations des Nations Unies et la Banque mondiale se voient souvent assigner des rôles précis par les gouvernements membres, l’utilisation du financement multi-bilatéral par l’ACDI peut parfois l’aider à limiter le risque fiduciaire et à alléger le fardeau administratif des institutions nationales, qui sont très faibles. Le recours à ce type de financement se situe également dans le droit fil de l’engagement pris par le Canada à l’égard des principes relatifs à l’efficacité de l’aide énoncés dans la Déclaration de Paris, qui demandait, entre autres, que les donateurs harmonisent leur aide et utilisent des approches- programmes là où elles peuvent donner de bons résultats.

Il est important de noter que les programmes géographiques de l’ACDI gèrent le financement multi-bilatéral au moyen des mêmes processus de base que ceux qui régissent tous les programmes géographiques de l’Agence. Par exemple, les programmes géographiques assurent le suivi de l’efficacité de ce financement et produisent des rapports à cet égard. Les évaluations de programmes-pays, qui portent sur les programmes bilatéraux dans un pays en particulier, englobent les programmes mis en œuvre par des organisations multilatérales qui sont financés au moyen d’un financement multi-bilatéral.

Annexe 8 : Réponse de la direction

Réponse générale de la direction au rapport d’évaluation

L’examen de l’efficacité de l’aide au développement de l’Organisation mondiale de la santé (OMS) entre 2007 et 2010, réalisé par la Division de l’évaluation et du soutien organisationnels de l’ACDI, était une bonne occasion de vérifier si l’OMS réussit à mettre en œuvre de programmes dans les secteurs ciblés par l’ACDI. Le présent rapport est publié à point nommé, car l’OMS est en voie de réformer ses procédures administratives et techniques, ainsi que ses procédures de gestion, en vue d’accroître son efficacité, d’être plus transparente et d’améliorer sa reddition de comptes. Par conséquent, l’examen permettra de guider les efforts de l’ACDI visant à soutenir l’OMS, en tant que partenaire institutionnel clé, en encourageant une organisation plus solide et efficace. Cette démarche concorde avec les objectifs stratégiques de coopération avec l’OMS, énoncés dans la Stratégie institutionnelle de l’ACDI.

La principale constatation qui se dégage de l’examen, c’est qu’on ne peut pas appliquer les conclusions à l’ensemble des programmes mis en œuvre par l’OMS, car le petit nombre de rapports d’évaluation fournis n’a pas permis de recueillir suffisamment de données. Ces rapports donnent toutefois un aperçu de l’efficacité des programmes de l’OMS évalués.

L’examen met en évidence les principales forces et les principaux défis de l’OMS. L’ACDI en tiendra compte dans les programmes qu’elle mettra en œuvre en collaboration avec cette dernière cours des prochaines années. L’examen permet de conclure que les programmes mis en œuvre par l’OMS semblent répondre aux besoins des parties prenantes et aux priorités nationales. En outre, l’OMS semble atteindre la plupart de ses objectifs en matière de développement et la majorité de ses résultats escomptés. Qui plus est, ses programmes semblent être viables. Par contre, l’OMS doit renforcer sa fonction d’évaluation, car elle n’évalue pas suffisamment de programmes et ses évaluations ne mettent pas suffisamment l’accent sur la rentabilité, les questions transversales comme l’égalité entre les sexes et la viabilité écologique. De plus, les États membres et les intervenants externes n’ont qu’un accès limité aux rapports d’évaluation.

L’ACDI accepte toutes les recommandations de l’examen visant à améliorer la procédure d’évaluation et de gestion axée sur les résultats de l’OMS. Ces recommandations concordent avec les objectifs de l’engagement que l’ACDI a pris à l’égard de l’OMS. Tel que souligné dans le rapport (p. 36), le Canada est un intervenant parmi tant d’autres qui collabore avec l’OMS et son influence est limité. Cependant, l’ACDI est en contact direct avec les hauts dirigeants de l’OMS et a déjà discuté de ces questions avec eux. Comme on le mentionne dans le rapport (p. 32), l’ACDI appuie ouvertement les réformes mises en œuvre à l’OMS et jouera un rôle important dans le suivi de leur efficacité.

Voici les mesures que prendra l’ACDI pour donner suite aux recommandations : 1) l’ACDI collaborera avec le personnel et la haute direction de l’OMS pour répondre aux préoccupations et aux recommandations formulées dans l’examen; entre autres, elle fera un suivi de l’engagement de l’OMS à mettre en œuvre sa nouvelle politique d’évaluation, cherchera des façons d’appuyer la stratégie de l’OMS visant à adopter une démarche soucieuse d’équité entre les sexes dans l’ensemble de l’organisation, et surveillera les progrès de l’OMS dans la mise en œuvre du Système mondial de gestion; 2) l’ACDI restera en contact avec d’autres organismes donateurs aux vues similaires, afin d’obtenir des appuis à l’égard de ces recommandations que l’on pourra mettre de l’avant durant les réunions des organes directeurs de l’OMS.

Recommandations :
1. Le Canada devrait faire un suivi des efforts déployés pour réformer la fonction d’évaluation à l’OMS, après la mise en œuvre de la nouvelle Politique sur l’évaluation. L’ACDI devrait notamment utiliser l’influence qu’elle a au Conseil exécutif et auprès des autres organismes donateurs pour prôner la mise en œuvre d’une fonction d’évaluation qui dispose de ressources suffisantes afin que, au final, l’OMS soit en mesure de couvrir l’ensemble des programmes qu’elle met en œuvre.

Engagements/Mesures prises :
Acceptée.

1.1 Le Canada siège au Conseil exécutif de l’OMS, ce qui a permis à l’ACDI de participer activement à l’élaboration de la nouvelle Politique d’évaluation de l’OMS que l’Assemblée mondiale de la santé a adoptée en mai 2012.

Conformément à la nouvelle Politique d’évaluation, le Conseil exécutif apportera sa contribution au plan de travail bisannuel d’évaluation de l’OMS et révisera, au besoin, la Politique d’évaluation eu égard aux rapports annuels du Bureau des services de contrôle interne.

1.2 Au besoin, l’ACDI collaborera activement avec le personnel et la haute direction de l’OMS, afin de prôner le renforcement de la fonction d’évaluation de l’OMS.

1.3 L’ACDI restera en contact avec d’autres organismes donateurs aux vues similaires, afin de cerner les domaines d’intérêt commun pour le renforcement de la fonction d’évaluation de l’OMS.

Responsabilité :
ACDI/ Direction générale des programmes multilatéraux et mondiaux (Direction des initiatives mondiales)

Date d’achèvement prévue :
1.1 2012

1.2 2013

1.3 2013

État :
1.1 Terminé – Se reporter au document SGDE no 6068730

Recommandations :
2. L’ACDI devrait faire un suivi de la mise en œuvre de la Politique d’évaluation, afin de veiller à ce que les évaluations futures de l’OMS tiennent adéquatement compte de l’égalité entre les sexes.

Engagements/Mesures prises :
Acceptée.

2.1 L’ACDI collabore avec l’équipe « Genre, équité et droits humains » de l’OMS afin de l’encourager à intégrer les priorités transversales, y compris l’égalité entre les sexes, l’équité et les droits, à l’ensemble des activités de l’OMS. L’ACDI communiquera les résultats de cet examen sur l’égalité entre les sexes dans les évaluations à l’équipe « Genre, équité et droits humains » de l’OMS. L’ACDI continuera de discuter avec cette dernière, ainsi qu’avec les donateurs aux vues similaires, afin de trouver des façons d’appuyer les plans de l’OMS visant à intégrer l’égalité des sexes à l’ensemble des activités de l’OMS, y compris la fonction d’évaluation.

2.2 L’ACDI convoquera une réunion des « Amis de l’OMS », et y invitera des collègues de toutes les directions générales de l’ACDI, afin d’exposer les résultats de cet examen et de prôner l’inclusion de l’égalité entre les sexes dans les évaluations futures que l’OMS réalisera à l’égard d’initiatives financées par l’ACDI.

Responsabilité :
ACDI/ Direction générale des programmes multilatéraux et mondiaux (Direction des initiatives mondiales)

Date d’achèvement prévue :
2.1 2013

2.2 2013

Recommandations :
3. L’ACDI devrait encourager l’OMS à mettre en place un système pour publier, à intervalles réguliers (peut-être annuellement), des rapports sur l’efficacité de l’aide au développement, système qui s’appuie sur la fonction d’évaluation améliorée. De façon générale, il faut renforcer l’engagement de l’OMS de rendre compte de l’efficacité des programmes.

Engagements/Mesures prises :
Acceptée.

3.1 Le Canada, qui siège au Conseil exécutif et au Comité du Programme, du Budget et de l’Administration (2010•2012) de l’OMS, a prôné la publication des rapports d’évaluation et de vérification. Le Secrétariat de l’OMS s’est engagé, lors de la réunion du Conseil exécutif de mai 2012, à améliorer l’accès aux rapports de vérification et d’évaluation en mettant en place un site Web à accès restreint vers la fin de l’année 2012. Ce site n’existe pas encore. L’ACDI croit fermement que l’accès à ces renseignements est essentiel pour être en mesure d’assurer une diligence raisonnable.

3.2 L’ACDI continuera d’exhorter l’OMS d’accroître l’accessibilité aux rapports d’évaluation et de vérification et à rapidement mettre en place le site Web promis.

Responsabilité :
Directeur général, Direction des initiatives mondiales

Date d’achèvement prévue :
3.1 Terminé

3.2 2013

État :
3.1 Se reporter au document SGDE no 6054296

Recommandations :
4. L’ACDI devrait encourager l’OMS à adopter systématiquement une gestion axée sur les résultats. L’amélioration et la mise en œuvre continues du Système mondial de gestion à l’OMS permettrait peut-être de le faire.

Engagements/Mesures prises :
Acceptée.

L’OMS a fait des progrès à l’égard de la mise en œuvre de nouveaux mécanismes de gestion et mécanismes administratifs, notamment le Système mondial de gestion, en vue d’améliorer son efficacité. Cependant, certains aspects de la culture organisationnelle, comme la planification financière, l’allocation de ressources, la gestion des ressources humaines et la gestion axée sur les résultats, limitent l’efficacité de ces nouveaux outils.

4.1 L’ACDI restera en contact avec l’OMS pour évaluer les progrès réalisés à l’égard de la mise en œuvre du Système mondial de gestion et prôner le recours à un système de gestion plus efficace, axé sur les résultats.

4.2 L’ACDI collaborera activement avec le Conseil exécutif et d’autres intervenants pour faire un suivi de la mise en œuvre du Système mondial de gestion et encourager son utilisation systématique pour la gestion des résultats.

Responsabilité :
Directeur général, Direction des initiatives mondiales

Date d’achèvement prévue :
4.1 2013

4.2 2013