Sélection de la langue

Recherche

La gestion axée sur les résultats appliquée aux programmes d’aide internationale Un guide pratique

Version PDF

Mis à jour juin 2022

Table des matières

Préface

Le présent guide constitue une introduction complète à la manière dont Affaires mondiales Canada applique l’approche de la gestion axée sur les résultats à ses programmes d’aide internationale, plus particulièrement au niveau des projets. Il fournit des explications sur les concepts, les principes, la terminologie et les outils de la gestion axée sur les résultats ainsi que des instructions, étape par étape, pour leur application.

Dans le contexte the développement international, cette approche et également appelée gestion axée sur les résultats de développement ou gestion axée sur les résultats de développement durable.

Ce guide est accompagné de diverses fiches-conseils sur la gestion axée sur les résultats, de listes de contrôle, de modèles et d’un glossaire de la gestion axée sur les résultats. Pour le public externe, veuillez consulter la page Web externe d’Affaires mondiales Canada sur la gestion axée sur les résultats.

Tout commentaire ou question à l’intention des auteurs est bienvenu et peut leur être acheminé à l’adresse gar.rbm@international.gc.ca.

Auditoire

Le présent guide est destiné au personnel d’Affaires mondiales Canada (AMC) (à l’Administration centrale et sur le terrain) responsable des projets et programmes / portefeuilles d’aide internationale, et au large éventail de partenaires canadiens , internationaux et locaux avec qui AMC collabore. Si les notions et les principes qui sous-tendent la gestion axée sur les résultats sont les mêmes pour la plupart des organisations et des donateurs, les demandeurs et les partenaires qui travaillent avec AMC auront intérêt à utiliser ce guide pour comprendre l’approche du Ministère concernant la gestion axée sur les résultats et son application aux projets qu’il finance.

Ce guide sera également utile à tout le personnel d’AMC qui veut comprendre en quoi consiste la gestion de projet axée sur les résultats en général, et plus particulièrement dans le contexte des programmes d’aide internationale.

Le personnel qui gère un programme-pays, un programme lié à une institution et d’autres programmes / portefeuilles peut aussi s’inspirer de ces lignes directrices pour l’aider dans sa gestion du programme en fonction des résultats.

Tous les Canadiens qui s’intéressent à la gestion axée sur les résultats y trouveront de l’information utile et des exemples précis qui enrichiront leurs connaissances sur le sujet.

Ce guide se veut également un complément au formulaire de demande de financement d’AMC pour les projets d’aide internationale susceptibles de contribuer à l’atteinte des résultats attendus du Ministère en matière d’aide internationale.

Première partie : Une introduction à la gestion axée sur les résultats

1.0 Introduction

La première partie explique la gestion axée sur les résultats en donnant un aperçu de ses principes fondamentaux.

Les principes fondamentaux qui précèdent s’appuient en outre sur les concepts suivants :

Ces principes sont à la base de l’approche choisie par Affaires mondiales Canada pour gérer ses programmes d’aide internationale en fonction de l’atteinte de résultats.Note de bas de page 2

Encadré 1 - Gestion axée sur les résultats

Lorsque l’on parle de la gestion axée sur les résultats, on peut également employer l’expression « gérer en fonction de l’atteinte des résultats ».
Dans le domaine du développement international, on précise parfois « gestion axée sur les résultats de développement » ou « gestion axée sur les résultats de développement durable ».

Encadré 2 – Définition : Résultats

Un résultat est un changement descriptible ou mesurable entraîné par les résultats de plus faible niveau ou les extrants d’une initiative. Les résultats peuvent être décrits comme immédiats, intermédiaires ou ultimes. Les extrants contribuent aux résultats immédiats; les résultats immédiats contribuent aux résultats intermédiaires; et les résultats intermédiaires contribuent aux résultats ultimes. Les résultats ne relèvent pas du contrôle exclusif d’une organisation, d’une politique, d’un programme ou d’un projet unique, ils relèvent plutôt du champ d’influence de l’organisation.

Encadré 3 - Définitions : Types de parties prenantes

Les parties prenantes comprennent les bénéficiaires, les intermédiaires, les exécutants, les autres donateurs ainsi que divers autres intervenants :

Bénéficiaire (détenteur des droits) : Groupe de personnes qui vivent le changement d’état, de condition ou de bien-être au niveau des résultats ultimes d’un modèle logique. Dans le cadre des programmes d’aide internationale d’Affaires mondiales Canada, les exécutants que le Ministère finance travaillent habituellement  par l’entremise d’intermédiaires afin de contribuer à la réalisation des changements pour les bénéficiaires. Les exécutants d’Affaires mondiales Canada peuvent aussi travailler directement avec des bénéficiaires. Dans un tel cas, les bénéficiaires peuvent aussi, à l’instar d’intermédiaires, vivre des changements de capacité (résultat immédiat) et des changements de comportement, de pratiques ou de rendement (résultat intermédiaire).

Intermédiaire (détenteur de la responsabilité) : Personne, groupe, institution ou gouvernement qui n’est pas le bénéficiaire ultime du projet,  mais qui vivra un changement de capacité (résultat immédiat) et un changement de comportement, de pratiques ou de rendement (résultat intermédiaire) qui lui permettront de contribuer à la réalisation d’un changement d’état durable (résultat ultime) des bénéficiaires. Les intermédiaires sont souvent des titulaires de mandat ou des agents investis d’obligations à qui il incombe de fournir des services aux bénéficiaires ultimes. Il s’agit des entités avec lesquelles les exécutants travaillent directement.

Exécutant : Entreprise privée, organisation non gouvernementale, organisation multilatérale, établissement d’enseignement, ministère provincial ou fédéral ou toute autre organisation sélectionnée par Affaires mondiales Canada pour mettre en œuvre un projet dans un pays partenaire. Selon le contexte, le terme choisi pour désigner un exécutant peut être organisation de mise en œuvre, agence d’exécution, partenaire ou récipiendaire.

Bailleur de fonds (ou donateur) : Affaires mondiales Canada ou autre organisme qui fournit un appui financier, technique ou autre pour la réalisation d’un projet.

Autre parties prenantes : Personne, groupe, institution ou administration publique qu’une mesure, une proposition ou une activité intéresse ou préoccupe sur les plans économique, social ou environnemental.

1.1 La gestion axée sur les résultats

Qu’est-ce que la gestion axée sur les résultats ?

La gestion axée sur les résultats (GAR) est une approche de gestion modulable fondée sur le cycle de vie et axée sur l’obtention de résultats : de l’ initiation, à la conception et à la planification, à la mise en œuvre (suivi axé sur les résultats, y compris la mesure de performances, l’adaptation/ajustement et l’établissement de rapports) et à la clôture (évaluation et rapports finaux, et intégration des enseignements tirés dans la programmation future). C’est une façon de travailler et de penser stratégiquement –  un état d’ esprit –  pour gérer les programmes/portefeuilles, projets et les autres activités avec efficacité et efficience pour obtenir les résultats attendus.

Selon le document La gestion axée sur les résultats – Énoncé de principe 2008 d’Affaires mondiales Canada :

La GAR est une approche cyclique [adaptive] de gestion qui considère à la fois la stratégie, les personnes, les processus et les mesures, de manière à améliorer la prise de décisions, la transparence et la responsabilité. Elle est essentielle pour permettre à la haute direction […] d’exercer une gestion judicieuse, conforme aux normes de rendement et de responsabilisation du gouvernement. Elle mise sur la production des résultats attendus, la mesure du rendement, l’apprentissage et l’adaptation, de même que la production de rapports sur le rendement. Par GAR, on entend :

Autrement dit, la gestion axée sur les résultats n’est pas seulement un ensemble d’outils ou de directives, mais une façon de penser stratégiquement à vos projets ou à vos programmes / portefeuilles, projets et autres initiatives afin de les gérer plus efficacement. Cette meilleure gestion vous permet d’améliorer l’atteinte des résultats, c’est-à-dire les changements positifs auxquels vous souhaitez que vos programmes / portefeuilles ou vos projets contribuent.

Pourquoi avoir recours à la gestion axée sur les résultats ?

Depuis quelques décennies, une pression constante s’exerce sur les gouvernements du monde entier pour qu’ils soient plus transparents et redevables à l’égard des contribuables en ce qui a trait à leur utilisation des ressources publiques. En effet, la préoccupation du public devant l’augmentation des déficits des comptes nationaux et la nécessité d’une gouvernance plus transparente et plus responsable des affaires publiques sont des facteurs importants qui ont contribué à l’évolution de la gestion moderne.

Pendant très longtemps, les ministères (et les organismes d’exécution) ont porté leur attention sur les intrants (ce qu’ils dépensaient), les activités (ce qu’ils réalisaient) et les extrants (ce qu’ils produisaient). Bien que l’information sur les intrants, les activités et les extrants soit importante, elle ne permettait pas aux exécutants de savoir s’ils réalisaient des progrès ou non relativement aux enjeux qu’ils avaient identifiés. Le fait de perdre de vue les résultats attendus de leurs programmes limitait l’efficacité de leurs efforts. 

Il fallait donc trouver une nouvelle méthode de gestion qui rehausserait les normes de rendement et qui définirait le succès en fonction des résultats réellement obtenus. La gestion axée sur les résultats a été adoptée pour répondre à ce besoin.

En 1954, le professeur de gestion Peter Drucker avait baptisé « piège de l’activitéNote de bas de page 3 » la tendance à mettre l’accent sur les activités au détriment des résultats. La gestion axée sur les résultats exige plutôt  que nous nous intéressions non seulement aux activités et aux extrants, mais surtout aux résultats réels ; les changements auxquels vos programmes contribuent ou ont contribués. En définissant des résultats attendus réalistes et clairement définis, en évaluant les risques, en recueillant des renseignements pour évaluer régulièrement les progrès réalisés en regard de ces résultats pendant la mise en œuvre et s’adapter / effectuer des ajustements en temps opportun, les praticiens peuvent mieux gérer leurs projets et leurs programmes / portefeuilles pour optimiser et améliorer l’atteinte des résultats.

Cette attention portée à l’évaluation au niveau des résultats au cours de la mise en œuvre est l’un des principaux changements introduits par la gestion axée sur les résultats. Si les méthodes de gestion plus classiques définissaient des objectifs ou des résultats attendus au stade de la planification, une fois que s’amorçait la mise en œuvre, le suivi se limitait aux intrants, aux activités et aux extrants. Avec la gestion axée sur les résultats, on s’intéresse aux résultats non seulement au stade de la conception et planification , mais encore tout au long de la mise en œuvre.

Encadré 4 – Définition : Résultats de développement

Résultats de développement : Les résultats de développement représentent un sous-ensemble des résultats d’aide internationale d’Affaires mondiales Canada. C’est à dire que ces résultats sont spécifiquement axés sur des améliorations tangibles de la vie des pauvres et des  vulnérables. Ces changements seraient décrits aux niveaux des résultats immédiats, intermédiaires et ultimes de la chaine des résultats de la programmation d’aide internationale du ministère.

Les politiques et les procédures établies par le Secrétariat du Conseil du Trésor, y compris , le Cadre de responsabilisation de gestion et la Politique sur les résultats engagent le gouvernement du Canada à mettre l’accent sur les résultats comme principe de gestion dans tous ses ministères et organismes. Il n’y a d’ailleurs pas que le gouvernement du Canada pour qui la gestion axée sur les résultats est une exigence. C’est une approche de gestion largement acceptée en développement international (à laquelle on fait souvent référence à titre de gestion pour des résultats de développement ou gestion axée sur les résultats de développement durable), ainsi qu’en action humanitaireNote de bas de page 4 en situation de crise ou d’après-criseNote de bas de page 5. La gestion axée sur les résultats est d’ailleurs prônée par le Comité d’aide au développement de l’Organisation pour la coopération et le développement économiques (CAD-OCDE) et par les Nations Unies. C’est l’un des principes de l’efficacitéNote de bas de page 6 de l’aide. Elle est utilisée par la plupart des donateurs, des organisations multilatérales, des organisations non-gouvernementales et par un nombre croissant de pays partenaires et occupe également une place importante dans les accords internationaux en matière de coopération au développementNote de bas de page 7 ainsi que d’autres formes de coopération en aide internationale.

La gestion axée sur les résultats aide Affaires mondiales Canada à mettre en œuvre la Politique sur les résultats et la Politique sur les paiements de transfert du Secrétariat du Conseil du Trésor du Canada.

L'approche de la gestion axée sur les résultats d’AMC en matière d'aide internationale s'aligne également sur les principes directeurs de l'OCDE-CAD sur la gestion des résultats en matière de développement durable.

Encadré 5 – La gestion axée sur les résultats dans des contextes de crise ou d’après-crise

Généralement, les principes de mise en œuvre de la gestion axée sur les résultats dans des situations de crise et d’après-crise sont les mêmes que pour les contextes de développement. Toutefois, un certain nombre de facteurs-clés doivent être pris en considération lorsqu’on utilise la gestion axée sur les résultats dans les contextes de crie et d’après-crise.  Par exemple, dans les situations de crise et d’après-crise, les échéanciers sont plus courts pour la planification et la préparation de rapports sur les résultats. Le rôle du gouvernement pourrait être différent, particulièrement pour les urgences humanitaires. Il est aussi important de s’assurer  lors du développement et de la mise en œuvre du programme que les résultats articulés répondent aux causes fondamentales du conflit et au principe de «sans préjudice»Note de bas de page 8.

La prise de décision fondée sur des données probantes

Les renseignements – ou les données probantes – recueillis sur les progrès réalisés en vue de l’atteinte des résultats permettent aux gestionnaires et au personnel de prendre des décisions fondées sur des données probantes. Faute de données probantes sur ces progrès, les décisions ont plutôt tendance à reposer sur les budgets et autres intrants, les activités et les extrants. C’est un peu comme si on se fiait seulement sur sa jauge d’essence, au volant, pour se rendre à sa destination. On ne manquera peut-être jamais d’essence, mais il se peut également qu’on ne parvienne jamais à destination. Plus concrètement, si l’on ne garde pas un œil sur ses progrès réalisés en vue des résultats attendus, on ne saura jamais s’il faut apporter des ajustements pour les atteindre.

Lorsqu’on ne se fonde pas sur des données probantes pour prendre des décisions ou que les données sont inexactes, on risque de compromettre la réalisation des résultats attendus. C’est pourquoi le suivi et l’évaluation axés sur les résultats constituent une composante vitale de l’approche de gestion axée sur les résultats.  Se référer à la section 1.3 sur le suivi et l’évaluation axés sur les résultats.

Encadré 6 – « Niveau d’atteinte des résultats » et « progrès réalisés en vue des résultats »

Au moment de faire rapport sur des résultats, vous pouvez parler du « niveau d’atteinte » d’un résultat ou des progrès réalisés « en vue » d’atteindre ce résultat. Cette différence vous permet de rendre compte des avancées « en vue » d’atteindre un résultat même sans changement significatif dans la valeur des indicateurs de ce résultat. Pour plus d’information sur la différence entre les deux, prière de consulter l’Encadré 56 – Définitions : « Niveau d’atteinte des résultats » et « progrès réalisés en vue des résultats » à la section 4.3 Les rapports sur les résultats ci-après ou le lexique de la gestion axée sur les résultats.

Pour résumer, la gestion axée sur les résultats est affaire d’efficacité; elle vise à maximiser la réalisation des résultats ultimes,à savoir, des améliorations dans la vie des gens. La nature des résultats ultimes peut varier selon le type de programme. Par exemple, dans le cas du développement international, les résultats ultimes concernent une amélioration durable de la vie des personnes dans les pays en développement, comme une plus grande prospérité économique et de meilleurs résultats en santé et en éducation. Dans le domaine de l’aide humanitaire, ils décriraient une réduction de la souffrance, le maintien de la dignité ou des vies sauvées dans les populations touchées par des crises. En sécurité internationale, ils pourraient avoir trait à la réduction des menaces pour les populations de pays où Affaires mondiales Canada à des programmes et pour les Canadiens.

L’exemple du cheminement scolaire d’un étudiant dans l’encadré ci-après illustre en termes simples la façon dont les principes de la gestion axée sur les résultats sont appliqués au quotidien dans le monde entier et pourquoi cette approche est utile.

Encadré 7 - Illustration simple des notions clés de la gestion axée sur les résultats

Imaginez que vous êtes un étudiant. Votre école a établi un programme d’études qui décrit, dans les grandes lignes, les résultats et les objectifs d’apprentissage (connaissances et compétences précises et application de ces dernières) que vous êtes tenu d’atteindre avant la fin de l’année pour passer au niveau suivant. Le programme d’études est basé sur l’analyse de la recherche, des données probantes et des meilleures pratiques dans le domaine de l’éducation et établit des résultats et des objectifs d’apprentissage réalistes et atteignables pour votre année ou votre niveau. L’école a mis en place des systèmes pour vous permettre de faire le suivi de votre rendement afin de vous assurer que vous êtes en voie d’atteindre vos objectifs (cibles) de fin d’année en ce qui a trait aux résultats d’apprentissage attendus.

Pendant l’année, vous suivez vos progrès à l’aide d’indicateurs quantitatifs (p. ex., vos notes et votre rang) et qualitatifs (p. ex., votre niveau de confiance à l’égard du sujet et votre participation au cours). Les données relatives à ces indicateurs sont recueillies grâce à diverses méthodes de collecte (p. ex., des tests, des travaux, l’observation). Ces données sont évaluées et vous recevez une rétroaction régulière ainsi que des comptes rendus de votre rendement tout au long de l’année. Si, pendant l’année, vos progrès sont lents, les renseignements fournis par ce suivi régulier vous donnent la preuve dont vous avez besoin pour adopter des mesures correctives, p. ex., embaucher un tuteur. Dans pareil cas, vous devrez ajuster les activités que vous prévoyiez faire en dehors des cours et peut-être devrez-vous également ajuster votre budget. 

Pour être utiles et vous permettre de gérer vos études et d’adopter des mesures correctives, les renseignements que vous obtenez par la rétroaction et les comptes rendus réguliers mettent l’accent sur la modification réelle de vos compétences, de vos aptitudes ou de votre rendement, plutôt que sur ce qui a été fait ou enseigné en classe. Un compte rendu qui ferait état de votre présence au cours de mathématiques ou d’anglais ou de sciences ne vous fournirait pas suffisamment d’information. Un compte rendu qui évaluerait vos progrès en fonction des résultats d’apprentissage de fin d’année, sur la base d’une analyse des données réelles provenant d’indicateurs (vos notes, etc.), vous fournirait des renseignements beaucoup plus utiles pour la prise de décision sur vos études et vous aiderait ainsi à mieux gérer celles-ci. 

1.2 La gestion axée sur les résultats et la théorie du changement

La théorie du changement fait partie intégrante de la gestion axée sur les résultats. Le Secrétariat du Conseil du Trésor du Canada l’explique comme suit :

Chaque programme repose sur une théorie du changement – une série d’idées décrivant comment et pourquoi le programme donnera les résultats attendus. La théorie permet de faire le lien entre les activités et [le résultat ultime attendu] du [projet ou] programme. Elle est inhérente à la conception du programme (ou du projet) et est souvent basée sur la connaissance et l’expérience du programme [ou de l’équipe de conception], la recherche, les évaluations, les pratiques exemplaires ou les leçons apprises.

La théorie du changement redynamise les racines analytiques de la gestion axée sur les résultats, en mettant l’accent sur la nécessité de comprendre les conditions qui influent sur le projet ainsi que les motivations et les contributions des divers intervenants. Lorsque la gestion axée sur les résultats est bien appliquée, on conçoit un projet sur la base d’une analyse approfondie de l’enjeu que l’on souhaite aborder et du contexte dans lequel il existe. Cette analyse permet de proposer une solution fondée sur des données probantes : la théorie du changement. 

Une théorie du changement explique de quelle façon l’intervention devrait produire les résultats prévus. Cette théorie débute habituellement par une séquence d’événements et de résultats  (extrants, résultats immédiats, résultats intermédiaires, résultats finaux) qui devraient avoir lieu conséquemment à l’initiative. Cette séquence est habituellement appelée la « logique du programme » ou le « modèle logique ». La théorie du changement va toutefois plus loin : elle décrit les mécanismes du changement, formule les hypothèses et définit les risques et le contexte qui pourraient appuyer la théorie ou l’empêcher de se concrétiser sous la forme de résultats observés.Note de bas de page 9

Voici un exemple simple de théorie du changement provenant de la résolution de conflit :

Telles qu’elles sont appliquées au domaine des conflits, les théories du changement renvoient aux liens présumés qui existent entre diverses mesures pour la réduction de conflit ou bâtir la paix et leurs résultats… L’une des stratégies d’atténuation des conflits les plus populaires nécessite de réunir les représentants des groupes de belligérants afin qu’ils puissent interagir dans un lieu sécuritaire. On s’attend ainsi à ce que les interactions permettent à chacun de mettre un visage humain sur «l’autre», favorisent l’établissement d’un lien de confiance et mènent éventuellement à la réduction des tensions. Cette stratégie repose sur une théorie du changement appelée « hypothèse du contact » qui s’explique de la façon suivante : « Si les acteurs clés des groupes de belligérants ont la chance d’interagir, ils se comprendront et s’apprécieront mieux, seront plus en mesure de travailler ensemble et préféreront régler les conflits de manière pacifique ».Note de bas de page 10

La théorie du changement ne représente pas une nouvelle façon d’aborder la conception, la mise en œuvre et l’évaluation de programmes et projets. Cependant, depuis quelques années, elle est de plus en plus répandue dans les programmes d’aide internationale. Un large éventail d’intervenants internationaux, des organismes gouvernementaux aux institutions multilatérales en passant par les organisations de la société civile, y font appel afin « d’aborder d’une manière mieux intégrée la définition de la portée, la conception, le développement de stratégies jusqu’à la mise en œuvre, l’évaluation et l’étude d’impactNote de bas de page 11».

La théorie du changement sera revue régulièrement pendant la mise en œuvre, à mesure qu’évolueront le projet ou le programme / portefeuille et le contexte dans lequel ils sont exécutés. Cette façon de procéder est conforme au principe d’ajustement continu qui est au cœur de la gestion axée sur les résultats : faire le suivi des progrès, comparer les résultats attendus aux résultats réels, apprendre et apporter des ajustements, au besoin.

L’importance des hypothèses

Les hypothèses sont les croyances conscientes et inconscientes que nous avons tous au sujet de la manière dont le monde fonctionne. Du point de vue de l’équipe de conception, les hypothèses sont des croyances (validées ou non) au sujet des conditions existantes qui pourraient avoir une incidence sur l’atteinte des résultats, et de la raison pour laquelle les changements attendus à chaque niveau mèneront au prochain niveau. Dans le contexte de la théorie du changement et du modèle logique, les hypothèses décrivent les conditions nécessaires qui doivent exister si l’on veut que les relations de cause à effet dans la théorie du changement fonctionnent comme prévu. Il faut donc prendre soin d’expliciter les hypothèses importantes sur lesquelles la logique interne de la théorie du changement est basée.

Les hypothèses peuvent être difficiles à cerner, étant donné qu’elles sont souvent tenues pour acquises ou liées à des convictions profondes. Une bonne façon de faire ressortir des hypothèses consiste à tenir des exercices participatifs avec un large éventail de parties prenantes, locales et autres, parce que les hypothèses ont tendance à varier d’une partie prenante à l’autre et qu’elles deviennent apparentes lorsque les points de vue divergent sur la probabilité qu’un projet donne lieu au changement souhaité.

L’importance de cerner les risques

Affaires mondiales Canada décrit le risque comme l’effet de l’incertitude sur les résultats attendus. L’élaboration d’une théorie du changement aidera aussi à cerner les risques qui pourraient nuire à l’atteinte des résultats. 

Remarque : Une fois les risques cernés, des stratégies de réponses appropriées devraient être élaborées et gérées durant toute la vie du projet. De l’information et des outils sur l’évaluation, la gestion et le suivi du risque à Affaires mondiales Canada sont disponibles sur demande à gir.irm@international.gc.ca.

La chaîne de résultats

L’élaboration d’une théorie du changement associe un processus de réflexion et d’analyse à la cartographie systématique de la séquence logique de changements dans un projet, des intrants aux résultats. La chaîne de résultats fournit le cadre théorique qui permet d’articuler cette séquence logique. Affaires mondiales Canada définit la chaîne de résultats comme suit (voir l’encadré 8 ci-après) : 

Encadré 8 – Définition : Chaîne de résultats

Chaîne de résultats: Description visuelle des rapports logiques illustrant les liens entre les intrants, les activités, les extrants et les résultats d’une politique, d’un programme ou d’un projet donné.

La chaîne de résultats répond au besoin des praticiens d’avoir à leur disposition un moyen de décomposer des changements complexes en composantes ou en étapes qui mènentNote de bas de page 12 les unes aux autres. Elles facilitent l’identification et le séquencement des changements pendant l’analyse et la planification. Ces étapes deviennent alors les points où les praticiens vérifieront dans quelle mesure les changements attendus se produisent tout au long de la mise en œuvre des projets.

Chaque organisation peut définir sa propre chaîne de résultats, selon le nombre et le type de composantes de base ou de niveaux qu’elle souhaite utiliser. Comme le montrent les exemples suivants, les chaînes de résultats ne se ressemblent pas toutes. Si, à Affaires mondiales Canada, une chaîne de résultats compte six niveaux (voir l’exemple ci-après), d’autres organisations peuvent prévoir un moins grand nombre de niveaux et utiliser des termes différents pour décrire ces niveaux (p. ex., la chaîne de résultats de la Direction de la coopération pour le développement de l’Organisation de coopération et de Développement économique peut ne compter que cinq niveaux : intrants, activités, extrants, résultats et impact).

En résumé, quand des praticiens abordent un problème en particulier, leurs chaînes de résultats respectives établiront une structure pour la conception de leur projet et leur diront quels types de composantes de base doivent être définis au fur et à mesure de l’élaboration de leur théorie du changement.

Figure 1 - Chaîne de résultats d’Affaires mondiales Canada

Figure 1 - Chaîne de résultats d’Affaires mondiales Canada
Version texte

La figure 1 représente un exemple de chaîne de résultats où chaque niveau mène au suivant.

Niveaux de la chaîne de résultats d'Affaires mondiales Canada

  • Intrants
  • Activités
  • Extrants
  • Résultats immédiats (résultat de développement)
    • (à court terme)
  • Résultats intermédiaires (résultat de développement)
    • (à moyen terme)
  • Résultat ultime (résultat de développement)
    • (à long terme)

Exemples simples d’énoncés associés à chaque niveau de la chaîne de résultats d’Affaires mondiales Canada

  • Intrants : Financement, Individus, Matériel
  • Activités: Acheter matériaux; engager entrepreneur; vérifier travaux; suivre la construction
  • Extrant : Puits construits conformément au cahier des charges
  • Résultat immédiat : Accès accru à l’eau potable dans la communauté (résultat de développement)
  • Résultat intermédiaire : Augmentation de l’utilisation de l’eau potable dans la communauté (résultat de développement)
  • Résultat ultime Amélioration de la santé des femmes, hommes, filles et garçons dans la communauté (résultat de développement)

La chaîne de résultats d’Affaires mondiales Canada

La chaîne de résultats d’Affaires mondiales Canada se répartit en six niveaux. Chaque niveau représente une étape distincte dans la logique d’un projet. Les trois niveaux supérieurs – résultats ultime, intermédiaires et immédiats – constituent les changements que vous vous attendez à voir se produire. Dans le contexte du développement, on y fait alors référence à titre de résultats de développement. Les trois niveaux du bas – intrants, activités et extrants – représentent les moyens pour y arriver.

Dans la chaîne de résultats, chaque niveau se distingue des autres, avec des définitions claires du type de changement auquel on s’attend à ce niveau. Ces définitions, ainsi que la définition pour les intrants, les activités et les extrants, sont décrites ci-dessous. Elles, ainsi que la définition des résultats de développement, furent adaptées de l’Énoncé de principe sur la gestion axée sur les résultats de 2008 d’Affaires mondiales Canada.

Résultat ultime – Changement d’état, de condition ou de bien-être des bénéficiaires

Encadré 9 – Définition : Résultat ultime

Résultat ultime : Plus haut niveau de changement auquel une organisation, une politique, un programme ou un projet contribue au moyen de la réalisation d’un ou de plusieurs résultats intermédiaires. Le résultat ultime représente généralement la raison d’être d’une organisation, d’une politique, d’un programme ou d’un projet, et prend la forme d’un changement d’état durable chez les bénéficiaires (porteurs des droits).

Le résultat ultime d’un projet explique « pourquoi » nous avons choisi d’intervenir et doit décrire les changements d’état, de condition ou de bien-être que les bénéficiaires ultimes du projet devraient connaître. Il ne faut pas confondre ces changements avec ceux qui pourraient se produire dans leur milieu, comme une « augmentation de la croissance économique […] ». Il s’agirait plutôt de refléter les changements dans les conditions de vie des femmes, des hommes, des filles et des garçons dans le pays partenaire. Par exemple :

Un résultat ultime se produit généralement après la fin du projet, mais il devrait quand-même être mesuré, lorsque faisable, tout au long de celui-ci alors que des changements pourraient se produire plus tôt. Une fois le projet terminé, la réalisation du résultat ultime peut être évaluée au moyen d’une évaluation ex post.

Encadré 10 - Définition: Évaluation ex post

Évaluation ex post : « Évaluation d’une […] initiative une fois celle-ci terminée. Remarque: Ce type d’évaluation peut être réalisé tout de suite après l’achèvement de l’intervention ou longtemps après. Le but est d’identifier les facteurs de succès ou d’échec, d’apprécier la durabilité des résultats et des impacts, et de tirer des conclusions qui pourront être généralisées à d’autres initiatives. »

Résultats intermédiaires – Changement de comportement, de pratiques ou de rendement

Encadré 11 - Définition : Résultat intermédiaire

Résultats intermédiaires : Changement auquel on s’attend logiquement une fois que l’on a atteint un ou des résultats immédiats. En termes d’échéancier et de niveau, ce sont des résultats à moyen terme qui sont habituellement atteints à la fin d’un projet ou d’un programme et apparaissent généralement sous la forme d’un changement de comportement, de pratiques ou de rendement chez les intermédiaires ou les bénéficiaires.

Les résultats intermédiaires expriment quels changements de comportement, de pratiques ou de performance devraient se manifester parmi les intermédiaires ou les bénéficiaires, ou les deux, au cours du cycle de vie d’un projet. Par exemple :

Les résultats intermédiaires découlent habituellement de l’application des capacités renforcées au niveau des résultats immédiats parmi les intermédiaires ou les bénéficiaires. Par exemple, l’« amélioration des soins prénatals offerts par les professionnels de la santé dans la région X » peut découler des résultats immédiats « augmentation des connaissances des professionnels de la santé de la région X en matière de soins prénatals » et « amélioration de l’accès des cliniques rurales à l’équipement et aux infrastructures dans la région X ».

Résultats immédiats – Changement de capacités

Encadré 12 - Définition : Résultat immédiat

Résultat immédiat : Changement  auquel on s’attend logiquement une fois qu’un ou plusieurs extrants ont été fournis ou livrés par l’exécutant. En termes d’échéance et de niveau, ce sont des résultats à court terme qui se manifestent généralement par des changements de capacité chez les intermédiaires ou les bénéficiaires, tels qu’une amélioration de leur sensibilisation, de leurs connaissances ou de leurs habiletés, ou de leur accès* à ...

* Les changements au titre de l’accès peuvent survenir au niveau des résultats immédiats ou intermédiaires, selon le contexte du projet et sa théorie du changement.

Les résultats immédiats expriment le changement de capacité qui devrait se manifester chez les intermédiaires ou les bénéficiaires au cours du cycle de vie d’un projet. Par exemple :

Les résultats immédiats constituent le premier niveau de changement qui peut se manifester chez les intermédiaires ou les bénéficiaires une fois que l’exécutant a commencé à fournir les extrants d’un projet. Par exemple, l’« augmentation des connaissances des professionnels de la santé de la région X en matière de soins prénatals » pourrait découler de la prestation des extrants « formation en soins prénatals offerte au personnel infirmier et aux sages-femmes sélectionnés » et « programme de mentorat établi à l’intention des infirmières et infirmiers stagiaires ».

Extrants – Produits et services

Encadré 13 - Définition : Extrant

Extrant : Produits ou services directs provenant des activités d’une organisation, d’une politique, d’un programme ou d’un projet.

Dans la chaîne de résultats d’Affaires mondiales Canada pour la programmation d’aide internationale, les extrants sont les produits ou les services directs découlant des activités de l’exécutant. Par exemple :

Activités

Encadré 14 - Définition : Activités

Activités : Actions entreprises ou travail mené qui mobiliseront des ressources pour produire des extrants.

Dans le cas des projets financés par Affaires mondiales Canada, les activités sont les actions entreprises ou le travail mené directement par les exécutants du projet. Les activités décomposent un extrant en diverses tâches requises pour le réaliser. Il peut y avoir plus d’une activité par extrant. Par exemple :

Premier exemple

Extrant : Programmes de perfectionnement des compétences tenant compte des sexospécificités et encadrement en cours d’emploi sur le tri, le diagnostic et les soins de santé primaires dispensés au personnel (f/h) dans les centres régionaux de santé du pays  X

Activités :

Deuxième exemple

Extrant : Formation sur les interventions à adopter face à la violence sexuelle et aux autres formes de violence sexiste dispensée aux équipes d’enquête sur le terrain (f/h) de la province Y du pays X

Activités :

Intrants

Encadré 15 - Définition : Intrants

Intrants : Ressources financières, humaines, matérielles et documentaires utilisées pour produire des extrants à l’aide d’activités afin d’atteindre des résultats.

Ensemble, les intrants, les activités et les extrants représentent « comment » les exécutants vont s’employer à atteindre les résultats attendus.

Figure 2 - Chaîne de résultats détaillée d’Affaires mondiales Canada

modèle logique.

La structure du modèle logique

Dans un modèle logique d’Affaires mondiales Canada, un résultat ultime (changement d’état, de condition ou de bien-être touchant les bénéficiaires[33]) devrait reposer sur deux ou trois résultats intermédiaires (changements de comportement, de pratiques ou de rendement). On s’attend à ce que leur réalisation permette d’atteindre le résultat ultime. Pour rendre possible un changement du type visé au niveau du résultat ultime, il faut souvent que de multiples changements de rendement, de comportement ou de pratique se produisent parmi une variété de parties prenantes différentes.

Chaque résultat intermédiaire devrait reposer sur deux ou trois résultats immédiats (changements de capacité : compétences, habiletés, connaissances, etc.). Pour qu’un changement de comportement, de pratiques ou de rendement (le résultat intermédiaire) se produise, il faut souvent répondre à de multiples besoins en matière de capacités.

Chaque résultat immédiat devrait reposer sur deux ou trois extrants (produits ou services directs découlant des activités du projet), puisqu’un changement en matière de capacité exigera habituellement plus que l’obtention d’un seul produit ou la livraison d’un seul service pour se réaliser.

Paramètres du modèle logique

Sur une page

Le modèle logique ne doit pas dépasser une page. Étant donné que le modèle logique est censé offrir une représentation visuelle des éléments principaux de la théorie du changement du projet, son niveau de détail devrait être suffisamment approfondi pour bien décrire le projet, mais suffisamment concis pour présenter les détails essentiels sur une seule pageNote de bas de page 34.

Rappel!

Un seul résultat par case

Si vous constatez que le niveau de complexité et de détail de votre modèle logique vous oblige à dépasser une page, essayez ce qui suit :

Si cela ne permet toujours pas de régler le problème, envisagez d’utiliser des modèles logiques imbriqués pour y « déballer » divers éléments du projet. Vous devriez consulter un conseiller en gestion axée sur les résultats pour des conseils sur les modèles logiques imbriqués.

Le nombre d’extrants et de résultats

Vous trouverez ci-dessous le nombre minimal et maximal recommandé pour chaque type d’énoncé du modèle logique. Ces paramètres devraient en outre vous aider à respecter la limite d’une page.

Comment élaborer un modèle logique

Veuillez consulter la section 3.3 pour obtenir une explication détaillée de la manière d’élaborer un modèle logique.

2.3 La matrice des extrants et des activités

La matrice des extrants et des activités accompagne le modèle logique et l’exposé narratif de la théorie du changement. Ensemble, ces documents présentent la théorie du changement du projet en illustrant toute la chaîne de résultats d’Affaires mondiales Canada, du résultat ultime aux activités et, lorsque la matrice des extrants et des activités sert de base à un budget axé sur les résultats ou les extrants, jusqu’aux intrants.

La matrice décompose les extrants en activités nécessaires à leur réalisation. Tel que défini dans la Première partie,  les activités se définissent comme suit : « Actions entreprises ou travail mené à travers lesquels des extrants sont mobilisés pour produire des extrants.Note de bas de page 35 ». Les énoncés d’activité doivent commencer par un verbe à l’infinitif présent, par exemple « Effectuer une étude géologique et une analyse de l’eau ».

Encadré 35 -  Les choses ont bien changé !

Dans le guide précédent, le niveau des activités correspondait à l’« ensemble des tâches » nécessaires à la production d’un extrant. Les activités étaient donc le miroir des extrants. La nouvelle approche est plus utile et évite de gaspiller espace et temps en répétant les mêmes renseignements.

La matrice des extrants et des activités est présentée sous forme de tableau, contrairement au modèle logique, qui prend la forme d’un diagramme visuel. Cette présentation permet d’économiser de l’espace et d’ajouter d’autres types de renseignements dans des colonnes supplémentaires (renseignements supplémentaires ci-dessous). La matrice répète les niveaux des résultats immédiats et des extrants du modèle logique afin de faciliter les renvois entre les deux documents. Cela permet également au lecteur de suivre la logique de la chaîne de résultats à partir des activités jusqu’au niveau des résultats immédiats.

Contrairement au modèle logique, la matrice n’est pas assujettie à un nombre maximal de pages. Toutefois, nous recommandons de regrouper sur la même page dans la mesure du possible les énoncés apparentés, par exemple en réunissant tous les énoncés d’un résultat immédiat ou un extrant.

Gabarit – matrice des extrants et des activités

Affaires mondiales Canada dispose d’un gabarit normalisé pour la matrice des extrants et des activités.

La matrice des extrants et des activités : autres considérations

Penser en fonction de l’organigramme technique de projet

L’une des façons d’élaborer la matrice des extrants et des activités consiste à se rapporter à l’organigramme technique de projet. La structure étoffe la matrice des extrants et des activités en ventilant les extrants du projet et les séries d’activités en tâches ou sous‑activités correspondantes. Le niveau d’activité correspond au premier niveau, sous les extrants de l’organigramme technique de projet. Les tâches ou les sous-activités correspondent au deuxième, voire au troisième niveau de l’organigramme technique de projet.

Conformément à des pratiques exemplaires largement acceptées dans ce domaine, les activités doivent représenter 100 % du travail nécessaire à la production de l’extrant. De plus, il est important qu’une même activité ne figure pas sous plus d’un extrant. Autrement, la somme des activités du projet représenterait plus de 100 % du travail effectivement accompli.

Il peut arriver que des activités semblables puissent figurer sous divers extrants (p. ex., « embaucher un formateur… »). Toutefois, chacune de ces activités devrait être différenciée en fonction de l’extrant auquel elle appartient (p. ex., « embaucher un formateur en gestion financière », à distinguer de « embaucher un formateur en techniques d’animation communautaire »).

Qu’en est-il des sous-activités?

Dans les directives antérieures sur la gestion axée sur les résultats, il était souvent question du concept de sous-activités. Brièvement, les sous activités sont toutes les tâches qui composent une activité. Dans le contexte de l’organigramme technique de projet, les sous‑activités correspondent simplement à toutes les tâches qui représentent une décomposition plus détaillée d’une activité.

Ni le modèle logique, ni la matrice des extrants et des activités ne comprennent les sous-activités. Les sous-activités sont présentées dans l’organigramme technique de projet seulement.

Combien devrait-il y avoir d’activités par extrant?

On recommande de deux à cinq activités par extrant, mais le nombre exact dépendra de la taille et de la nature d’un projet spécifique. Chaque activité doit représenter une tâche nécessaire à la production de l’extrant, mais aucune activité ne doit représenter une tâche nécessaire à une autre activité (il s’agirait alors d’une sous-activité au niveau suivant dans l’organigramme technique de projet).

Autres utilisations possibles de la matrice des extrants et des activités

Pour ceux qui sont intéressés, la matrice des extrants et des activités peut aussi servir de fondement aux échéanciers des plans de travail annuels. Par exemple, une fois qu’un projet est approuvé (durant la phase du lancement), l’exécutant peut utiliser le format de la matrice des extrants et des activités comme base de création d’un échéancier axé sur les résultats en ajoutant des colonnes pour les échéancesNote de bas de page 36(voir la figure 4 ci-après).

Figure 4 - Exemple d’un calendrier axé sur les résultats

Calendrier axé sur les résultatsAnnée 1Année 2Année 3
Résultat immédiat 1110L’énoncé du résultat du modèle logique serait inscrit ici
Extrant 1111L’énoncé de l’extrant du modèle logique serait inscrit ici.
Activité 1111.1Les énoncés de l’activité seraient inscrits ici.Avr.-juin 20xx
         Activité 1111.2Les énoncés de l’activité seraient inscrits ici.Juin-août 20xx
Activité 1111.3Les énoncés de l’activité seraient inscrits ici.Fév.-mars  20xx
Extrant 1112L’énoncé de l’extrant du modèle logique serait inscrit ici.
Activité 1112.1Les énoncés de l’activité seraient inscrits ici.Avr.-oct. 20xx
Activité 1112.2Les énoncés de l’activité seraient inscrits ici.Nov.-mars 20xx
Résultat immédiat 1120L’énoncé du résultat du modèle logique serait inscrit ici.
Extrant 1121L’énoncé de l’extrant du modèle logique serait inscrit ici.
Activité 1121.1Les énoncés de l’activité seraient inscrits ici.Mai-août 20xx
Activité 1121.2Les énoncés de l’activité seraient inscrits ici.Août-déc. 20xx
Activité 1121.3Les énoncés de l’activité seraient inscrits ici.Jan.-mars 20xx
Extrant 1122L’énoncé de l’extrant du modèle logique serait inscrit ici.
Activité 1122.1Les énoncés de l’activité seraient inscrits ici.Jan.-mars 20xx
Activité 1122.2Les énoncés de l’activité seraient inscrits ici.Jan.-mars 20xx

Comment élaborer une matrice des extrants et des activités

Veuillez consulter la section 3.3, étape 3 d) pour obtenir une explication détaillée de la manière d’élaborer une matrice des extrants et des activités.

2.4 L’exposé narratif de la théorie du changement

L’exposé narratif de la théorie du changement apporte un complément essentiel au modèle logique et à la matrice des extrants et des activités. Il décrit la théorie du changement du projet et fait ressortir ce qui n’est pas explicite dans le modèle logique et la matrice des extrants et des activités, comme les liens logiques entre les résultats du projet et les principales hypothèses sur lesquelles ces liens reposent. De plus, il justifie ces liens, ces hypothèses et les autres choix faits à l’égard de la conception de projet par des données probantes et des leçons apprises provenant d’autres initiatives ou d’autres praticiens. L’exposé narratif devrait également traiter de tout risque majeur à l’atteinte des résultats et des mesures qui ont été ou qui seront mises en œuvre pour gérer le risqueNote de bas de page 37. Si l’on apporte des modifications au modèle logique et à la matrice, il est possible qu’il faille mettre à jour l’exposé narratif de la théorie du changement.

L’exposé narratif de la théorie du changement peut aider toute personne qui se joint à l’équipe de projet à mieux comprendre sa logique. Plus particulièrement, il aide à communiquer les détails et les considérations qui ont été soulevés au cours de l’analyse de situation et du processus de modélisation, mais que la seule structure du modèle logique ne parviendrait pas à communiquer. Il s’agit du seul document de projet à traiter explicitement des hypothèses, qui sont aussi essentielles que les résultats attendus pour comprendre la logique du projet. Par ailleurs, un exposé narratif bien rédigé peut servir de description de projet.

Comment rédiger l’exposé narratif de la théorie du changement

Veuillez consulter la section 3.3, étape 3 g) pour obtenir une explication détaillée de la manière de rédiger l’exposé narratif de la théorie du changement.

Encadré 36 - Les hypothèses

Il est très important d’identifier, de valider et de documenter vos hypothèses pendant la planification et la conception du projet.

Des recherches et des consultations peuvent vous aider à réfuter ou à valider les hypothèses. En formant votre équipe de conception de manière à inclure autant des participants locaux que ceux de l’extérieur, vous pouvez éviter que des hypothèses inconscientes influencent négativement la conception de l’initiative.

Lorsqu’on utilise des hypothèses intentionnellement, elles doivent se fonder sur des données probantes et être documentées dans l’exposé narratif de la théorie du changement. Vous devriez justifier vos hypothèses à l’aide de références, de citations et de données probantes tirées de votre analyse et de vos consultations, et ce pour chaque niveau du modèle logique. 

Par exemple : « Ici, nous formulons l’hypothèse que A et B donneront lieu à C. Les études effectuées par (…) et des initiatives semblables réalisées dans les collectivités voisines montrent que... ».

2.5 Les indicateurs

Les indicateurs sont les éléments de base du cadre de mesure du rendement.

Encadré 37 - Définition : Cadre de mesure du rendement

Un cadre de mesure du rendement est un outil utilisé pour planifier la cueillette des données pertinentes sur les indicateurs tout au long d’un projet afin d’évaluer et de mettre en évidence les progrès réalisés dans l’atteinte des résultats attendus. Le cadre de mesure du rendement représente l’ossature du plan de suivi ; il en documente les principaux éléments afin de faciliter la collecte régulière de données réelles sur les indicateurs du cadre de mesure du rendement. Celui-ci contient tous les indicateurs utilisés pour mesurer les progrès réalisés par rapport aux résultats et aux extrants du projet. De plus, il indique qui a la responsabilité de recueillir les données pour l’indicateur, de quelle source, à quelle fréquence et selon quelle méthode. Il indique également les données de base (ou données de référence) et la cible pour chaque indicateur.

Pour plus d’information, voir section 2.6  Cadre de mesure du rendement.

Encadré 38 – Définition : Indicateur

Un indicateur, parfois appelé « indicateur de rendement », est un moyen de mesurer un résultat ou un extrant réels. Il peut être quantitatif ou qualitatif, et il est composé d’une unité de mesure, d’une unité d’analyse et d’un contexte. Les indicateurs sont neutres : ils n’indiquent ni le sens du changement et ni la cible visée.

Il est important que les parties prenantes s’entendent à l’avance au sujet des indicateurs qui serviront à mesurer le rendement du projet.

Les indicateurs quantitatifs

Encadré 39 - Exemples d’indicateurs quantitatifs

#/total d’enfants (f/g, groupe d’âge et milieu urbain/rural) vivant dans un rayon d’une heure à pied d’une école publique provinciale

%/total, d’enfants âgés de 6 à 15 ans (f/g, milieu rural/urbain) qui ont été immunisés contre la grippe

#/total des organismes d’enquête nationaux avec lesquels un contact ou une collaboration ont été établis.

%/total de citoyens individuels ayant suivi une formation qui déclarent des changements dans leurs habitudes de consommation de médias un mois après avoir participé à la formation de sensibilisation à la propagande (selon le sexe, l’âge, la province).

# de violations des droits de la personne déclarées (par des femmes/des hommes).

Ratio femmes-hommes occupant des postes décisionnels au gouvernement.

#/total de petits producteurs agricoles (f/h, région) qui ont fait appel aux services de vulgarisation agricole dans la dernière année.

%/total d’entreprises appartenant à des femmes représentées aux foires commerciales.

Les indicateurs qualitatifs

Remarque : Les spécialistes ont beaucoup débattu de la valeur des données quantitatives et de celle de l’information qualitative, y compris de la valeur relative des mesures ou indicateurs quantitatifs par rapport aux mesures ou indicateurs qualitatifs. Il semblerait que ce débat soit presque clos dans le domaine de l’évaluation, grâce au recours de plus en plus fréquent aux méthodes mixtes. Les praticiens du domaine ne considèrent plus ces sources d’information comme irréconciliables : les deux sont nécessaires. D’ailleurs, toute mesure quantitative repose sur des jugements qualitatifs, tandis que toute mesure qualitative peut être codée et analysée selon des méthodes quantitatives. 

Afin d’évaluer et de suivre correctement la réalisation des résultats, un agent/gestionnaire a autant besoin de mesures quantitatives que de mesures qualitatives. Par exemple, il ne suffit pas de savoir combien de femmes participent à une activité : la qualité de leur participation et de leur expérience est également une donnée importante qu’il faut saisir pour avoir une vue d’ensemble.

Comme il est difficile d’organiser des données qualitatives aux fins de comparaison ou d’analyse, les indicateurs qualitatifs devraient être « quantifiés » dans la mesure du possible. On peut y arriver en utilisant une échelle de valeurs; par exemple, «niveau de confiance (sur une échelle de 1 à 4) qu’ont les fermiers vis-à-vis la sécurité des routes menant au marché local.»

Encadré 40 - Exemple d’indicateur qualitatif assorti d’une échelle

Supposons que l’un des résultats immédiats d’un projet est : «  Compréhension accrue de la loi relative aux demandes d’enregistrement des entreprises chez les Petites et Moyennes Entreprises (PME) dans la région Y du pays X ».

Après consultation, il a été décidé que ce résultat serait mesuré en partie grâce à l’indicateur suivant : « %/total  des PME qui disent avoir une compréhension ‘appréciable’ ou ‘exhaustive’  de la loi relative aux demandes d’enregistrement des entreprises (4 ou 5 sur une échelle de 5 points). »

L’enquête initiale réalisée a démontré que 20 % des PME (ou 6 sur 30) disaient avoir une compréhension « substantielle » ou « exhaustive » de cette législation. Un sondage réalisé six mois plus tard a démontré que 50 % des PME (ou 15 sur 30) disaient avoir une telle compréhension.

Encadré 41 – Autres exemples d’indicateur qualitatif

#/Total de journalistes locaux indépendants (f/h) qui prévoient poursuivre des enquêtes transfrontalières après le projet.

%/Total des individus qui sentaient qu’ils pouvaient complètement ou généralement participer dans des structure de gestion démocratiques.

La structure d’un indicateur de rendement

Les indicateurs de rendement sont constitués selon une syntaxe comportant trois éléments : unité de mesure, unité d’analyse et contexte.

Rappel!

Pour qu’elles puissent être utiles, il est crucial que les données soient ventilées de façon appropriée.

L’unité de mesure est le premier élément de l’indicateur : nombre, pourcentage, niveau, ratio, etc. Il est important de prévoir la notion de proportionnalité dans l’unité de mesure, en veillant à ce que cette dernière se compose d’un numérateur et d’un dénominateur. Pour ce faire, l’unité de mesure est souvent exprimée comme un nombre sur le total (#/total) ou un pourcentage du nombre total » (%/total).

L’unité d’analyse précise ce qui sera observé : il peut s’agir de particuliers, d’institutions, d’artéfacts sociaux ou de groupes sociaux. Le type d’unité d’analyse déterminera comment ventiler les données recueillies : selon le sexe, l’âge, le groupe ethnique, le milieu rural ou urbain, le statut socio-économique, la propriété ou toute autre catégorie pertinente pour le projet ou le programme. La ventilation des données est d’une importance cruciale pour l’utilité des données recueillies. Par exemple, il sera impossible de mesurer un changement dans l’accès des femmes aux services de base si les données recueillies au cours du suivi ne sont pas ventilées selon le sexe. De même, prenons l’exemple d’un projet qui vise à améliorer la santé des membres d’un groupe ethnique marginalisé en travaillant à la remise en état et à la dotation de centres de soins de santé dans des régions isolées. Ces centres de santé devront veiller à recueillir des données sur les patients d’une manière qui permette une ventilation par groupe ethnique. 

Tableau 5 - Unités d’analyse par type

TypeExemples
Particuliers (femmes et hommes)Étudiants, enseignants, journalistes, éditeurs, représentants élus/nommés, hauts fonctionnaires, citoyens, entrepreneurs, participants, responsables de l’application de la loi, juges, policiers, inspecteurs, personnes handicapées, enfants autochtones, représentants commerciaux, réfugiés, etc.
ÉtablissementsMinistères, commissions des droits de la personne, institutions de l’État, institutions du secteur privé, institutions consacrées à la paix et à la sécurité, institutions chargées de faire appliquer la loi, pouvoir exécutif (c.‑à‑d. cabinet du premier ministre, conseil des ministres), chambres de commerce, organisations non-gouvernementales, organisations communautaires, entreprises, etc.
Artéfacts sociaux« Un artéfact social est tout produit réalisé par des entités sociales (particuliers/groupes) ou résultant de leur comportement, p. ex., livres, journaux, peintures, poèmes, chansons, photos, etc. »Footnote 38. Voici d'autres exemples : systèmes d’établissement des budgets et des rapports, arrestations, textes de loi, procédures standards, manuels, dialogues/forums, politiques, rapports officiels, cartes, etc.
Groupes sociaux présentant des caractéristiques communes définiesLes groupes sociaux peuvent inclure des groupes professionnels, des nationalités, des ethnies ou des groupes partageant des conditions socio-économiques. Par exemple : Association nationale de pédiatrie, association religieuse locale, associations de médias, association du barreau, associations d’anciens combattants, association provinciale des collèges et des universités, etc.

Le contexte est l’ensemble des circonstances qui font en sorte qu’un indicateur est utile pour mesurer un extrant ou un résultat en particulier. Par exemple, pour le résultat « accès amélioré des filles et des garçons de la province X du pays Y à des écoles primaires financées par l’État », admettons que l’un des moyens choisis pour mesurer les progrès réalisés est de voir combien d’enfants vivent dans un certain rayon d’une école publique. Dans pareil cas, le contexte serait « vivant dans un rayon de 1 km de marche d’une école primaire financée par l’État ».

Tableau 6 - Illustration de la structure d’un indicateur de rendement

Unité de mesureUnité d’analyseContexte
#/totalde filles et de garçons âgés de 6 à 11 ans (ventilé par milieu rural/urbain)vivant dans un rayon de 1 km de marche d’une école primaire financée par l’État
Niveau de confiance (sur une échelle de 5 points)des agriculteurs (f/h)dans la sécurité des routes rurales patrouillées par la police qui leur permettent de se rendre aux marchés
%/totald’établissements de santé (publics/privés)fournissant des services sexospécifiques aux populations ethniques dans la langue de leur choix
%/totalde citoyens individuels ayant suivi une formation (ventilé par sexe, âge et province)ayant déclaré des changements dans leurs habitudes de consultation des médias un mois après avoir participé à la formation de sensibilisation à la propagande
#de projets de politiques adoptésqui créent des conditions propices à une réconciliation nationale dans les zones de conflit
Ratiofemmes-hommes  dans des postes décisionnels au gouvernement

Les indicateurs précurseurs, retardataires et simultanés

Nous utilisons habituellement des indicateurs afin de mesurer les progrès sur les résultats dans le modèle logique. Parfois, par contre, il y a besoin de corroborer les hypothèses expliquées dans l’exposé narratif de la théorie du changement et qui sont représentées, dans le modèle logique, par les flèches entre les niveaux. Dans ce cas, on peut utiliser des « indicateurs précurseurs » qui mesurent des événements antérieurs au changement attendu, ou des « indicateurs retardataires » qui mesurent des événements ultérieurs au changement attendu. Les données sur ces indicateurs peuvent aider à valider ces hypothèses. Comme mentionné précédemment, on avance des hypothèses à chaque niveau de la chaîne des résultats. Les indicateurs précurseurs et retardataires nous permettent de vérifier ces hypothèses en visant un peu plus bas ou un peu plus haut que le résultat escompté, sans mesurer le niveau suivant dans le modèle logique.

Idéalement, les indicateurs mesureraient toujours des choses qui correspondent directement aux changements décrits dans les résultats de votre modèle logique. Cependant, dans certains cas, il peut s’avérer difficile, voire impossible, de trouver de tels indicateurs « simultanés ». Dans ce cas, il est aussi possible d’utiliser des indicateurs « précurseurs » ou « retardataires. »

Les concepts d’indicateurs précurseurs, retardataires et simultanés proviennent du cycle des affaires en Économie. On peut illustrer ces concepts à l’aide de la métaphore du feu de circulation.

Encadré 42 – DéfinitionsNote de bas de page 39: Indicateurs précurseur, retardataire et simultané

Indicateur précurseur

Ces types d’indicateurs signalent des événements futurs, comme le feu jaune qui annonce le feu rouge et qui nous avertis que très bientôt nous ne pourrons plus traverser l’intersection. Dans le monde du développement et de l’aide internationale, les indicateurs précurseurs fonctionnent de la même façon, mais ils sont évidemment moins précis qu’un feu de circulation. Par exemple, « # de nouvelles écoles établies » et « # de nouveaux enseignant(e)s recruté(e)s » peuvent être de bons indicateurs précurseurs d’un accès accru à l’éducation de base. Ils mesurent un événement qui se produit avant le début des classes, et ils devraient nous donner une bonne idée de l’accès futur des enfants à l’éducation de base (quoique ce ne soit pas toujours le cas).

Indicateur retardataire

Un indicateur retardataire suit un événement. Dans l’exemple du feu de circulation, le feu jaune est un indicateur retardataire quant à la possibilité de traverser l’intersection. Le feu jaune confirme qu’avant sa venue, il était sécuritaire de traverser. L’importance d’un indicateur retardataire est justement la possibilité de confirmer qu’un événement s’est produit. Par exemple, « # d’élèves qui obtiennent leur diplôme de l’école primaire » peut être un indicateur retardataire d’un accès accru à l’éducation de base, car un taux de diplomation accru chez les élèves est généralement associé avec un taux d’inscription scolaire plus élevé.

Indicateur simultané

Les indicateurs simultanés se manifestent à peu près en même temps que les conditions qu’ils décrivent. Dans l’exemple des feux de circulation, le feu vert serait un indicateur simultané de la possibilité de traverser l’intersection de façon sécuritaire. Plutôt que prévoir des événements futurs, ces types d’indicateurs changent en même temps que le résultat escompté. Le taux d’inscription scolaire est un bon indicateur simultané pour l’accès accru à l’éducation de base, car une augmentation du taux d’inscription scolaire devrait coïncider avec un accroissement de l’accès.

Types de changements mesurés par les indicateurs

On peut classer les indicateurs en fonction du niveau de ce qu’ils mesurent dans le modèle logique : des extrants, des résultats immédiats, des résultats intermédiaires et des résultats ultimes.

Critères d’un bon indicateur de rendement

  1. Validité : L’indicateur mesure-t-il ce que l’on veut mesurer?
    • L’indicateur de rendement mesurera-t-il bel et bien le résultat ou l’extrant? N’oubliez pas qu’il faut différents indicateurs pour mesurer les changements attendus aux différents niveaux du modèle logique.
    • Fiabilité : L’indicateur offrira-t-il une mesure constante au fil du temps?
  2. L’indicateur de rendement vous permettra-il de mesurer le résultat ou l’extrant au fil du temps?
    • Produira-t-il des données identiques lorsqu’il sera appliqué à une même situation à différents moments?
    • Si un chercheur différent recueille les données, l’indicateur demeurera-t-il constant?
  3. Sensibilité : L’indicateur pourra-t-il mesurer le changement à mesure qu’il s’opère?
    • Lorsque le changement décrit dans l’énoncé de résultat commence à s’opérer, l’indicateur y sera-t-il suffisamment sensible pour détecter ce changement?
    • L’indicateur de rendement mesurera-t-il à la fois l’amélioration et la détérioration d’une situation (en d’autres mots, est-il neutre)?
  4. Simplicité : Sera-t-il facile de recueillir les données?
    • Les sources d’information sont-elles faciles d’accès?
    • L’équipement ou l’expertise nécessaires pour le suivi de cet indicateur de rendement sont-ils aisément accessibles?
    • L’indicateur de rendement permet-il une analyse relativement simple du résultat?
    • Est-il suffisamment clair et direct pour être compris par l’ensemble des parties prenantes?
  5. Utilité : L’information recueillie sera-t-elle utile pour la prise de décision?
    • L’information fournie par l’indicateur de rendement répond-elle aux besoins des destinataires?
    • Le fait de connaître cette information vous permettra-t-il, à vous-même ou aux autres intervenants, de faire les choses mieux ou plus efficacement?
    • L’indicateur de rendement est-il exprimé de telle sorte qu’il trouvera un écho chez les destinataires?
    • Permet-il de communiquer facilement l’état du résultat?
    • Cet indicateur de rendement fournira-t-il l’information en temps utile?
  6. Abordabilité : Avez-vous les ressources pour recueillir les données?
    • Avez-vous les moyens de recueillir des données pour cet indicateur de rendement?
    • Est-ce que l’information obtenue justifie son coût éventuel?

Autres considérations

Dans le cadre des forums de haut niveau de Paris, d’Accra et de Busan sur l’efficacité de l’aide, le Canada s’est engagé à utiliser davantage les systèmes existants des pays partenaires pour le suivi. C’est pourquoi Affaires mondiales Canada encourage les agents de projet et les partenaires des projets à utiliser les systèmes de suivi ou les indicateurs existants dans le pays partenaire.

Il peut être difficile de choisir un indicateur qui respecte chacun des critères ci-dessus. Les contraintes de temps, de ressources et autres nous amènent souvent à nous contenter de ce qui est réaliste, à défaut de l’idéal. Choisissez des indicateurs de rendement qui offrent la meilleure mesure possible des résultats obtenus compte tenu du budget disponible et qui utilisent les méthodes de collecte et les sources de données existantes. Cherchez l’équilibre entre rigueur et réalisme. En définitive, le critère le plus important pour un indicateur est que vous recueillez vraiment des données pour celui-ci.

2.6 Le cadre de mesure du rendement

À Affaires mondiales Canada, le cadre de mesure du rendement est l’outil de la gestion axée sur les résultats utilisé pour planifier systématiquement la collecte des données pertinentes sur les indicateurs pendant la durée de vie du programme / portefeuille et du projet, afin d’évaluer et de démontrer les progrès réalisés dans l’atteinte des résultats attendus. Le cadre de mesure du rendement est le « squelette » du plan de suivi : il permet d’en documenter les principaux éléments pour assurer la collecte régulière de données réelles sur les indicateurs du cadre de mesure du rendement. Le cadre de mesure du rendement contient tous les indicateurs utilisés pour mesurer les progrès réalisés par rapport à l’atteinte des résultats et des extrants escomptés du programme / portefeuille et du projet. En outre, il indique qui a la responsabilité de recueillir les données pour l’indicateur, de quelle source, à quelle fréquence et selon quelle méthode. Il indique également les données de base (ou données de référence) et la cible pour chaque indicateur.

Comme c’est le cas pour le modèle logique, le cadre de mesure du rendement doit être élaboré ou évalué au moyen d’un processus participatif qui met à contribution les partenaires locaux, les intermédiaires (détenteurs de responsabilités), les bénéficiaires (titulaires de droits) et d’autres parties prenantes, ainsi que le personnel d’Affaires mondiales Canada dont la participation est pertinente.

Le cadre de mesure du rendement comme outil de gestion

Le cadre de mesure du rendement est l’outil qui permet d’assurer la « gestion axée sur les résultats» pendant la mise en œuvre du programme / portefeuille et du projet. Il fournit le plan pour la collecte des données durant la mise en œuvre. C’est grâce aux données réelles recueillies sur les indicateurs énumérés dans le cadre de mesure du rendement, ainsi qu’à l’analyse qu’en fait l’équipe du programme / portefeuille et du projet, que cette dernière peut détecter un problème qui risque de compromettre les résultats attendus assez tôt afin de corriger le tir. Un cadre de mesure du rendement dûment rempli est donc une nécessité pour une prise de décisions fondée sur des données probantes. Bien sûr, il faut avoir les moyens de comparer! C’est pourquoi il faut toujours obtenir des données de base, tout comme il faut toujours établir des cibles dans le cadre de mesure du rendement.

Rappelez-vous : si on ne sait d’où on part et vers où on se dirige, il est impossible d’évaluer correctement les progrès.

Pour résumer, le cadre de mesure du rendement vous aidera à :

Les données recueillies pour les indicateurs du cadre de mesure du rendement vous aideront à :

Gabarit  – Cadre de mesure du rendement

Affaires mondiales Canada dispose d’un gabarit normalisé de Cadre de mesure du rendement.

Contenu du cadre de mesure du rendement

Le cadre de mesure du rendement est divisé en huit colonnes : résultats attendus, indicateurs, données de base, cibles, sources de données, méthodes de collecte de données, fréquence et responsabilité. Pour établir un cadre de mesure du rendement, il faut remplir chaque colonne avec exactitude.

Résultats attendus (1re colonne)

Cette colonne reproduit tout simplement les extrants et les résultats du modèle logique. Il est très important que tout changement apporté aux énoncés dans l’un des deux documents se retrouve dans l’autre, de sorte que les extrants et les résultats présentés dans le cadre de mesure du rendement correspondent à ceux du modèle logique en tout temps. Voir la section 2.1 et section 2.2.

Indicateurs (2e colonne)

Dans cette colonne, il faut préciser des indicateurs pour chaque extrant et chaque résultat de votre modèle logique. Voir la section 2.5.

Combien d’indicateurs doit-on utiliser pour les résultats?

Pour chaque résultat, sélectionnez deux ou trois indicateurs (ou plus, s’il y a lieu). Vous devez inclure au moins:

Un indicateur devrait mesurer une dimension spécifique d’un résultat, comme l’accès ou la qualité, y compris les inégalités entre les sexes ou la durabilité environnementale, selon le cas. Des indicateurs additionnels peuvent être qualitatifs ou quantitatifs, selon la dimension spécifique du résultat que l’on souhaite mesurer. Noter que lorsque l’on accole des qualificatifs comme transparent, participatif, efficace, équitable ou durable à un énoncé de résultat, ils doivent être mesurés. En autres mots, il faut s’assurer que  les indicateurs choisis mesurent chaque élément de l’énoncé de résultat. Cela veut parfois dire que plus de trois indicateurs sont nécessaires.

Encadré 43 – Définition de l’OCDE : Triangulation

Triangulation : Utilisation de plusieurs sources d'informations, méthodes ou analyses pour vérifier l'information et pour étayer une évaluation. Remarque : en combinant des sources de données multiples, les évaluateurs espèrent surmonter le problème de partialité qui résulte des études réalisées avec un informateur unique, une méthode unique, un observateur unique ou une théorie unique.

Parfois, ces autres indicateurs contribuent à la triangulation, c’est-à-dire la collecte de données sur un même enjeu à partir de sources multiples. En faisant des recoupements entre ces sources, on rehausse la fiabilité des données. Par exemple, on peut se faire une meilleure idée de la qualité des services si on consulte à la fois les usagers, les fournisseurs et les relevés de service.

Ainsi, on peut mieux valider les résultats, tout en se limitant à un nombre d’indicateurs gérable. N’oubliez pas que ce sont les données probantes cumulatives de données recueillies sur une grappe d’indicateurs que les gestionnaires examinent pour voir si leurs projets et leurs programmes progressent. On ne devrait pas mesurer un résultat à l’aide d’un seul indicateur.

Combien d’indicateurs doit-on utiliser pour les extrants?

Pour chaque extrant, on devrait sélectionner un ou deux indicateurs (ou plus s’il y a lieu).

Les indicateurs d’extrant peuvent mesurer différents aspects d’un produit ou d’un service, par exemple :

Données de base (3e colonne)

Les données de base fournissent la valeur propre à un indicateur donné au début d’un projet ou programme. Elles sont recueillies à un moment précis et seront utilisées comme référence pour mesurer ou évaluer les progrès réalisés par rapport à l’atteinte des résultats.

Elles sont nécessaires à l’établissement de cibles réalistes. Elles sont donc requises pour chaque indicateur du cadre de mesure du rendement et devraient être ventilées selon le sexe, l’appartenance ethnique, l’âge, le statut socio-économique ou toute autre catégorie pertinente pour l’indicateur en question.

Encadré 44 – Exemple : Un indicateur avec données de base et cibles

Indicateur : Pourcentage du nombre total de ménages monoparentaux (h/f) de la région Y vivant à 1 km de marche d’un puits d’eau potable, par des sentiers entretenus.

Données de base : En 2012, 5 % des 2 000 ménages tenus par une femme seule et 15 % des 75 ménages tenus par un homme seul de la région Y, vivaient à 1 km de marche d’un puits d’eau potable, par des sentiers entretenus.

Cible, première année du projet/année 1 (2013) : 15 % de 2 000 ménages tenus par une femme seule et 20 % des 75 ménages tenus par un homme seul de la région Y, vivent à 1 km de marche d’un puits d’eau potable, par des sentiers entretenus.

Cible, fin du projet/année 5 (2017) : 65 % de 2 000 ménages tenus par une femme seule et 65 % des 75 ménages tenus par un homme seul de la région Y, vivent à 1 km de marche d’un puits d’eau potable, par des sentiers entretenus.

Remarque : Dans cet exemple, la cible de l’année 5 est réaliste, parce que le pourcentage de départ était faible (comme l’ont indiqué les données de base) et parce que quelques collectivités dans la région Y sont très éloignées et qu’il pourra être difficile d’y réaliser les travaux prévus. La ventilation par chef de ménage fournira une information importante qui sera prise en compte dans la sélection des emplacements des puits qui profiteront à tous les types de ménages.

Quand devrait-on les recueillir?

Les données de référence doivent être collectées avant la mise en œuvre du projet. Idéalement, cette collecte de données devrait être effectuée pendant la conception du projet. Toutefois, si cela est impossible, les données de référence doivent être collectées lors du démarrage du projet afin de s’assurer que les données collectées correspondent à la situation de départ du projet et non à une situation ultérieure. La phase de démarrage est la période commençant immédiatement après la signature de l’accord et avant le dépôt du plan de mise en œuvre (ou l’équivalent).

Cibles (4e colonne)

Une cible précise une valeur particulière ou une plage de valeurs que vous aimeriez obtenir par rapport à un indicateur de rendement, à une date donnée dans le futur. C’est en vous fiant à l’ensemble des cibles établies pour les divers indicateurs d’un résultat escompté donné que vous déterminerez dans quelle mesure ce dernier est atteint. Les cibles doivent être fixées à la lumière des données de base pour veiller à ce qu’elles représentent véritablement une bonne mesure de l’atteinte d’un résultat. Sans cette information, il y a un risque de fixer des cibles irréalistes, ou encore de fixer des cibles trop faciles à atteindre, ou déjà atteintes. Dans le cadre de mesure du rendement, la colonne des cibles doit présenter les cibles de fin de projet, mais on peut également inclure des cibles annuelles. L’idéal serait que les cibles annuelles continuent d’être mises à jour dans le cadre du processus d’établissement des plans de travail annuels.

Les cibles fournissent une base concrète et utile pour engager la discussion avec les intermédiaires, les bénéficiaires, et les autres parties prenantes. Si des cibles clés sont manquées, c’est un signal pour les parties prenantes et les gestionnaires d’analyser collectivement comment et pourquoi les plans ou les stratégies n’ont pas fonctionné, de déterminer comment on pourrait les remettre sur la bonne voie, puis de prendre des mesures correctives de façon constructive et en s’appuyant mutuellement pour atteindre les résultats attendus.

Les cibles ne devraient jamais être intégrées dans les énoncés de résultats attendus

Les cibles devraient figurer seulement dans le cadre de mesure du rendement; elles ne devraient pas figurer dans les énoncés de résultats attendus. Au stade de la planification, les cibles sont souvent données à titre indicatif, jusqu’à ce que le plan de mise en œuvre du projet ou le premier plan de travail annuel soit approuvé. On peut aussi les modifier de façon raisonnable pendant la durée du projet dans le cadre d’une gestion saine axée sur les résultats. C’est l’une des raisons pour lesquelles les cibles ne doivent pas être intégrées dans les énoncés de résultats attendus.

De plus, en excluant les cibles des énoncés des résultats attendus, la théorie du changement peut conserver son caractère autonome. Ainsi, il n’est pas nécessaire de modifier le modèle logique à cause de l’ajustement d’une cible. Par ailleurs, on pourrait reprendre le même modèle logique pour un projet semblable ou pour une phase subséquente, pourvu que la même théorie du changement s’applique. Il s’agirait alors de choisir des indicateurs et d’établir des cibles propres au nouveau contexte.

Points à prendre en compte lors de l’élaboration des cibles

Sources des données (5e colonne)

Les sources des données sont les personnes, les organisations ou les documents qui fournissent des données pour les indicateurs. L’exécutant doit préciser les sources de données pour les indicateurs; elles peuvent être primaires ou secondaires.

Les données primaires sont toujours spécifiques à un projet. L’utilisation de données secondaires, si elles sont pertinentes pour vos indicateurs et vos résultats, peuvent permettre d’économiser et de générer des synergies avec les systèmes des pays partenaires, avec d’autres projets, ou entre donateurs ou organisations.

Tableau 7 - Exemples de sources de données

PrimaireSecondaire
  • Bénéficiaires
  • Intermédiaires
  • Données sur les marchés financiers
  • Données provenant de sondages sur la santé et la démographie
  • Données provenant de l’enquête sur les indicateurs multiples (MICS) de l’UNICEF
  • Rapport mondial sur le développement humain
  • Indice mondial de la paix
  • Recherche sur les dépenses militaires du Stockholm International Peace Research Institute
  • Rapport d’Amnesty International sur la situation des droits humains
  • Enquête sur les victimes de la criminalité internationale
  • Base de données Comtrade de l’Organisation des nations unies
  • Rapports du Haut-commissariat sur les droits humains des Nations unies et de l’Examen périodique universel
  • Rapport Freedom in the World de Freedom House
  • Indice Ibrahim de la gouvernance africaine
  • Indice de perception de la corruption de Transparency International

Méthodes de collecte des données (6e colonne)

Les méthodes de collecte de donnéesNote de bas de page 40 représentent la façon dont les données sur les indicateurs sont recueillies. Le choix d’une méthode de collecte de données dépend du type d’indicateur et de la raison pour laquelle l’information est recueillie. Les méthodes de collecte de données peuvent être informelles et moins structurées, ou encore formelles et plus structurées. Les différentes méthodes « impliquent […] certains compromis en ce qui a trait aux coûts, à la précision, à la crédibilité et aux échéanciersNote de bas de page 41».

Au moment de choisir les méthodes de collecte de données, il est important de s’assurer que les destinataires de l’information sur le rendement, y compris Affaires mondiales Canada, sont à l’aise avec les compromis associés aux méthodes choisies, et donc avec le type d’information qu’ils recevrontNote de bas de page 42. Les sources de données et les méthodes de collecte devraient être déterminées par les exécutants de concert avec les parties prenantes et avec l’appui des spécialistes du suivi et de l’évaluation.

La figure ci-dessous illustre quelques méthodes possibles de collecte des données. « [L]es méthodes plus structurées et formelles pour recueillir des données tendent à être plus précises, plus coûteuses et à demander plus de temps.Note de bas de page 43» Si vos indicateurs sont ventilés (par âge, sexe, appartenance ethnique, etc.), il faut bien s’assurer que les méthodes de collecte des données choisies vous permettront de recueillir des données ventilées.

Figure 5 - Méthodes de collecte de données

Figure 5 - Méthodes de collecte de données
Version texte

Ce diagramme illustre les méthodes de collecte de données qui peuvent aller de méthodes informelles et moins structurées, telles que :

  • Discussions avec les individus concernés
  • Entrevues avec les membres de la communauté
  • Visites sur le terrain
  • Examen des dossiers officiels (système de gestion de l’information et données administratives)
  • Entrevues avec des informateurs clés
  • Observations participante
  • Entrevues avec des groups de contrôle

Aux exemples formels et plus structurés, tels que :

  • Observation directe
  • Questionnaires
  • Enquête ponctuelle
  • Commission d’enquête
  • Recensement
  • Expériences sur le terrain

Source : Banque mondiale, Vers une culture du résultat. Dix étapes pour mettre en place un système de suivi d’évaluation axé sur les résultats., p. 80

Le choix d’une méthode de collecte des données dépend de plusieurs facteurs :

Les méthodes de collecte des données ne devraient pas être choisies de façon improvisée. On doit les sélectionner avec soin dans le cadre du processus d’élaboration des indicateurs, tout en tenant compte des coûts et des limitations connexes. D’ailleurs, la détermination des méthodes de collecte des données et des sources de données aidera à choisir et à valider des indicateurs de rendement réalistes et abordables.

Choix de sources de données et de méthodes de collecte de données appropriées

Tableau 8 - Autres méthodes de collecte des données

  • Effectuer des études de cas
  • Enregistrer des témoignages
  • Revue des journaux personnels
  • Prendre des Photos et des vidéos
  • Examiner des registres
  • Revue de rapports ou de documents

Fréquence (7e colonne)

La fréquence désigne la ponctualité de la collecte de données: combien de fois l’information pour chaque indicateur sera-t-elle recueillie ou validée? L’information pour un indicateur de rendement sera-t-elle recueillie de façon régulière (chaque trimestre ou chaque année) dans le cadre d’une gestion axée sur les résultats continue et de ses rapports, ou à des points précis du cycle du projet, comme à la mi-parcours ou en fin de projet?

Éléments à prendre en compte pour décider de la fréquence de la collecte de données pour un indicateur de performance:

Responsabilité (8e colonne)

Par responsabilité, on entend la personne qui est responsable de la collecte de données pour les indicateurs du cadre de mesure du rendement. Il est important d’être précis lorsque l’on identifie les différents intervenants responsables dans le cadre de mesure du rendement. On devrait utiliser un titre ou un rôle plutôt que le nom d’une personne (par exemple, agent sur le terrain, spécialiste de l’égalité entre les sexes, gestionnaire de projet, etc.).

Comment élaborer un cadre de mesure du rendement

Veuillez consulter la section 3.4 dans laquelle on explique l’élaboration d’un cadre de mesure du rendement. 

2.7 Le plan de suivi et d’évaluation axé sur les résultats

Un plan de suivi et d’évaluation axé sur les résultats est un plan détaillé, qui précise certains aspects du cadre de mesure du rendement. Il aborde la logistique, les budgets et d’autres paramètres opérationnels de la collecte et de l’analyse des données. Il est important de souligner que le cadre de mesure du rendement, même s’il constitue le « squelette » du plan de collecte systématique des données, ne contient pas suffisamment d’information pour orienter la mise en fonction d’un système de suivi. Il faut dresser un plan de suivi et d’évaluation préliminaire axé sur les résultats avant de soumettre un projet pour approbation, afin que le budget soit établi en tenant compte des ressources requises. L’exécutant pourra ensuite finaliser le plan de suivi et de mise en œuvre dans le cadre du plan de mise en œuvre du projet ou son équivalent.

Suivi

Le plan de suivi et d’évaluation axé sur les résultats devrait décrire des activités précises de suivi, les responsabilités (pour la collecte, l’analyse et le stockage des données) ainsi que les échéanciers. Il devrait contenir une explication détaillée des outils de collecte de données indiqués dans la colonne « Méthodes de collecte des données » du cadre de mesure du rendement, y compris la façon dont les échantillons seront sélectionnés et comment les données seront analysées, notées, stockées et utilisées. Il devrait faire ressortir toute difficulté prévue par rapport à la collecte des données (y compris les données de base), à leur analyse et à l’établissement de cibles, et devrait aborder les stratégies possibles pour les surmonter. Enfin, il devrait préciser les ressources financières et humaines à affecter à ces activités de suivi axé sur les résultats, lesquelles devraient se refléter dans le budget du projet. Cela peut nécessiter l’embauche d’un surveillant de projet, l’affectation d’un employé et de ressources financières au suivi ainsi que l’établissement d’un système de suivi pour recueillir des données sur les indicateurs d’extrants et de résultats du cadre de mesure du rendement.

Évaluation

Le plan de surveillance et d’évaluation axé sur les résultats devrait préciser les évaluations à entreprendre et veiller à ce que des ressources de projet suffisantes soient mises de côté. Les évaluations peuvent être commandées par Affaires mondiales Canada, l’exécutant, ou conjointement avec l’exécutant ou d’autres parties prenantes. Une évaluation de l’évaluabilité peut également être incluse dans le plan. Voir la section 3.4, étape 4 f) pour plus de détails.

Synergie entre suivi et évaluation

Les possibilités de synergie entre le suivi et l’évaluation sont appréciables, et elles peuvent se traduire par des économies considérables sur le plan de la collecte de données à mi-parcours et en fin de projet. La section 3.4, étape 4 f) fournit de plus amples détails à ce sujet.

Troisième partie :  Instructions étape par étape

3.0 Introduction

Il y a quatre étapes à la planification et à la conception de projet axées sur les résultats.

Part03
Version texte

Le graphique représente les 4 étapes décrites ci-dessous. Utilisez une approche participative tout au long du processus.

La troisième partie du présent guide est organisée par étape pour aider les équipes de projet à comprendre les processus et les techniques employés pour élaborer les outils de gestion axée sur les résultats d’Affaires mondiales Canada.

Étape 1 : Identifier l’équipe de conception et les intervenants

La composition de l’équipe de conception peut avoir un impact considérable sur la qualité de la conception du projet. Le recours à une approche participative tenant compte de l’équité entre les sexes dans la planification et la conception d’un projet peut, comme cela est mentionné à la section 1.4, s’avérer très profitable. 

Étape 2 : Effectuer une analyse de la situation

Dans l’Énoncé de principe sur la gestion axée sur les résultats, la description des tenants et des aboutissants de la gestion axée sur les résultats commence par l’affirmation suivante : « Par gestion axée sur les résultats, on entend : la définition de résultats attendus réalistes, fondés sur les analyses appropriées […] ». L’analyse de la situation est donc une étape fondamentale de la planification et de la conception de projet axées sur les résultats.

Étape 3 : Élaborer la théorie du changement, y compris le modèle logique, la matrice des extrants et des activités et l’exposé narratif

La troisième étape porte sur la manière d’établir les résultats attendus d’un projet et les moyens pour y arriver ainsi que la façon de documenter les hypothèses formulées et les facteurs et risques externes susceptibles d’avoir une incidence sur l’atteinte des résultats.

Étape 4 : Élaborer un cadre de mesure du rendement et un plan de suivi et d’évaluation axé sur les résultats

La dernière étape de la planification et de la conception de projet axées sur les résultats concerne l’élaboration des outils qui permettront de recueillir et d’analyser l’information nécessaire à une bonne gestion axée sur les résultats tout au long de la mise en œuvre du projet.

3.1 Étape 1 : Identifier l’équipe de conception et les parties prenantes

Choisir les bonnes personnes pour votre équipe de conception

Formez l’équipe qui participera à la conception du projet. Dans la mesure du possible, veillez à ce que votre équipe de conception comprenne des participants locaux. Leur participation peut éviter que l’équipe se fonde sur des hypothèses erronées (souvent inconscientes) au sujet du contexte local, lesquelles peuvent nuire à la conception de projet et avoir une influence négative affectant l’atteinte des résultats. La composition de l’équipe de conception peut varier selon le type de programme, mais l’équipe devrait toujours comprendre :

S’assurer de la disponibilité des personnes choisies

Une fois que vous avez formé votre équipe, vérifiez que les personnes que vous avez choisies sont disponibles et disposées à participer aux quatre étapes du processus de conception de projet. Envisagez de mener ce processus là où le projet sera mis en œuvre, afin de faciliter la participation des membres de l’équipe locale et des parties prenantes.

Identifier les principales parties prenantes et susciter leur implication

Étant donné que vous devrez concevoir le projet de manière participative, l’équipe de conception[45] devrait toujours identifier les principales parties prenantes, y compris les bénéficiaires et les intermédiaires locaux, et s’assurer qu’ils participent et sont consultés régulièrement au cours du processus de conception.

3.2 Étape 2 : Effectuer une analyse de la situation

L’analyse de la situation est une démarche structurée qui aide l’équipe de conception à faire ce qui suit : a) cerner les enjeux qu’elle prévoit aborder et b) comprendre le contexte complexe (national, régional, politique, culturel, social, relatif à l’égalité entre les sexes, environnemental, etc.) dans lequel ces enjeux s’inscrivent. Cette démarche devrait reposer sur des recherches, des consultations, des analyses et des discussions. Ainsi, l’analyse de la situation représente une première étape nécessaire à la planification et la conception de projet axées sur les résultats. Elle fournira une partie cruciale des données probantes à l’appui de la théorie du changement.  

L’analyse de la situation aidera l’équipe de conception à faire ce qui suit :

Comment effectuer une analyse de la situation?

La première étape d’une analyse de la situation consiste à cerner l’enjeu ou le besoin à satisfaire. Voici des documents qui servent souvent de sources d’idées :

Si aucun de ces documents n’est disponible ou utile, envisagez de procéder à des évaluations ou à des analyses des besoins, selon les nécessités.

Comprendre le contexte

Une fois que vous avez cerné une idée ou un enjeu à traiter, la prochaine étape est de comprendre le contexte dans lequel il s’inscrit (sur le plan culturel, sociopolitique, économique, environnemental et de l’égalité entre les sexes), ainsi que les rôles joués par les parties prenantes et les diverses incidences de cet enjeu sur la vie des femmes, des hommes, des garçons et des filles. Vous pouvez utiliser des données et des renseignements provenant de diverses sources comme base de cette analyse. Par exemple :

Utiliser l’information

Après la collecte des données préliminaires, il y a bien des façons d’utiliser cette information pour brosser un tableau du contexte et cibler la portée du projet. Voici des outils utilisés couramment à ce stade :

Outils d’analyse de situation utilisés à Affaires mondiales Canada

Analyse de l’arbre à problèmes

L’arborescence de problèmes est l’une des méthodes utilisées le plus fréquemment à Affaires mondiales Canada; quoique les membres du personnel et les partenaires peuvent décider d’en utiliser d’autres. Il s’agit d’un outil d’analyse visuel qui permet à ses utilisateurs de décomposer un problème très complexe en ses composantes, puis d’examiner et d’étudier les liens de cause à effet entre ces composantes. Il permet aux utilisateurs de déterminer la portée potentielle d’un projet donné (ses intermédiaires et ses bénéficiaires), ses activités, ses extrants et ses résultats, et de se faire une idée des autres principales parties prenantes, de leur rapport aux enjeux et de l’expérience qu’ils en font. Il est donc tout indiqué pour appuyer la formulation d’une théorie du changement et l’élaboration du modèle logique.

Encadré 45 – L’arbre à solutions

Un arbre à solutions est un diagramme qui traduit certains éléments de l’arbre à problèmes en une théorie de changement rudimentaire.

Une fois que les quatre premières étapes de l’exercice de l’arbre à  problèmes sont terminées, comparez les résultats aux résultats d’autres exercices, comme l’examen des programmes/portefeuille et le schéma des bailleurs de fonds, ainsi que les priorités organisationnelles et budgétaires, afin de déterminer à quels éléments de la situation le projet visera de s’attaquer. Ensuite, développez un arbre porteur à solutions pour les éléments sélectionnés. Pour chaque déclaration négative sélectionnée, l’arbre à solutions doit prévoir un énoncé de résultat, un extrant ou un énoncé d’activité correspondant.

L’Arbre à problème

Ses principales étapes sont les suivantes :

  1. Identifier le ou les problèmes de fond;
  2. Identifier les causes et les effets;
  3. Noter les relations;
  4. Revoir l’arbre à problèmes
  5. Créer un arbre à solutions

Figure 6 – L’arbre à problèmes

Figure 6 – L’arbre à problèmes
Version texte

Dans l’arbre à problèmes :

Les branches représentent les effets du problème;

Le tronc représente le problème de fond;

Les racines représentent les causes du problème.

Schéma des parties prenantes

Le schéma des parties prenantes est un autre outil utilisé au stade de l’analyse de la situation. Il permet à l’équipe de conception de recenser les principales parties prenantes, y compris les intermédiaires et les bénéficiaires, les relations qui existent entre eux, leur niveau d’intérêt pour les enjeux en question et l’influence qu’ils ont sur ces enjeux.

Le schéma des parties prenantes peut se faire sous forme d’exercice distinct ou dans le cadre de l’exercice de l’arbre à problèmes. Pour chaque enjeu ajouté à l’arbre, il s’agit de se poser les questions suivantes :

3.3 Étape 3 : Élaborer la théorie du changement du projet, y compris le modèle logique, la matrice des extrants et des activités et l’exposé narratif

Le processus de modélisation

Une fois l’analyse de la situation terminée, vous devriez être prêt à élaborer la théorie du changement du projet et son modèle logique. Pour cela, vous devez déterminer les résultats et les extrants du projet et les activités les mieux adaptées pour produire les extrants. Vous devrez aussi exposer les hypothèses et présenter les données probantes qui permettent d’expliquer comment on peut s’attendre à ce qu’un changement mène au prochain. Ce processus s’appelle « modélisation »; voir la rubrique La modélisation inhérente au modèle logique sous la section 2.2 pour plus de détail.

Il existe plusieurs façons d’élaborer un modèle logique. Une méthode couramment utilisée consiste à réunir les principales parties prenantes dans une pièce pour une séance de remue-méninges sur la théorie du changement et de noter leurs idées sur des feuillets autocollants. Comme les feuillets autocollants peuvent être déplacés et réorganisés, il s’agit d’un moyen facile et accessible d’établir un modèle logique dans les premières étapes du processus; rédigez les énoncés des résultats et des extrants (un par feuillet), puis organisez-les de façon à illustrer la théorie du changement de votre projet.

Rappels

Rappel!

La structure pyramidale du modèle logique permet aux praticiens d’illustrer la nature complexe et multiforme des programmes d’aide internationale— la convergence des voies différentes, mais complémentaires, du changement aboutissant à un seul résultat ultime.

Les divers résultats intermédiaires représentent les différentes voies menant au même résultat ultime.

Chaque voie porte sur un aspect différent du problème.

Utilisez des méthodologies participatives afin d’assurer une participation équitable et utile des parties prenantes concernés tout au long du processus, de la séance de remue-méninges à la mise au point de la version finale. Une telle approche contribue à satisfaire aux exigences de la Loi sur la responsabilité en matière d’aide au développement officielle.

Lorsque vous élaborez votre théorie du changement, n’oubliez jamais le contexte et les priorités du pays, ainsi que les priorités d’Affaires mondiales Canada relatives au programme, au secteur et au ministère. Tenez compte également des contraintes possibles, comme la durée et le budget.

La meilleure façon d’élaborer une théorie du changement est de commencer avec le résultat ultime avant de déterminer les résultats intermédiaires et immédiats et de décider quelles approches programmatiques sont requises.

Lorsque vous formulez les résultats et les extrants du projet, songez à la mesure dans laquelle vous prévoyez y intégrer l’égalité entre les sexes, afin de déterminer à quel niveau du modèle logique vous devriez formuler des résultats en matière d’égalité entre les sexes, et de quelle manière.

Étape 3 a) Déterminer le résultat ultime attendu

De manière générale, on commence par la fin, c’est-à-dire par le niveau du résultat ultime, comme cela est indiqué dans les étapes ci-dessous. En abordant d’abord les résultats (ultime, intermédiaires puis immédiats), on peut être certain que les extrants et les activités choisis seront ceux qui seront nécessaires pour arriver aux changements décrits aux niveaux supérieurs.

Encadré 46 – Définition : Tautologie

Évitez les tautologies dans le modèle logique

Tautologie : Dire la même chose avec des mots différents. Dans le modèle logique, cela se manifeste souvent comme un résultat qui résume le niveau inférieur et qui ne décrit pas un changement substantiellement différent.

L’exemple ici-bas illustre un mauvais exemple d’un résultat ultime qui résume les changements décrits dans les résultats intermédiaires mais ne décrit pas un changement substantiellement différent qui devrait découler du niveau des résultats intermédiaires.

Exemple de tautologie au niveau ultime d’un modèle logique :

Résultat ultime : Amélioration de l’utilisation des infrastructures d’eau, d’eaux usées et d’assainissement par les femmes, hommes, filles et garçons de la communauté Y

Résultat intermédiaire :

Dans cet exemple, le résultat ultime n’est pas placé au bon niveau. Il s’agirait plutôt d’un autre résultat intermédiaire qui résume les deux résultats intermédiaires. Ce n’est pas une formulation correcte qu’on devrait éviter.

Un énoncé de résulta ultime approprié serait formulé de la façon suivante :

En travaillant en équipe :

Encadré 47 - Exemple d’enjeu et de résultat ultime attendu

Enjeu : Mauvaise santé des habitants masculins et féminins de la région Y du pays X en raison d’une maladie hydrique.

Résultat ultime : Amélioration de la santé des femmes, des hommes, des filles et des garçons de la région Y du pays X

Rappels

Encadré 48 - Définition : Résultat ultime

Plus haut niveau de résultat qui peut être attribué à une organisation, une politique, un programme ou une initiative, et qui est la conséquence d’un ou de plusieurs résultats intermédiaires. Ce résultat représente généralement la raison d’être d’une organisation, d’une politique, d’un programme / portefeuille ou d’un projet et prend la forme d’un changement d’état durable chez les bénéficiaires (titulaires des droits).

Le résultat ultime est la « raison d’être » du projet. Il devrait décrire un changement positif durable dans l’état, les conditions ou le bien-être des bénéficiaires (titulaires des droits).

Bien que le résultat ultime survienne généralement après la fin du projet, il est important de le mesurer tout au long de la durée du projet. Cela a pour but de déterminer si le projet :

Si votre projet concerne expressément l’égalité entre les sexes (c.-à-d. que l’initiative a été conçue expressément pour faire face à des inégalités entre les sexes ou contribuer à l’autonomisation des femmes, et qu’autrement, elle n’aurait pas été entreprise), des résultats en matière d’égalité entre les sexes devraient se retrouver à tous les niveaux du modèle logique, en commençant par le résultat ultime.

Le résultat ultime doit être ancré de manière réaliste dans la théorie du changement du projet. Par exemple, si le projet consiste à travailler dans le village Y du pays X à améliorer la santé des mères seules, le résultat ultime ne peut pas être « amélioration de la santé de toute la population, hommes et femmes, du pays X ». Il doit tenir compte de la réalité du projet : « amélioration de la santé des mères seules du village Y du pays X ».

Étape 3 b) Déterminer les résultats intermédiaires attendus

Encadré 49 - Définition : Résultat intermédiaire

Changement qui devrait logiquement se produire lorsqu’un ou plusieurs résultats immédiats ont été obtenus. Sous l’angle de l’échéancier et du niveau, il s’agit de résultats à moyen terme qui sont habituellement atteints à la fin d’un projet ou programme, généralement sous la forme d’un changement dans les comportements, les pratiques ou le rendement des intermédiaires (détenteurs de responsabilité) ou des bénéficiaires (titulaires des droits).

Une fois le résultat ultime formulé, poursuivez votre remue-méninges en équipe pour élaborer les résultats intermédiaires du projet.

Encadré 50 - Exemple de résultats escomptés intermédiaires

Utilisation équitable améliorée de l’eau potable par les femmes, les hommes, les filles et les garçons de la région Y.

Prestation améliorée de services de santé sexospécifiques de première ligne offerts aux femmes, hommes, filles et garçons de la région Y.

Si l’égalité entre les sexes est pleinement intégrée à votre projet, des résultats en matière d’égalité entre les sexes devraient être compris au niveau des résultats intermédiaires et aux niveaux inférieurs.

Dans le cas des projets pour lesquels l’environnement a une pertinence modérée ou élevée, il faudrait intégrer les considérations environnementales aux énoncés de résultats. Idéalement, on devrait le faire à la fois au niveau des résultats immédiats et à celui des résultats intermédiaires, mais, à tout le moins, on devrait le faire au niveau des résultats immédiats.

Étape 3 c) Déterminer les résultats immédiats attendus

Encadré 51 - Définition : Résultat immédiat

Changement censé survenir une fois qu’un ou plusieurs extrants ont été fournis ou livrés par l’exécutant. Sous l’angle de l’échéancier et du niveau, il s’agit de résultats à court terme qui se manifestent généralement par des changements à l’égard des capacités, comme une amélioration de la sensibilisation, des compétences ou aptitudes, ou de l’accès* à… chez les intermédiaires ou les bénéficiaires.

*Un changement d’accès est un résultat immédiat ou intermédiaire, selon le contexte du programme / portefeuille ou projet ou sa théorie du changement.

Une fois les résultats intermédiaires formulés, poursuivez votre remue-méninges en équipe pour élaborer les résultats immédiats, en vous assurant d’y inclure tout ce qui est nécessaire pour donner lieu à chaque résultat intermédiaire.

Encadré 52 - Exemple de résultats immédiats attendus

Amélioration de l’accès équitable à l’eau potable pour les femmes, les hommes, les filles et les garçons de la région Y.

Capacité accrue des femmes et des hommes membres de groupes de gestion communautaire de l’eau de la région Y à entretenir les puits.

Accès équitable amélioré aux établissements de santé pour les femmes, les hommes, les filles et les garçons de la région Y.

Amélioration des compétences du personnel (f/h) des centres de santé locaux de Y en matière de triage, de diagnostic et de soins de santé sexospécifiques.

Les résultats immédiats mènent ou contribuent aux résultats intermédiaires et représentent les changements qui sont liés directement à l’existence des extrants (les produits et les services).

Si l’égalité entre les sexes est intégrée de façon limitée à votre projet, les résultats relatifs à l’égalité entre les sexes devraient être compris au niveau des résultats immédiats et aux niveaux inférieurs.

Dans le cas des projets pour lesquels l’environnement a une pertinence modérée ou élevée, on devrait intégrer les considérations environnementales aux énoncés de résultats. Idéalement, on devrait le faire à la fois au niveau des résultats immédiats et à celui des résultats intermédiaires, et, à tout le moins, au niveau des résultats immédiats.

Étape 3 d) Déterminer les principaux extrants attendus et les principales activités prévues

Encadré 53 - Définitions : Extrants et activités

Extrants : Produits ou services directs provenant des activités d’une organisation, d’une politique, d’un programme ou d’un projet.

Activités : Actions entreprises ou travail mené en vue de produire des extrants. L’activité mobilise des ressources.

N’oubliez pas que les extrants représentent des produits ou des services achevés qui découlent des activités d’un exécutant. Les activités représentent les éléments distincts nécessaires à l’achèvement de ces produits ou services. Une autre façon d’envisager les activités est de penser à l’organigramme technique du projet : les activités correspondent au premier niveau de ventilation sous les extrants. Voir la section 2.3.

Étape 3 e) Valider la théorie du changement

Disposez tous les feuillets autocollants où vous avez noté les énoncés de vos résultats, de vos extrants et de vos activités de façon à former une pyramide correspondant à un modèle logique. Passez en revue tous les niveaux de haut en bas et de bas en haut (du résultat ultime aux activités et des activités au résultat ultime), afin de vous assurer que tout s’enchaîne de façon logique, que la théorie du changement est solide et basée sur des données probantes, et qu’elle tient compte des pratiques exemplaires sectorielles, de l’intégration de l’égalité entre les sexes,  la viabilité de l’environnement et la gouvernance des programmes et des projets d’aide internationale . Assurez-vous que chaque résultat est appuyé par le niveau inférieur, et que toutes les activités et tous les extrants contribuent directement au résultat immédiat auquel ils sont associés. Procédez à faire les ajustements requis, tel que le déplacement ou l’ajout de résultats, d’extrants et d’activités.

Validez vos hypothèses et risques et assurez-vous de les documenter afin de pouvoir les utiliser au moment de rédiger l’exposé narratif de votre théorie du changement (consultez l’étape 3 g) de la section 3.3).

Vérifiez que vos énoncés de résultat sont bien formulés et qu’ils répondent aux critères énumérés à la section 2.1. Pour y arriver, essayez de penser à des indicateurs potentiels pour chaque résultat. Ceci vous aidera à vous assurer que vous serez capable de mesurer l’atteinte de votre résultat. Vous pourrez aussi vous assurer de ne pas avoir choisi un indicateur pour tenter ensuite de le formuler comme un résultat (p. ex., réduction du taux de mortalité maternelle) plutôt que d’utiliser un résultat en bonne et due forme (p. ex., amélioration de la santé maternelle). Le fait de vous mettre le plus tôt possible à la recherche d’indicateurs est une bonne technique pour peaufiner vos énoncés de résultats et la théorie du changement de votre projet dans son ensemble.

Affaires mondiales Canada a élaboré une liste de vérification du modèle logique afin d’aider son personnel et ses partenaires à évaluer la validité de la théorie du changement ou de la conception d’un projet, sur la base de leur représentation dans le modèle logique, la matrice des extrants et des activités ou d’autres outils du cadre de résultats.

Étape 3 f) Réunir tous les éléments

Remplissez le gabarit de modèle logique en y inscrivant les énoncés de résultats et d’extrants que vous avez élaborés pendant votre session de remue-méninges.

Figure 7 - Modèle logique dûment rempli

Figure 7 - Modèle logique dûment rempli
Version texte

Ceci est un exemple de modèle logique complet. Chaque niveau de la chaîne de résultats découle du niveau inférieur.

Résultat ultime 1000 Santé améliorée des femmes, des hommes, des filles et des garçons de la région Y du pays X.

Résultat intermédiaire 1100 Utilisation équitable améliorée de l’eau potable par les femmes, les hommes, les filles et les garçons de la région Y

Résultat intermédiaire 1200 Amélioration des services de santé sexospécifiques de première ligne offerts aux femmes, hommes, filles et garçons de la région Y

Résultat immédiat 1110 Accès équitable amélioré à l’eau potable pour les femmes, les hommes, les filles et les garçons de la région Y

Résultat immédiat 1120 Capacité accrue des femmes et des hommes membres de groupes de gestion collective de l’eau de la région Y à entre­tenir les puits

Résultat immédiat 1210 Accès équitable accru aux établissements de santé pour les femmes, les hommes, les filles et les garçons de la région Y

Résultat immédiat 1220 Compé­tences accrues du per­sonnel (f/h) des centres de santé locaux de la région Y en matière de triage, de diagnostic et de soins de santé sexospécifiques

Extrants

1111 Puits construits dans la collectivité X en consultation avec des intervenants locaux, surtout des femmes, en leur qualité de principales gestionnaires de l’eau dans la collectivité

1112 Puits existants remis en état dans la région Y à l’aide d’approches participatives respectant l’égalité entre les sexes

1121 Formation sur l’entretien des puits élaborée et offerte aux  hommes et aux femmes membres des groupes de gestion collective de l’eau dans la région Y

1122 Assistance technique liée à l’approvisionnement en pièces auprès de fournisseurs locaux et régionaux offerte aux groupes de gestion collective de l’eau de la région Y

1211 Centres de santé régionaux de la région Y remis en état et équipés

1212 Campagne de sensibilisation sexospécifique* au sujet de l’offre de services de santé dans les centres régionaux  nouvellement remis en état effectuée

1221 Documenta­tion sexospécifique* élaborée pour les programmes de perfectionnement et de mentorat  sur le triage, le diagnos­tic et les soins de santé primaires

1221 Programmes de perfectionne­ment et services de mentorat sexospé­cifiques* offerts au personnel (f. et h.) des centres de santé régionaux en matière de triage, de diagnostic et de soins de santé primaires

*Remarque : Dans le contexte de ce projet, le terme « sensibilisation aux sexospécificités » est appliqué aux programmes, au matériel de formation et aux campagnes fondés sur une analyse comparative entre les sexes qui visent à promouvoir l’égalité des rôles des femmes et des hommes dans les soins de santé (p. ex., des femmes et des hommes aussi bien comme médecins que comme fournisseurs de soins), à remettre en question les stéréotypes sexospécifiques et les préjugés sexistes qui mènent à la discrimination et à des pratiques néfastes (p. ex., préférence pour les garçons, abus/harcèlement sexuel, violence fondée sur le sexe), à défendre le droit des femmes et des filles dans la prise de décisions touchant à la santé, particulièrement en matière de droits sexuels et reproductifs, et à promouvoir la participation égale et le partage égal des avantages entre les femmes et les hommes (les filles et les garçons).

Remplissez la matrice des extrants et des activités, en y reportant les résultats immédiats et les extrants du modèle logique et en y détaillant les activités pour chaque extrant.

Figure 8 - Matrice des extrants et des activités dûment remplie

Matrice des extrants et des activités
Résultat immédiat 1110Accès équitable amélioré à l’eau potable pour les femmes, les hommes, les filles et les garçons de la région Y
Extrant 1111Puits construits dans la collectivité X en consultation avec des parties prenantes locales, surtout des femmes, en leur qualité de principales gestionnaires de l’eau dans la collectivité
Activité 1111.1Mener des consultations sexospécifiques auprès de membres de la collectivité, surtout des femmes
Activité 1111.2Préparer le plan de construction d’un puits
Activité 1111.3Mener une enquête sur la géologie et des tests d’eau
Activité 1111.4Fournir l’équipement et les matériaux de construction nécessaires
Activité 1111.5Passer un contrat avec une entreprise de construction
Activité 1111.6Faciliter la supervision des travaux par les membres de la collectivité
Extrant 1112Puits existants remis en état dans la région Y à l’aide d’approches participatives respectant l’égalité entre les sexes
Activité 1112.1Contrôler la qualité de l’eau [autres activités supprimées aux fins du présent guide]
Résultat immédiat 1120Capacité accrue en entretien des puits des femmes et des hommes membres de groupes de gestion communautaire de l’eau de la région Y
Extrant 1121Formation sur l’entretien des puits élaborée et offerte aux  hommes et aux femmes membres des groupes de gestion collective de l’eau dans la région Y
Activité 1121.1Effectuer une analyse des lacunes en gestion de projet avec les hommes et les femmes de la collectivité et les conseillers techniques en environnement et en égalité entre les sexes
Activité 1121.2Concevoir la formation et les documents à distribuer
Activité 1121.3Offrir la formation
Activité 1121.4Évaluer le cours
Activité 1121.5Offrir des services de mentorat continus aux hommes et aux femmes de la collectivité
Extrant 1122Assistance technique liée à l’approvisionnement en pièces auprès de fournisseurs locaux et régionaux offerte aux groupes de gestion collective de l’eau de la région Y
Activité 1122.1Effectuer recherche sur les fournisseurs [autres activités supprimées aux fins du présent guide]
Résultat immédiat 1210Accès équitable accru aux établissements de santé pour les femmes, les hommes, les filles et les garçons de la région Y
Extrant 1211Centres de santé régionaux de la région Y remis en état et équipés
Activité 1211.1Effectuer une évaluation des besoins avec le personnel des centres de santé
Activité 1211.2Préparer le plan d’approvisionnement
Activité 1211.3Mettre en œuvre le plan d’approvisionnement
Activité 1211.4Préparer le plan de remise en état
Activité 1211.5Mettre en œuvre le plan de remise en état
Extrant 1212Campagne de sensibilisation sexospécifique au sujet de l’offre de services de santé dans les centres nouvellement remis en état effectuée
Activité 1212.1Concevoir messages pour la campagne [autres activités supprimées aux fins du présent guide]
Résultat immédiat 1220Compé­tences améliorées en matière de triage, de diagnostic et de soins de santé sexospécifiques du per­sonnel (f/h) des centres de santé locaux de la région Y
Extrant 1221Documentation sexospécifique élaborée pour les programmes de perfectionnement et de mentorat  sur le triage, le diagnostic et les soins de santé primaires
Activité 1221.1Effectuer une analyse des lacunes en triage, diagnostic et soins avec les fonctionnaires régionaux et les conseillers techniques en environnement et en égalité entre les sexes
Activité 1221.2Concevoir diapositives et documents sexospécifiques à distribuer pour la formation
Extrant 1222Programmes de perfectionnement et services de mentorat sexospécifiques offerts au personnel (f. et h.) des centres de santé régionaux en matière de triage, de diagnostic et de soins de santé primaires
Activité 1222.1Offrir une formation sexospécifique aux membres du personnel (f/h)
Activité 1222.2Évaluer la formation
Activité 1222.3Offrir des services de mentorat au personnel (femmes et hommes) désigné

Étape 3 g) Rédiger un exposé narratif de la théorie du changement

Chaque modèle logique devrait être accompagné d’un exposé narratif décrivant la théorie du changement pour le projet. Cet exposé devrait être rédigé de façon itérative lors de l’élaboration du modèle logique. La description doit être axée sur ce qui n’est pas explicite dans le modèle logique et sur la façon dont les rapports de cause à effet vont s’enchaîner et les résultats, se produire. Elle devrait expliquer les liens qui existent entre chaque niveau, y compris les hypothèses et les risques, et référer aux  données probantes et aux pratiques exemplaires qui justifient les choix de conception. Ces liens et ces hypothèses doivent inclure les rôles et les contributions d’autres intervenants qui ne participent pas directement au projet, mais de qui l’atteinte des résultats du projet dépend aussi. Par exemple, il faut renvoyer aux engagements, politiques et programmes du gouvernement des pays bénéficiaires qui sont importants aux fins de l’atteinte des résultats de projet. Voir section 1.2 et section 2.4.

Longueur d’une à trois pages

Idéalement, l’exposé narratif devrait faire d’une à trois pages. Toutefois, dans le cas de grands projets, il est possible que vous ayez besoin de plus de pages pour couvrir l’étendue des initiatives.

Structurer l’exposé narratif par résultat

Commencez l’exposé narratif par une section expliquant la manière dont les résultats intermédiaires (les résultats de fin de projet) contribueront au résultat ultime. Concentrez-vous sur les relations entre chaque résultat intermédiaire et le résultat ultime, en expliquant la théorie, les pratiques exemplaires, les hypothèses et les risques qui sous-tendent vos choix en termes de résultats intermédiaire.  

Pour chaque résultat intermédiaire, créez une section ou un paragraphe distinct expliquant comment les extrants du projet mèneront aux résultats immédiats, et comment ces derniers mèneront, au résultat intermédiaire en question. L’explication doit porter sur les relations entre les extrants et le résultat immédiat, et entre les résultats immédiats et les résultats intermédiaires, en expliquant la théorie, les pratiques exemplaires, les hypothèses et les risques qui sous-tendent vos choix. S’il y a lieu, expliquez la manière dont la viabilité de l’environnement, l’égalité entre les sexes et la gouvernance sont intégrées dans le modèle logique dans son ensemble jusqu’au niveau des résultats intermédiaires.

Mettre l’accent sur les hypothèses

Décrivez les hypothèses les plus importantes avancées à chaque étape du modèle logique (c.-à-d. celles sans lesquelles les résultats au prochain niveau ne pourraient être atteints). Vous devriez utiliser des références, des citations et des données probantes tirées de vos consultations et de vos analyses socio-économique, culturelle, politique, environnementale et comparative entre les sexes et les consultations, afin de justifier les hypothèses avancées à chaque étape du modèle logique.

Recenser les risques et les réponses au risque

Mentionnez brièvement les principaux risques et facteurs contextuels qui pourraient avoir une incidence sur l’atteinte des résultats. Indiquez toutes les stratégies d’atténuation des risques que vous mettez en œuvre ou que vous prévoyez mettre en œuvre. Consultez les guides et les outils d’évaluation, de gestion et de suivi des risques d’Affaires mondiales Canada, disponibles sur demande à l’adresse gir.irm@international.gc.ca.

Mentionner le travail des autres acteurs

Mentionnez le travail que les autres organisations réalisent dans la région, et décrivez tout lien entre leurs résultats et la théorie du changement du projet. Dans certains cas, le travail des autres acteurs peut expliquer les choix faits dans la conception du projet (p. ex., la décision de ne pas entreprendre une activité en particulier parce qu’un autre donateur s’en occupe).

Décrire comment la participation sera encouragée

Décrivez les méthodes que vous utiliserez pour favoriser la participation d’un large éventail d’intervenants (y compris les intermédiaires et les bénéficiaires) tout au long du cycle de vie du projet.

Étape 3 h) Évaluer le modèle logique et la matrice des extrants et des activités

Une fois la phase de conception d’un projet terminée, il doit faire l’objet d’une évaluation, à la fois pour des raisons de contrôle de la qualité et dans le cadre du processus décisionnel et d’approbation, avant de procéder à sa mise en œuvre. Qu’il s’agisse de revoir la conception de votre propre projet ou celle d’un projet proposé par une autre organisation, les mêmes conseils s’appliquent.

Le personnel d’Affaires mondiales Canada devrait utiliser la liste de vérification du modèle logique  lorsqu’il évalue le modèle logique présenté par un demandeur avec sa proposition. Il convient de noter que si un bon nombre de questions dans les listes de vérification se rapportent spécifiquement à la terminologie et aux outils d’Affaires mondiales Canada, la liste de vérification du modèle logique comporte des questions touchant à l’utilisation d’outils de gestion axée sur les résultats qui ne sont pas propres à Affaires mondiales Canada. Le type de questions posées peut éclairer l’évaluation des propositions lorsque Affaires mondiales Canada a convenu d’utiliser les gabarits du partenaire.

L’évaluation du modèle logique et de la matrice des extrants et des activités devrait se faire de manière participative. Distribuez l’ébauche du modèle logique, de la matrice des extrants et des activités et de l’exposé narratif à vos collègues, aux spécialistes des thèmes, des secteurs et des thèmes transversaux, aux parties prenantes, incluant les bénéficiaires, et ainsi de suite. Cela vous permettra de vous assurer que la version finale correspond à la compréhension commune de la théorie du changement du projet, y compris les résultats attendus, les hypothèses et la conception.

Encadré 54 - Problèmes courants à éviter touchant les modèles logiques

Problèmes courants à éviter dans un modèle logique

Processus

Logique

Énoncés de résultat

Énoncés d’extrant

3.4 Étape 4 : Élaborer le cadre de mesure du rendement et le plan de suivi et d’évaluation axés sur les résultats

Considérations clés

Rappel!

Le cadre de mesure du rendement n’est pas un exercice théorique, ni un document que l’on oublie dans un classeur. C’est le plan utilisé par l’exécutant pour assurer un suivi et présenter ses rapports tout en constituant le fondement des évaluations.

L’élaboration d’un cadre de mesure du rendement commence à la phase de la conception. Il s’agit d’un processus itératif qui va de pair avec le processus de modélisation menant au modèle logique. Veillez à remplir le cadre de mesure du rendement en adoptant une approche participative et qui tienne compte de l’équilibre entre les sexes. Prévoyez la participation des personnes clés dans les catégories suivantes : intervenants locaux, partenaires, bénéficiaires et spécialistes concernés (thèmes, secteurs et thèmes transversaux).

Tenez compte des facteurs suivants au cours de ce processus :

Étape 4 a) Copier les énoncés  de résultats attendus et d’extrants du modèle logique dans le cadre de mesure du rendement

Copiez et collez les plus récents résultats et extrants de votre modèle logique dans les cases de la première colonne du gabarit de cadre de mesure du rendement.

Étape 4 b) Formuler les indicateurs

Établissez des indicateurs de rendement pour tous les extrants et résultats attendus, selon les conseils présentés à la section 2.5. Normalement, vous devriez avoir commencé à penser aux indicateurs qui conviendraient à vos résultats au cours du processus de validation de votre modèle logique et de votre théorie du changement.

Il se peut que le processus de recherche et de formulation d’indicateurs vous amène à modifier vos énoncés de résultat ou d’extrant. Assurez-vous que toute modification faite aux résultats dans le cadre de mesure du rendement se reflète aussi dans le modèle logique. Si le modèle logique a déjà été approuvé par Affaires mondiales Canada et les parties prenantes, rappelez-vous que tout changement apporté à la portée, à l’échelle ou à l’intention du projet doit être approuvé par l’autorité d’Affaires mondiales Canada qui avait approuvé le projet à l’origine. Voir section 4.2 pour plus d’information à ce sujet.

Validez et vérifiez la qualité de vos indicateurs de rendement, en consultant la liste de vérification du cadre de mesure du rendement d’Affaires mondiales Canada. Par exemple, les indicateurs sont-ils valides, fiables, sensibles, simples, utiles et abordables? Sont-ils sexospécifiques? S’il y a lieu, tiennent-ils compte de la proportionnalité? S’ils portent sur des personnes, sont-ils ventilés par sexe et selon toute autre catégorie pertinente pour le projet?

Étape 4 c) Déterminer les sources des données, les méthodes de collecte, la fréquence et la responsabilité

Déterminez les sources de données et les méthodes de collecte des données pour les indicateurs de rendement que vous avez choisis. Cherchez à inclure des sources de données multiples dans la mesure du possible afin d’accroître la fiabilité des données que vous allez recueillir sur vos indicateurs. Envisagez l’utilisation de stratégies d’échantillonnage. Si vous voulez recueillir des données auprès de bénéficiaires, à quel niveau pensez-vous le faire? Au niveau des ménages? Des collectivités? À d’autres niveaux ? Par exemple, si votre source de données est « les enfants d’âge scolaire », allez-vous recueillir vos données dans les écoles ou, compte tenu que tous les enfants ne fréquentent pas forcément l’école, dans les familles? À première vue, l’idée de recueillir des données au niveau des ménages peut paraître trop coûteuse, mais si vous employez une méthode d’échantillonnage statistiquement valide, cette collecte de données pourrait bien être à votre portée. L’échantillonnage peut vous aider à réduire les coûts sans nuire à la fiabilité et à la validité de vos données.

En examinant les sources de données disponibles et les méthodes de collecte des données pertinentes, vous pourriez être amené à modifier votre choix d’indicateurs.

La fréquence et la responsabilité de la collecte de données dépendent souvent des sources de ces données. Par exemple, la source de données peut être un rapport gouvernemental annuel. La fréquence de collecte serait alors annuelle, selon la fréquence du rapport, et l’exécutant serait probablement chargé de recueillir les données de cette source gouvernementale.

Déterminez la fréquence et la responsabilité (de l’analyse et de la collecte de données) pour chaque indicateur de rendement. Ce serait aussi le moment opportun pour évaluer le coût de la collecte des données.

Étape 4 d) Insérer les données de base

Utilisez les données recueillies lors de l’étude des données de base du projet pour remplir la colonne des données de base du cadre de mesure du rendement.

Si l’étude des données de base n’a pas été menée au moment de la conception du projet, mais le sera à l’étape du démarrage du projet :

Étape 4 e) Définir les cibles

Sélection des cibles et détermination de la date prévue de réalisation

Vos cibles établissent le rendement attendu à la fin d’une période donnée, habituellement la durée du projet. Elles vous aident ainsi à déterminer un budget réaliste, à allouer des ressources en conséquence et à établir la portée et l’envergure en fin de projet. Nous vous encourageons également à établir des cibles annuelles dans le plan de travail annuel, ce qui vous aidera à mieux suivre les progrès au fil du temps.

Si une étude de base a été réalisée :

Si les données de base seront recueillies plus tard :

Étape 4 f) Rédiger un plan préliminaire de suivi et d’évaluation axé sur les résultats

Suivi

Il faudra prévoir dans le budget de projet les ressources nécessaires pour l’élaboration et la mise à l’essai des instruments de collecte de données, ainsi que pour la formation du personnel et des parties prenantes.

Une fois le plan de suivi et d’évaluation terminé, l’exécutant devrait être en mesure de se prononcer sur les coûts de collecte des données, les méthodes d’échantillonnage et la taille des échantillons, les analyses statistiques prévues, les gabarits de capture de données et les systèmes de stockage de données.

Évaluation

La composante « évaluation » du plan de suivi et d’évaluation devrait préciser les points suivants :

Évaluation de l’évaluabilité

Une évaluation de l’évaluabilité fait beaucoup plus que fournir de l’information à savoir si une initiative ou un projet peut être évalué ou non. En outre, une telle évaluation :

Synergie entre le suivi et l’évaluation

Répondez aux questions suivantes pendant l’élaboration du plan de suivi et d’évaluation pour favoriser la synergie entre le suivi et l’évaluation :

Parachèvement du plan de suivi et d’évaluation dans le cadre du plan de mise en œuvre

Le plan de suivi et d’évaluation axé sur les résultats doit être parachevé et soumis à Affaires mondiales Canada pour approbation dans le cadre du plan de mise en œuvre du projet ou son équivalent.

Étape 4 g) Évaluer le cadre de mesure du rendement

Qu’il s’agisse de revoir la conception de votre propre projet ou celle d’un projet proposé par une autre organisation, les mêmes conseils s’appliquent.

Le personnel d’Affaires mondiales Canada devrait utiliser la liste de vérification du cadre de mesure du rendement lorsqu’il examine le cadre de mesure du rendement présenté par un éventuel exécutant avec sa proposition. Il convient de noter que si un bon nombre de questions dans cette liste se rapportent spécifiquement à la terminologie et aux outils d’Affaires mondiales Canada, certaines questions touchent l’utilisation d’outils qui ne sont pas propres à Affaires mondiales Canada. Le type de questions posées peut éclairer l’évaluation des propositions pour lesquelles Affaires mondiales Canada a convenu d’utiliser les gabarits du partenaire.

Les exécutants et le personnel d’Affaires mondiales Canada peuvent également utiliser cette liste de vérification pendant le processus itératif d’élaboration de leur cadre de mesure du rendement, afin de le valider et de l’améliorer.

L’évaluation du cadre de mesure du rendement devrait se faire de manière participative avec les parties prenantes et les spécialistes concernés.

Quatrième partie : Gestion axée sur les résultats pendant la mise en œuvre du projet

4.0 Introduction

Au cours de la mise en œuvre, gérer un programme / portefeuille et projet en fonction de l’atteinte de ses résultats signifie recueillir des données sur les indicateurs qui mesurent à la fois les extrants et les résultats, utiliser ces données et d’autres informations pour comparer les résultats attendus et les résultats réels, et ajuster / adapter les opérations pendant la mise en œuvre afin d’optimiser la réalisation des résultats escomptés.

Ce cycle de mesure, d’évaluation factuelle des progrès réalises vers résultats attendus, d’apprentissage et d’ajustements au cours de la mise en oevure (comme l’illustre le diagramme ci-dessous) est ce qui fait de la gestion axée sur les résultats une approche de gestion adaptive plutôt qu’un simple exercice de collecte de données sur les indicateurs ou d’établissement de rapports.

Figure 1 - Chaîne de résultats d’Affaires mondiales Canada
Version texte

Gestion axée sur les résultats pendant la mise en œuvre. Que faisons-nous pendant la mise en oeuvre pour gérer les résultats et atteindre les résultats attendus ?

Nous recueillons des données sur des indicateurs (qualitatifs et quantitatifs) qui mesurent les extrants et surtout les résultats.

Nous analysons les données recueillies sur les indicateurs et d’autres informations.

Nous utilisons cette analyse pour évaluer le progrès réalisés par rapport aux résultats attendus.

Cette évaluation, soutenue par les données sur les indicateurs, est utilisée de manière ciblée pour:.

  • Apprendre ce qui fonctionne et ce qui ne fonctionne pas, et intégrer les enseignements tirés dans un processus décisionnel fondé sur des données probantes
  • Ajuster et adapter, si nécessaire, la programmation pour atteindre les résultats attendus
  • Rapporter et communiquer de façon narrative sur des résultats fondés sur des données probantes

Les leçons apprises doivent être partagées et intégrées dans le processus de prise de décision pour d’autres programmes similaires en cours, ainsi que pour les programmes futurs.

4.1 Le suivi et la collecte de données des indicateurs

Tout au long de la mise en œuvre, le personnel d’Affaires mondiales Canada et l’exécutant veillent au suivi du projet de manière différente, chacun selon ses rôles et ses responsabilités. C’est à l’exécutant que revient la responsabilité première de la collecte et de l’analyse des données sur l’ensemble des indicateurs du cadre de mesure du rendement, en fonction de la fréquence et des méthodes de collecte de données qui y sont précisées. Le plan de suivi et d’évaluation axé sur les résultats fournit normalement davantage de renseignements sur la collecte des données, y compris des échéanciers et des outils tels que des questionnaires, des gabarits, etc. Le type de suivi effectué par le personnel d’Affaires mondiales Canada dépend du type de projet ou d’investissement. L’examen de divers rapports en est une constante, mais il peut inclure des visites sur le terrain, la contre-vérification d’informations auprès d’autres parties prenantes ou l’embauche d’un agent de suivi externe.

Comme cela a été mentionné à la section 1.3, le fait d’assurer un suivi des résultats en recueillant régulièrement des données sur les indicateurs du projet pendant sa mise en œuvre donne aux gestionnaires et aux parties prenantes des moyens d’agir en leur fournissant en temps réel de l’information sur les progrès réalisés relativement à l’atteinte des résultats. Cette information fait ressortir les points forts, les points faibles et les problèmes au fur et à mesure qu’ils se font jour et permet aux gestionnaires de prendre des mesures correctives en temps opportun pendant la mise en œuvre du projet. De ce fait, ils augmentent leurs chances d’atteindre les résultats attendus.

Les données recueillies pendant la mise en œuvre servent de fondement aux évaluations. Comme nous l’avons mentionné précédemment, le coût d’une évaluation peut être grandement réduit grâce à la documentation continue et assidue de l’atteinte des résultats. De plus, les évaluateurs interviennent à un moment précis dans la vie du projet. Quels que soient les efforts qu’ils y consacrent pendant une évaluation, toutes les données qu’ils recueillent ne pourront jamais remplacer la mine d’information générée grâce à un suivi assidu axé sur les résultats et la mesure du rendement. Par exemple, même les meilleures techniques d’évaluation ne peuvent palier à l’absence de données de suivi nécessaires pour une analyse des tendances du projet ou du programme / portefeuille évalué. Le manque de données peut limiter la qualité d’une évaluation, ou dans certains cas, rendre une évaluation trop coûteuse à entreprendre. Bref, le suivi des données des indicateurs est essentiel.

4.2 Ajustements au modèle logique et au cadre de mesure du rendement d’un projet opérationnel

Le modèle logique et le cadre de mesure du rendement ont été élaborés aux étapes de la conception et de la planification du projet, mais, comme nous l’avons vu à la section 2.0 et à la section 2.6, ce ne sont pas des outils statiques. Ce sont des outils itératifs et il est possible et parfois même souhaitable de les ajuster pendant la mise en œuvre, dans le cadre de la gestion courante du projet, axée sur les résultats. D’ailleurs, le modèle logique et le cadre de mesure du rendement devraient être validés pendant l’élaboration du plan de mise en œuvre ou de son équivalent. D’autres ajustements peuvent s’avérer nécessaires lorsque les circonstances changent pendant la mise en œuvre, ou lorsque les données recueillies par rapport aux indicateurs vous montrent que des ajustements s’imposent si vous voulez atteindre les résultats attendus.

On recommande d’effectuer de tels ajustements lors de la présentation du plan de mise œuvre, et ensuite lors de la présentation du plan de travail annuel ou lors de réunions du comité directeur de projet. Indépendamment du moment choisi, les modifications doivent être soumises à la discussion et approuvées par les principales parties prenantes du projet, y compris Affaires mondiales Canada. De plus, de tels ajustements doivent être justifiés et documentés, et ils ne doivent pas changer la portée, l’échelle ni l’intention du projet.

En particulier, tout changement apporté aux résultats intermédiaires ou ultimes, ou à des cibles à tous les niveaux du modèle logique, doit être discuté avec Affaires mondiales Canada afin de déterminer s’il modifie la portée du projet. Voici des exemples : modification de la portée géographique d’un projet, de son étendue  (p. ex., le nombre et le type de bénéficiaires); suppression, ajout ou modification importante d’un résultat ou des cibles au niveau des résultats et des extrants. Si Affaires mondiales Canada détermine que les changements constituent un changement de portée ou entraînent des augmentations importantes des ressources ou des fonds requis, ces changements déclencheront une modification de l’instrument financier utilisé par le projet et ils devront être approuvés par l’autorité d’approbation initiale à Affaires mondiales Canada.

Si des changements au modèle logique ou au cadre de mesure du rendement déclenchent l’application de la Loi canadienne sur lévaluation environnementale (2012), il faudra prendre les mesures requises par la Loi afin de s’y conformer.

4.3 Les rapports sur les résultats

L’établissement de rapports fait partie intégrante des activités courantes et du processus décisionnel. La reddition de compte contribue à promouvoir une boucle continue de rétroaction dans laquelle les rapports sur les activités, les extrants et les résultats fournissent de l’information et des analyses pour la prise de décision tout au long du cycle de vie d’un projet.

Qu’entend-on par rapports sur les résultats?

La présentation de rapports sur le rendement axés sur les résultats consiste à rendre compte du niveau d’atteinte des résultats attendus ou des progrès réalisés à leur égard. Il s’agit de comparer ce que l’on espère atteindre avec ce qui est réellement réalisé, et d’expliquer tout écart entre les deux. Pour ce faire, les exécutants doivent évaluer les résultats réels d’après les données sur le rendement en utilisant les indicateurs qualitatives et quantitatives établis dans le cadre de mesure de rendement.

Encadré 55 – Définitions : « Niveau d’atteinte des résultats » et « progrès réalisés en vue des résultats »

Au moment de déclarer des résultats, vous pouvez parler du « niveau d’atteinte » d’un résultat ou des progrès réalisés « en vue » d’atteindre ce résultat. Cette différence vous permet de rendre compte des avancées « en vue » d’atteindre un résultat tôt dans le cycle de vie du projet même sans changement significatif dans la valeur des indicateurs de ce résultat.

On rend compte du « niveau d’atteinte » quand on peut constater un changement réel dans la valeur des indicateurs suivis relativement à un résultat ou un extrant. On considérera avoir atteint le résultat ou réalisé l’extrant en question quand les cibles fixées pour les indicateurs auront été atteintes.

On rend compte des « progrès réalisés » quand on peut constater des changements réels dans la valeur des indicateurs suivis au niveau inférieur de la chaîne des résultats (c.-à-d. les résultats intermédiaires, ou les résultats immédiats ou les extrants qui les appuient en fonction du niveau en question), avec une explication sur comment on s’attend à ce qu’ils mènent à un résultat de niveau supérieur.

Donc, en l’absence de changement manifeste des indicateurs d’un niveau en particulier, on se fie au niveau suivant. Par exemple, en l’absence de changement manifeste dans les indicateurs d’un résultat intermédiaire, on consulte les indicateurs des résultats immédiats qui appuient ce dernier.

Dans tous les cas, il faut fournir des données probantes (données quantitatives ou qualitatives) et expliquer en quoi ces progrès au niveau inférieur vont à la longue se répercuter sur l’atteinte du résultat au niveau supérieur.

Pourquoi présenter des rapports sur les résultats?

La présentation de rapports sur les résultats, et pas seulement sur les extrants, soutient le processus décisionnel, permet de rendre  compte des progrès à Affaires mondiales Canada, aux parties prenantes locales et à la population canadienne, et fournit une base pour la participation citoyenne au Canada et dans les pays partenaires.

Les rapports représentent donc plus qu’un simple véhicule pour assurer la reddition de compte envers Affaires mondiales Canada. Ils constituent un important outil de gestion, dont les exécutants, les parties prenantes locales et Affaires mondiales Canada se servent pour :

En présentant une analyse systématique de l’évolution du projet à l’égard des résultats attendus, les rapports contribuent à une approche de gestion de projet rigoureuse qui est axée sur les résultats. Ils servent également de base à l’évaluation et à la communication de la contribution d’un projet à l’ensemble de la programmation.

Conseils pour l’élaboration des rapports

Les paragraphes qui suivent présentent des conseils génériques sur la façon de présenter un rapport sur les extrants et les résultats réels (c’est-à-dire les extrants et les résultat réalisés).

Un rapport axé sur les résultats (trimestriel, semi-annuel, annuel ou final) est un historique du rendement à l’égard des résultats réels (étayé par des données recueillies sur les indicateurs définis dans le cadre de mesure du rendement), par rapport aux résultats attendus figurant dans le modèle logique. Tout écart entre les deux devrait être expliqué et comprendre une analyse de leur signification et de leur impact sur le projet. L’historique du rendement devrait être mis en contexte et traiter de tous les risques qui se sont présentés et de la façon dont ils ont été traités.

Pour chaque indicateur

Encadré 56 – Écueils à éviter dans les rapports

Absence d’équilibre dans les rapports : Les rapports tendent à se concentrer sur les bonnes nouvelles seulement et négligent d’ouvrir la discussion sur les résultats attendus qui n’ont pas été réalisés, ou sur les leçons apprises.

Crédibilité de l’information sur le rendement : Les données réelles provenant des indicateurs de rendement ne sont pas utilisées pour étayer le niveau d’atteinte des résultats attendus et ne sont pas comparées aux données de base et aux cibles.

Rapports sans analyse de haut niveau : Les rapports contiennent beaucoup de détails, mais ne tirent pas de conclusions, ni ne présentent l’historique du rendement.

Lacunes dans l’historique du rendement : L’écart entre le rendement prévu et le rendement réel n’est pas décrit ou expliqué. Le rapport traite peu des risques et des défis rencontrés.

Rapports basés sur les activités et les extrants : Les rapports traitent abondamment des activités (ce qui a été fait) et des extrants (ce qui a été produit) et pas assez des résultats réels (changements qui sont survenus).

Trop de jargon et langage complexe :  Les rapports devraient utiliser un langage simple tout en respectant la terminologie technique propre au secteur et celle de la gestion axée sur les résultats, car ils s’adressent à des publics divers.

Trop tôt pour l’évaluation : Il faut éviter d’utiliser la phrase « Trop tôt pour l’évaluation » dans un rapport. Même au cours de la première année d’un projet, des rapports  peuvent  brièvement évaluer si un projet est sur la bonne voie pour produire les résultats intermédiaires, selon les progrès réalisés à ce jour sur les extrants et les résultats immédiats. Autrement dit, évaluez les progrès «en vue» des résultats intermédiaires attendus.

Comment décrire les réalisations

Dans leur description soit du niveau d’atteinte des résultats ou des extrants, soit des progrès réalisés à leur égard, les exécutants devraient rédiger une description qui s’appuie sur des données réelles (qualitatives et quantitatives) recueillies sur les indicateurs définis dans le cadre de mesure du rendement. Autrement dit, ce sont les données réelles qui appuient les affirmations faites par l’exécutant relativement aux progrès réalisés à l’égard des résultats attendus.

Pour chaque extrant et résultat immédiat

Pour chaque résultat intermédiaire et résultat ultime

Encadré 57 – Définition : données réelles

Les données réelles sont :

Veuillez consultez l’exemple ci-dessous : Rapport sur les résultats

Autres considérations

Veillez à ce que la description des résultats ne décrive pas seulement les changements qui se sont concrétisés, mais qu’elle fournisse également assez d’information sur le contexte et donne un sens de la proportionnalité. Par exemple :

Veuillez-vous assurer que vos explications sont claires et concises. Si vous obtenez des résultats inattendus, rapportez-les également.

Encadré 58 – Définition: Résultat inattendu

Résultat inattendu: Un changement négatif ou positif qui n’était pas prévu dans le cadre logique mais qui peut être lié au projet. Ne pas confondre avec la concrétisation d’un risque ou avec d’autres résultats qui ne sont pas liés au projet.

Progrès réalisés depuis le début du projet jusqu’à présent (cumul)

L’utilisation de l’eau potable par les ménages de la région X a augmenté modestement depuis le début du projet, au début de 2008, comme le montrent les pourcentages enregistrés en 2009 (dernière période de rapport), passant de 24 % parmi les 250 ménages de la communauté A et de 10 % parmi les 100 ménages de la communauté B à au moins 40 % et 15 % respectivement. Même si aucune enquête auprès des ménagères n’est prévue cette année, les preuves recueillies l’observation et des conversations avec les parties prenantes de la communauté (y compris la Coopérative des femmes pour l’eau, qui compte des membres des deux communautés) indiquent que plus de ménages des deux communautés utilisent les puits cette année.

Une femme à la tête d’un ménage de la communauté A qui vit dans une petite exploitation agricole en périphérie de la région X a déclaré : « Cette année, je suis allée chercher l’eau au puits plutôt qu’à la rivière, contrairement à ce que j’avais l’habitude de le faire. L’année dernière, mes enfants ont été souvent malades et ma fille n’avait pas le temps d’aller à l’école. Maintenant, mes enfants sont en meilleure santé et ma fille peut aller à l’école presque chaque matin ».

La réalisation jusqu’ici de plusieurs extrants (y compris la construction de 5 puits sur 6, la tenue de deux séances de formation sur l’entretien des puits et l’organisation de 10 séances de sensibilisation communautaire portant sur l’utilisation de l’eau potable salubre) s’est traduite par un accès accru à de l’eau potable et à une meilleure compréhension de son importance par les membres des deux communautés (voir les données réelles sur les résultats immédiats 1110 et 1120) – les deux extrants susmentionnés ayant contribué à cette hausse de l’utilisation.

Exemple illustré d’un rapport sur les résultatsNote de bas de page 46

Résultat intermédiaire attendu : 1100 Utilisation accrue de l’eau potable dans un contexte d’environnement durable par les ménages dans la collectivité X

IndicateursDonnées de baseCibles (à la fin du projet, sauf indication contraire)Données réelles 2009Données réelles
Période visée par le rapport 2010
Données réelles Cumul
1100.1
#/total des ménages (communauté A et B) qui utilisent des puits comme source d’approvisionnement en eau pour boire et cuisiner.
60/250 (25 %) ménages de la communauté A
10/100 (10 %) ménages de la communauté B
225/250 (90 %) ménages de la communauté A
85/100 (85 %) ménages de la communauté B
100/250 (40 %) ménages de la communauté A
15/100 (15 %) ménages du de la communauté B
Des données seront recueillies en décembre 2010, dans le cadre du sondage bisannuel mené auprès des ménages (conformément à la fréquence établie dans le cadre de mesure du rendement).100/250 (40 %) ménages de la communauté A
15/100 (15 %) ménages de la communauté B
1100.2
%/total de femmes (pour chacune des communautés) qui vont à la rivière tous les jours pour y chercher de l’eau.
80 % (416/520) des femmes de la communauté A
95 % (247/260) des femmes de la communauté B
15 % (78/520) femmes de la communauté A
20 % (52/260) des femmes de la communauté B
70 % (364/520) femmes de la communauté A
93 % (242/260) des femmes de la communauté B
65 % (338/520) des femmes de la communauté A
 90 % (234/260) des femmes de la communauté B
65 % (338/520) des femmes de la communauté A
 90 % (234/260) des femmes de la communauté B
1100.3
%/total d’inspections de puits réalisées
0 %80 % (estimation) 80/10090 % (9/10)70 % (7/10)80 % (16/20)
1100.4
%/total de femmes (pour chacune des communautés) qui estiment utiliser de l’eau potable salubre « la plupart du temps » ou « tout le temps » – soit les niveaux 4 et 5, sur une échelle de 1 à 5.
35 % (182/520) des femmes de la communauté A
15,4 % (40/260) des femmes de la communauté B
90 % (468/520) des femmes de la communauté A
85 % (221/260) femmes de la communauté B
50 % (260/520) des femmes de la communauté A
20 % (52/260) des femmes de la communauté B
60% (312/520) des femmes de la communauté A
23% (60/260) des femmes de la communauté B
60 % (312/520) des femmes de la communauté A
23 % (60/260) des femmes de la communauté B

De plus, on a observé que moins de femmes des deux communautés utilisaient la rivière comme source d’eau, ce qui confirme les chiffres relatifs à l’utilisation accrue d’eau potable salubre. Au début du projet, 80 % des 520 femmes de la communauté A et 95 % des 260 femmes de la communauté B utilisaient la rivière quotidiennement. En janvier 2010, ces pourcentages étaient passés respectivement à 65 % de 520 (communauté A) et 90 % de 260 (communauté B). Comme le montre l’indicateur, les changements souhaités ne se sont pas opérés également pour les deux communautés. Comme il est précisé dans le rapport sur l’extrant 1111, la construction du dernier des trois puits prévus pour les quartiers de la communauté B (soit le puits prévu pour le quartier le plus populeux) a dû être reportée en raison d’un risque de contamination attribuable à la présence de latrines qui étaient trop près du site prévu. La construction du dernier puits l’année prochaine devrait corriger ce déséquilibre.

Quelque 60 % des femmes de la communauté A et 23 % des femmes de la communauté B estiment utiliser de l’eau propre « la plupart du temps » ou « tout le temps ». Il s’agit d’une augmentation de 35 % et 15,4 % respectivement depuis le début du projet. On observe un écart entre le pourcentage de femmes qui estiment utiliser de l’eau propre et le pourcentage de femmes qui utilisent réellement de l’eau salubre (considérant le nombre de femmes qui utilisent encore l’eau de la rivière), ce qui indique qu’il reste du travail de sensibilisation communautaire à faire.

Les membres de la Coopérative des femmes pour l’eau continuent d’inspecter les puits pour s’assurer que leur utilisation n’entraîne pas d’accumulation d’eau et qu’il n’y a pas de fuite. Le pourcentage d’inspections des puits approuvés est passé de 90 % (9/10) durant la première année à 70 % (7/10) durant la deuxième année. Cette baisse est un signe que les utilisateurs doivent être encouragés à signaler promptement les accumulations et les fuites à la Coopérative des femmes pour l’eau pour lui permettre de commander les pièces et de procéder aux réparations rapidement.

Variance (écarts) et résultats inattendus

Le pourcentage des femmes des deux communautés qui utilisent quotidiennement la rivière est plus élevé que prévu. Dans le cas de la communauté A, on a constaté un écart de 15 % entre la cible de cette année pour cet indicateur (50 %/520 [260 femmes] — voir le plan de travail annuel) et l’utilisation réelle (65 %/520 [338 femmes]). On mène actuellement un sondage informel auprès des membres de la Coopérative des femmes pour l’eau pour savoir pourquoi les femmes qui ont déjà accès aux puits se rendent quand même à la rivière, et des ajustements seront apportés aux séances de sensibilisation en fonction des constatations.

Dans le cas de la communauté  B, l’écart de 40 % entre la cible annuelle de 55 %/260 (143) femmes établie dans le plan de travail annuel de cette année et l’utilisation réelle de 90 %/260 (234 femmes) est attribuable en grande partie au retard de construction décrit précédemment. De nouveaux sites ont été proposés, et une analyse environnementale de ces sites a confirmé le bien-fondé de leur choix par la communauté. Entre-temps, étant donné que des observations et des preuves anecdotiques indiquent que de nombreuses femmes de la communauté B étaient réticentes à utiliser d’elles-mêmes les puits situés dans les quartiers de la communauté A, nous appuyons le projet de la Coopérative des femmes pour l’eau d’organiser des collectes d’eau intercommunautaires.

Pour des conseils complets sur la présentation des rapports, veuillez consulter le Guide de rapport des résultats en matière d’aide internationale pour les partenaires d'Affaires mondiales Canada, et ses compagnons, Liste de vérification 5.1 pour la gestion axée sur les résultats – Analyse des rapports de résultats des exécutants de projets d’Affaires mondiales Canada et Fiche de conseil en gestion axée sur les résultats no. 3.2 – Résultats, indicateurs, données de références, cibles et données réelles : Quelle est la différence ?.

Conclusion

Rappel

La gestion axée sur les résultats vise principalement à maximiser la réalisation des résultats attendus d’un programme / portefeuille et d’un projet.

Cela signifie qu’il faut gérer le projet en fonction de résultats du début à la fin et qu’il faut s’assurer qu’un accent constant est mis sur l’atteinte de résultats comme suit :

Ce guide sera mis à jour périodiquement selon les besoins. Les questions et commentaires sur ce guide devraient être acheminés à gar.rbm@international.gc.ca.

Bibliographie

Bradley, D. et H. Schneider. Participatory Approaches: A Facilitator’s GuidePart 1. Kingston upon Thames, R.-U., Voluntary Service Overseas, 2004.

Canada. Affaires Mondiales Canada. Politique en matière d’égalité entre les sexes [en ligne], 2010.

Canada. Agence Canadienne de Développement International. La gestion axée sur les résultats à l’ACDI: Guide d’introduction aux concepts et aux principes [en ligne], 1999.

Canada. Agence de Développement International (depuis 2015 Affaires Mondiales Canada). La gestion axée sur les résultats – Énoncé de principe 2008 [en ligne], 2008.

Canada. Affaires Mondiales Canada. Gestion axée sur les résultats – Énoncé de principe 2008 : Définitions révisées des principaux termes [en ligne], 2008.

Canada. Justice Canada. Loi canadienne sur l’évaluation environnementale [en ligne]. Lois du Canada 2012, ch. 19, art. 52.

Canada. Justice Canada. Loi sur la responsabilité en matière d’aide au développement officielle [en ligne]. Lois du Canada 2008, ch. 17, art. 4.

Canada. Secrétariat du Conseil du Trésor du Canada. Des résultats pour les Canadiens et les Canadiennes : Un cadre de gestion pour le gouvernement du Canada [en ligne], 2000.

Canada. Secrétariat du Conseil du Trésor du Canada. Pour soutenir des évaluations efficaces : Guide d’élaboration de stratégies de mesure du rendement [en ligne], 2010.

Canada. Secrétariat du Conseil du Trésor du Canada. Approches d’évaluation axées sur la théorie : Concepts et pratiques [en ligne], 2012.

Crossman, Ashley. Units of Analysis.

Drucker, Peter F. The Practice of Management, New York, Harper & Row, 1954.

Funnell, Sue, C., et Patricia J. ROGERSs, Purposeful Program Theory, Effective use of Theories of Change and Logic Models, John Wiley and Sons, Inc., 2011.

Groupe des Nations Unies pour le Développement. Results-Based Management (RBM) [en ligne].

Investopia, What are leading, lagging and coincident indicators? What are they for? [en ligne].

Morra Imas, Linda G. et Ray C. RIST, The Road to Results: Designing and Conducting Effective Development Evaluations, Washington, D.C., Banque mondiale, 2009. License: CC BY 3.0 IGO.

Organisation de Coopération et de Développement Économiques – Le Comité D’aide au Développement. « Normes de qualité pour l’évaluation du développement », Lignes directrices et ouvrages de référence du CAD. Paris, OCDE, 2010.

Project Management Body of Knowledge (PMBOK) – Work Breakdown Structure

Rietbergen-McCracken, Jennifer, éd. “Participation in practice: the experience of the World Bank and other stakeholders.World Bank discussion papers, no. WDP 333. Washington, D.C., Banque mondiale, 1996.

Vogel, Isabel, Review of the use of ‘Theory of Change’ in international development. Londres, R.-U., Department for International Development, 2012.

Universite du Wisconsin-Extension, Program Development and Evaluation.

Zall Kusek, Jody et Ray C. RIST, Ten Steps to a Results-Based Monitoring and Evaluation System. Washington, D.C., Banque mondiale, 2004. License: CC BY 3.0 IGO

Signaler un problème sur cette page
Veuillez cocher toutes les réponses pertinentes :

Merci de votre aide!

Vous ne recevrez pas de réponse. Pour toute question, s’il vous plaît contactez-nous.

Date de modification: