5 octobre 2017

8. Glossaire

La mesure d’impact social et l’évaluation

 

Évaluation : Démarche systématique permettant d’estimer la valeur d’une intervention.

Évaluation des effets : Démarche systématique permettant d’estimer les conséquences attribuables à une intervention.

Mesure d’impact social : Activité qui consiste à évaluer les effets découlant d’une intervention.

Pour éviter la confusion ou l’utilisation d’un anglicisme, il est possible, à la place d’utiliser l’expression « mesure d’impact social », de parler d’évaluation des effets.
En principe, l’évaluation des effets diffère de la reddition de comptes.

Reddition de comptes : Relation fondée sur l’obligation de faire la preuve du rendement, de l’examiner et d’en assumer la responsabilité, soit à la fois des résultats obtenus à la lumière des attentes convenues et des moyens employés ». (Bureau du vérificateur général du Canada Gouvernement du Canada, 2002)

 

Le modèle logique

 

Activité (Activity) : Processus ou opération permettant la production des extrants d’une intervention à partir de ses intrants.

Les principales activités d’une organisation peuvent être plus ou moins précises et comporter plusieurs sous-activités pouvant être organisées dans une structure hiérarchisée. La formation, la recherche, la construction d’infrastructures, la production d’information et la négociation sont des exemples d’activités (Leblanc-Constant et Bard, 2013, p. 1).

Attribution : Établissement d’un lien de cause à effet entre un effet particulier et les activités et extrants d’une intervention

Effet (Outcome et impact) : Conséquence attribuable à une intervention (Marceau et Sylvain, 2014, p. 17).

Extrant (Output) : Les extrants sont des biens ou des services (un document d’information, l’aménagement d’un parc, un renseignement, une subvention, etc.) observables et mesurables. Leur production étant habituellement sous le contrôle exclusif de l’organisation, il est généralement plus facile d’en rendre compte, comparativement aux effets (Leblanc-Constant et Bard, 2013, p. 11).

Intervention : Action conduite dans l’intention d’avoir un effet sur la société (Leblanc-Constant et Bard, 2013, p. 13). En référence au modèle logique, c’est l’ensemble des chaînes d’action (des processus) qui permettent de mobiliser des ressources (intrants) pour faire des activités et produire des services, de façon à atteindre des résultats (extrants et effets) (François Champagne, Brousselle, Hartz et Contandriopoulos, 2011, p. 74).

Intrant (Input) : Ressources humaines, financières, matérielles ou informationnelles utilisées pour mener à bien les activités de production. 

Ce sont, par exemple, le personnel qui assure la prestation des services, les ressources financières consenties, des locaux, des véhicules, des logiciels, etc. (Leblanc-Constant et Bard, 2013, p. 13).

Modèle logique : Image du fonctionnement [du] programme, une illustration de la théorie et des hypothèses qui le sous-tendent. Un tel modèle constitue une feuille de route pour le déroulement du programme, mettant en évidence la façon dont [il] est censé fonctionner, la séquence des différentes activités et les moyens par lesquels on arrive aux résultats attendus (W.K. Kellogg Foundation, 2004, p. III).

 

Types d’évaluation – les approches

 

Évaluation axée sur l’utilisation (utilization-focused evaluation) : Approche évaluative qui a pour prémisse que l’évaluation doit être conçue dans le but de faire en sorte que ses destinataires l’utiliseront effectivement (Patton, 2008, 2013).

Évaluation constructiviste : Forme d’évaluation qui s’appuie sur les principes fondateurs du paradigme constructiviste en termes d’ontologie, d’épistémologie et de méthodologie (Guba et Lincoln, 2001, p. 1).

Évaluation directive : Évaluation où la personne qui évalue adopte le rôle d’expert, neutre et distancé de l’objet évalué, et prend seul les décisions. Le rôle des autres acteurs est celui de source d’information (Ridde et Dagenais, 2009, p. 27).

Évaluation émancipatrice : Évaluation servant explicitement à favoriser le pouvoir d’agir (empowerement), l’évaluateur prend alors une posture d’animateur et ce sont les participants qui prennent les décisions (Ridde et Dagenais, 2009, p. 28).

Évaluation évolutive : Approche évaluative ayant pour finalité de soutenir l’apprentissage dans des contextes complexes et changeants (Gamble, 2008; Meunier, 2013).

Évaluation externe : Évaluation impliquant la participation d’une personne ou d’une équipe indépendante de l’équipe qui assure la réalisation de l’intervention.

Évaluation formative : Évaluation don l’objectif est de brosser, en cours de mise en œuvre d’une intervention, un tableau du fonctionnement des activités dans une perspective d’amélioration (Rondot et Bouchard, 2003).

Évaluation interne : Évaluation réalisée par les responsables et les agents de l’action (Eme, Fraisse et Gardin, 2000, p. 22).

Évaluation négociée : Utilisé dans le contexte de l’évaluation d’organismes communautaires au Québec, ce terme désigne une évaluation où l’organisme est reconnu comme partenaire de son bailleur de fonds, le gouvernement (Gaudreau et Lacelle, 1999, p. 8).

Évaluation participative : Évaluation où les acteurs impliqués dans le projet, des membres de l’équipe de projet jusqu’aux membres de la population concernée, ont l’opportunité de fournir un retour sur le projet et, si approprié, d’influencer son développement et/ou des projets futurs (ÉvalPop, 2016).

Évaluation pratique : Type d’évaluation participative qui sert un objectif précis comme résoudre un problème, améliorer un programme, ou éclairer la décision (Ridde et Dagenais, 2009, p. 28).

Évaluation sommative : Évaluation dont l’objectif est de tirer des conclusions et de poser un jugement sur la valeur des interventions. Elle se réalise à la fin d’une intervention habituellement dans une perspective de reddition de compte (Rondot et Bouchard, 2003).

Dans ce cas, l’évaluation appuie la prise de décision, que ce soit de modifier un programme, ou d’attribuer un financement, par exemple.

Gestion axée sur les résultats : Approche de gestion qui accorde la priorité aux résultats et met ce principe en pratique dans tous les aspects de la gestion (Gouvernement du Québec et Conseil du trésor, 2014, p. 12).

 

Types d’évaluation – les objets

Évaluation des besoins : Évaluation visant à déterminer […les] besoins, ceux-ci étant compris comme la différence entre la situation actuelle et la situation souhaitée (Leblanc-Constant et Bard, 2013, p. 8).

Évaluation de la pertinence : Évaluation portant sur la pertinence des objectifs (aussi appelé évaluation stratégique). Il s’agit alors de déterminer la justesse du lien entre les objectifs explicites de l’intervention et la nature du problème qu’elle est censée résoudre ou prendre en charge (F. Champagne et al., 2011).

Évaluation de la mise en œuvre : Aussi appelée évaluation des processus ou de l’implantation, elle permet de vérifier si les activités se sont déroulées comme prévues et si les ressources (intrants) et produits (extrants) impliqués sont conformes à ce qui était prévu. Il existe une grande variété d’évaluations liées à la mise en œuvre. Certaines, plus spécifiques, se concentrent surtout sur les activités, d’autres, plus larges, visent à étudier les effets observés en tenant compte du contexte.

Évaluation de l’efficacité : Évaluation comparant les résultats obtenus aux objectifs d’une action (Marceau et Sylvain, 2014, p. 23).

Évaluation de l’efficience : Évaluation mettant en rapport les résultats obtenus avec les ressources (intrants) d’une action.

Évaluation des résultats (ou du rendement) : Évaluation portant à la fois sur les extrants et les effets résultants de l’intervention.

Évaluation des effets : Démarche systématique permettant d’estimer les conséquences attribuables à une intervention.

Évaluation d’impact : Voir évaluation des effets.

 

Vocabulaire lié aux indicateurs

 

Cible : Rendement mesurable ou niveau de réussite prévu par une organisation ou attendu d’un programme ou d’une initiative au cours d’une période donnée. Les cibles peuvent être quantitatives ou qualitatives et elles conviennent tant pour les extrants que pour les résultats. Par exemple, 70 % des ménages au Canada posséderont leur propre maison en 2006 (Secrétariat du Conseil du Trésor du Canada, 2015)

Critère : Élément, caractère ou propriété d’après lesquels une appréciation est faite ou un jugement est forgé. (Leblanc-Constant et Bard, 2013, p. 5)

Dimension : Aspect significatif de quelque chose (Larousse, 2017).

Indicateur de substitution (Proxy) : Mesure indirecte qui représente ou procure une approximation d’un phénomène ou d’un concept impossible ou difficile à mesurer directement (Leblanc-Constant et Bard, 2013, p. 13). Ces indicateurs sont régulièrement utilisés par les méthodes SROI ou ACA (voir annexes pertinentes) afin d’attribuer une valeur monétaire à un effet qui n’est traditionnellement pas transigé sur le marché.

Indicateur : Mesure qui sert à évaluer ou à apprécier les résultats, l’utilisation des ressources, l’état d’avancement des travaux, le contexte, etc. Un indicateur permet d’apprécier un phénomène qualitativement ou quantitativement à l’aide de données ou de renseignements utilisés comme points de repère. (Leblanc-Constant et Bard, 2013, p. 12)

Intangible : Caractéristique d’un effet difficile à mesurer objectivement à partir d’un instrument de mesure externe et standardisé.

Monétarisation : Action d’attribuer une valeur monétaire à des effets qui traditionnellement ne font pas l’objet de transactions sur le marché.

Norme (Standard) : Règles documentées destinées à guider et à harmoniser l’activité d’un secteur ou à améliorer la pratique d’une profession. Une norme peut aussi être une spécification technique approuvée par un organisme reconnu ou une donnée établie pour servir de point de comparaison. (Leblanc-Constant et Bard, 2013, p. 14)

Référentiel : Ensemble de critères et d’indicateurs précisant l’utilité sociale de la structure (Duclos, 2007, p. 113)

Variable : Caractéristique observable ou mesurable qui peut prendre différentes valeurs tant quantitatives que qualitatives. Les variables sont dites « dépendantes » quand elles subissent l’influence d’autres variables et « indépendantes » lorsqu’elles exercent une influence sur une autre variable ou en expliquent les variations.  Les variables peuvent être de différentes natures: nominales, ordinales ou numériques. (Leblanc-Constant et Bard, 2013).

 

Vocabulaire lié aux enjeux

 

Attribution : Confirmer une relation causale entre les changements observés (ou que l’on s’attend à observer) et une action spécifique » (OCDE, 2002).

Contribution : Établir que, à la lumière des multiples facteurs ayant une influence sur le résultat, l’intervention a eu un effet perceptible (Mayne, 2012).

Causalité : Lien qui unit une cause à un effet (Hutchinson, 2018).

Contrefactuel : Situation ou condition dans lesquelles se trouveraient les personnes, les organisations ou les groupes concernés si [l’intervention] n’existait pas » (OECD, 2002).

Réactivité : Situation où les personnes ou organisations soumises à l’évaluation, l’observation ou la mesure vont changer leur comportement de manière attendue ou non » (Espeland et Sauder, 2007, p. 6)

 


Références

Note : Lorsqu’aucune source n’est pas indiquée, la définition peut être considérée comme le fruit des travaux du TIESS sur le sujet.

Bureau du vérificateur général du Canada Gouvernement du Canada. (2002, 1 décembre). Chapitre 9 — La modernisation de la reddition de comptes dans le secteur public. Repéré à http://www.oag-bvg.gc.ca/internet/Francais/parl_oag_200212_09_f_12403.html

Champagne, F., Hartz, Z., Brousselle, A. et Contandriopoulos, A.-P. (2011). L’appréciation normative. Dans L’évaluation: Concepts et méthodes (p. 87‑104). Montréal, QC : Presses de l’Université de Montréal.

Champagne, François, Brousselle, A., Hartz, Z. et Contandriopoulos, A.-P. (2011). Modéliser les interventions. Dans L’évaluation : concepts et méthodes (2e édition, p. 71‑84). Montréal : Les Presses de l’Université de Montréal.

Duclos, H. (2007). Évaluer l’utilité sociale de son activité: conduire une démarche d’auto-évaluation. Paris (167 rue du Chevaleret, 75013) : Agence de valorisation des initiatives socio-économiques (AVISE).

Espeland, W. N. et Sauder, M. (2007). Rankings and Reactivity: How Public Measures Recreate Social Worlds. American Journal of Sociology, 113(1), 1‑40.

ÉvalPop. (2016). Lexique. Repéré 12 décembre 2016, à https://evalpop.com/ressources/lexique/

Gamble, J. A. A. (2008). Abc de l’évaluation évolutive. Fondation de la famille J. W. McConnell.

Gaudreau, L. et Lacelle, N. (1999). S’approcher de l’évaluation. Dans Manuel d’évaluation participative et négociée. Montréal : Université du Québec à Montréal, Service aux collectivités.

Gouvernement du Québec et Conseil du trésor. (2014). Guide sur la gestion axée sur les résultats. Repéré à http://www.tresor.gouv.qc.ca/cadredegestion/fileadmin/documents/publications/sct/GuideGestionAxeeResultat.pdf

Guba, E. G. et Lincoln, Y. S. (2001). Guidelines and checklist for constructivist (aka fourth generation) evaluation. Retrieved January, 23, 2010.

Hutchinson, K. (2018). Evaluation Glossary. Community Solutions Planning & Evaluation. Repéré à http://communitysolutions.ca/web/evaluation-glossary-2/

Larousse. (2017). Définitions : dimension. Dictionnaire de français Larousse. Repéré à http://www.larousse.fr/dictionnaires/francais/dimension/25585

Leblanc-Constant, M. et Bard, C. (2013). Glossaire des termes usuels en mesure de performance et en évaluation: pour une gestion saine et performante (édité par Conseil du trésor). Repéré à http://collections.banq.qc.ca/ark:/52327/2440384

Marceau, R. et Sylvain, F. (2014). Dictionnaire terminologique de l’évaluation : politiques, programmes, interventions : la dimension conceptuelle. Québec : Les Éditions GID.

Meunier, A. (2013, novembre). Qu’est-ce que l’évaluation évolutive? Communagir.

OCDE. (2002). Glossaire des principaux termes relatifs à l’évaluation et la gestion axée sur les résultats.

Patton, M. Q. (2008). Utilization-focused evaluation (4e éd.). Sage publications.

Patton, M. Q. (2013). Utilization-focused evaluation (U-FE) checklist. Evaluation Checklists Project. Repéré à http://www.managingforimpact.org/sites/default/files/ufe_checklist_2013.pdf

Ridde, V. et Dagenais, C. (2009). Approches et pratiques en évaluation de programmes (Les Presses de l’Université de Montréal). Presses de l’Université de Montréal.

Rondot, S. et Bouchard, M. (2003). L’évaluation en économie sociale: petit aide-mémoire. Montréal : ARUC-économie sociale.

Secrétariat du Conseil du Trésor du Canada. (2015). Lexique de la gestion axée sur les résultats. Repéré le 29 janvier 2018, à https://www.canada.ca/fr/secretariat-conseil-tresor/services/verifications-evaluations/centre-excellence-en-evaluation/lexique-gestion-axee-resultats.html