Archives par étiquette : mesure d’impact

Les enjeux de la mesure d’impact social

Depuis 2016, le TIESS travaille, en collaboration avec de nombreux partenaires, sur le thème de la mesure d’impact social. Le but ? Faciliter non seulement la compréhension du sujet, mais aussi l’orientation des organisations et des réseaux de l’économie sociale par rapport à cet enjeu.

Pourquoi parler d’enjeu ? Parce que la mesure d’impact social, c’est bien plus que des méthodes et des indicateurs. C’est une réflexion fondamentale sur la valeur de notre action. Or la manière de porter un jugement sur cette valeur, tout comme le choix des personnes qui seront impliquées dans cette décision, est une question hautement stratégique, et même politique. 

Politique, car même si nous voulons tous que notre analyse soit la plus objective possible, il est malheureusement impossible qu’elle soit complètement neutre. Même si les chiffres et les faits ne mentent pas, la sélection des aspects à évaluer, la manière de les mesurer et leur interprétation impliquent des choix et ne peuvent échapper à un certain degré de subjectivité. 

Il est essentiel que les réseaux et les acteurs de l’économie sociale soient en mesure de définir, en collaboration avec l’ensemble de leurs parties prenantes et de leurs bailleurs de fonds, des modes d’évaluation qui leur correspondent plutôt que de s’en faire imposer par des acteurs externes.

C’est donc pour aider les acteurs de l’économie sociale à s’orienter que le TIESS a tenu, au cours du printemps 2018, une série de trois ateliers de travail où une diversité d’intervenants (experts, universitaires, bailleurs de fonds, entrepreneurs) ont abordé des enjeux, des tensions et des pièges à éviter en lien avec la mesure d’impact social. Ce travail a permis de produire de nouvelles sections de l’espace web qui sont dévoilées aujourd’hui. Voici leurs résumés.

Pourquoi évaluer ? Stratégies de distinction et d’apprentissage

L’évaluation, la mesure d’impact et la reddition de comptes sont parfois utilisées comme synonymes alors qu’elles désignent des exercices différents qui peuvent toutefois être complémentaires. Deux grandes stratégies se dégagent dans le domaine : l’évaluation qui permet de rendre des comptes ou de se distinguer (orientée vers l’externe) et l’évaluation qui permet d’apprendre ou de s’améliorer (orientée vers l’interne). Même si parfois il est possible de combiner plusieurs objectifs dans le cadre d’une même démarche, les organisations qui s’engagent dans l’évaluation et leurs bailleurs de fonds devraient garder ces distinctions en tête et s’entendre sur la stratégie à suivre.

Vers une mesure standardisée de l’impact social ?

L’évaluation peut servir à analyser les résultats atteints au regard des objectifs fixés ou à les comparer à ceux d’autres organisations, au risque de voir seulement ce qui est comparable et de rater ce qui est spécifique ou nouveau dans le contexte de l’organisation. À l’inverse, une évaluation peut examiner ce que l’organisation a de spécifique, voire d’unique, et qui par conséquent est peu comparable aux autres organisations ou aux objectifs d’un programme ou d’une politique.

Peut-on et doit-on mesurer l’intangible ?

Il existe des effets intangibles difficilement chiffrables. Gardons tout de même à l’esprit que ce sont souvent des éléments très importants et qu’il est toujours utile de tenter de les évaluer… mais attention au choix des méthodes et à leurs biais potentiels.

Comparaison : peut-on et doit-on tout « monétariser » ?

La monétarisation désigne l’action d’attribuer une valeur monétaire à des effets qui, traditionnellement, ne font pas l’objet de transactions sur le marché. Elle comporte certains avantages, mais aussi certains risques et soulève plusieurs critiques. Il s’agit donc d’un exercice potentiellement utile, mais dont les résultats devraient toujours être considérés avec précaution.

Tension entre standardisation et flexibilité

Le malaise entourant l’arbitrage entre, d’une part, une description fine et détaillée qui tient compte de la complexité du contexte et, d’autre part, la mise en place d’indicateurs communs pratiques, mais potentiellement réducteurs, est lié à l’usage qu’on souhaite faire de la mesure d’impact : décrire, comprendre et mettre en valeur son action, comparer les projets en vue d’éclairer la prise de décision ou agréger les effets d’un ensemble de projets ou d’actions. 

Prouver l’impact ? Causalité, attribution et contribution 

La causalité, l’attribution et l’essai randomisé contrôlé (RCT) 

Les notions de causalité et d’attribution sont essentielles à la définition de la mesure d’impact. La causalité désigne un lien qui permet d’attribuer un effet à une intervention ou à une action donnée. Pour établir un lien de causalité, il faut pouvoir estimer le « contrefactuel », c’est-à-dire « ce qui serait arrivé en l’absence de l’intervention ». Or, la variété des contextes et la complexité des interactions au sein d’une société font en sorte qu’il est difficile, voire impossible, de réunir les conditions nécessaires pour attribuer un changement social à une intervention spécifique. Pour certains, il s’agit d’un défi méthodologique à relever. Pour d’autres, il s’agit au contraire d’une raison pour éviter de chercher à prouver qu’une activité a causé un impact.  

L’analyse de la contribution et la théorie du changement

L’analyse de la contribution d’une intervention ou d’un programme propose d’établir un lien tel qu’une « personne raisonnable serait d’accord pour dire, à partir des preuves et des arguments, que [l’intervention] a contribué de manière importante au résultat observé » (Mayne, 2012) [1]. Ce type de lien est moins fort que le lien de causalité au sens où il ne prouve pas l’attribution d’un impact à une seule action. Il est toutefois pertinent dans des situations où l’intervention n’est ni nécessaire ni suffisante pour produire un effet, mais où il est vraisemblable qu’elle y ait substantiellement contribué. Pour établir ce type de lien, on suggère de développer une théorie du changement, de la confronter à la réalité et de tester des explications rivales.

Les impacts négatifs potentiels de la mesure d’impact

Réactivité

Si on leur impose la mesure d’impact, certaines organisations vont réagir de manière attendue ou non. Elles pourraient, par exemple, avoir recours à des stratégies ou à des comportements qui visent à les faire paraître performantes par rapport aux indicateurs à partir desquels elles sont évaluées – plutôt qu’en fonction des effets réellement recherchés par leurs membres – ou carrément adopter des pratiques de manière symbolique, sans véritablement y croire.

Concurrence et conformation

En mettant des entreprises d’économie sociale en concurrence sur une base inadaptée à leurs particularités, un bailleur de fonds qui souhaite financer uniquement les entreprises à « impact social » risquerait de décourager certaines innovations et de récompenser les entreprises les plus aptes à générer et à démontrer certains effets préétablis au détriment d’autres résultats tout aussi désirables, mais moins prévisibles.

L’évaluation comme mode de gouvernance

L’évaluation des effets des entreprises d’économie sociale est une question stratégique qui n’est jamais neutre. Nous espérons que ce texte permet de comprendre cette prémisse du projet du TIESS sur la mesure d’impact. Les enjeux que nous venons d’évoquer ne remettent pas en cause l’activité d’évaluation elle-même. Il s’agit plutôt d’une mise en garde contre l’utilisation qui peut en être faite dans certains contextes et d’un appel aux organisations et aux réseaux d’économie sociale à développer un point de vue critique par rapport aux questions soulevées. Ces réseaux et organisations ne doivent donc pas s’éloigner de l’évaluation, mais au contraire se l’approprier, la saisir comme une occasion de réfléchir, de repenser ou de réaffirmer leurs objectifs, leurs priorités, leur identité et leur projet social.  

Pour en apprendre davantage sur ces enjeux, consultez les nouvelles sections dans l’espace web du TIESS sur la mesure d’impact social.

[1] Mayne, J. (2012). Contribution analysis: Coming of age? Evaluation, 18(3), 270–280.

L’histoire de la mesure d’impact social

La notion de mesure d’impact social, même si elle semble davantage attirer l’attention au Québec depuis quelques années, a une histoire relativement longue et complexe. Les termes employés pour la décrire et ce qu’ils signifient varient beaucoup en fonction des « cultures » qui y ont recours. « Cultures » au sens de pays ou de nations (France, États-Unis, Royaume-Uni, Canada, Québec), mais aussi, et surtout, « cultures » au sens de secteur d’activité ou de discipline académique qui mobilise la notion en question : évaluation, philanthropie, action communautaire, finance solidaire, investissement d’impact, mouvement coopératif, développement durable, etc. Ces croisements et confrontations font en sorte que les acteurs utilisent parfois les mêmes mots pour décrire des choses différentes ou, inversement, ont l’impression de ne pas se comprendre alors qu’ils parlent de la même chose.

Ainsi, il n’est pas rare d’entendre certains citer en exemple la certification B Corp comme un modèle de mesure d’impact alors qu’il s’agit essentiellement d’une méthode comparable à ce qui se fait depuis 30 ans dans le domaine du développement durable et de la responsabilité sociale (voir, par exemple, les normes GRI). Dans les deux cas, l’exercice consiste à compiler certains indicateurs qui portent sur les processus de l’entreprise en matière de respect de l’environnement, des salariés et des bons principes de gouvernance, pour n’en nommer que quelques-uns. Certains promoteurs de « l’économie d’impact » sont donc beaucoup plus proches qu’ils ne le pensent des acteurs de l’investissement responsable, même s’ils utilisent des mots différents. À l’inverse, ils sont potentiellement très éloignés de tout un pan de la recherche en évaluation qui voit dans l’essai randomisé contrôlé le summum de la rigueur scientifique évaluative. Même si les deux font l’éloge de l’impact, ils ont une compréhension très différente de ce qu’il implique, notamment en ce qui concerne sa mesure.

Repères historiques

Pour Reisman et al. (2015) [1], l’évaluation et la mesure d’impact social sont deux courants qui ont évolué en parallèle pendant des décennies et qui sont maintenant appelés à nouer un dialogue afin de s’enrichir mutuellement. Ces auteurs mettent effectivement le doigt sur deux courants dominants en Occident. 

D’une part, l’essor de l’État-providence après la Seconde Guerre mondiale a stimulé une demande pour l’évaluation de programmes dans tous les pays occidentaux. L’objectif était de déterminer si une politique mise en place par une administration publique génère réellement les résultats escomptés. C’est ainsi que l’évaluation s’est constituée comme discipline académique. Encore aujourd’hui, c’est avec les notions développées par l’évaluation pour décrire une intervention gouvernementale (modèle logique, intrant, extrant, effet, indicateur, etc.) que nous pouvons étudier l’impact d’une entreprise d’économie sociale.

D’autre part, le monde financier et philanthropique anglo-saxon a grandement contribué à accroître l’intérêt pour la mesure d’impact social des projets à finalité sociale. Ces acteurs se sont toujours intéressés aux retombées générées par leurs dons et leurs investissements, mais à partir de la fin des années 1990, des organisations comme la Fondation Rockefeller ont proposé de mesurer plus systématiquement le rendement social de leurs investissements. Cette préoccupation ancienne pour le « qu’est-ce que ça donne ? », renouvelée à travers la lunette du monde financier, a donné naissance aux notions de retour social sur investissement (SROI) et d’indicateurs standardisés (voir, par exemple, les indicateurs IRIS), essentielles au développement d’un nouveau secteur : l’investissement d’impact. En effet, pour remplir sa promesse d’offrir un rendement à la fois financier et social, ce secteur doit être capable de calculer le rendement social des organisations financées, d’où l’intérêt croissant pour la mesure d’impact social.

Pour éviter les dédoublements, les acteurs traditionnels de l’évaluation et les acteurs de l’investissement d’impact seraient donc appelés à converger et à apprendre les uns des autres. Par ailleurs, si ces deux courants sont effectivement très importants, voire dominants dans les discours sur le sujet, il serait réducteur de se limiter à cette vision dualiste. La notion d’« acteurs traditionnels de l’évaluation » désigne en fait une grande diversité d’initiatives qui fait appel à des méthodes et à des expériences très différentes. En voici quelques exemples :

  • Depuis les années 1970, les grands projets de développement économique cherchent à atténuer leurs impacts sociaux négatifs dans une perspective de développement durable. Les travaux de l’International Association for Impact Assessment (IAIA) illustrent bien cette volonté.
  • L’analyse du cycle de vie (ACV) permet de documenter rigoureusement l’impact d’un produit ou d’un service du début à la fin. Ces analyses, traditionnellement orientées sur les aspects économiques et environnementaux, intègrent de plus en plus des aspects sociaux.
  • Depuis des décennies, les acteurs du développement international cherchent à connaître l’impact de leurs interventions. Pour y parvenir, ce secteur propose une grande diversité d’approches allant des méthodes expérimentales (essais randomisés contrôlés) à la cartographie des incidences.
  • Tout au long de la seconde moitié du 20e siècle, la comptabilité sociale et environnementale a cherché à aller au-delà des données financières. Le bilan sociétal en France et le Balanced Scorecard au Royaume-Uni sont des exemples de ces pratiques très variées.

Certaines initiatives sont directement issues du secteur de l’économie sociale et solidaire.

  • Le courant de l’évaluation de l’utilité sociale, mieux connu en France, cherche depuis plusieurs décennies à repérer et valoriser la plus-value générée par les organisations de l’économie sociale et solidaire pour leur territoire.
  • Le projet Demonstrating Value (DV), en Colombie-Britannique, est issu d’une démarche qui visait à mettre en place un cadre d’évaluation partagé pouvant être utilisé par les entreprises sociales et par les bailleurs de fonds afin de mesurer leur performance, leur impact et d’en rendre compte. La phase initiale du projet s’est échelonnée de 2007 à 2009.
  • L’action communautaire au Québec a développé sa propre approche d’évaluation au cours des dernières décennies. Le Manuel d’évaluation participative et négociée de Gaudreau et Lacelle (1999) illustre bien cette pratique.
  • La première décennie qui a suivi le Sommet sur l’économie et l’emploi de 1996 a été une période de réflexion intense sur le thème de l’évaluation de l’économie sociale alors en plein essor au Québec. Les chercheurs impliqués au sein de l’Alliance de recherche universités-communautés (ARUC) en économie sociale et le CSMO-ESAC ont grandement contribué à cette réflexion.

Pour en apprendre davantage sur ces histoires multiples, le TIESS vient de publier une ligne du temps de la mesure d’impact social. Elle a pour objectif d’offrir un pas de recul aux lecteurs et ainsi de situer l’engouement pour la mesure d’impact dans un contexte historique beaucoup plus global. Sans être exhaustive ni définitive, cette ligne du temps permet tout de même de contribuer à répondre à quelques questions importantes : d’où vient cet intérêt pour la mesure d’impact social ? Comment s’est-il manifesté dans les pratiques à travers l’histoire ? Quels enjeux politiques et idéologiques sous-tendent ces pratiques ?  

Voir la ligne du temps.

[1] Reisman, J., Orians, C., MacPherson, N., Olazabal, V., Picciotto, R., Jackson, E. et Harji, K. (2015). Streams of social impact work. Repéré à http://etjackson.com/wp-content/uploads/StreamsRev6pages.pdf

Dévoilement d’un espace web sur l’évaluation et la mesure d’impact en économie sociale

Qu’est-ce que la mesure d’impact social ? Comment mesurer son impact social ? Pourquoi l’évaluer ? Pour qui ? Quelle approche utiliser ? Qui est actif dans le domaine ? Quelles sont les méthodes ? Quels sont les indicateurs ? Que peut-on dire sur l’impact de l’économie sociale au Québec à ce jour ? Ces questions vous interpellent ?

Le TIESS dévoile aujourd’hui un espace consacré à l’évaluation et à la mesure d’impact en économie sociale sur son site Internet. L’espace web contient également un glossaire, une veille et une sélection de ressources pertinentes.

Le contexte

La mesure d’impact social est certainement une notion à la mode, utilisée par plusieurs acteurs pour désigner plusieurs choses. Mais de quoi parle-t-on vraiment ? Quelles sont les origines de ce concept ? Quels sont les acteurs, les méthodes et les expériences en présence ? Quels sont les risques, les difficultés, les opportunités, les tensions et les enjeux pour l’économie sociale et le développement de nos territoires ?

Le projet

C’est pour répondre à ces questions que le TIESS a mis sur pied, en juillet 2016, un projet sur l’évaluation et la mesure d’impact en économie sociale.

Les principaux objectifs du projet sont de :

  1. Faciliter la compréhension ;
  2. Soutenir une réflexion ;
  3. Renforcer une communauté de vision ;
  4. Cerner les manques et offrir des perspectives pour les combler.

Le processus

Le dévoilement de l’espace web répond principalement aux 1er et 3e objectifs. Il fait suite à un travail de synthèse de connaissances de plus d’un an et de consultations auprès d’une trentaine d’intervenants.

Les prochaines étapes

Dans les prochains mois, cet espace web et particulièrement la veille qui l’accompagne seront régulièrement mis à jour. Une nouvelle série d’ateliers de travail portant sur des enjeux liés à la mesure d’impact sera lancée, tout comme une communauté de pratique à l’intention des entreprises d’économie sociale qui souhaiteraient échanger avec leurs pairs sur cet enjeu. Rendez-vous régulièrement sur le site du TIESS pour ne rien manquer.

Les partenaires

Nous tenons à remercier les professeures Marie J. Bouchard (UQAM) et Maude Léonard (UQAM), Martin Frappier (Chantier de l’économie sociale) ainsi que l’ensemble des organisations du comité des partenaires pour leur implication dans le projet : CECOSOL, CLIPP, CRISES, CIRODD, CIRIEC-Canada, CIRAIG, Centre St-Pierre, Collectif des entreprises d’insertion du Québec, CSMO-ESAC, CQCM, CQL, HEC-Montréal, Fiducie du Chantier de l’économie sociale, Fondaction, Fonds FTQ, Fondation Lucie et André Chagnon, L’Esplanade, MESI, Pôle d’économie sociale du Centre-du-Québec, Réseau des entreprises d’économie sociale de l’Estrie, Pôle d’économie sociale de la Mauricie, RISQ, Cap Finance, UQO.

Le financement

Ce projet est rendu possible grâce à la contribution financière du ministère de l’Économie, de la Science et de l’Innovation ainsi que la Fondation Lucie et André Chagnon et la Caisse d’économie solidaire Desjardins.

Projet: Évaluation et mesure d’impact en économie sociale

Mise en contexte

L’évaluation et la mesure de l’impact social sont des termes qui font couler beaucoup d’encre depuis quelques années. Mais de quoi parle-t-on vraiment ? Quelles sont les origines de ces concepts ? Pour qui, pourquoi et comment évalue-t-on l’impact ? Quels sont les acteurs, les méthodes et les expériences en présence ? Quels sont les difficultés, les risques, les opportunités, les tensions et les enjeux pour l’économie sociale et le développement de nos territoires ?


À partir d’une recension des écrits et de la mise en commun des approches, des expériences, des méthodes et des outils existants, le TIESS met en œuvre, en collaboration avec de nombreux réseaux de l’économie sociale, un projet de transfert. Ce projet a débuté le 1er juillet 2016 et se poursuivra jusqu’au 30 juin 2019.

Nous souhaitons aborder l’évaluation et les questions qu’elle pose comme une occasion pour les acteurs de l’économie sociale de réfléchir, de repenser ou de réaffirmer leurs objectifs, leurs priorités, leur identité et leur projet politique. En d’autres termes, de se définir, avant de se faire définir. Ainsi, en équipant les acteurs pour réfléchir à leur impact, nous souhaitons aussi les équiper pour réfléchir sur ce qu’ils sont et où ils vont, et ce, à la fois comme acteur à part entière et comme composante d’un mouvement plus global.

Buts et aspirations

  1. Faciliter la compréhension par les acteurs de l’économie sociale du monde de l’évaluation et de la mesure de l’impact social des entreprises collectives et de ses enjeux.
  2. Soutenir une réflexion des entreprises et réseaux d’économie sociale pour faciliter leur orientation au sein de ce monde et les appuyer ainsi vers :
  • une compréhension commune de l’évaluation au sein de l’économie sociale.
  • un positionnement et une prise de décision éclairée face aux approches et enjeux de l’évaluation, en fonction de leurs missions, activités, besoins et façons de faire.
  1. Soutenir les divers acteurs de l’économie sociale dans l’identification de dimensions transversales qui sont caractéristiques de « l’impact de l’économie sociale » et contribuer ainsi à renforcer une communauté de vision autour de ce qui singularise son action.
  2. Cerner les manques et offrir des perspectives pour les combler (méthodes nouvelles, approches alternatives à l’évaluation qui permettent de répondre aux besoins des acteurs, etc.).
  3. Assurer l’amélioration continue et la pertinence du projet et de ses retombées.

Moyens

  1. Répertorier les acteurs, les méthodes, les outils et les ressources existantes, et synthétiser les connaissances qui s’y rapportent.
  2. Réunir chercheurs et praticiens autour de la thématique de l’évaluation et de la mesure d’impact social afin de mettre en commun et transférer les leçons tirées des expériences d’évaluation et de mesure d’impact réalisées au sein de l’économie sociale et dans des domaines connexes. Créer des ponts avec les autres organisations au Québec, au Canada et au niveau international sur cette thématique.
  3. Élaborer des outils de transfert qui permettent à chacun, en fonction de ses contraintes particulières (niveau de connaissances préalables, temps et énergie à consacrer à ces questions, urgence d’agir ou réflexion de long terme, etc.) de comprendre et de s’approprier les tenants et les aboutissants du monde de l’évaluation, de faire des choix judicieux et éclairés.

Consulter l’espace web sur l’évaluation et la mesure d’impact en économie sociale.

Comité des partenaires

  • Caisse d’économie solidaire Desjardins (CECOSOL)
  • Centre de liaison sur l’intervention et la prévention psychosociales (CLIPP)
  • Centre de recherche sur les innovations sociales (CRISES)
  • Centre interdisciplinaire de recherche en opérationnalisation du développement durable (CIRODD)
  • Centre interdisciplinaire de recherche et d’information sur les entreprises collectives (CIRIEC-Canada)
  • Centre international de référence sur le cycle de vie des produits, procédés et services (CIRAIG)
  • Centre St-Pierre
  • Chantier de l’économie sociale
  • Collectif des entreprises d’insertion du Québec
  • Comité sectoriel de main-d’œuvre en économie sociale et action communautaire (CSMO-ESAC)
  • Conseil québécois de la coopération et de la mutualité (CQCM)
  • Conseil québécois du Loisir (CQL)
  • École des hautes études commerciales de Montréal (HEC-Montréal)
  • Fiducie du Chantier de l’économie sociale
  • Fondaction
  • Fondation de la formation économique – Fonds FTQ
  • Fondation Lucie et André Chagnon
  • L’Esplanade
  • Ministère de l’Économie, des Sciences et de l’Innovation (MESI)
  • Pôles d’économie sociale et antennes régionales du TIESS
  • Réseau d’investissement social du Québec (RISQ)
  • Réseau de la finance solidaire et responsable (CAP Finance)
  • Université du Québec à Montréal (UQÀM)
  • Université du Québec en Outaouais (UQO)

Partenaires financiers 

  • Ministère de l’Économie, de la Science et de l’Innovation (MESI)
  • Fondation Lucie et André Chagnon
  • Caisse d’économie solidaire Desjardins (CECOSOL)

Direction scientifique

  • Marie J. Bouchard (ESG-UQAM)