5 octobre 2017

3. Qui fait quoi?

Il existe des centaines de guides, rapports, synthèses, site web et autres ressources susceptibles de vous appuyer dans une démarche d’évaluation ou de mesure d’impact social. Le TIESS en a sélectionné une cinquantaine pour vous.

Par ailleurs, de nombreux acteurs au Québec sont actifs dans le domaine de l’évaluation et de la mesure d’impact en économie sociale. Que ce soit des bailleurs de fonds, des chercheurs ou des organismes de service-conseil, le TIESS s’est efforcé d’en faire une recension rigoureuse, sans prétendre pour autant à l’exhaustivité.

Cette section vise à recenser des organisations qui ont déjà produit ou qui sont en mesure de produire des évaluations et mesure d’impact social pertinentes pour les entreprises d’économie sociale au Québec.

Pour connaitre les organisations susceptibles de vous appuyer dans votre région, nous vous suggérons de contacter votre pôle d’économie sociale.

Il s’agit d’une recension partielle, à compléter et à mettre à jour au gré des évolutions du secteur. Par ailleurs les consultants privés à but lucratif ne sont pas recensés ici.

1. Les grands bailleurs de fonds (administrations publiques et fondations).


Gouvernement du Québec

Certaines évaluations sont réalisées directement par les employés du Gouvernement du Québec, à l’interne. Un exemple notable est l’évaluation produite par le ministère de l’Emploi et de la Solidarité sociale (MESS) en 2013 au sujet des entreprises d’insertion.

Dans d’autres cas, le gouvernement préfère recourir à des ressources externes afin d’évaluer les effets de ses programmes. C’est le cas dans le secteur de l’habitation où des programmes de la SHQ, qui financent plusieurs coopératives et OBNL d’habitation, ont été évalués par AECOM (AECOM, Côté, Demars, Girard et Leleu, 2013).

La direction de l’entrepreneuriat collectif, au sein du ministère de l’Économie, de la Science et l’Innovation (MESI) s’intéresse évidement de très près aux retombées des activités du secteur de l’économie sociale, mais n’a ni les ressources ni le mandat de s’impliquer directement dans la réalisation de telles évaluations.


Fondation Lucie et André Chagnon

La Fondation Lucie et André Chagnon s’intéresse à l’évaluation des retombées des financements qu’elle accorde. Elle a mis en place en 2009, en partenariat avec le gouvernement du Québec, trois programmes phares :

  • Québec en Forme pour les saines habitudes de vie;
  • Avenir d’enfants pour le développement de la petite enfance;
  • Réunir Réussir pour la persévérance scolaire.


Centraide

Centraide/United Way est un réseau philanthropique mondial regroupant environ 1800 organisations dans une quarantaine de pays ou territoires (United Way, 2017). Il existe 18 groupes régionaux au Québec (United Way Centraide Canada, 2017).

Au Québec, Centraide du Grand Montréal est le groupe qui collecte et distribue le plus de fonds. Ils sont aussi les premiers, en partenariat avec d’autres fondations, à mettre en place le Projet à impact collectif (PIC), une notion qui circule dans le milieu philanthropique depuis quelques années déjà. Ce projet vise la mise en place d’une évaluation partagée, une approche qui permettrait d’identifier l’impact visé et de le mesurer avec une certitude supérieure à l’évaluation d’un projet isolé (Kramer, Parkhurst et Vaidyanathan, 2009). Des exemples d’évaluation partagée ont été diffusés par la Fondation J. W. McConnell via son programme Innoweave (voir plus bas).

Dans le cas du PIC à Montréal, ce sont principalement certaines tables de quartiers et leurs membres qui sont visés. L’approche d’évaluation privilégiée, intitulée ÉvalPIC, est participative et évolutive et le principal responsable de celle-ci est Dynamo.


Fondation de la famille J. W. McConnell

La Fondation McConnell recourt parfois à l’évaluation évolutive et s’intéresse à la notion d’impact. Ainsi, le programme Innoweave, financé par la fondation, offre de nombreuses formations aux organismes de bienfaisance et sans but lucratif. Aucune d’entre elles ne traite spécifiquement de la mesure d’impact social, mais les modules « Impact et clarté stratégique », « Évaluation évolutive » et « Impact collectif » abordent tous des thèmes connexes.


2. Les chercheurs


Université du Québec à Montréal (UQAM), Alliance de recherche université-communauté en économie sociale (ARUC-ÉS) et Chaire de recherche du Canada en économie sociale

L’alliance de recherche université-communauté en économie sociale (ARUC-ÉS) a été active au Québec entre 2000 et 2009. Bien que ses travaux ne portaient pas spécifiquement sur l’évaluation, on relève quelques publications à ce sujet :

  • Un état du dossier (Neamtan, 2000);
  • Un rapport concernant la mise en place d’un système d’information et d’évaluation de l’économie sociale (Tardif, Tessier, Patry, Klein et Carrière, 2001);
  • Un aide-mémoire sur l’évaluation en économie sociale (Rondot et Bouchard, 2003);
  • Un appel à une nouvelle approche participative en évaluation (Fontan et Lachance, 2005);
  • Une réflexion et étude de cas sur le thème du tableau de bord en économie sociale (Renaud et Brésil, 2006);
  • Une évaluation de l’utilité sociale du milieu associatif du loisir (Lessard, Shields, Allard, Lafortune et Vaillancourt, 2009).

Sans être exclusivement concentrée à l’Université du Québec à Montréal (UQAM), l’ARUC-ÉS était tout de même proche de cet établissement. Encore aujourd’hui, plusieurs professeurs, en particulier au sein du département d’organisation et ressources humaines, s’intéressent à l’évaluation des pratiques et aux effets de l’économie sociale.

C’est le cas notamment des professeures Marie J. Bouchard, Maude Léonard et Sonia Tello-Rozas qui ont participé à l’étude d’impact portant sur le Réseau d’investissement social du Québec (RISQ) (M. J. Bouchard et al., 2017).

La Chaire de recherche du Canada en économie sociale, dont la titulaire était Marie J. Bouchard, a été en activité de 2003 à 2013. Son troisième axe de recherche était « l’évaluation socio-économique ». Certaines publications produites à cette époque portaient sur le thème de l’évaluation en ÉS : 

  • un article proposant trois dimensions à considérer dans le cadre d’une évaluation négociée de l’économie sociale : organisationnelle, utilité sociale et institutionnelle (M. Bouchard, 2004);
  • un ouvrage entier recueillant plusieurs perspectives sur la question de l’évaluation de l’économie sociale (M. J. Bouchard, 2009).

La démarche du TIESS sur l’évaluation et la mesure d’impact en économie sociale s’inscrit d’ailleurs dans la lignée de ces travaux, puisque les professeures Bouchard et Léonard en assurent la direction scientifique.


Université de Sherbrooke - Institut de recherche et d’éducation pour les coopératives et les mutuelles de l’université de Sherbrooke (IRECUS) - Chaire de recherche en fiscalité et finances publiques

La Chaire de recherche en fiscalité et finances publiques de l’Université de Sherbrooke ne s’intéresse pas directement à l’évaluation des effets des entreprises d’économie sociale, mais des chercheurs qui y sont affiliés ont publié une étude sur les services de garde subventionnés et le taux d’activité des femmes (Fortin, Godbout et St-Cerny, 2012) qui les concerne indirectement. Cette étude a généré un certain nombre de discussions dans les médias au Québec (Fillion, 2014). Le professeur François Delorme, associé à cette chaire de recherche, s’est également récemment intéressé à l’évaluation des retombées économiques des entreprises d’insertion au Québec à titre de consultant (Delorme, 2015).

L’Institut de recherche et d’éducation pour les coopératives et les mutuelles de l’université de Sherbrooke (IRECUS) a un axe de recherche portant sur les « Retombées individuelles, collectives et sociétales » des coopératives, c’est-à-dire qu’il « vise à comprendre l’impact social, culturel, économique et environnemental des coopératives et des mutuelles sur les personnes, les groupes de personnes et la société, de façon à valoriser la contribution des coopératives au développement durable de leurs communautés ». Pour l’instant, seule la publication de (Lafleur et Merrien, 2012) semble directement aborder ce thème, mais d’autres sont peut-être à venir.


Institut national de santé publique du Québec (INSPQ)

Dans le domaine de la santé publique, plusieurs initiatives menées par des chercheurs affiliés à l’Institut national de santé publique du Québec (INSPQ) traitent du développement social d’un territoire et se retrouvent, de facto, même si elles ne visent pas la mesure d’impact de l’économie sociale, à réaliser des évaluations visant à qualifier les effets souvent sociaux de diverses initiatives. Quelques exemples de ces ressources :

  • Une fiche introductive à la notion d’évaluation d’impact sur la santé (Saint-Pierre, 2009);
  • Une recension de guides et outils portant sur l’évaluation d’impact sur la santé (Lauzière, 2008);
  • Un guide sur l’évaluation participative à l’intention des initiatives de développement des communautés (produit notamment avec le Réseau québécois des villes et villages en santé) (Simard, Paré, Champagne et O’Neil, 2009).


Centre interdisciplinaire de recherche en opérationnalisation du développement durable (CIRODD) et Centre international de référence sur le cycle de vie des produits, procédés et services (CIRAIG)

Le Centre interdisciplinaire de recherche en opérationnalisation du développement durable (CIRODD) s’intéresse aux outils de mesure du développement durable. Il se retrouve de facto à contribuer à la recherche en matière de mesure de l’impact social d’une activité donnée, même si ce n’est pas l’angle de recherche adopté.

Le Centre international de référence sur le cycle de vie des produits, procédés et services (CIRAIG) vise à « développer, interpréter, intégrer et transférer les connaissances nécessaires à l’opérationnalisation de la pensée cycle de vie et à sa mise en œuvre au service d’un développement durable et ce, dans une optique de consommation, production et gouvernance responsables ». Ce faisant il contribue lui aussi à l’évaluation des effets sociaux, environnementaux et économiques de diverses activités. Par exemple, ils ont produit une étude qui traite des « entreprises comme Insertech et certains Centres de formation en Entreprise et Récupération (CFER) » (Fagnen, Charron-Doucet, Brodeur et Revéret, 2011, p. 1).


Centre de recherche sur les milieux insulaires et maritimes (CERMIM) et Centre d’initiation à la recherche et d’aide au développement durable (CIRADD)

En 2011, le Centre de recherche sur les milieux insulaires et maritimes (CERMIM) et le Centre d’initiation à la recherche et d’aide au développement durable (CIRADD) ont publié un portrait des entreprises d’économie sociale dans la région Gaspésie-Îles-de-la-Madeleine qui cherche à aller plus loin que la recension de ces entreprises, en tentant de qualifier certains de leurs impacts sociaux (Arseneau Bussières et al., 2011). Ces groupes de recherche ne sont pas spécialisés dans l’évaluation et la mesure d’impact social ou l’économie sociale, mais sont manifestement en mesure de réaliser des projets de recherche dans ce domaine.


Centre d’expertise et d’accompagnement en innovation sociale (CERESO)

Le Centre d’expertise et d’accompagnement en innovation sociale (CERESO), associé au Cégep de Lanaudière offre parmi ses services de « collecter les informations nécessaires à la prise de décision (portrait, recherche appliquée, étude, évaluation de programme, collecte et analyse de données, calcul d’impact, etc.) ».

Aucune étude produite par cette organisation et rendue publique à ce jour ne porte spécifiquement sur l’évaluation des effets d’entreprises d’économie sociale. Cela dit, le CERESO a déjà réalisé des évaluations impliquant des organismes et des programmes à but non lucratif dans le passé.


Centre d’étude des conditions de vie et des besoins de la population (ÉCOBES)

Le Centre d’Étude des COnditions de vie et des BESoins de la population (ÉCOBES), associé au Cégep de Jonquière, ne vise pas spécifiquement les entreprises d’économie sociale, mais s’intéresse à la recherche appliquée en sciences sociales. Il compte de nombreuses évaluations de programme dans le domaine de l’intervention sociale à son actif et a le potentiel d’aider des entreprises d’économie sociale à évaluer leurs effets.


Centre d’étude en responsabilité sociale et écocitoyenneté (CERSÉ)

Le Centre d’étude en responsabilité sociale et écocitoyenneté (CERSÉ), associé au Collège de Rosemont, mentionne « l’évaluation des impacts sociaux » parmi ses domaines d’expertise. C’est un service que le CERSÉ souhaite offrir.

Aucune étude produite par cette organisation, et rendue publique à ce jour, ne porte spécifiquement sur l’évaluation des effets d’entreprises d’économie sociale.


3. Organismes associés à l’économie sociale offrant de l’accompagnement


Comité sectoriel de la main-d’œuvre en économie sociale et action communautaire (CSMO-ÉSAC)

Le Comité sectoriel de la main-d’œuvre en économie sociale et action communautaire (CSMO ÉSAC) est actif depuis très longtemps dans le domaine de la mesure d’impact social, grâce à la contribution de Lynda Binhas qui a publié un document de réflexion sur les indicateurs de rentabilité sociale (Binhas, 2004) ainsi qu’un guide sur la réalisation d’études pouvant être appliquées à n’importe quelle entreprise d’économie sociale ou organisme communautaire (Binhas, 2007a).

Les exemples d’évaluation des effets d’entreprises d’économie sociale réalisés par cet organisme et rendus publics portent sur les télévisions communautaires (Binhas, 2007b, 2016).

En plus de faire de l’évaluation d’organisations, de réseaux, de projets ou de programmes particuliers, le CSMO-ÉSAC offre des formations sur la mesure d’impact social depuis plusieurs années (Comité sectoriel de main-d’oeuvre de l’économie sociale et de l’action communautaire, 2016).


Centre de formation populaire (CFP) - Évalpop

Le Centre de formation populaire (CFP) via son initiative Évalpop aspire à faire de l’évaluation par et pour le communautaire. Cette évaluation peut traiter des effets ou encore d’autres objets, selon les besoins de l’organisme en question. 

Il y parvient en accompagnant directement de nombreux organismes et en offrant des formations à ce sujet (Centre de formation populaire, 2016).

De nombreux exemples d’évaluations d’organismes communautaires réalisées par le CFP peuvent être consultés sur son site web (CFP, 2017)


Centre de liaison sur l’intervention et la prévention psychosociales (CLIPP)

Le Centre de liaison sur l’intervention et la prévention psychosociales (CLIPP), grâce à un financement du MESI, veut faciliter l’utilisation du SROI au Québec en développant un « outil web d’analyse de la valeur sociale des interventions ».

Aucune étude produite par cette organisation, et rendue publique à ce jour, ne porte spécifiquement sur l’évaluation des effets d’entreprises d’économie sociale.


MCE Conseils

MCE Conseils fait de la consultation et propose, parmi son offre de service, d’« établir l’impact économique et social des activités d’un secteur ainsi que ses retombées pour la société et pour l’État ».

Ils ont notamment évalué l’effet du travail de la Fédération des coopératives de développement régional du Québec (MCE Conseils, 2014).


Dynamo

Dynamo offre des services d’évaluation, en particulier dans un contexte de développement des communautés. Ces évaluations peuvent traiter des effets ou non. Cet organisme est responsable d’ÉvalPIC dans le cadre du Projet à impact collectif (PIC), un projet mené par Centraide avec certaines tables de quartiers dans la ville de Montréal.

Aucune étude produite par cette organisation, et rendue publique à ce jour, ne porte spécifiquement sur l’évaluation des effets d’entreprises d’économie sociale.


Communagir

Communagir offre des services en évaluation évolutive et en accompagnement de la préparation de démarches d’évaluation qui permettront de traiter d’effets et d’impacts, en particulier dans le domaine du développement collectif. Ils animent aussi un groupe de travail sur la question.


Coop Niska

La coop Niska offre des services d’évaluation de projets ou de programmes. Les évaluations peuvent potentiellement traiter des effets des activités des organisations de l’économie sociale.

Aucune étude produite par cette organisation, et rendue publique à ce jour, ne porte spécifiquement sur l’évaluation des effets d’entreprises d’économie sociale.


L'Esplanade

L’Esplanade est un accélérateur et espace collaboratif situé à Montréal et dédié à l’entrepreneuriat et l’innovation sociale. Il soutient notamment des entreprises d’économie sociale. L’Esplanade aborde le thème de l’évaluation et de la mesure de l’impact à travers, principalement, son parcours d’accompagnement Impact8 ainsi que sa programmation annuelle à destination des organisations et des innovateurs sociaux.  


Références

AECOM, Côté, M., Demars, E., Girard, O. et Leleu, A. (2013). Étude sur les impacts sociaux des activités de la société d’habitation du Québec (no 60275283). Québec : Société d’habitation du Québec.

Arseneau Bussières, S., Roy, S., Arsenault, C., Glazer Allard, J. D., Sall, K. et Tita, G. (2011). Portrait et impacts sociaux des entreprises d’économie sociale de la région Gaspésie-Îles-de-la-Madeleine. Québec : entre de recherche sur les milieux insulaires et maritimes, Îles-de-la-Madeleine.

Binhas, L. (2004). Indicateurs de rentabilité sociale ou indicateurs d’impact économique? Comment les définir et comment les construire. Comment mesurer les impacts sociaux et économiques en économie sociale et en action communautaire? Montréal : Comité sectoriel de main-d’oeuvre de l’économie sociale et de l’action communautaire.

Binhas, L. (2007a). Comment mener une étude de A à Z: guide méthodologique à l’intention des regroupements, associations, fédérations, entreprises et organismes du secteur de l’économie sociale et de l’action communautaire. Montréal : Comité sectoriel de main-d’oeuvre économie sociale action communauté.

Binhas, L. (2007b). Mesure d’impact social et profil d’auditoire des télévisions communautaires autonomes du Québec.

Binhas, L. (2016). Mesure d’impact social et profil d’auditoire des télévisions communautaires autonomes du Québec (p. 23). CSMO-ÉSAC & FTCAQ.

Bouchard, M. (2004). Vers une évaluation multidimensionnelle et négociée de l’économie sociale. Revue internationale de l’économie sociale: Recma, (292), 59–74.

Bouchard, M. J. (dir.). (2009). The Worth of the Social Economy, An International Perspective. Brussels : CIRIEC. Peter Lang.

Bouchard, M. J., Leduc Berryman, L., Léonard, M., Matuszewski, J., Rousselière, D. et Tello Rozas, S. (2017). Analyse du rôle du réseau d’investissement social du Québec (RISQ) dans l’écosystème d’économie sociale et estimation des retombées économiques et fiscales de ses investissements – 1998-2014. Montréal : Université du Québec à Montréal / E&B Data.

Centre de formation populaire. (2016). Services et formations 2016-2017.

CFP. (2017). L’éval’, ça donne quoi ? ÉvalPop. Repéré à https://evalpop.com/les-resultats-des-organismes/

Comité sectoriel de main-d’oeuvre de l’économie sociale et de l’action communautaire. (2016). Mesure impact social.

Delorme, F. (2015). Mise à jour de l’étude d’impacts socio-économiques des entreprises d’insertion du Québec.

Fagnen, S., Charron-Doucet, F., Brodeur, C. et Revéret, J.-P. (2011). Rapport d’analyse détaillée – Analyse du cycle de vie environnementale et sociale de deux options de gestion du matériel informatique en fin de vie. CIRAIG & Groupe AGECO.

Fillion, G. (2014, 24 novembre). L’effet des garderies et les femmes. Le blogue Économie de Gérald Fillion | Radio-Canada.ca. Repéré à http://blogues.radio-canada.ca/geraldfillion/2014/11/24/leffet-des-garderies-et-les-femmes/

Fontan, J.-M. et Lachance, É. (2005) Pour une évaluation de cinquième génération (no C-18-2005). Montréal : ARUC-ÉS.

Fortin, P., Godbout, L. et St-Cerny, S. (2012). L’impact des services de garde à contribution réduite du Québec sur le taux d’activité féminin, le revenu intérieur et les budgets gouvernementaux.

Kramer, M., Parkhurst, M. et Vaidyanathan, L. (2009). Breakthroughs in shared measurement and social impact. FSG Social Impact Advisors. Repéré à http://www.strongerfamilies.co/files/Breakthroughs_in_Shared_Measurement_complete.pdf

Lafleur, M. et Merrien, A.-M. (2012). Quand le passé inspire le futur: contribution des coopératives et des mutuelles à un monde meilleur. Sherbrooke : Institut de recherche et d’éducation pour les coopératives et les mutuelles de l’université de Sherbrooke (IRECUS).

Lauzière, J. (2008). L’évaluation d’impact sur la santé (ÉIS): Guides et outils. Montréal : Centre de collaboration nationale sur les politiques publiques et la santé, Institut national de santé publique Québec.

Lessard, M., Shields, G., Allard, M.-C., Lafortune, J.-M. et Vaillancourt, S. (2009). L’utilité sociale du milieu associatif du loisir du Conseil québécois du loisir : une réalité méconnue aux incidences majeures: Rapport de synthèse. Cahiers de l’ARUC-ÉS. Montréal.

MCE Conseils. (2014). Étude d’impacts socioéconomiques du travail des coopératives de développement régional du Québec (p. 76). Longueuil.

Ministère de l’Emploi et de la Solidarité sociale (MESS). (2013). Évaluation des interventions des entreprises d’insertion.

Neamtan, N. (2000, septembre). Économie sociale et évaluation – État du dossier au Québec.

Renaud, M. et Brésil, M. (2006). Comprendre et évaluer les impacts sociaux d’un organisme à but non lucratif à l’aide du tableau de bord de Kaplan et Norton (no C-15-2006). Montréal : ARUC-ÉS. Repéré à http://www.aruc-es.uqam.ca/Portals/0/cahiers/resumes/Resume_C-15-2006.pdf

Rondot, S. et Bouchard, M. (2003). L’évaluation en économie sociale: petit aide-mémoire. Montréal : ARUC-économie sociale.

Simard, P., Paré, G., Champagne, D. et O’Neil, M. (2009). Sait-on bien travailler ensemble? Petit guide d’évaluation participative à l’intention des initiatives de développement des communautés. Réseau québécois des Villes et Villages en santé.

Saint-Pierre, L. (2009). Qu’est-ce que l’évaluation d’impact sur la santé. National Collaborating Centre for Healthy Public Policy.

Tardif, C., Tessier, I., Patry, É., Klein, J.-L. et Carrière, J. (2001). Système d’information et d’évaluation en économie sociale (no R-02-2002).

United Way. (2017). United Ways Worldwide. Repéré 21 mars 2017, à http://www.unitedway.org/find-your-united-way

United Way Centraide Canada. (2017). Find Your UWC. Repéré à http://www.unitedway.ca/how-we-help/find-your-uwc/

Si vous repérez des erreurs ou oublis dans cette recension, nous vous invitons à faire parvenir vos commentaires à gabriel.salathe-beaulieu@tiess.ca

En dehors du Québec

Il existe de nombreux autres acteurs en dehors du Québec qui, comme le TIESS, s’efforcent de faciliter la compréhension de l’enjeu de l’évaluation et de la mesure d’impact social en produisant des outils souvent très pertinents. Sans entrer dans les détails, voici des références vers quelques uns d’entre eux: