Résumé : l’évaluation, la mesure d’impact et la reddition de comptes sont parfois utilisées comme synonymes alors qu’ils désignent des exercices différents. Deux grandes stratégies se dégagent dans le domaine : l’évaluation qui permet de se distinguer (orientée vers un public externe) et l’évaluation qui permet d’apprendre (orientée vers un public interne). Même s’il arrive parfois qu’il soit possible de combiner plusieurs objectifs dans le cadre d’une même démarche, les organisations qui s’engagent dans l’évaluation et leurs bailleurs de fonds devraient garder ces distinctions en tête et s’entendre sur la stratégie qu’ils désirent poursuivre.
Deux grandes stratégies
La rubrique « Pourquoi évaluer ? » présente plusieurs raisons de s’intéresser à la mesure d’impact social et à l’évaluation : comprendre, apprendre, planifier, améliorer, rendre des comptes, valoriser, convaincre, etc. Parmi ces raisons, deux grandes stratégies émergent de manière récurrente dans la littérature. L’Agence Phare et l’Avise les définissent de la manière suivante :
- La première approche est motivée par une volonté de se démarquer ou de rendre compte à un public externe. C’est une stratégie de distinction.
- La seconde approche vise surtout à mieux comprendre l’action et à améliorer la gestion. Elle s’adresse d’abord à un public interne. C’est une stratégie de pilotage de l’action.
Source : Dahlab, Mounier et Kemem, 2017, p. 9
L’Ontario Nonprofit Network (ONN) définit deux stratégies similaires : l’évaluation axée sur la « redevabilité » (accountability) et l’évaluation axée sur l’apprentissage (learning) (Taylor et Liadsky, 2017, p. 12).
Dans les faits, la plupart des démarches se situent entre ces deux grandes stratégies que nous appellerons évaluation orientée vers la distinction (qui s’adresse davantage à un public externe à l’organisation) et évaluation orientée vers l’apprentissage (qui s’adresse davantage à un public interne à l’organisation).
Choisir une stratégie
L’ONN observe que l’évaluation et la mesure d’impact sont souvent associées à l’idée de reddition de comptes, ce qui explique pourquoi certains organismes à but non lucratif s’imaginent qu’il s’agit d’une démarche lourde, peu utile à leur organisation et imposée par un bailleur de fonds (Taylor et Liadsky, 2016, p. 11‑12).
La reddition de comptes est « une relation fondée sur l’obligation de faire la preuve du rendement, de l’examiner et d’en assumer la responsabilité, soit à la fois des résultats obtenus à la lumière des attentes convenues et des moyens employés » (Bureau du vérificateur général du Canada, Gouvernement du Canada, 2002).
L’ONN et l’Avise estiment que l’évaluation peut, au contraire, être construite en partenariat avec le bailleur de fonds, utile aux organisations, orientée sur l’amélioration ainsi que la compréhension et axée sur l’utilisation. Deux guides rédigés à l’intention des bailleurs de fonds détaillent cette vision.
Ces acteurs préconisent donc une évaluation davantage axée sur l’apprentissage plutôt que sur une optique de distinction. Ce type d’évaluation est possible lorsqu’élaboré en partenariat avec le bailleur de fonds, dans une logique de collaboration plutôt que de mise en concurrence.
Le TIESS est en accord avec cette vision, tout en reconnaissant que la situation de chaque organisation est différente et peut les amener à privilégier une stratégie plutôt qu’une autre.
N.B. : Prendre note que même si la relation entre organisme financé et bailleur de fonds caractérise davantage le secteur à but non lucratif, les notions de stratégie de distinction et d’apprentissage sont également très utiles pour comprendre la mesure d’impact de coopératives et d’entreprises sociales. En effet, même si ces organisations sont davantage « autonomes financièrement », elles peuvent tout de même chercher à se distinguer en s’adressant à un public externe composé d’investisseurs et de consommateurs potentiels plutôt que de bailleurs de fonds philanthropiques ou gouvernementaux.
Les consultations menées par le TIESS ont fait émerger des avis assez différents sur ces deux stratégies et sur les liens entre évaluation, mesure d’impact et reddition de comptes.
Certains pensent qu’une mesure d’impact qui vise à convaincre un bailleur de fonds de l’efficacité et de la légitimité de son action (stratégie de distinction) n’a pas le même niveau de sincérité qu’une évaluation axée sur ses propres besoins d’apprentissage. Ils invitent donc à mener les deux exercices de manière séparée afin d’éviter ce que Nicholls (2015) appelle la « loi de Campbell » :
Plus un indicateur social quantitatif (ou même un indicateur qualitatif) est utilisé pour des prises de décisions sociales, plus il sera soumis aux pressions de la corruption et plus il sera apte à déformer et corrompre les processus sociaux qu’il est censé surveiller. (Campbell, 1976, traduction libre)
Au contraire, d’autres pensent qu’une reddition de comptes négociée entre l’organisation et son bailleur de fonds permet de déterminer clairement les objectifs poursuivis, les résultats attendus, de documenter l’avancement de l’organisation et de réajuster l’intervention en conséquence de manière utile et pertinente. Dans ce scénario idéal, promu par les guides de l’Avise et de l’ONN, il n’y a pas de contradictions entre les besoins d’apprentissage de l’organisation et de reddition de comptes à l’égard du bailleur de fonds. La mesure d’impact sert donc à la fois à satisfaire les objectifs de l’organisme et de son bailleur de fonds.
Pour réconcilier ces deux positions d’apparence opposées, il faut tenir compte du contexte dans lequel évolue l’organisation, et particulièrement du rapport de pouvoir qui caractérise sa relation avec le bailleur de fonds. C’est ce que fait le tableau tiré de l’article de Nguyen, Szkudlarek et Seymour (2015, p. 228). Il illustre deux idéaux types : la relation de financement symétrique et la relation de financement asymétrique.
Ainsi, dans un contexte où la relation de pouvoir est aussi symétrique que possible, basée sur la réciprocité, la confiance, la collaboration et des objectifs partagés, comme recommandé dans les guides de l’Avise et de l’ONN, il est pensable de négocier une reddition de comptes qui servirait également à alimenter une évaluation axée sur l’apprentissage.
Dans les cas où une telle situation ne serait pas possible, il vaudrait alors mieux distinguer les deux stratégies.
Avise. (2018). Mode d’emploi – Évaluer l’impact social – Un éclairage pour ceux qui financent une activité d’utilité sociale.
Bureau du vérificateur général du Canada Gouvernement du Canada. (2002, 1er décembre). Chapitre 9 – La modernisation de la reddition de comptes dans le secteur public. Repéré le 9 février 2018 à http://www.oag-bvg.gc.ca/internet/Francais/parl_oag_200212_09_f_12403.html
Campbell, D. (1976). Assessing the Impact of Planned Social Change (Nᵒ 8; Occasionnal Paper Series). The Public Affairs Center – Dartmouth College.
Dahlab, P., Mounier, B. et Kemem, K. (2017). Présentation de l’étude « Expérience de l’évaluation d’impact social ». Paris : Avise.
Nguyen, L., Szkudlarek, B. et Seymour, R. G. (2015). Nguyen et al_2015_Social impact measurement in social enterprises An interdependence perspective.pdf. Canadian Journal of Administrative Sciences, 32(4), 224-237. doi:10.1002/CJAS.1359
Nicholls, A. (2015). Synthetic Grid : A critical framework to inform the development of social innovation metrics (CRESSI Working Papers). Creating Economic Space for Social Innovation (CRESSI).
Taylor, A., & Liadsky, B. (2016). Evaluation Literature Review. Ontario Nonprofit Network.
Taylor, A. et Liadsky, B. (2017). Making Evaluation Work in the Nonprofit Sector – A Call for Systemic Change. Toronto : Ontario Nonprofit Network (ONN).
Taylor, A. et Liadsky, B. (2018). Collaborative Evaluation Approaches – A How-to Guide for Grantmakers. Ontario Nonprofit Network.
Pour aller plus loin
