5 octobre 2017

2. Pourquoi évaluer? Pour qui? Quelle approche?

La mesure d’impact social est un type particulier d’évaluation portant sur les effets d’une activité (voir Définition et grandes étapes).

On entend par évaluation une « démarche systématique permettant d’estimer la valeur d’une intervention ».


Voir plus de détails

  • La « démarche » est une activité, un processus, qui implique normalement une collecte puis une analyse d’information. Elle est « systématique » dans la mesure où elle s’appuie sur une méthode.
  • L’intervention est une action conduite dans l’intention d’avoir un effet sur la société.
  • Pour en savoir plus, consultez le Glossaire.


Pour identifier le type d’évaluation qu’il vous faut, plusieurs questions doivent être abordées. Le tableau suivant tente d’en faire la synthèse.

Pourquoi évalue-t-on ?

Plusieurs raisons peuvent pousser une organisation à s’engager dans une démarche d’évaluation. Pensons à : juger de la pertinence d’une intervention, aider à la planification, améliorer une intervention, rendre des comptes, renforcer le pouvoir d’agir des participants, valoriser la contribution de l’action des employés et des bénévoles, contribuer à l’avancement des connaissances, établir une crédibilité, accroître son niveau de reconnaissance et, finalement, espérer accéder à des financements.


Voir plus de détails

Peu importe qui est à l’initiative de la démarche d’évaluation, celle-ci peut avoir différentes finalités.

Les introductions à l’évaluation commencent souvent en opposant les finalités sommative et formative.

  • L’évaluation sommative est une évaluation dont l’objectif est de porter un jugement sur la pertinence d’une intervention, et de la poursuivre ou de l’interrompre. Elle est généralement réalisée au terme de l’intervention, par des observateurs qui n’ont pas pris part à l’action, ce qui lui procure une certaine neutralité.
  • L’évaluation est dite formative si l’objectif est de brosser, pendant la mise en œuvre d’une intervention, un portrait du fonctionnement des activités dans une perspective d’amélioration. Elle a alors tendance à être réalisée en étroite collaboration avec les personnes impliquées dans l’intervention et sa validité sera davantage tournée vers l’interne.

Il existe cependant de nombreuses autres finalités qui s’inscrivent plus ou moins dans cet axe sommatif-formatif. Ainsi, l’évaluation peut aussi être un moyen de :

  • Rendre des comptes ;
  • Renforcer le pouvoir d’agir des participants ou valoriser la contribution des employés et bénévoles ;
  • Contribuer à l’avancement des connaissances ;
  • Enfin, particulièrement dans le cas de certaines démarches de mesure d’impact social, faire reconnaitre les résultats de son action, voire constituer un plaidoyer pour légitimer celle-ci et obtenir du financement.

Ces diverses finalités sont reprises dans notre outil d’aide à la prise de décision, au bas de cette page.

À quels besoins ou objectifs les organisations tentent-elles de répondre dans les faits ?

À la fin de 2016, une équipe de KPMG France a mené une enquête auprès de 366 répondants (associations, entreprises sociales, coopératives, bailleurs de fonds) afin de connaître leurs pratiques en matière de mesure d’impact social.

Source : KPMG France. (2017). Baromètre de la mesure d’impact social. p. 13.

Les bailleurs de fonds qui répondaient à cette question ont priorisé les mêmes besoins dans des proportions légèrement différentes : d’abord « améliorer nos activités » (85,7%), puis « rendre des comptes à nos partenaires » (71,4%) et enfin  « communiquer sur notre activité» (50%).

Ce baromètre a été mis à jour en 2018.

D’autres sondages peuvent nous renseigner sur les besoins et pratiques des organisations vis-à-vis la mesure d’impact social:

Au Canada

Aux États-Unis

En Australie


Pour qui évalue-t-on?

La demande d’évaluation peut être initiée à l’interne (gestionnaires, conseil d’administration, etc.), venir de l’externe (bailleurs de fonds, régulateurs, etc.) ou être motivée par une foule de parties prenantes (membres, utilisateurs, etc.). Conséquemment, elle peut aussi s’adresser à des publics différents.


Voir plus de détails

Plusieurs acteurs peuvent contribuer à initier une démarche d’évaluation :

  • Les gestionnaires d’un organisme (que ce soit le conseil d’administration ou la direction générale) peuvent conclure qu’une évaluation plus systématique de leurs activités serait souhaitable afin de les aider à s’améliorer, à motiver leurs employés, à « clarifier et maximiser leur impact » ou encore à convaincre d’autres parties prenantes de leur pertinence.
  • Les bailleurs de fonds peuvent demander une telle démarche de manière plus ou moins contraignante, en l’imposant par exemple comme une condition de financement. Le financement peut dépendre ou non des résultats de l’évaluation, mais dans presque tous les cas une forme de reddition de compte devra être faite.
  • D’autres parties prenantes, par exemple les membres, employés, utilisateurs, bénéficiaires ou consommateurs des biens et services rendus par l’organisation, peuvent exercer une certaine pression pour qu’on leur rende des comptes. Cette pression peut concorder avec une volonté interne de mieux communiquer les détails des processus, résultats et impacts associés à l’action de l’organisation.

Gardez en tête que cette section concerne les destinataires de l’évaluation qui ne sont généralement pas les personnes qui réaliseront les évaluations. La réponse à cette nouvelle question dépend de l’approche et de la méthode que vous choisirez.


Quel objet ?

L’évaluation peut porter sur différents aspects : les besoins, la pertinence, les processus, l’implantation, l’efficacité, l’efficience, les résultats, les effets, et enfin l’impact.


Voir plus de détails

En se référant au modèle logique, on peut classer divers types d’évaluation en fonction de l’aspect ou du moment de l’intervention qui est étudiée, leur objet.

L’évaluation des besoins vise à déterminer les besoins, compris ici comme la différence entre la situation actuelle et la situation souhaitée.

Il est ensuite possible d’évaluer la pertinence des objectifs (aussi appelé évaluation stratégique). Il s’agit alors de déterminer la justesse du lien entre les objectifs de l’intervention et la nature du problème qu’elle est censée traiter.

L’évaluation de la mise en œuvre (aussi appelée évaluation des processus ou de l’implantation) permet de vérifier si les activités se sont déroulées comme prévues et si les ressources (intrants) et produits (extrants) impliqués sont conformes à ce qui était prévu. Il existe une grande variété d’évaluations liées à la mise en œuvre. Certaines, plus spécifiques, se concentrent surtout sur les activités, d’autres, plus larges, visent à étudier les effets observés en tenant compte du contexte.

L’évaluation de l’efficacité compare les résultats obtenus aux objectifs d’une action.

L’évaluation de l’efficience met en rapport les résultats obtenus avec les ressources (intrants) mobilisées.

L’évaluation des résultats (aussi appelée évaluation du rendement) concerne à la fois les extrants et les effets résultants de l’intervention.

L’évaluation des effets concerne l’ensemble des effets, c’est-à-dire des conséquences attribuables à une intervention., qu’ils soient directs, intermédiaires ou ultimes, sur les cibles ou hors cibles, intentionnels ou non. En accord avec la vision que nous avons introduite dans la section « Définition et grandes étapes », cette évaluation peut être comprise comme un synonyme d’évaluation d’impact.


Quelle approche?

Enfin, l’évaluation peut aussi être menée à l’externe (consultants) ou à l’interne (employés) ou un peu des deux. Plusieurs approches peuvent être mobilisées : directive, participative, pratique, émancipatrice, évolutive et bien d’autres. L’approche privilégiée dépendra généralement de la réponse que vous donnerez aux questions qui précèdent. 


Voir plus de détails

Au-delà des finalités et des destinataires, l’évaluation peut être faite dans des perspectives qui varient. Il existe une vaste littérature sur les différentes approches en évaluation. Cette liste ne vise donc pas à être exhaustive, mais à couvrir la plupart des concepts auxquels les gestionnaires d’entreprises d’économie sociale sont susceptibles d’être confrontés.

On peut situer les personnes qui mènent l’évaluation en fonction d’un axe externe – interne.

  • Une évaluation menée à partir de l’externe implique la participation d’une personne ou d’une équipe indépendante des personnes chargées de l’intervention.
  • À l’inverse, un processus mené à l’interne est réalisé par les responsables et les agents de l’action.

On peut aussi organiser les approches évaluatives autour d’un axe directif – participatif. On tend à associer externe avec directif et interne avec participatif, mais cette conjonction n’est pas automatique.

  • Dans le cas d’une évaluation directive, la personne qui évalue adopte un rôle d’expert, neutre et distancé de l’objet évalué, et prend seule les décisions. Le rôle des autres acteurs se limite à celui de source d’information.
  • À l’opposé, dans une évaluation participative, les parties prenantes du projet, des membres de l’équipe de projet jusqu’aux membres de la population concernée en passant par les bailleurs de fonds, ont l’opportunité de fournir un retour sur le projet et, si approprié, d’influencer son développement et/ou de nouveaux projets. Ce second type d’approche peut être privilégié pour des raisons pragmatiques (favoriser l’utilisation des résultats), politiques (souci démocratique de participation) et épistémologiques (le jugement ultimement porté est construit à partir d’une pluralité de points de vue). Aussi, l’évaluation participative peut se décliner en différentes catégories :
    • L’évaluation pratique est un type d’évaluation participative qui sert un objectif précis comme résoudre un problème particulier, améliorer un programme ou éclairer une décision.
    • L’évaluation émancipatrice sert explicitement à favoriser le pouvoir d’agir (empowerement), l’évaluateur joue alors le rôle d’animateur et ce sont les participants qui prennent les décisions.
    • L’évaluation négociée, utilisée dans le contexte de l’évaluation d’organismes communautaires au Québec, désigne une évaluation où l’organisme est reconnu comme partenaire de son bailleur de fonds, le gouvernement.
  • Finalement, l’évaluation évolutive soutient l’apprentissage dans des contextes complexes et changeants en proposant une rétroaction sur le projet en temps réel.

Pour en savoir plus sur :


  • Pour en savoir plus, consultez le Glossaire.

 

À la lumière de cette information, nous vous suggérons, plutôt que de vous lancer directement dans la mesure d’impact social, de prendre le temps de bien aborder ces questions et de choisir une approche qui convient à vos besoins et contraintes en matière de finalité, de destinataire, d’objet et, bien sûr, de ressources disponibles (temps, argent, ressources humaines). Le tableau présentée au début de la page vise à vous guider dans cette décision.

Il est possible de se reconnaitre dans plusieurs de ces finalités. Dans ce cas, il vaut peut-être mieux prendre le temps de réfléchir une fois de plus à vos besoins et à vos moyens, et prioriser plutôt que d’essayer de tout faire en même temps.

En somme, assurez-vous de vous lancer dans une démarche évaluative pour les bonnes raisons. Idéalement, elle doit d’abord vous servir plutôt que d’être vue comme une contrainte.