Le fait d'être « fondé sur des preuves » est devenu un élément important de l'élaboration des politiques. Mais que se passe-t-il lorsque les preuves racontent une histoire que vous ne vouliez pas entendre? Evidence Action , une organisation qui étend les programmes fondés sur des preuves à travers le monde, a récemment fait face à cette question lorsqu'elle a été confrontée à des preuves décevantes sur l'un de ses projets.

No Lean Season , un projet basé sur des recherches de l'Université de Yale, a été conçu pour aider à atténuer les effets de la pauvreté saisonnière sur les communautés agricoles du Bangladesh. Pourtant, malgré un essai réussi, le programme n'a montré aucun impact dans sa phase suivante, et Evidence Action a dû l'interrompre.

Voici ce qu'ils ont appris et pourquoi leur travail montre l'importance de tests approfondis à grande échelle, ainsi que de l' écoute des données , même si elles ne racontent pas une grande histoire.

Du RCT à l'incubateur bêta

Au cœur de la mission de Evidence Action, seuls les projets s'appuient sur des preuves rigoureuses et substantielles.

Cela signifie que chaque programme qu'il entreprend passe d'un essai contrôlé randomisé (ECR) réussi à une phase étendue «d'incubateur bêta», dans laquelle le programme est mis en œuvre à grande échelle, mais évalué de près pour son impact.

C'est presque comme une période de «probation», pour s'assurer que le programme fait ce qu'il est censé faire, et cela peut inclure des tests A / B continus pour aider à déterminer quelles approches sont les plus efficaces à l'échelle.

Kanika Bahl, PDG d'Evidence Action, explique qu'elle ne tient jamais pour acquise l'idée qu'un programme qui a réussi dans la phase de recherche et d'ECR fonctionnera une fois qu'il sera en phase d'incubateur bêta. «Tout simplement parce que quelque chose provient d'une base de recherche très prometteuse ou que le mécanisme est bien connu, nous ne supposons jamais que le programme a l'impact prévu», dit-elle.

No Lean Season était destiné à aider les habitants des zones rurales du Bangladesh, où la saison entre la plantation et la récolte peut plonger les familles dans des conditions difficiles. Le programme offrait une subvention à la migration aux travailleurs qui gagneraient à se rendre dans une zone urbaine où les fluctuations des emplois et des salaires sont beaucoup moins graves.

Les questions centrales qu'Evidence Action se posait à propos du programme étaient doubles. Premièrement, le taux de migration a-t-il augmenté dans les zones traitées? Et deuxièmement, le revenu et / ou le taux de consommation des ménages ont-ils augmenté parallèlement à cette augmentation de la migration?

Les données parlent

Lorsque les chefs de programme se sont assis pour analyser l'impact de la phase d'incubation de la période sans soudure, les données ont donné des résultats décevants. Il n'y a eu aucun impact significatif sur la migration et donc aucun effet sur la consommation et le revenu des ménages.

La question qui a naturellement suivi était: qu'est - ce qui a mal tourné ?

Selon Bahl, la meilleure hypothèse d'Evidence Action était qu'il y avait eu des problèmes entre l'organisation et ses partenaires locaux dans le calcul du nombre de prêts accordés. Cela a conduit à atteindre trop rapidement les objectifs fixés au début de la phase d'incubation, sans pour autant augmenter le nombre de migrants saisonniers.

Le partenaire local a entrepris de sonder 100 000 ménages et d'évaluer s'ils étaient éligibles à un prêt de migration du programme. Evidence Action a ensuite fixé des objectifs pour le montant d'argent à distribuer, en fonction du nombre de ces ménages qui accepteraient le prêt et migreraient.

Au final, le partenaire a interrogé 160 000 ménages, mais le montant des prêts accordés n'était pas plus élevé que s'il n'en avait interrogé que 100 000. Cela signifiait que le pourcentage de personnes du groupe offrant des prêts qui avaient effectivement migré n'était pas supérieur au groupe témoin, car moins de prêts avaient été accordés que prévu.

Bien qu'il s'agisse de la meilleure estimation par Evidence Action des raisons pour lesquelles l'impact était si faible, Bahl réitère qu'il ne s'agit que d'une hypothèse.

En plus de ce problème, Evidence Action a reçu des allégations d'inconduite financière de la part de son partenaire local. Si une enquête approfondie sur les allégations n'a pas été en mesure de les corroborer, il a finalement été judicieux de mettre fin à la relation avec le partenaire local.

Cela signifiait qu'en 2018, No Lean Season examinait les résultats infructueux de leur incubateur bêta, sans impact sur la migration ou les revenus des ménages, ainsi qu'aucun partenaire local sur le terrain pour aider à résoudre ces problèmes de mise en œuvre pour l'année prochaine.

Des décisions difficiles

C'est à ce moment-là qu'Evidence Action a pris la décision difficile de fermer No Lean Season. Finalement, Kanika Bahl pense que c'était une indication de l'intégrité et de l'engagement d'Evidence Action envers sa mission.

«Parce que nous testions à grande échelle, et bien au-delà de ce que vous feriez habituellement dans une ONG, nous avons pu détecter que le programme ne fonctionnait pas.»

Si l'organisation s'était appuyée uniquement sur le RCT, a-t-elle ajouté, «nous aurions dit, Gosh, il y a des preuves vraiment solides, nous sommes en grande forme et nous aurions continué le programme et continué à nous sentir vraiment bien à propos de verser des millions de dollars dans un programme qui n'a pas eu l'impact prévu du tout. "

Une partie de la décision est due à l' expérience d'Evidence Action avec des programmes très réussis dans d'autres domaines, y compris l'initiative Deworm the World , qui a mis à profit l'infrastructure existante pour vermifuger les enfants dans leurs écoles et Dispensers for Safe Water , qui a apporté de l'eau potable propre à plus de 4 millions de personnes.

«Nous atteignons aujourd'hui plus de 280 millions de personnes avec nos autres programmes de preuves», a déclaré Bahl. Cela l'a amenée à penser: «Est-ce la meilleure utilisation du temps et de l'attention de l'organisation? Est le meilleur programme que nous pourrions faire? Ou la meilleure façon pour nous de réaliser notre mission d'améliorer sensiblement la vie de centaines de millions de personnes? »

En fin de compte, Bahl y voit moins une histoire sur les défis de mise en œuvre et plus sur la façon de prendre des décisions difficiles et tactiques basées sur des preuves . Après tout, la mise à l' échelle des programmes dans le monde en développement est complexe et difficile. Il n'est pas réaliste de supposer que chaque projet réussira autant qu'il l'espère.

"Cela peut être douloureux, mais si vous ne faites pas ces appels difficiles, il y a de fortes chances que vous ne soyez pas honnête avec vous-même quant à la manière la plus efficace d'utiliser les dollars et les ressources de développement".

- Megan Dent

(Crédit photo: Flickr)