Les domaines du développement comme la petite enfance ont, ces dernières années, fusionné autour d'une norme de référence en matière de politiques: l'essai randomisé de contrôle. Empruntée à la médecine clinique, la méthode permet aux chercheurs de comparer rigoureusement les effets d'une intervention politique à un groupe témoin, éliminant ainsi les biais et les facteurs de confusion. Mais il y a un problème: leurs résultats sont souvent inutiles.

Une évaluation d'un million de dollars d'un programme de visites à domicile pour les nouvelles mères pourrait ne pas améliorer les résultats pour la santé - non pas parce que c'est un mauvais programme, mais simplement parce que les travailleurs n'ont pas effectué toutes les visites prévues. Des essais pluriannuels coûteux peuvent finir par révéler que vous ne pouvez pas aider les gens avec une politique qui n'est pas réellement mise en œuvre.

Cela commence à changer. Une nouvelle approche «agile» de l'évaluation des politiques , dirigée par une poignée d'économistes, pourrait fournir aux décideurs les informations dont ils ont vraiment besoin : comment s'assurer que leurs programmes n'échouent pas avant le premier obstacle.

Échouer sans apprendre

Le Fonds d'évaluation d'impact stratégique , ou FEIS, est une branche de la Banque mondiale qui finance des essais de politiques pour recueillir des preuves cruciales dans des domaines comme la petite enfance, la santé et l'assainissement. Ces évaluations sont destinées à éclairer les travaux ultérieurs de la Banque, des gouvernements et d'autres agences de développement.

Mais ils ne tiennent pas toujours cette promesse, selon Alaka Holla, responsable du programme du SIEF.

Au Bangladesh, par exemple, le FEIS a financé l' essai d'un programme visant à donner aux mères plus d'informations sur les avantages de la stimulation pour leurs enfants. À la fin de l'évaluation de deux ans, près de la moitié des mères impliquées ont déclaré n'avoir reçu aucun matériel d'information et 85% avaient eu moins de séances avec des agents communautaires que prévu.

De tels essais ont été une source de frustration pour Holla. «Pour moi, c'était un signe qu'il était prématuré de procéder à l'évaluation d'impact complète», a-t-elle déclaré.

Même une politique à potentiel transformateur n'aura pas beaucoup d'effet si sa mise en œuvre est un désastre. Les évaluations peuvent recueillir des preuves des difficultés de mise en œuvre d'une politique, mais elles ne sont pas renvoyées avant la fin du procès - souvent des années plus tard. À ce stade, il est trop tard pour être d'une grande utilité.

Et les évaluations d'impact complètes ont une autre difficulté: elles peuvent être extrêmement coûteuses. Le coût de la collecte de données - en particulier dans les pays en développement - peut être prohibitif. Les essais de contrôle randomisés peuvent devenir de plus en plus rares, a suggéré Holla, s'ils coûtent inévitablement "au moins un million de dollars et trois ou quatre ans".

Soyez agile

Mais les techniques de l'essai témoin randomisé pourraient elles-mêmes être la solution à ces défis. Le nouveau concept d'une «évaluation agile» verrait les chercheurs utiliser les mêmes méthodes pour étudier la mise en œuvre initiale des politiques, plutôt que leurs résultats finaux.

Préconisées par l'économiste américain Dean Karlan , et maintenant adoptées par Holla pour la dernière série de travaux du SIEF, les évaluations agiles comportent deux éléments clés: se concentrer sur la mise en œuvre plutôt que sur les résultats en matière de bien-être et trouver des moyens moins coûteux de collecter des données.

Holla a décrit un projet pour aider les personnes souffrant d'hypertension artérielle. Une approche pourrait consister à inciter davantage de personnes à prendre des médicaments en augmentant la partie du coût remboursé.

Une évaluation agile pourrait tester cette méthode à côté d'une gamme d'autres - différents taux de remboursement ou approches axées sur l'augmentation de la commodité d'obtenir des médicaments d'un médecin plutôt que de baisser son prix, par exemple.

Cela laisserait sans réponse certaines questions sur les effets ultimes du programme sur la santé. Mais ses résultats seraient immédiatement utiles - et l'essai peut être beaucoup plus court qu'une évaluation complète des résultats. "Si quelqu'un ne va pas offrir un programme dans six mois, il ne le fera probablement pas - il ne répondra pas à votre intervention avec du retard", a déclaré Holla.

L'autre clé est de réduire les coûts d'exécution de telles expériences. Dans les pays les moins avancés, la réalisation d'enquêtes auprès des ménages peut être nécessaire.

Mais dans les zones à revenu intermédiaire, les données gouvernementales peuvent être suffisantes, en particulier pour les efforts de mise en œuvre. Ou les projets peuvent être conçus de manière à générer les données au fur et à mesure, plutôt que de nécessiter des enquêtes supplémentaires.

"Dans le domaine de l'économie du développement, ces essais sur le terrain ont commencé dans les milieux à plus faible revenu où il n'y avait pas de données", a déclaré Holla. «Cela est devenu en quelque sorte la norme, même dans les pays et les contextes où vous auriez peut-être pu vous fier aux données administratives.»

Ces types d'évaluations - agiles à la fois dans leur brièveté relative et leurs coûts beaucoup plus bas - facilitent beaucoup la conduite de recherches de suivi rapides et d'expériences itérées sur la meilleure façon de faire fonctionner les politiques.

Pousser vers l'agilité

La plupart des chercheurs et des fonctionnaires de la Banque mondiale et d'autres organisations de développement se sont montrés enthousiastes à l'idée des évaluations agiles, a déclaré Holla.

Mais il a encore fallu du travail pour en faire une réalité. Holla a recruté Dean Karlan pour présenter à la Banque mondiale afin de convaincre ses collègues de l'importance de la recherche axée sur la mise en œuvre.

Et maintenant, elle utilise le pouvoir du SIEF comme organisme de financement pour faire participer les chercheurs. Le dernier appel à propositions du fonds est exclusivement axé sur les évaluations agiles.

Le FEIS a également mis de côté un financement supplémentaire pour les évaluations qui sont achevées à temps pour exécuter un deuxième essai en s'appuyant sur les leçons du premier. Ce type d'itération est difficile avec des évaluations plus longues et plus coûteuses - et l'intégrer dans la structure d'une offre de financement est une première mondiale.

Holla espère que cette première grande série d'évaluations agiles servira de preuve de concept pour une approche moins coûteuse et plus dynamique de la recherche sur les politiques. Les récipiendaires seront annoncés à la fin de ce mois.

"Ce n'est pas comme si nous avions divisé l'atome", a-t-elle déclaré. «Mais c'est une belle façon pour nous de signaler que nous sommes prêts à investir de l'argent, car c'est important.» - Fergus Peace

Cette pièce a été mise à jour pour clarifier certaines critiques des essais de contrôle randomisés effectués par Alaka Holla.

(Crédit photo: Pexels)