Cette pièce fait partie de la série des projecteurs d'Apolitical sur la dimension de l'impact social , en partenariat avec la Fondation Bernard Van Leer. Il apparaît également dans notre fil d'actualité gouvernemental sur l'innovation .

Aux États-Unis, le Nurse-Family Partnership est considéré comme un programme éprouvé. Il envoie des infirmières visiter des mères pauvres pour la première fois, et dans trois essais contrôlés randomisés (ECR), il a été démontré qu'il a un impact important sur la santé et le bien-être de la mère et de l'enfant. Le modèle a été importé au Royaume-Uni sur cette base et déplacé à une échelle beaucoup plus grande. Mais alors qu'il était déjà mis en œuvre dans 132 sites à travers le pays, ils l'ont testé dans un ECR - et ont constaté que cela n'avait aucun effet.

Le partenariat infirmière-famille est l'un des cas récents les plus clairs d' un casse - tête qui empêche toute tentative de reproduire un programme qui fonctionne ailleurs: la généralisabilité. C'est le point d'interrogation au centre de toute augmentation d'échelle : si nous reproduisons une approche dans un nouveau contexte, pouvons-nous nous attendre à ce que l'impact soit similaire?

Ce nouveau contexte peut être une autre ville du même pays, ou ce pourrait être un autre pays à l'autre bout du monde. Ce n'est pas parce qu'elle a le même problème que la même intervention fonctionnera, car chaque intervention fonctionne en tandem avec son contexte.

Plus le contexte est différent, moins l'intervention peut être appropriée. Et plus l'intervention est adaptée au nouveau contexte, moins les preuves existantes deviennent pertinentes. En fin de compte, il peut s'agir effectivement d'une nouvelle intervention non testée.

En fin de compte, la réplication est toujours un pari. Mais comment raccourcir les chances?

Quelle est la preuve

Avant d'essayer de reproduire une intervention, il vaut mieux faire deux choses. D'abord, évaluez les preuves existantes: combien et quel type d'évaluations ont été faites, et dans quels contextes. Et deuxièmement, comprenez ce que ces preuves signifient réellement hors contexte.

Des procès plus nombreux et mieux exécutés sont clairement un avantage. Reproduire quelque chose sur la base d'une seule évaluation est risqué; reproduire quelque chose comme un programme de transfert monétaire conditionnel, qui a été testé des dizaines de fois dans différents contextes, l'est moins. Mais même alors, il y a un débat considérable sur ce que ces preuves vous disent vraiment.

Prenez l'essai contrôlé randomisé (ECR). Avec l'élaboration de politiques factuelles et la professionnalisation du secteur sans but lucratif, les ECR sont la saveur du moment. Les qualifier d'étalon-or est devenu une sorte de cliché politique. Mais ils ont les leurs - et ces limites sont particulièrement pertinentes lorsqu'il s'agit de réplication ailleurs.

Un ECR bien exécuté dit quelque chose sur l'intervention à ce moment-là et sur cette population. À cet égard, ils sont l'étalon-or. Mais au-delà de ce contexte spécifique, ils n'ont aucun privilège spécial sur d'autres types de preuves. Un ECR effectué là-bas n'a aucune incidence réelle sur la façon dont ce programme fonctionnerait ici.

Mais cela ne veut pas dire que les ECR et les preuves en général d'un autre endroit sont inutiles. En fait, ils peuvent fournir un aperçu essentiel de la raison pour laquelle quelque chose fonctionne - et c'est la clé pour savoir si elle peut être reproduite dans différents contextes.

Quel est le mécanisme

Une fois que vous savez que quelque chose fonctionne, vous pouvez décortiquer pourquoi cela fonctionne: les mécanismes sous-jacents et les conditions dont ils ont besoin. Le programme de prévention du VIH Sugar Daddies du Poverty Action Lab est un bon exemple de cette approche.

Au Kenya, ce programme a été remarquablement efficace pour réduire un mode clé de transmission du VIH: les relations sexuelles entre adolescentes et hommes plus âgés. Un ECR a révélé que la présentation de statistiques sur les filles et les garçons de huitième année et une courte vidéo sur les taux plus élevés de VIH chez les hommes plus âgés avaient radicalement changé leur comportement. Le nombre d'adolescentes tombées enceintes par un homme plus âgé au cours des 12 prochains mois a chuté de 60%.

De toute évidence, l'intervention fonctionne - mais pourquoi fonctionne-t-elle? Sur quoi repose son efficacité?

Ils ont identifié trois choses. Les relations entre les hommes plus âgés et les adolescentes doivent être courantes. Les hommes plus âgés doivent avoir des taux de sida plus élevés que les hommes plus jeunes - un risque relatif de transmission plus élevé. Et, surtout, les filles doivent ignorer cela.

En analysant le mécanisme, ils ont dérivé les conditions dont il a besoin. Ensuite, ils ont été en mesure de prédire si cela fonctionnerait ailleurs: ils avaient simplement besoin de vérifier ces conditions.

Quel est le nouveau contexte

Lorsque le Rwanda a voulu reproduire le programme Sugar Daddies, le Poverty Action Lab a demandé si les conditions locales répondaient aux exigences de ce mécanisme. Ils ont commencé à analyser les données.

Ils ont constaté que les taux d'infection par le VIH étaient plus élevés chez les hommes plus âgés que chez les hommes plus jeunes, et de nombreuses adolescentes sexuellement actives l'étaient avec des hommes de plus de cinq ans de plus qu'eux. Jusqu'à présent, si prometteur.

Une équipe d'Abdul Latif Jameel Poverty Action Lab (J-PAL) a décidé de faire des recherches sur le terrain pour voir comment les adolescentes percevaient le risque. Deux choses ont émergé. Ils savaient que les hommes plus âgés étaient plus susceptibles d'être infectés que les hommes plus jeunes - mais ils ont également surestimé massivement le pourcentage d'hommes infectés dans tous les groupes d'âge.

Cela a brouillé l'image et a présenté une possibilité alarmante. Le programme Sugar Daddies n'affecterait pas le risque relatif - les filles savaient déjà que les hommes plus âgés étaient plus susceptibles d'être infectés. Mais cela pourrait en fait réduire leur perception du risque de VIH lié aux rapports sexuels non protégés en général. Cela signifie que le programme pourrait bien avoir augmenté la transmission du VIH.

Cela met en évidence l'importance de comprendre l'interaction entre l'intervention et le contexte.

Ce type d'approche peut être fait systématiquement, comme l'a démontré l'ONG internationale Evidence Action. L'un de leurs programmes, No Lean Season, réduit la pauvreté saisonnière en accordant des subventions de voyage qui aident les hommes à se déplacer temporairement dans une ville, à y trouver du travail et à envoyer de l'argent chez eux.

«D'abord, nous recherchons l'existence de la saisonnalité: y a-t-il de grands groupes de personnes qui connaissent la privation saisonnière? C'est une caractéristique commune des moyens de subsistance agricoles, mais ce n'est pas universel », a déclaré Karen Levy, directrice de l'innovation mondiale chez Evidence Action.

«Cela vous donne un ensemble de lieux. Ensuite, vous cherchez à l'intérieur des endroits où il y a des villes en croissance et prospères à proximité. La Zambie et le Malawi sont deux exemples d'endroits que nous avons examinés qui ont réussi le premier test mais qui ont échoué le second. Ils ont une saison de la faim aiguë, mais il n'y a pas d'opportunités de travail salarié excédentaire dans les villes - ils ont donc ce clou, mais notre marteau ne fonctionnera pas là-bas. »

«Et dans cet ensemble de lieux, vous cherchez ceux où l'écart entre les pauvres et les villes voisines est loin, mais pas trop loin. Si vous devez acheter un billet d'avion, ce n'est pas quelque chose que No Lean Season peut résoudre. Mais de même, si le tarif ne coûte que trois dollars, alors peut-être qu'une subvention au transport ne résoudra pas ce problème. Nous recherchons cette résistance que notre subvention peut surmonter. »

D'abord, identifier le besoin, puis confirmer systématiquement la présence des conditions requises pour l'intervention. Avec cette approche, vous évitez de prendre un programme quelque part où il ne fonctionnera jamais.

Adapter l'intervention au nouveau contexte

L'évaluation des preuves de l'intervention, du mécanisme de l'intervention et du nouveau contexte dans lequel vous souhaitez la transplanter sont les tests préliminaires. Si un programme les réussit, il est temps de l'adapter.

Encore une fois, comprendre pourquoi quelque chose fonctionne, et donc ce qui est essentiel, est crucial. "Plus vous comprenez les mécanismes sous-jacents, plus vous savez où une très haute fidélité à la conception originale est nécessaire, et quelles sont les choses plus flexibles", a déclaré Levy.

Cependant, exactement ce qui est flexible est rarement clair ou convenu. Et cela donne lieu à la tension entre fidélité et adaptation qui trouble tant de transformations à grande échelle .

Le partenariat infirmière-famille en est un bon exemple. "La prestation du programme en Angleterre était de haute qualité", a déclaré le professeur Mike Robling, qui a réalisé l'ECR. «Mais ces objectifs de fidélité étaient basés sur les paramètres qui ont été observés dans les essais américains originaux. Dans quelle mesure ceux-ci sont-ils pertinents ou essentiels lorsqu'ils sont appliqués dans un nouveau cadre? »

Après l'ECR décevant, les concédants de licence du programme ont assoupli les exigences de fidélité. Maintenant, l'équipe britannique expérimente en changeant des choses comme le contenu du programme ou le nombre de visites que les gens reçoivent. Ils permettent également à chaque unité qui fournit le programme de l'adapter à leurs besoins.

Étant donné que le Royaume-Uni a un système de santé publique, contrairement aux États-Unis, il se peut que le programme ne fonctionne tout simplement pas. Ou ils peuvent frapper une version qui donne des résultats.

Il est utile de se rappeler que la réplication ne consiste pas à copier servilement toutes les fonctionnalités: il s'agit de répliquer l'impact. Il s'agit des mécanismes sous-jacents, plutôt que des aspects superficiels de la prestation.

En fin de compte, un programme devrait avoir un noyau fixe, mais un nombre illimité de modèles de prestation qui dépendent du contexte. Ces modèles de livraison peuvent sembler très différents.

Take Reach Up , l'intervention de la petite enfance analysée dans l'une de nos études de cas. Il est né en Jamaïque, où il a eu un impact remarquable sur le niveau de scolarité des enfants grâce à ses visites hebdomadaires à domicile par des agents de santé communautaires. Mais les répétitions au Pérou et en Colombie ont eu du mal à obtenir quelque chose comme le même impact. Cependant, tout récemment au Bangladesh, ils ont expérimenté un modèle de prestation très différent: faire des séances de groupe dans les cliniques de santé et la moitié du nombre de séances. Et cela a eu le même impact qu'en Jamaïque - non pas malgré, mais grâce à ces adaptations.

Un cadre en quatre étapes

Il n'y a pas de formule de réplication, pas d'algorithme pour dissiper tout doute. Même l'intervention la plus simple dépend du contexte de nombreuses façons subtiles - il est impossible de dire avec certitude comment elle se déroulera dans un autre endroit.

Cependant, comme présenté ici, il existe un cadre en quatre étapes qui peut disqualifier de nombreuses erreurs avant qu'elles ne se produisent et améliorer les chances de répétitions que vous poursuivez.

Évaluez d'abord les preuves. Est-ce bon, récent et pertinent?

Deuxièmement, comprenez le mécanisme: pourquoi l'intervention fonctionne.

Troisièmement, vérifiez que le nouveau site remplit les conditions de ce mécanisme.

Et quatrièmement, adaptez-vous si nécessaire. Ne soyez pas redevable aux caractéristiques superficielles.

Sugar Daddies a été disqualifié à l'étape trois. Peut-être que le partenariat infirmière-famille aurait dû l'être. De toute évidence, une approche plus systématique de la réplication peut économiser des ressources - et pourrait économiser beaucoup plus.

(Crédit photo: Flickr / Aikawa Ke)

Tom Graham