Cet article est écrit par Jonathan Breckon, directeur, et Anna Hopkins, associée de recherche à l' Alliance for Utile Evidence.

Qu'est-ce que l'expérimentation politique ou pratique? Et pourquoi vaut-il la peine d'investir dans une expérience? Quels sont les outils expérimentaux disponibles? Et quand ou où pourraient-ils échouer?

Partout dans le monde, un petit mais croissant mouvement d'expérimentateurs politiques apporte de nouvelles idées sur la façon de résoudre les problèmes publics. De l'élaboration de meilleurs services à l'amélioration de l'efficacité des services administratifs, de nouvelles méthodes et de nouveaux outils sont utilisés pour élaborer et tester des politiques.

Un inventaire des différentes conceptions publié aujourd'hui par l'Alliance pour des preuves utiles et Nesta catalogue le contenu de la boîte à outils de l'expérimentateur de politique. Dans ce document, nous présentons 18 approches expérimentales de politiques fondées sur des données probantes et fournissons des conseils sans jargon sur les avantages et les inconvénients de chacun.

Pourquoi expérimenter?

Des milliers d'expériences menées par Thomas Edison pour créer la première ampoule aux essais en médecine ou aux expériences de terrain de longue durée qui sous-tendent l'agriculture moderne, la mise en pratique des idées est la pierre angulaire de la découverte scientifique et technologique.

Les expériences sont désormais essentielles pour les secteurs où l'innovation et l'optimisation sont monnaie courante, comme le développement Web. Il a fait son chemin dans les affaires. Parmi les plus grandes institutions financières, détaillants et restaurants des États-Unis, au moins un tiers mène des expériences randomisées, des sociétés comme Google et Amazon réalisant des dizaines de milliers d'expériences par an . Le test A / B est désormais le moyen standard par lequel la Silicon Valley améliore ses produits en ligne. Cependant, l'expérimentation gouvernementale reste relativement rare.

Le mot «expérimental» signifie désormais «innovant» ou «radical» plutôt que simplement «non testé». Mais une véritable expérimentation consiste à s'engager dans une évaluation et des preuves rigoureuses - et pas seulement à faire des essais libres

Lorsque les gouvernements expérimentent, le langage peut prêter à confusion. Pour certains, l'expérimentation n'est qu'un synonyme d'innovation - tester une nouvelle idée, comme l'introduction de quotas de genre au Rwanda ou les assemblées de citoyens en Irlande . Le mot «expérimental» signifie désormais «innovant» ou «radical» plutôt que simplement «non testé». Mais une véritable expérimentation consiste à s'engager dans une évaluation et des preuves rigoureuses - et pas seulement à «essayer des choses» en toute liberté. Il s'agit de mettre en place une structure pour apprendre à essayer des choses dans le monde. Il ne s'agit pas simplement de faire les choses différemment - et d'espérer réussir.

L'expérimentation nécessite une attitude plus mûre de la part des dirigeants et des décideurs, une attitude qui nous permette d'apprendre positivement des « bons échecs ». Plutôt que de prétendre avoir toutes les réponses, cela signifie admettre que nous n'en avons pas et que nous devons mettre nos idées à l'épreuve. Des expérimentateurs au Canada, en Finlande et aux États-Unis ont lancé une approche plus transparente, « ouverte par défaut» .

La boîte à outils expérimentale

À l' Alliance for Utile Evidence , qui est financée par le National Lottery Community Fund, le Conseil de recherche économique et sociale (ESRC) et Nesta, nous avons fait valoir que le gouvernement doit mettre la politique rigoureusement et systématiquement à l'épreuve - ou risquer la stagnation .

Notre nouvel inventaire répertorie 11 types d'expériences randomisées utilisées pour éclairer la prise de décision. De ces expériences randomisées sont peut-être l'une des plus puissantes.

Les expériences aléatoires visent à tester une idée politique ou une innovation en examinant la différence qu'elle a fait pour les personnes qu'elle vise à aider. Ils le font en utilisant un groupe témoin; tester une innovation par rapport au «statu quo». Cela ne doit pas être un grand essai comme tester un médicament. Ils peuvent être rapides et flexibles. Par exemple, la Banque mondiale plaide pour des « ECR souples ». Ils ont financé des évaluations agiles sur la meilleure façon d'améliorer le recours à l'assurance maladie en Azerbaïdjan, d'étendre l'utilisation des contraceptifs au Burundi et d'aider les enseignants à dispenser une éducation adaptée aux enfants touchés par la guerre et les déplacements au Liban.

Il existe des possibilités d'expérimenter même sur des questions sociales difficiles. Mais dans ces cas, la création d'un groupe témoin comporte ses propres risques. Si, par exemple, vous expérimentez un nouveau régime d'avantages sociaux, le fait d'avoir un groupe témoin vous permet de vérifier si le régime a réellement atteint ses objectifs, mais cela signifie également priver un groupe de citoyens d'un service amélioré, au moins initialement.

Il est important d'être clair sur ce que différents modèles expérimentaux peuvent et ne peuvent pas nous dire

Pour contourner ce problème, un déploiement progressif des politiques peut créer ce qu'on appelle une expérience de «liste d'attente» où le groupe témoin est le groupe qui aura bientôt l'innovation. Tout le monde finit par recevoir la nouvelle innovation politique, annulant le risque de refoulement du public. Cette approche a été utilisée par le ministère britannique du Logement, des Communautés et des Gouvernements locaux dans leur tout premier essai randomisé sur l'intégration communautaire. En 2016, ils ont testé si la formation en anglais pouvait aider les immigrants à s'engager davantage dans leur communauté.

Les résultats ont été impressionnants. Ils ont constaté des améliorations significatives sur de nombreux résultats d'intégration sociale, comme de nouvelles amitiés nouées avec des personnes d'autres cultures et la fréquentation de plus de rendez-vous de santé. L'essai a aidé le Ministère à élaborer de nouveaux plans pour leur Pape verte 2018 des communautés intégrées , y compris un réseau de clubs de conversation et un nouveau fonds pour la langue anglaise. Pour ceux qui souhaitent concevoir leurs propres expériences au sein du gouvernement britannique, il existe un comité de conseil sur les essais dirigé par l'équipe What Works du Cabinet Office qui peut vous guider à travers les détails techniques.

Il existe également d'autres outils précieux pour guider la prise de décision publique. Malgré leur statut démodé chez certains experts et évaluateurs politiques, nous soulignons également la valeur et l'utilité des conceptions quasi-expérimentales. Nous expliquons ces méthodes, qui sont trop souvent formulées dans un langage technique mortel dans un anglais simple. Ces méthodes ont été utilisées pour évaluer des politiques telles que le programme Troubled Families ou l'impact du programme Sure Start des centres pour enfants au Royaume-Uni, y compris des approches plus récentes comme Synthetic Control, qui utilisent des méthodes statistiques inventives pour tirer parti de l'avènement du «big data». ".

Comprendre la différence

Il est important d'être clair sur ce que différents modèles expérimentaux peuvent et ne peuvent pas nous dire. Seuls certains modèles expérimentaux sont utiles pour en apprendre davantage sur l'impact et l'efficacité - c'est-à-dire. si oui ou non notre nouvelle idée fait vraiment une différence. Ici, les expériences randomisées ou les plans quasi-expérimentaux ont une valeur unique. Mais d'autres approches peuvent être mieux adaptées pour découvrir différentes choses, à différentes étapes de l'élaboration d'une solution politique.

Le prototypage , par exemple, met l'accent sur le risque de chargement frontal et la création d'une solution offrant de meilleures chances de succès grâce à l'engagement des parties prenantes. L'utilisation de briques Lego en plastique pour construire des prototypes de produits d'ingénierie est un moyen à faible coût et à faibles ressources de rendre les premiers problèmes opérationnels ou de conception évidents. Mais cela ne vous dira pas si le nouveau système fonctionne dans la vraie vie ou à grande échelle.

En plus d'augmenter notre compréhension de la conception expérimentale à utiliser, il est possible pour les expérimentateurs de mieux utiliser différents outils en combinaison pour innover plus efficacement. Les prototypeurs, par exemple, pourraient utiliser des essais randomisés à faible coût comme des tests A / B ou des essais agiles pour évaluer des produits ou services prototypés.

Nous espérons que cette ressource sera utile pour clarifier quand les expériences sont utiles et pourquoi, ainsi que pour simplifier le jargon et le double langage, et pour briser certaines idées fausses courantes. En tant qu'innovateurs recherchant le bien social, nous avons le devoir de mettre nos idées à l'épreuve - de découvrir ce qui ne fonctionne pas, de découvrir ce qui fonctionne et d'améliorer la vie des gens. - Jonathan Breckon et Anna Hopkins

Lisez l'inventaire de l'expérimentateur e .

(Crédit photo: Death to the stock photo)