Cet article est rédigé par Sumayyah Tasnim, conseillère en politique What Works à l'Unité de mise en œuvre du Premier ministre au Cabinet Office britannique

Il est essentiel de savoir si une politique fonctionne pour garantir que les programmes gouvernementaux sont offerts au public. Le récent budget britannique s'est engagé à garantir que «tous les programmes sont soutenus par des plans de mise en œuvre et d'évaluation solides». Mais par où commencer? Comment évaluez-vous votre politique?

L'équipe Ce qui fonctionne a conçu une série de questions pour aider les décideurs à identifier les méthodes potentielles qu'ils pourraient utiliser pour évaluer leur politique. Posez-vous ces questions lorsque vous commencez à élaborer une politique. Cela aidera à vous assurer que votre politique est mise en place de manière à permettre une évaluation efficace.

Avertissement: Il ne s'agit pas d'une liste exhaustive de tous les types de méthodes (il serait impossible de toutes les couvrir dans un seul article!). Cela dit, nous espérons que ces questions vous permettront de réfléchir aux différentes façons dont vous pourriez savoir si votre politique fonctionne.

1. À quoi ressemble le succès ou l'échec?

Avant de penser aux méthodes d'évaluation, demandez-vous d'abord: à quoi vise votre politique? À quoi ressemble le succès ou l'échec? Dans quel contexte évoluez-vous? Essayez de répondre aux questions dans le cadre TIDieR .

L'étape suivante consiste à développer une «théorie du changement» pour votre politique ou programme afin de vous aider à définir vos buts et objectifs et comment votre politique ou programme devrait contribuer à les atteindre. Ce processus vous encourage à réfléchir à toutes les autres choses qui pourraient influencer le succès de votre politique et peut vous aider à identifier ce que vous devez mesurer pour comprendre si votre politique a fonctionné, pourquoi / pourquoi pas, pour qui et dans quelles conditions. Consultez la multitude de ressources en ligne sur la façon de développer une théorie du changement, par exemple ici , ici et ici .

2. Pourriez-vous tester la politique avant de commencer à livrer à grande échelle?

Un essai robuste à petite échelle peut être un moyen rentable de déterminer si une intervention doit être déployée à grande échelle. Les essais contrôlés randomisés (ECR) impliquent l'affectation aléatoire des participants soit à un groupe de traitement qui reçoit une intervention, soit à un groupe témoin qui n'en reçoit pas. La différence dans les résultats des deux groupes est ensuite mesurée et analysée après une période de temps pour déterminer l'efficacité de l'intervention. Les ECR bien conçus sont généralement le moyen le plus précis de déterminer si une intervention fonctionne.

Exemple de cas: The Family Nurse Partnership

Pour en savoir plus sur l'élaboration de politiques publiques avec les ECR , consultez Tester, apprendre, s'adapter et consultez ce billet de blog de l'Education Endowment Foundation sur les avantages et les inconvénients des ECR, ainsi que quelques conseils.

3. Pourriez-vous tester un certain nombre de variantes de la politique pour comprendre l'approche la plus efficace?

Plutôt que de mettre tous vos œufs dans le même panier, pourquoi ne pas concevoir une politique avec une variante intégrée pour tester quelle version est la plus efficace?

Les ECR à plusieurs bras testent simultanément plus d'une variante d'une politique. Dans cette approche, les participants sont assignés au hasard pour recevoir l'une des variantes. Cela permet une comparaison de toutes les différentes variantes et vous aide à déterminer laquelle fonctionne ou fonctionne le mieux. L'un des plus grands avantages d'un ECR multi-bras est qu'il n'a pas besoin d'inclure un groupe témoin, c'est donc une excellente solution s'il n'est pas possible de refuser ou de retarder la mise en œuvre de la politique aux participants éligibles.

Exemple de cas: tester des interventions à faible coût pour améliorer la sécurité routière

4. Pourriez-vous échelonner le déploiement du programme pour vous aider à comprendre son impact?

Des ressources limitées ou une logistique simple peuvent signifier que la prestation d'un programme doit être échelonnée à l'aide d'une liste d'attente ou d'un déploiement par étapes . Cela offre la possibilité d'utiliser une conception en gradins ou une conception de liste d'attente qui permet à ceux qui n'ont pas encore reçu d'intervention d'être utilisés comme groupe témoin temporaire.

Il est possible d'estimer l'impact en (1) comparant les résultats pour les groupes de traitement et de contrôle pour la période précédant le groupe témoin recevant l'intervention, ou (2) en comparant les résultats entre les groupes qui ont été exposés à l'intervention pendant des durées variables. . Bien que l'ordre dans lequel les participants reçoivent l'intervention puisse être randomisé, cette méthode est souvent utilisée lorsque la randomisation n'est pas possible.

Exemple de cas: évaluer le rôle de la formation linguistique dans l'intégration

5. Pouvez-vous exploiter les données existantes ou exploiter les variations naturelles pour comprendre l’ impact du programme ?

Si des données administratives de bonne qualité sont déjà disponibles, il est possible de construire des groupes de contrôle sur la base de caractéristiques démographiques observables (par exemple, sexe, âge, profession). Le but est de construire un groupe témoin (ou groupe de comparaison «apparié») qui, au début d'un programme, ressemble le plus possible au groupe d'intervention. Les résultats des deux groupes sont ensuite suivis et comparés pour estimer l'efficacité de l'intervention.

Cependant, l'appariement peut rapidement devenir irréalisable lorsque les équipes d'évaluation sont tenues de faire correspondre un nombre élevé de caractéristiques (p. Ex. Profil de délinquant, âge, sexe, appartenance ethnique, milieu socio-économique, statut d'emploi et lieu de résidence).

L'appariement du score de propension (PSM) fournit une solution de contournement dans cette situation. La technique consiste à construire un modèle qui prédit la probabilité d'un individu d'être exposé à une intervention en fonction de ses caractéristiques observables. Les «scores de propension» générés via ce processus sont utilisés pour créer des groupes de comparaison qui permettent d'analyser l'effet de l'intervention. Cela se produit en appariant les bénéficiaires et les non-bénéficiaires de l'intervention qui ont des scores similaires et en comparant leurs résultats. Pour une bonne explication sur l' appariement des données et la PSM sur lesquels nous nous appuyons régulièrement, consultez ce guide du gouvernement du Canada.

Exemple de cas: évaluation du soutien aux familles en difficulté

S'il existe des données sur les tendances historiques, il pourrait être possible d'utiliser l'approche de la différence des différences . Cela implique de comparer les résultats entre un groupe de traitement et un groupe témoin qui ont historiquement suivi la même tendance dans le (s) résultat (s) d'intérêt (par exemple, deux pays dont les résultats des examens sont restés parallèles au fil du temps). Si les résultats pour les deux groupes diffèrent à la suite d'une intervention (par exemple, la suppression des classements scolaires), le changement de taille de la différence peut être utilisé pour estimer l'effet de l'intervention (d'où «différence de différence»).

Exemple de cas: à l' aide de la différence de différence, évaluer l'impact des tableaux de classement des écoles d'édition

Si le programme a un seuil d'éligibilité quantifiable (par exemple, 18 ans ou niveau de revenu <50 000 £), la conception de discontinuité de la régression est une bonne option d'évaluation. En réalité, le groupe qui se situe juste à l'extérieur du seuil est très similaire au groupe qui se qualifie juste. Toute différence est probablement due au hasard, de sorte que les différences de résultats entre les deux groupes peuvent être attribuées au programme.

Exemple de cas: l'impact des prêts sur salaire

6. Avez-vous la capacité de mener des essais et de mener des évaluations? Avez-vous besoin de soutien?

Une fois que vous avez réfléchi aux moyens potentiels que vous pouvez évaluer, vous devrez réfléchir aux détails de la conception et de la réalisation de l'évaluation. Envisagez de demander de l'aide aux analystes de votre service. Ou vous pouvez envisager de commander une évaluation à un fournisseur expert. Pour les fonctionnaires de la fonction publique britannique, des ressources supplémentaires sont disponibles pour aider, par exemple:

Si vous souhaitez en savoir plus sur les méthodes mentionnées dans ce blog, consultez les guides utiles suivants:

- Sumayyah Tasnim

(Crédit photo: Unsplash)

N'oubliez pas de partager vos propres réflexions avec l'auteur en laissant un commentaire ci-dessous