Cet article est écrit par Jack Martin, chargé de recherche principal à la Early Intervention Foundation (EIF), qui fait partie du réseau britannique What Works.

Malgré de bonnes intentions, les services publics - que ce soit dans l'éducation, la justice pénale, les services à l'enfance ou ailleurs - n'atteindront pas toujours les résultats que nous recherchons. Ou, pour le dire simplement, parfois les choses ne fonctionnent tout simplement pas.

En ce qui concerne de nombreux domaines de l'envoi public et de la pratique, nous n'en savons tout simplement pas assez pour être sûrs que cela fait ou non une différence. Mais il n'y a aucune raison pour laquelle nous devons trébucher dans le noir, incertains que ce que nous faisons a l'impact souhaité. Il est possible d'identifier ce qui fonctionne et ce qui ne fonctionne pas, plutôt que de simplement espérer le meilleur.

De la même manière que la médecine est rigoureusement testée dans des essais scientifiques et s'est révélée bénéfique avant d'être utilisée dans la pratique, nous pouvons - et devrions - tester rigoureusement nos services publics. Et de la même manière, votre médecin consulte des lignes directrices fondées sur des preuves avant de faire une prescription, les décideurs en politique sociale peuvent consulter les meilleures preuves disponibles pour décider comment agir. Non seulement cela est possible, mais il est également essentiel d'améliorer sensiblement les résultats et de dépenser l'argent des contribuables de manière responsable.

En examinant les antécédents de la réussite d'un type particulier de service dans le passé - comme en témoignent les preuves de haute qualité - nous pouvons nous assurer que nous fournissons les services qui ont les meilleures chances de fonctionner. Nous pouvons également cesser de faire des choses qui ont des antécédents d'échec, et nous pouvons adapter les services existants pour les rendre plus efficaces.

Mais comment procéder pour prendre des décisions éclairées par des données probantes de haute qualité? Une grande partie du travail des centres What Works au Royaume - Uni consiste à trouver la meilleure façon d'aider les décideurs à le faire dans différents domaines de la politique publique. Bien que les détails varient toujours selon le contexte, selon notre expérience à la Early Intervention Foundation (EIF), il y a trois considérations particulièrement importantes et transversales qui sont cruciales à considérer attentivement lors de l'utilisation de preuves pour aider à décider quels services offrir:

1. Compte tenu de la force des preuves - les preuves sont-elles fiables?

En fouillant dans les preuves, vous pouvez identifier une pile d'études ou de rapports qui ont quelque chose à dire sur l'efficacité d'une gamme de services (ou « évaluations »).

Cependant, toutes les preuves ne sont pas égales et toutes les évaluations ne sont pas fiables. Une étude erronée peut conclure qu'un service est efficace quand, en réalité, il n'a produit aucun avantage, ou est même nuisible. Alors par où commencer? Et à quelles évaluations pouvons-nous nous fier?

Le «gold standard» pour évaluer l'efficacité est l' essai témoin randomisé (ECR); ces études, lorsqu'elles sont bien menées, donnent les estimations les plus fiables de l'efficacité d'un service.

Pour prendre une décision éclairée par des données probantes de haute qualité, vous devez utiliser votre jugement professionnel pour évaluer la comparabilité - ou l' adéquation - entre votre situation et les situations dans lesquelles un service s'est avéré efficace par le passé.

La sauce spéciale de l'ECR est qu'elle nous dit si un service a été efficace en nous permettant de comparer ce qui se passe quand un service est livré à ce qui se serait passé si le service n'avait pas été fourni - en utilisant le pouvoir de la randomisation pour créer un contrôle groupe. Il existe également d'autres conceptions solides dans la boîte à outils de l'évaluateur, comme les évaluations de conception quasi expérimentales (ou QED). Ces conceptions, comme les ECR, tentent de faire des déclarations fiables sur l'impact d'un service en utilisant un groupe de contrôle, bien que cela soit créé en utilisant des méthodes statistiques (telles que l'appariement) plutôt que la randomisation.

Les services qui se sont avérés efficaces dans plusieurs ECR ou QED de haute qualité (souvent regroupés dans des études de recherche appelées «revues systématiques» ou «méta-analyses») ont un historique de succès et représentent un «meilleur pari» pour ce qui pourrait fonctionner à l'avenir sur la base des preuves existantes.

Cependant, tous les ECR ou QED ne sont pas parfaits, et certains sont plus fiables que d'autres. Il est souvent difficile de déceler lequel est lequel. Le cas échéant, il est préférable de s'appuyer sur les travaux existants. Les centres What Works au Royaume-Uni fournissent des registres de preuves en ligne tels que le guide du CIR et la boîte à outils EEF pour aider les décideurs dans différents domaines de la politique sociale à déchiffrer les évaluations dignes de confiance.

2. Compte tenu de l'adéquation de la preuve - la preuve est-elle pertinente dans ma situation?

Les services qui sont soutenus par des ECR ou des QED de haute qualité représentent un «meilleur pari» sur ce qui pourrait fonctionner à l'avenir. Mais même le meilleur ECR ne peut garantir qu'un service fonctionnera à l'avenir et dans toutes les situations. La preuve ne peut garantir que le service a fonctionné, dans le passé, livré d'une manière spécifique, à un groupe spécifique de personnes, dans un endroit spécifique.

Pour prendre une décision éclairée par des données probantes de haute qualité, vous devez utiliser votre jugement professionnel pour évaluer la comparabilité - ou l' adéquation - entre votre situation (où et comment vous souhaitez fournir le service) et les situations dans lesquelles un service a ont été évalués et se sont avérés efficaces dans le passé. Plus ils sont comparables, plus il est probable que vous reproduirez les succès du passé. Si vous ne jugez pas approprié de décider quel service offrir, il est moins probable que vous atteigniez avec succès les résultats que vous espérez.

Les registres de preuves ne peuvent pas prendre votre décision pour vous, mais ils peuvent mettre en lumière ce qui pourrait autrement apparaître comme une route trouble et difficile vers une politique réussie

En particulier, vous devez penser à la population à laquelle vous avez l'intention de fournir le service - les personnes que vous souhaitez aider avec ce service ressemblent-elles à celles qu'il a aidées dans le passé? Le service pourrait bien fonctionner pour les personnes ayant certaines caractéristiques - en termes d'âge, de sexe, d'appartenance ethnique, de statut socio-démographique, etc. - mais pas pour d'autres. Vous devez également penser à votre contexte et à sa mise en œuvre .

Lors de la sélection d'un service, il est essentiel de savoir si vous pouvez le livrer avec succès dans des conditions comparables à celles qui se sont avérées efficaces. Les changements d'implémentation ou de contexte (comme le cadre de livraison, qui délivre le service et pour combien de temps) peuvent compromettre l'efficacité d'un service.

3. En tenant compte de l'ampleur des effets et du coût - les preuves démontrent-elles des améliorations significatives?

L'étape suivante consiste à examiner attentivement ce que les preuves les meilleures et les plus pertinentes indiquent sur l' impact bénéfique des services. Les évaluations de haute qualité feront état d'estimations numériques de l'impact, appelées «effets» ou «ampleur des effets».

La façon dont vous interprétez l'effet est rarement simple et varie en fonction du type de service que vous souhaitez mettre en œuvre et pourquoi. Mais il est absolument vital d'en tenir compte. Certains services peuvent avoir des preuves d'ECR solides et fiables suggérant qu'ils n'ont en fait pas beaucoup accompli (peut-être seulement des effets faibles ou négligeables), tandis que d'autres services peuvent avoir un solide dossier de production d'effets pratiquement significatifs ou relativement importants - les services les plus efficaces doit être priorisé.

Mais plus gros n'est pas toujours mieux, et il est important de considérer quels avantages peuvent être obtenus à quel prix. Par exemple, si deux services ont des antécédents de production d'effets de taille similaire mais qu'un est très cher et un moins cher, alors - toutes choses étant égales par ailleurs - il est clairement dans l'intérêt public de rechercher le service le moins cher.

Rien de tout cela n'est facile. Les décideurs ne sont cependant pas seuls, et les centres What Works du Royaume - Uni s'efforcent de rendre ces décisions difficiles moins difficiles en fournissant des informations accessibles sur la fiabilité et la pertinence des preuves, ainsi que des informations sur les avantages et les coûts des services. Les registres de preuves ne peuvent pas prendre votre décision pour vous, mais ils peuvent mettre en lumière ce qui pourrait autrement sembler être une route trouble et difficile vers une politique réussie et vous aider à réaliser un changement réel et significatif. - Jack Martin

(Crédit photo: Death to the stock photo)