Piratage de preuves: choisir des études à la hâte

Cet article est écrit par Michael Sanders, directeur exécutif du What Works Center for Children's Social Care.

Si vous demandez à la plupart des fonctionnaires s'ils pensent que l'utilisation de preuves est importante dans leur travail, vous obtiendrez un oui retentissant. Il y a très peu de gens qui diraient que la politique ne devrait pas être basée sur les meilleures preuves disponibles. Malgré cela, l'utilisation de preuves peut souvent être inégale, voire inexistante. Pourquoi?

Mis à part quelques cas très rares, le manque de preuves n'est pas dû à la malveillance ou à l'incompétence. C'est parce que les fonctionnaires travaillent sous la pression des délais et doivent condenser rapidement plusieurs sources d'informations - de l'intérieur du gouvernement, des parties prenantes et de la recherche. De nombreuses preuves proviennent de documents universitaires qui ne sont pas exactement des lectures rapides ou faciles, il n'est donc peut-être pas surprenant que ce soit la première source d'informations à être rejetée sous pression.

Il est évident que la communauté des chercheurs pourrait faire beaucoup pour mieux communiquer ses conclusions, mais que faire si vous êtes un fonctionnaire pressé? Que pouvez-vous faire pour améliorer votre utilisation des preuves? Ayant travaillé en tant que consommateur ainsi que producteur de preuves dans des rôles au sein du gouvernement, à la Behavioral Insights Team, en tant qu'universitaire et plus récemment à What Works for Children's Social Care, je sais à la fois à quel point les preuves de recherche sont importantes et à quel point elles sont difficiles. peut être de prendre le temps.

Pour commencer, il y a quelques questions que vous pouvez poser à toute recherche - que ce soit des articles académiques ou des rapports de think tanks - que vous rencontrez. Ces questions vous aideront à décider rapidement si vous voulez lire plus loin et si une source est susceptible de vous aider à décider quoi faire.

Critiques et réviseurs

Avant de commencer, il convient de vous demander quels types de documents vous souhaitez inclure. Après tout, la lecture de centaines d'études individuelles prend énormément de temps. De plus - et peut-être encore plus frustrant - les conclusions sont souvent contradictoires. Les revues systématiques, les méta-analyses et d'autres formes de document de synthèse condensent les résultats de tout un domaine de recherche en une seule forme digestible et peuvent être plus utiles que la somme de leurs parties. Pour un nombre croissant de domaines politiques , il existe également des organisations telles que les centres What Works qui examinent les données probantes et présentent des recommandations politiques de taille moyenne.

Une fois que vous avez rassemblé vos recherches, voici quelques questions cruciales qui aideront à en juger les mérites:

Quel genre de langue regardez-vous?

Regardez-vous un article qui fait ou non des allégations de causalité? Dit-il que «X cause Y» (une allégation causale) ou «X est associé à Y» (une allégation corrélationnelle)? Dans ce dernier cas, vous ne devez pas l'utiliser pour informer des déclarations sur les impacts d'une politique particulière ou les causes d'un problème particulier. Si le premier, vous ne devriez peut-être pas encore…

Comparaison des pommes et des ours

La plupart des allégations de causalité devraient être étayées par une sorte de contrefactuel. En d'autres termes, les chercheurs devraient comparer un groupe auquel quelque chose est arrivé (c'est-à-dire une nouvelle politique ou intervention) avec un autre groupe auquel cela n'est pas arrivé (également connu sous le nom de groupe témoin). S'ils ne le font pas, vous pouvez probablement ignorer toute allégation causale.

Les deux groupes doivent également être similaires avant qu'il ne soit logique de les comparer. Si les auteurs font une comparaison, demandez-vous si les groupes sont vraiment similaires. Dans ce cas, vous pouvez consulter des statistiques (appelées vérifications de l'équilibre) pour vous aider - la plupart des documents comprendront des tableaux de solde ou de comparaison qui vous diront à quel point les groupes sont similaires - mais dans certains cas, votre instinct intestinal sera également suffisant. Les jeunes des collèges d'enseignement supérieur du nord-est de l'Angleterre sont-ils similaires aux jeunes des lycées de Londres? Probablement pas. Les familles qui sont étroitement admissibles aux avantages fiscaux en raison de leur revenu sont-elles globalement les mêmes que celles qui ont raté de peu pour la même raison? Probablement oui. Cela peut ne pas ressembler à une faille courante dans les articles de recherche, mais c'est beaucoup plus répandu que vous ne le pensez.

Est-il assez grand?

Si un article utilise une analyse statistique, vous devez regarder la taille de l'échantillon. Tout ce qui concerne un petit nombre de personnes - moins de cent personnes bénéficiant d'une intervention est une bonne règle de base - doit être traité avec un certain scepticisme à moins que la recherche ne soit effectuée dans un environnement très contrôlé où il n'y a pas beaucoup de variations. Les études qui s'appuient sur de petits échantillons ne sont souvent pas représentatives et échouent souvent aux vérifications «d'équilibre» décrites ci-dessus et auront du mal à détecter statistiquement les impacts, même s'ils existent.

Trop beau pour être vrai?

Si les résultats d'une étude semblent trop beaux pour être vrais, ils le sont probablement. Cela peut être une règle empirique sévère - après tout, il existe des interventions de type «Licorne» qui ont des effets très importants.

Mais si vous parcourez de nombreuses recherches pour essayer de savoir quoi inclure et quoi éliminer, les effets invraisemblablement grands sont un bon point de départ. Les biais de sélection et autres biais statistiques, ainsi que les biais de publication (la tendance à ne publier que des résultats positifs ou nouveaux), favorisent tous des effets importants. La plupart des effets réels, en particulier dans un contexte politique, sont assez modestes.

Peu, souvent et amusant

Le conseil le plus utile que je puisse donner ne concerne peut-être pas une seule étude ou un seul sujet. Au lieu de cela, cela concerne la façon dont vous abordez les preuves en premier lieu. Si vous avez l'habitude de lire des preuves régulièrement, même en petites quantités, le faire devient inévitablement plus facile, et si vous êtes comme moi, vous aurez déjà un stock de choses potentiellement utiles à lire. En plus du What Works Network, certains chroniqueurs de journaux, podcasts et médias comme Apolitical et The Conversation présentent régulièrement des résultats de recherche pour vous aider à rester à jour.

Rester au fait des recherches et des preuves peut prendre beaucoup de temps, mais c'est un élément important du rôle d'un fonctionnaire de comprendre l'état actuel des connaissances dans son domaine politique. Ces conseils peuvent vous aider, mais ils ne remplacent pas de vous laisser suffisamment de temps dans la semaine de travail pour que vous et les équipes que vous dirigez restent informés. - Michael Sanders

(Crédit photo: Unsplash)