Cet article est rédigé par Tim Hill, Data Standards et Technical Lead à l'Open Data Institute

Quatre jours avant le verrouillage du Royaume-Uni, Neil Ferguson, chef du Centre d'analyse des maladies infectieuses mondiales du Conseil de la recherche médicale (MRC), a envoyé un tweet légèrement excusé.

Bien que beaucoup de gens aient voulu accéder à la base de code de modélisation Covid de la MRC, Ferguson a admis qu'elle se composait de «milliers de lignes de C non documentées» écrites «treize ans plus tôt pour modéliser les pandémies de grippe». Ils travaillaient avec Microsoft et GitHub pour nettoyer et rationaliser le code. Jusque-là, il n'était pas disponible.

Tu veux écrire pour nous? Jetez un œil au guide d' Apolitical pour les contributeurs

Le tweet a facilement été perdu au milieu de la foule d'autres histoires liées au coronavirus cette semaine-là. Mais pour un développeur de logiciel comme moi, l'admission était cahoteuse. Des milliers de lignes produites en treize ans? Dans un langage induisant des erreurs comme C? La pensée même produit une sensation de vertige. Comment commenceriez-vous à trouver et à corriger tous les bogues qui pourraient s'être glissés?

Pire encore - comment pourriez-vous défendre une politique publique basée sur elle, en particulier (terriblement) lorsque cette politique avait des implications aussi énormes que le verrouillage alors en cours de Covid-19?

Évaluer les irréalités

Ces dernières années, l’utilisation des modèles informatiques dans la prise de décision publique a suscité de plus en plus d’inquiétudes - en particulier, avec des questions de biais. Bien que ces biais algorithmiques soient omniprésents, cependant, la compréhension des politiques publiques de ces « boîtes noires » informatiques se développe et les techniques de détection et de correction de leurs lacunes sont de plus en plus développées.

Le code Covid-19 de Ferguson, cependant, ne ressemble pas à la majorité des modèles informatiques utilisés aujourd'hui . La plupart des algorithmes qui ont fait l'objet d'un examen approfondi récent sont des modèles de `` prévision '': étant donné une gamme de facteurs connus (par exemple la température et l'humidité d'aujourd'hui), nous essayons de prédire un résultat (comme les précipitations de demain). Si notre prédiction est correcte, nous savons que l'algorithme fonctionne. Sinon, nous l'affinons avec de nouvelles preuves.

Le code de Ferguson, en revanche, est une «simulation». Plutôt que de suivre les effets de facteurs individuels sur les résultats connus, les modèles de simulation aident les scientifiques à explorer les effets possibles de décisions politiques à grande échelle. Dans le contexte de Covid-19, un modèle de prévision pourrait être utilisé pour répondre à des questions sur la façon dont des facteurs tels que l'âge, l'origine ethnique et le revenu affectent les taux de survie, tandis qu'un modèle de simulation pourrait poser des questions telles que `` Si nous fermons tous les aéroports, quel est le effet probable sur les taux de transmission? Et si nous les gardons ouverts?

Les modèles de simulation sont fondamentaux pour explorer les options politiques dans certains des problèmes les plus importants auxquels les gouvernements sont confrontés aujourd'hui

Cette différence d'orientation rend les modèles de simulation difficiles à évaluer. Parmi les nombreux scénarios envisagés, un seul se réalisera normalement. Si vous estimez que 150 000 décès se produiront à moins que les aéroports ne soient fermés et après que de telles mesures soient prises, le nombre de morts est inférieur, cela ne rend pas la projection initiale erronée . Cependant, il est difficile, voire impossible, d'évaluer l'exactitude de cette estimation initiale, précisément parce que l'ensemble du scénario a été évité.

De même, la mise à jour du modèle à mesure que de nouvelles données émergent n'est pas simplement une question de l'ajouter à un ensemble d'apprentissage. Au lieu de cela, il s'agit d'un processus ouvert de révision des hypothèses et des paramètres avec de nouvelles informations, et parfois l'élaboration de nouveaux scénarios.

D'un point de vue académique, il n'y a rien de mal à cette approche ad hoc . Pour la politique publique, cependant, c'est profondément problématique. Les modèles de simulation sont fondamentaux pour explorer les options politiques dans certains des problèmes les plus importants auxquels les gouvernements sont confrontés aujourd'hui, notamment le réchauffement climatique et le refus de se faire vacciner. Mais comment justifier des décisions fondées sur de tels modèles? Ou, regardé d'une autre manière: comment faire confiance à de tels modèles?

Méthodologies ouvertes pour l'audit algorithmique

La question de la confiance, après le tweet fatidique de Ferguson, était urgente. Les opposants idéologiques aux mesures de verrouillage envisagées n'ont pas tardé à soulever des doutes sur la qualité du code; un député technophile a déclaré que la situation était potentiellement «scandaleuse».

Compte tenu de la difficulté de vérifier les modèles de simulation, le seul moyen de contrer la vague croissante de critiques était la transparence: les personnes extérieures au gouvernement devaient être en mesure de revoir le code, les données et les résultats de la MRC et d'évaluer leurs conclusions.

Heureusement, grâce au travail des universitaires, des groupes de défense et des ingénieurs en logiciel au cours des deux dernières décennies, il existe maintenant des méthodologies claires pour le faire. Ces approches portent des noms différents et ont des accents différents, mais ce qu’elles ont en commun est l’accent mis sur l’ouverture: le libre accès ; données ouvertes ; science ouverte ; logiciel open source .

Toutes ces approches «ouvertes» ont un rôle à jouer dans la justification du travail du MRC. Une fois qu'il les a embrassés, les progrès ont été rapides. Le 22 avril, Ferguson et son équipe ont publié une version simplifiée et refactorisée de leur code en tant que logiciel open source . Trois jours plus tard, ils ont corrigé un bug identifié par une équipe externe. Et enfin, le 1er juin 2020, un audit indépendant a pu répliquer les résultats que le MRC avait précédemment publiés sous une licence en libre accès, confirmant que ni le refactoring ni le bug n'avaient altéré les résultats du code.

Dix semaines après le tweet penaud de Ferguson, la validité des travaux du MRC a été confirmée. Mais ces dix semaines ont posé problème: dix semaines de rupture de confiance dans le public; dix semaines de distraction pour l'équipe et dix semaines d'incertitude pour les fonctionnaires qui ne savent pas s'ils peuvent se fier aux informations qui leur sont données.

Dans la partie 2 de cet article, nous verrons comment éviter ce type de retards catastrophiques et nous assurerons que les méthodologies ouvertes sont, le cas échéant, intégrées à vos projets dès le début - Tim Hill

Nous voulons savoir ce que vous pensez de cet article. Envoyez-nous un article ou envoyez vos commentaires à hello@apolitical.co

(Crédit photo: UnSplash)