Cet article est rédigé par Anna Thomas, cofondatrice et directrice de l'Institute for the Future of Work au Royaume-Uni et membre indépendante du CDEI Bias Review Steering Group.

Au début du mois d'août, les jeunes du Royaume-Uni se sont réveillés brutalement lorsqu'ils ont obtenu leurs notes de niveau A. En raison de la pandémie Covid-19 et de l'annulation des examens, Ofqual a conçu un algorithme qui a généré des prédictions de niveau A en utilisant les données de performance historiques de chaque école, un classement fourni par les enseignants et les résultats antérieurs de chaque groupe. Ce processus de standardisation a été appliqué pour les écoles de plus de cinq élèves pour une matière, ce qui signifie que les «petites» écoles échappent à la modération d'Ofqual.

Mais lorsque les notes ont été annoncées, près de 40% des élèves avaient été ajustés ou « rétrogradés », ce qui signifie qu'une forte proportion des notes finales étaient inférieures aux notes prévues évaluées par leurs enseignants. De plus, le déclassement d'Ofqual n'était pas uniformément réparti: les écoles publiques défavorisées étaient plus susceptibles de voir des variations d'année en année dans les notes et moins susceptibles d'utiliser la mise en garde de «petite école». Cela signifie que les écoles publiques étaient plus susceptibles d'être désavantagées par un modèle qui accordait très peu d'attention aux caractéristiques individuelles de chaque élève. Un tollé public s'est ensuivi, alors que les enseignants, les parents et les élèves protestaient tous contre l'iniquité du système.

Pour contrer la vérité inconfortable selon laquelle la normalisation automatisée ne fera pas attention à la personnalité individuelle, les algorithmes ne doivent pas être sous-traités à des technologues: ils doivent être co-développés

Le tollé public ne se limite pas aux perspectives menacées de centaines et de milliers de candidats à l'emploi plein d'espoir à travers le pays. Cela reflète également la frustration face à l'absence de responsabilité humaine et de gouvernance significatives sur les systèmes automatisés qui peuvent projeter, en masse, les inégalités passées dans le futur.

Le débat, jusqu'à présent, s'est concentré sur la nécessité d'un examen technique du processus automatisé. Mais les solutions technologiques ne suffisent pas et ne peuvent être considérées isolément. Pour éviter une forme de «techno-chauvinisme», il faut se poser des questions plus larges sur les infrastructures juridiques, sociales et politiques dans lesquelles cette situation pourrait se produire.

En d'autres termes, il est impératif que les décideurs politiques apprennent à mettre en œuvre les principes de conception et d'utilisation justes, équitables et inclusives des algorithmes pour éviter une répétition de cette débâcle - et s'assurer que la technologie fonctionne pour promouvoir le bien public. Quelles leçons les décideurs devraient-ils donc en tirer? Bien que cela ne remplace pas la responsabilité ministérielle, je propose ici trois points à retenir.

Un chemin vers une meilleure technologie

Premièrement, des méthodes plus inclusives de conception et de test des systèmes sont nécessaires de toute urgence. La transparence sur les aspects techniques d'un modèle est importante mais n'a pas été le principal problème dans le cas d'Ofqual. Pour contrer la vérité inconfortable selon laquelle la normalisation automatisée ne fera pas attention à la personnalité individuelle, les algorithmes ne doivent pas être sous-traités à des technologues: ils doivent être co-développés.

Les décideurs doivent être prêts à penser grand et à accepter les propositions de nouvelles voies pour la responsabilité algorithmique

Dans le cas d'Ofqual, les chercheurs en sciences sociales et les étudiants auraient souligné les problèmes liés à l'utilisation des classements et des données historiques; les avocats auraient souligné le devoir d'égalité dans le secteur public et les principes d'équité dans le droit administratif et de protection des données; des experts, comme la Royal Statistical Society du Royaume-Uni, auraient souligné les limites techniques du modèle; les syndicats d'enseignants auraient identifié les résultats inégaux pour les groupes démographiques et les écoles.

L'Institut pour l'avenir du travail développe une méthodologie et un outil de politique sociale inclusifs avec des leaders mondiaux en matière de systèmes et de réflexion conceptuelle qui pourraient aider à soutenir le co-développement d'outils tels que l'algorithme Ofqual.

Deuxièmement, les décideurs de tous les ministères doivent réduire les silos et travailler beaucoup plus étroitement pour harmoniser les politiques et la réglementation. Cela sape le soutien du Chancelier aux jeunes dans son Plan pour l'emploi si les candidats à un emploi sont injustement privés des limites de niveau dont ils ont besoin pour travailler; ou si le ministère du Travail et des Pensions (DWP) demande en même temps à ce groupe d'âge malheureux de prouver qu'il recherche des emplois qui n'existent pas, afin d'éviter des sanctions. Et cela sape l' engagement du Cabinet Office à lutter contre les inégalités structurelles , pour le DfE de procéder à l'algorithme Ofqual qui n'a pas été conçu avec l'égalité de traitement entre les groupes démographiques et les milieux socio-économiques à l'esprit, ou si les ajustements pour atténuer les impacts inégaux n'ont pas été a été fait.

Une collaboration plus étroite entre les départements aurait également attiré l'attention sur des obstacles ou des conflits évidents, comme le double rôle du président Ofqual, qui dirige le Centre pour l'éthique et l'innovation des données.

Pour aider à aligner les travaux dans différents domaines, la Commission sur l'avenir du travail a proposé une stratégie de travail 5.0 interdépartementale qui réorienterait l'élaboration des politiques vers un objectif politique central et transversal.

Enfin, les décideurs politiques doivent être prêts à penser en grand et à accepter les propositions de nouvelles voies pour la responsabilité algorithmique. Nous devrions maintenant critiquer rigoureusement les cadres juridiques et autres cadres de responsabilité pertinents pour nous assurer qu'ils conviennent à l'ère du système automatisé - et veiller à ce que les lacunes en matière de responsabilité exposées au cours de la semaine dernière soient comblées. Nous pouvons faire mieux que d'exiger que les écoles ou les élèves individuels s'opposent ex post facto à une notation injuste.

Si nous pouvons apprendre quelque chose de cela, c'est que la technologie n'est aussi bonne que les humains qui la développent, l'appliquent et la gouvernent; et les valeurs humaines qui sous-tendent ces activités

La politique technologique devrait exiger une évaluation préalable et une prise en compte des préjudices et des impacts collectifs et individuels sur l'égalité. Il y a maintenant de bonnes raisons d'inclure la prise en compte du désavantage socio-économique, qui au Royaume-Uni n'est actuellement pas protégé par la loi sur l'égalité (la loi s1 sur l'égalité n'est en vigueur qu'en Écosse ).

Et nous aurons besoin d'obligations proactives et positives pour les secteurs public et privé de surveiller, d'évaluer et de signaler les effets négatifs sur l'égalité afin de garantir que de nouvelles formes de préjudice collectif ne soient pas projetées avec audace dans l'avenir.

Les yeux se tournent désormais vers le prochain Bias Review du Center for Data Ethics and Innovation, qui devrait relever ces nouveaux défis.

Rétablir la confiance

Si nous pouvons apprendre quelque chose de cela, c'est que la technologie n'est aussi bonne que les humains qui la développent, l'appliquent et la gouvernent; et les valeurs humaines qui sous-tendent ces activités. Le système de standardisation algorithmique d'Ofqual n'avait pas de pouvoirs mystérieux: c'était un système socio-technique. Les humains ont décidé de déployer l'algorithme et de déterminer sa mission et son objectif: prédire la distribution des notes pour chaque école, plutôt que de prédire les notes des élèves individuels.

Les humains ont conçu l'algorithme; les humains ont sélectionné les points de données, les variables et la pondération; et les humains ont décidé comment les données historiques, qui reflètent les inégalités historiques, devraient être utilisées; et que les notes évaluées par les enseignants ne devraient pas être utilisées. Et au niveau politique, les humains décident également comment réglementer, gouverner et superviser ces décisions.

La technologie est plus que jamais nécessaire pour relever les défis de la pandémie. Il devrait être utilisé pour rassembler les gens et les décideurs politiques, tirer parti des forces humaines et améliorer l'accès au travail, au travail et au bien-être. Les décideurs doivent désormais travailler dur pour y parvenir - et regagner la confiance du public dans la technologie.

La consultation de l'Institut pour l'avenir du travail sur les analyses d'impact sur l'égalité est ici - les lecteurs sont invités à la terminer avant le 27 août. Le groupe de travail sur l'égalité de l'IFOW fera rapport en octobre 2020. Anna Thomas est également membre indépendant du groupe de pilotage de l'examen des biais du CDEI.

(Crédit photo: Unsplash)