Cet article a été écrit par Monika Sarder, analyste stratégique principale à l'Université Monash. Il a été initialement publié sur The Conversation .

La prise de décision algorithmique a un énorme potentiel pour faire le bien. De l'identification des domaines prioritaires pour la première réponse après un tremblement de terre, à l'identification de ceux à risque de COVID-19 en quelques minutes, leur application s'est avérée extrêmement bénéfique.

Mais les choses peuvent mal tourner lorsque les décisions sont confiées à des algorithmes sans s’assurer qu’elles respectent les normes éthiques établies. Deux exemples récents illustrent comment les agences gouvernementales ne parviennent pas à automatiser l'équité.

1. L'algorithme ne correspond pas à la réalité

Ce problème se produit lorsqu'une règle unique est implémentée dans un environnement complexe.

L'exemple dévastateur le plus récent est la débâcle de la «robodebt» en Australie . Dans ce cas, les prestations sociales versées sur la base du revenu bimensuel autodéclaré ont été recoupées avec un revenu bimensuel estimé , considéré comme une simple moyenne des revenus annuels déclarés à l'Australian Tax Office, et utilisé pour générer automatiquement des avis de dette sans tout autre examen ou explication humaine.

"Le racisme systémique a été répété, plus insidieusement, dans les processus algorithmiques"

Cette hypothèse est en contradiction avec la façon dont la main - d'œuvre hautement accidentée de l' Australie est réellement rémunérée. Par exemple, une graphiste qui n'a pas pu trouver de travail pendant neuf mois de l'exercice mais a gagné 12 000 dollars australiens au cours des trois mois précédant juin aurait vu une dette automatisée levée contre elle. Ceci malgré qu'aucune fraude ne se soit produite, et ce scénario constituant exactement le type de difficultés que Centrelink est censé résoudre.

Le programme s'est finalement avéré être un désastre pour le gouvernement australien, qui doit maintenant rembourser environ 721 millions de dollars australiens de dettes émises à tort après que la Haute Cour a jugé le programme illégal. Plus de 470 000 dettes ont été indûment contractées par le régime, principalement à l'encontre des personnes à faible revenu, provoquant une détresse importante.

2. Les contributions intègrent le racisme

Les scènes étonnantes de violence policière dans les villes américaines ont souligné à quel point le racisme systémique influence les processus de maintien de l'ordre aux États-Unis , des patrouilles de police aux condamnations. Les Noirs sont plus susceptibles d'être arrêtés et fouillés , plus susceptibles d'être arrêtés pour des infractions de faible niveau, plus susceptibles de voir leur peine de prison incluse dans les accords sur le plaidoyer , et encourent des peines plus longues pour des crimes comparables lorsqu'ils sont jugés.

Ce racisme systémique s'est répété, plus insidieusement, dans les processus algorithmiques. Un exemple est COMPAS, un système controversé d '«aide à la décision» conçu pour aider les commissions de libération conditionnelle des États-Unis à décider quels détenus doivent être libérés plus tôt, en fournissant un score de probabilité de leur probabilité de récidive.

Plutôt que de s'appuyer sur une règle de décision simple, l'algorithme a utilisé une gamme d'entrées, y compris des informations démographiques et d'enquête, pour dériver un score. L'algorithme n'a pas utilisé la race comme variable explicite, mais il a intégré le racisme systémique en utilisant des variables qui ont été façonnées par les biais policiers et judiciaires sur le terrain.

"L'utilisation d'algorithmes pour prendre des décisions n'est pas intrinsèquement mauvaise"

On a posé aux demandeurs une série de questions sur leurs interactions avec le système de justice, comme l'âge de leur premier contact avec la police et si leur famille ou leurs amis avaient déjà été incarcérés. Ces informations ont ensuite été utilisées pour dériver leur score final de «risque».

Comme le dit Cathy O'Neill dans son livre Weapons of Math Destruction : «il est facile d'imaginer comment des détenus issus de milieux privilégiés répondraient d'une manière et ceux des rues difficiles de l'autre».

Qu'est-ce qui ne va pas?

L'utilisation d'algorithmes pour prendre des décisions n'est pas intrinsèquement mauvaise. Mais cela peut mal tourner si les systèmes automatisés utilisés par les gouvernements ne parviennent pas à incorporer les principes que les vrais humains utilisent pour prendre des décisions équitables.

Les personnes qui conçoivent et mettent en œuvre ces solutions doivent se concentrer non seulement sur les statistiques et la conception de logiciels, mais également sur l' éthique . Voici comment:

  • consulter ceux qui sont susceptibles d'être significativement affectés par un nouveau processus avant sa mise en œuvre, pas après
  • vérifier tout biais injuste potentiel lors de la phase de conception du processus
  • s'assurer que la justification des décisions est transparente et que les résultats sont relativement prévisibles
  • rendre un être humain responsable de l'intégrité des décisions et de leurs conséquences.

Il serait idéal que les développeurs d'algorithmes de politique sociale mettent ces principes au cœur de leur travail. Mais en l'absence de responsabilité dans le secteur de la technologie, de nombreuses lois ont été adoptées, ou sont en cours d'adoption, pour régler le problème.

La loi sur la protection des données de l'Union européenne stipule que les décisions algorithmiques qui ont des conséquences importantes pour toute personne doivent impliquer une composante d'examen humain. Cela oblige également les organisations à fournir une explication transparente de la logique utilisée dans les processus algorithmiques.

Le Congrès américain, quant à lui, envisage un projet de loi sur la responsabilité algorithmique qui obligerait les institutions à considérer "les risques que le système de décision automatisé puisse entraîner ou contribuer à des décisions inexactes, injustes, biaisées ou discriminatoires affectant les consommateurs".

La législation est une solution, mais ce n'est pas la meilleure. Nous devons développer et intégrer l'éthique et les normes autour de la prise de décision dans la pratique organisationnelle. Pour cela, nous devons renforcer la maîtrise des données par le public, afin qu'il ait le langage pour exiger des comptes des géants de la technologie auxquels nous sommes tous de plus en plus redevables.

Une approche transparente et ouverte est essentielle si nous voulons tirer le meilleur parti des technologies proposées dans notre monde riche en données, tout en conservant nos droits en tant que citoyens. La conversation - Monika Sarder

Cet article est republié de The Conversation sous une licence Creative Commons. Lisez l' article original .

[Crédit photo: Sean Batty / Pizabay]