Les enjeux sont élevés lorsqu'il s'agit d'utiliser l'apprentissage automatique au sein du gouvernement. Les accusations de faux pas éthiques résultant de la prise de décision automatisée comprennent de fausses accusations de dette et des peines de prison prétendument fondées sur des préjugés racistes.
Mais il existe des lignes directrices pour vous aider à éviter les préjugés, à être transparent et à générer des impacts positifs pour la société.
Tiré de conversations avec des experts et des directives de l' Ethical AI Institute , du gouvernement britannique et de l' Institut Alan Turing , l'intégration de ces trois considérations clés dans votre travail devrait vous aider à éviter que votre projet ne cause des dommages involontaires.
1. Tenez compte des impacts de votre système
Avant même de commencer un projet, vous devez prendre du recul et vous demander si la décision d'automatiser le processus est le bon choix, selon Andrew Harding, Senior Technology and Policy Adviser au Center for Data Ethics and Innovation. «Assurez-vous que le moment de l'automatisation est celui de la réflexion et de la pause», a déclaré Harding.
Lorsque vous automatisez un processus, a-t-il expliqué, il peut devenir plus difficile à inspecter, observer et tester. Cela signifie que l'automatisation n'est pas toujours le meilleur choix - en particulier pour les systèmes que vous ne comprenez pas bien ou les cas où l'environnement politique n'est pas clair.
Le Guide du gouvernement britannique sur l' utilisation de l'IA dans le secteur public suggère que vous «considérez les impacts que [votre projet] peut avoir sur le bien-être des parties prenantes et des communautés affectées». Prendre le temps de le faire avant de mettre en œuvre votre système est un bon moyen de prévoir et d'éviter les effets nocifs.
Un co-auteur du guide et ancien conseiller de l' Office du gouvernement britannique pour l'intelligence artificielle , Sébastien Krier, a déclaré qu'il recommandait d'utiliser le principe de non-préjudice discriminatoire . Cela peut vous aider à vous assurer que votre système n'a pas «d'impacts discriminatoires ou inéquitables» sur la vie des personnes qu'il affecte - ou implique des caractéristiques protégées , y compris l'orientation sexuelle, la religion et les handicaps, là où il ne devrait pas.
Il recommande de travailler en étroite collaboration avec les utilisateurs finaux, la société civile et les experts pour comprendre ces effets.
Vous voudrez peut-être également jeter un œil au cadre des droits de l'homme , a déclaré Harding. Posez-vous la question: votre système affecte-t-il le droit de quiconque à la vie privée? Est-ce qu'il est plus difficile pour les gens de profiter du système démocratique?
Kate Carruthers, Chief Data Officer à l'Université de South Wales et membre du Ethical AI Network, a utilisé l'exemple d'un fournisseur qui proposait une solution d'apprentissage automatique pour les admissions à l'université qui prédirait les caractéristiques des étudiants les plus performants. Elle a expliqué que, lorsque l'université considérait l'impact de ce logiciel, il y avait le risque qu'il encourage les universités à admettre des hommes riches et blancs, plutôt que de stimuler la diversité.
2. Identifier et atténuer les biais
«Gardez toujours à l'esprit que ces technologies, aussi neutres qu'elles puissent paraître, sont conçues et produites par des êtres humains, qui sont liés par les limites de leurs contextes et de leurs préjugés», prévient le Dr David Leslie de l'Institut Alan Turing dans son chapitre sur comprendre l'éthique et la sécurité de l'IA .
Les humains peuvent injecter leurs préjugés dans les systèmes à n'importe quelle étape du processus, de la collecte des données à la mise en œuvre, tandis que les ensembles de données peuvent déjà contenir des préjugés culturels et de la discrimination.
Par exemple, Krier a soutenu qu'en utilisant des ensembles de données sur les arrestations historiques, les systèmes de police prédictive ne prédisent pas le crime mais les décisions de la police d'arrêter. Accusés d'être construits avec des « données sales » qui reflètent déjà des biais systémiques, les systèmes auraient amplifié les pratiques policières corrompues, illégales et contraires à l'éthique au milieu d'un héritage de discrimination.
Le biais n'est ni nécessairement intentionnel ni immédiatement évident
Les biais peuvent également façonner les processus de développement des technologies. Une étude du MIT a montré que les logiciels de reconnaissance faciale obtiennent des taux de précision inférieurs sur les visages féminins plus foncés que les hommes plus clairs. Cela a suggéré que cela est dû au fait que de nombreuses entreprises ne testent pas les performances des systèmes dans différents sous-groupes, et que les ensembles de données de référence ont tendance à surreprésenter les personnes plus légères, en particulier les hommes.
" Les données ne sont pas neutres", a déclaré Carruthers, "dès que vous avez décidé d'utiliser une donnée et non une autre, vous avez déjà un biais qui s'installe."
Le biais n'est ni nécessairement intentionnel ni immédiatement évident. Alors, comment pouvons-nous le détecter et l'atténuer?
Tout d'abord, veillez à ne pas trop vous fier à la technologie. «C'est ce qu'on appelle l'IA parce que les technologies peuvent être intelligentes et prendre des décisions. Mais ils n'ont pas de contexte, de conscience et de sens de l'équité - et finalement ils n'ont pas de jugement », a déclaré Harding. Assurez-vous que les humains vérifient les prédictions et font un dernier appel.
Le réseau Ethical AI recommande d' ajouter des «processus d'examen humain dans la boucle» pour éviter les mauvaises prédictions.
Mais d'abord, assurez-vous que votre équipe a la formation nécessaire. Le principe de non-préjudice discriminatoire conseille de veiller à ce que les systèmes soient déployés par des personnes suffisamment formées pour les mettre en œuvre de manière responsable et sans parti pris. Il y a parfois une tendance à s'appuyer sur la sortie d'un algorithme sans remettre en question correctement les résultats, a expliqué Krier. Il est donc important de s'assurer que les gens sont correctement formés pour travailler avec l'IA.
Et n'oubliez pas de penser à qui est impliqué dans votre projet - un éventail de perspectives est indispensable. Il est vraiment important d'avoir des équipes diversifiées, a déclaré Krier, et dans certains cas d'impliquer des universitaires et des experts en politique, car la connaissance du domaine peut considérablement améliorer la conception des algorithmes.
Vous voudrez peut-être consulter une ONG active dans votre domaine, a suggéré Harding. Par exemple, si votre système affectait les personnes LGBT + au Royaume-Uni, vous pourriez consulter une organisation comme Consortium .
Il existe de nombreuses compétences pour vous aider à atténuer les préjugés. Des cadres , des classeurs et des modèles tels que le gouvernement britannique , AI Now et l' Open Data Institute peuvent vous aider à détecter et à atténuer les biais dans vos données, tandis que les régulateurs tels que la Financial Conduct Authority peuvent être appelés à examiner vos processus.
Krier a recommandé le rapport Toward Trustworthy AI Development de l'Université Cornell. Pendant ce temps, l'organisation de Harding, le CDEI, mène un examen des biais dans la prise de décision algorithmique .
3. Soyez transparent
Afin de développer un système d'apprentissage automatique transparent, vous devez être capable à la fois d'expliquer la justification de ses décisions et de ses comportements et de justifier les processus de conception et de mise en œuvre.
Prenons l'exemple de Krier des systèmes de police prédictifs adoptés par les forces de l'ordre pour prévoir les crimes. Il a expliqué que, dans certains cas, l'opacité de la façon dont les modèles sont développés signifiait que les algorithmes ne pouvaient pas être pleinement compris et examinés par les forces de l'ordre.
L' Institut AI recommande aux décideurs de rendre publique leur utilisation des systèmes automatisés et d'informer les citoyens concernés par les décisions qu'ils prennent, tandis que Nesta conseille que le public soit informé de toutes les données qui régissent la manière dont le système prend une décision ou une recommandation.
Si les décideurs ne parviennent pas à gagner la confiance, ils risquent de nuire gravement aux relations entre le gouvernement et les citoyens
La meilleure façon d'assurer la transparence est de commencer à y penser tôt - pas seulement après avoir développé votre modèle. L'apprentissage automatique repose souvent sur des hypothèses statistiques. Si vous développez votre modèle de manière statistiquement robuste et scientifique et que vous êtes honnête à propos de ces hypothèses, il sera plus facile de l'expliquer par la suite, a déclaré Harding.
Il a également ajouté qu'il est important que les citoyens aient une «agence significative»: engagez-vous avec les personnes affectées par votre système pour vous assurer qu'elles peuvent alimenter le processus que vous concevez.
Mais comment les fonctionnaires peuvent-ils convaincre les citoyens? Pour prouver que leur système mérite la confiance du public, les décideurs devraient garantir autant que possible sa «sûreté, précision, fiabilité, sécurité et robustesse», explique le guide britannique sur l'IA du secteur public. Par exemple, en garantissant la confidentialité des données des citoyens .
Si les décideurs ne parviennent pas à gagner la confiance, ils risquent de nuire gravement aux relations entre le gouvernement et les citoyens. Le gouvernement australien a été accusé d'une « dissimulation » après leur programme Robodebt - un système automatisé pour informer les citoyens des dettes qu'ils doivent le gouvernement - aurait eu un taux d'erreur de 20% .
«Il existe une réelle capacité à fournir de moins bons résultats pour les citoyens à grande échelle grâce à l'utilisation de technologies comme l'apprentissage automatique», a averti Carruthers.
Mais les nouvelles technologies présentent un grand potentiel. En inculquant de bons jugements éthiques à nos machines, a expliqué Harding, nous pouvons leur permettre de prendre des décisions moins biaisées et moins critiques que les gens, que ce soit par manque de temps, par pression ou par repli sur des préjugés culturels. - Anna Goulden
(Crédit photo: Unsplash)
N'oubliez pas de partager vos propres réflexions avec l'auteur en laissant un commentaire ci-dessous
Connectez-vous ou inscrivez-vous pour continuer la conversation