Le recours à des conseillers en robots au sein du gouvernement n'est plus une nouveauté. Pendant des années, les fonctionnaires ont utilisé des outils informatiques - des «systèmes de décision automatisés» - pour conseiller et guider leurs décisions. Ces programmes traitent des masses de données pour évaluer la probabilité que certains événements se produisent ou pour mesurer les performances. Des algorithmes sont utilisés pour juger où le crime est susceptible de se produire , quelles sont les chances de récidive des criminels condamnés , ou pour créer des scores pour mesurer le rendement des enseignants dans les écoles .

Bien qu'à première vue, l'utilisation d'ordinateurs comme conseillers puisse sembler éliminer les préjugés humains des jugements, les critiques craignent que bon nombre de ces systèmes de décision automatisés contiennent des biais intégrés. Une enquête ProPublica de 2016 , par exemple, a révélé que les algorithmes utilisés dans les tribunaux de nombreux États américains sont plus susceptibles d'évaluer les Noirs à un risque plus élevé de récidive.

Maintenant, un groupe d'universitaires et de chercheurs en politique publique à New York a établi un ensemble de lignes directrices pour empêcher l'encodage des biais dans les outils décisionnels algorithmiques avant qu'ils ne soient utilisés. Cela fait suite à la décision de la ville en décembre 2017 de créer une équipe dédiée pour chercher à rendre l'utilisation des algorithmes plus transparente, et s'appuie sur le travail d'AI Now en faisant pression sur la ville pour adopter des règles plus strictes en matière de responsabilité.

• Pour en savoir plus, consultez notre fil d'actualité numérique gouvernemental .

Les nouvelles propositions pourraient aider les fonctionnaires à tirer parti des avantages évidents de la technologie, en réduisant la pression sur le temps et les ressources en les aidant à parcourir automatiquement des masses d'informations pertinentes sans discrimination. Mais si des directives pratiques ne sont pas adoptées, alors l'injustice pourrait ne pas être signalée et la méfiance envers le gouvernement pourrait augmenter.

Briser la boîte noire

Les lignes directrices, élaborées par AI Now Institute , récemment ouvert à l'Université de New York, recommandent que chaque organisme public qui utilise des systèmes de décision automatisés effectue ce qu'ils appellent des « évaluations d'impact algorithmique ».

L'idée est basée sur les évaluations d'impact environnemental requises lorsque les gouvernements se lancent dans des projets conventionnels. Dans le cadre de l'évaluation, les agences devraient étudier l'impact des systèmes qu'elles utilisent, évaluer leur biais et permettre aux auditeurs publics et externes d'examiner leur impact sur différentes communautés.

Les lignes directrices suggèrent que les agences effectuent des examens internes avant d'utiliser des systèmes de décision automatisés expliquant les raisons de leur adoption. Le rapport indique également que les fonctionnaires devraient publier des détails sur les systèmes déjà utilisés. Et lorsqu'un outil est opérationnel, continue le nouveau conseil, le gouvernement devrait autoriser des audits de ses effets par des experts externes: ceux qui sont capables d'interroger les mécaniciens du système, mais aussi les journalistes, les politologues et les sociologues.

"Dans de nombreux cas, les différents facteurs qui influencent le jugement d'un algorithme sont tenus secrets"

"Je pense que notre proposition est l'une des premières à aborder la responsabilité algorithmique en dehors du contexte académique", a déclaré Dillon Reisman, chercheur technique à l'Institut AI Now et l'un des auteurs du rapport. «Aux États-Unis, les gouvernements n'ont pas réussi à résoudre ce problème.»

"On pourrait appeler cela de la justice fondamentale", a ajouté Reisman. "Fondamentalement, les gens devraient être avertis lorsque des décisions importantes sont prises à leur sujet par ces systèmes algorithmiques, et devraient avoir la possibilité de répondre et de contester leur utilisation."

Dans de nombreux cas, les divers facteurs qui influencent le jugement d'un algorithme et la façon dont ils sont pondérés dans l'algorithme ne sont pas clairs ou sont tenus secrets par les entreprises privées qui les fabriquent pour le gouvernement afin de maintenir leur avantage concurrentiel. Cela a valu à ces algorithmes le surnom de «boîtes noires», et il est difficile pour ceux qui sont à la réception des décisions qu'ils prennent de les contester.

Fausser le système

Les algorithmes de récidive utilisés par les systèmes judiciaires de nombreux États aux États-Unis, par exemple, fournissent un score de un à dix prédisant la probabilité qu'un délinquant commette une infraction future. De tels algorithmes fonctionnent en extrapolant à partir de milliers de cas précédents pour rechercher les facteurs qui conduisent généralement un criminel à récidiver, et les utiliser pour prédire les infractions futures.

Les algorithmes n'utilisent pas explicitement la race comme l'un de ces facteurs. Mais en raison des disparités raciales aux États-Unis, des facteurs tels que l'emplacement du domicile, le revenu et le fait que des membres de la famille immédiate ont commis des crimes, qui sont utilisés, peuvent servir de mandataires pour la race.

L'enquête de Propublica a révélé que de tels algorithmes peuvent injustement discriminer les Noirs, bien que les fabricants le contestent. Northpointe, une entreprise qui a utilisé des logiciels de justice pénale en Floride, a déclaré qu'elle ne croyait pas que la méthodologie utilisée par Propublica pour formuler ses allégations "reflète [exactement] les résultats de l'application de ce modèle".

"Souvent, la mesure dans laquelle les systèmes automatisés sont utilisés au gouvernement n'est pas claire"

Un autre problème se pose lorsque ces algorithmes sont utilisés pour prendre des décisions pour les fonctionnaires, plutôt que pour les conseiller. Les algorithmes de récidive utilisés par de nombreux tribunaux américains ne visaient pas à l'origine à orienter la condamnation, mais à déterminer si les accusés peuvent demander une probation ou des soins médicaux. Mais les juges ont reçu une partition d'une machine dont ils connaissaient peu les processus et, selon Propublica, l'ont utilisée pour influencer leurs décisions de condamnation.

«Les fonctionnaires sont à bien des égards les experts de leurs propres processus - une grande partie de notre proposition consiste à s'assurer qu'ils restent conscients de ce que les systèmes qu'ils utilisent fonctionnent réellement», a déclaré Reisman.

Souvent, la mesure dans laquelle les systèmes automatisés sont utilisés au gouvernement n'est pas claire. Le rapport d'Amnesty International souligne la nécessité pour les agences de rendre publique toute leur utilisation des systèmes automatisés et d'informer les membres du public concernés par les décisions qu'ils prennent. Les auteurs invitent également les fonctionnaires à se demander dans quelle mesure ces systèmes ont une influence sur leur pensée.

De nombreux pays se penchent actuellement sur la manière de rendre responsable l'utilisation de l'automatisation et de l'intelligence artificielle dans les services publics. Plus tôt cette année, l'organisme britannique de science et de recherche Nesta a publié un ensemble de recommandations pour l'utilisation de l'IA dans le gouvernement, recommandant que le public soit informé de toutes les contributions qui régissent la manière dont le système prend une décision ou une recommandation. L'automne dernier, le Royaume-Uni a annoncé la création d'un Center for Data Ethics and Innovation pour surveiller l'utilisation des données dans la vie publique.

Le gouvernement commence tout juste à comprendre comment il devrait gérer les effets des technologies modernes. Alors que l'automatisation offre la possibilité d'améliorer les services et d'augmenter l'efficacité lorsque les budgets sont serrés, les algorithmes peuvent avoir des conséquences inattendues et malveillantes lorsqu'ils sont adoptés sans surveillance appropriée. Les évaluations d'impact algorithmiques pourraient être un moyen de les anticiper avant qu'elles ne se produisent.

(Crédit photo: Pixabay)

Anoush Darabi
Anoush.Darabi@Apolitical.com