Cet article d'opinion a été rédigé par Krzysztof Izdebski, directeur des politiques, ePaństwo Foundation, co-auteur du récent rapport sur alGOVrithms. Pour en savoir plus, consultez notre fil d'actualité numérique du gouvernement.

S'il y a aujourd'hui un manque général de confiance envers les gouvernements, avons-nous alors - en tant que citoyens - également raison de nous méfier des outils que nous fournit l'administration publique?

Une réponse à cette question difficile devient très urgente dans le domaine de la prise de décision automatisée et de l' IA .

La prise de décision automatisée est un système qui utilise un raisonnement automatisé pour aider ou remplacer un processus de prise de décision qui serait autrement exécuté par l'homme, et est récemment devenu un sujet brûlant discuté lors de diverses conférences et réunions politiques.

• Tu veux écrire pour nous? Jetez un œil au guide d' Apolitical pour les contributeurs

De plus en plus de gouvernements se montrent impliqués dans ces débats en élaborant leurs stratégies ou - dans de rares cas comme le Canada ou la France - en élaborant des réglementations concrètes.

Pourtant, de nombreux gouvernements semblent considérer le sujet comme le fondement de la mise en œuvre de l'intelligence artificielle dans les procédures administratives ou judiciaires, plutôt que de se concentrer sur l'état actuel des choses.

Algorithmes de maternelle

Dans la ville polonaise de Wrocław, les autorités locales ont mis en place un outil logiciel pour organiser le recrutement du personnel des jardins d'enfants locaux. Selon des parents frustrés, cependant, le processus est loin d'être parfait.

L'un des parents interrogés par la station de nouvelles locale a déclaré que «pour avoir accès à des informations de recrutement à jour, nous devons nous organiser sur les réseaux sociaux, comparer les résultats, collecter les erreurs, informer le bureau de toute lacune, interroger des officiers qui ne sont pas du tout préparés à fournir des informations et qui nous renvoient à d'autres fonctionnaires tout aussi mal informés. Ensuite, nous écrivons aux institutions appropriées sans recevoir de réponse. »

Cet exemple illustre comment un manque de politiques autour de la prise de décision automatisée peut saper la confiance envers les autorités publiques et les services qu'elles fournissent au public. Et le problème n'est pas limité à une ville ou à un pays.

Malgré le débat en cours sur les dangers de l'influence des algorithmes sur les droits de l'homme, nous n'avons identifié aucune politique gouvernementale globale existante concernant la mise en œuvre d'algorithmes dans aucun des pays participant à la recherche.

Il s'agit d'un phénomène courant révélé dans le récent rapport sur «alGOVrithms. L'état d'avancement. Rapport sur l'utilisation des algorithmes dans les relations entre le gouvernement et les citoyens , que j'ai co-écrit, et qui a été publié par la fondation ePaństwo basée en Pologne, en collaboration avec des partenaires de Géorgie, de Hongrie, de Serbie, de Tchéquie et de Slovaquie. La recherche sur l'environnement décisionnel automatisé actuel dans les pays d'Europe centrale et orientale montre que les citoyens ont déjà pas mal de raisons de ne pas faire confiance aux autorités.

Dans le rapport, nous trouvons des preuves d'une prise de décision automatisée mise en œuvre dans un grand nombre de sphères publiques, y compris le contrôle de la vitesse, l'affectation des juges et d'autres agents publics, le choix des lots pour effectuer les contrôles et les inspections, la distribution des avantages sociaux, la détection des fraudes ou même la présélection des entrepreneurs dans marchés publics.

Malgré le débat en cours sur les dangers de l'influence des algorithmes sur les droits de l'homme, nous n'avons identifié aucune politique gouvernementale globale existante concernant la mise en œuvre d'algorithmes dans aucun des pays participant à la recherche.

Il n'y a pas d'exemples détectés de cadres éthiques ou juridiques décrivant de manière complète la responsabilité personnelle de l'application des outils, la sécurité de leur mise en œuvre ou les droits et obligations des États et des citoyens à cet égard.

La connaissance de leur fonctionnement reste classée. Cela n'est pas seulement problématique pour les citoyens et ceux qui recherchent désespérément des informations sur les problèmes concernant le processus de recrutement des jardins d'enfants, mais aussi pour les fonctionnaires qui ne savent pas comment fonctionnent réellement les outils qu'ils utilisent pour effectuer des tâches publiques.

Reprendre le contrôle public

Les algorithmes utilisés dans les logiciels créés pour la prise de décision automatisée ne sont pas soumis à la transparence et l'accès public aux algorithmes ou au code source qui les inclut n'est pas possible.

Par exemple, ce ne sont pas seulement les citoyens mais aussi les juges, qui sont privés d'accès aux informations liées au système d'attribution aléatoire des juges, qui est utilisé en Pologne, en Géorgie et en Serbie.

Fréquemment, seules les entreprises créant des outils pour les institutions publiques ont une connaissance complète des fonctions des algorithmes et ne subissent aucun processus d'audit externe déterminant l'équité et la précision des outils.

De plus, aucun des pays étudiés n'a créé d'organe de coordination chargé de surveiller la mise en œuvre automatisée des décisions, y compris la création d'outils et leurs performances.

Le rapport est suivi de recommandations politiques qui devraient être immédiatement mises en œuvre par les gouvernements de la région et au-delà.

Alors que de plus en plus d'outils dans le secteur public utilisent l'IA, les problèmes décrits dans le rapport ne feront qu'empirer. Par conséquent, nous recommandons aux gouvernements:

  • Introduire de nouvelles politiques réglementant la prise de décision automatisée, décrivant la transparence du processus de mise en œuvre et le fonctionnement des outils;
  • Utiliser les évaluations d'impact algorithmique (AIA) sur les systèmes utilisés dans le domaine législatif comme les évaluations d'impact réglementaire, où une institution responsable de la mise en œuvre des outils est tenue de démontrer la nécessité de leur utilisation, leur impact sur les droits des citoyens , définition des risques et méthodes d'évaluation;
  • Créer les mécanismes de contrôle indépendant des algorithmes;
  • Instituer des garanties juridiques pour lutter contre la discrimination et fournir des moyens efficaces de protection juridique.

Enfin, l'approche multidisciplinaire dans le processus de création d'algorithmes est un must.

Les organisations de défense des droits de l'homme jouent un rôle important en fournissant une expertise sur l'inclusion sociale et l'égalité, la prévention de la discrimination et la transparence des gouvernements.

Il existe également une communauté de technologie civique croissante qui peut aider les gouvernements à créer des outils qui visent véritablement à soutenir les citoyens et l'intérêt public plutôt que de réconforter les autorités et «l'efficacité» mal comprise des institutions publiques. - Krzysztof Izdebski

(Crédit photo: Unsplash)