_Cet article est rédigé par Melodena Stephens, professeur d'innovation et de gouvernance technologique à la Mohammed Bin Rashid School of Government. _

  • Le problème : les gouvernements ont toujours été les principaux investisseurs et les grands adeptes de l’IA, mais leur surveillance n’a pas suivi l’imagination du public et les progrès technologiques.
  • Pourquoi est-ce important : L'IA est un outil et la manière dont elle est conçue, utilisée, déployée et retirée est importante, en particulier lorsque la population en général et de nombreux décideurs ne disposent pas des connaissances nécessaires pour en comprendre les conséquences.
  • La solution : En comprenant le contexte de la prise de décision, les décideurs politiques peuvent faire mieux.

L’IA est un outil qui peut apporter d’énormes avantages ou préjudices selon la manière dont elle est conçue, gérée, utilisée ou retirée. Le gouvernement n’est pas seulement un grand utilisateur de l’IA , mais aussi un facilitateur et un régulateur, ce qui rend son rôle en matière de gouvernance très complexe. Les gouvernements ont un contrat social pour fournir de la valeur publique. Et cela les place à un niveau de responsabilité plus élevé que les autres organisations. Offrir de la valeur publique n’est pas une option ; c'est une nécessité. De plus, comme le gouvernement est un gestionnaire des ressources de l’État et un gardien des talents et des ressources planétaires, il est responsable envers les générations actuelles et successives.

Les gouvernements investissent dans l’IA depuis des décennies, depuis la Première Guerre mondiale. Une grande partie de la recherche fondamentale et appliquée sur l’IA reste financée par le gouvernement (par exemple, aux États-Unis ). Ainsi, les « nouvelles technologies » que nous voyons, comme l’IA générative, ont en réalité mis des décennies à se développer, mais seulement quelques jours pour captiver l’imagination du public. Sans surveillance, ces technologies sont bien en avance sur la courbe réglementaire. Avec l’augmentation des partenariats public-privé, la surveillance devient plus floue. L’autonomie gouvernementale dans le secteur privé est confrontée à 1) la rentabilité et aux pressions des actionnaires et 2) à la demande du marché et au fait d’être le premier (car souvent l’IA ne peut être rentable qu’à grande échelle). Pour les gouvernements, alors que la course à l’IA semble s’intensifier comme une guerre froide par procuration, les investissements dans l’IA sont utilisés pour justifier : 1) la nation d’abord, 2) la sécurité et 3) une meilleure gestion des ressources.

Que manque-t-il? Nous avons besoin de davantage de décideurs politiques qui comprennent l’IA dans le contexte de la prise de décision .

1. Objectif centré sur l’humain

N'oubliez pas l'objectif de votre gouvernement et de votre ministère. L’IA doit être inclusive et bénéficier à tous les humains (idéalement de manière égale). Étant donné que l’on sait si peu de choses sur la boîte noire de l’IA, il est tentant pour les décideurs politiques de saisir les _avantages de l’IA_ et de ne pas faire suffisamment preuve de diligence raisonnable sur la manière dont l’IA arrive à ses conclusions et sur les dommages potentiels. Il est essentiel de connaître le taux d'erreur et de former constamment le système lorsqu'il est déployé à grande échelle ou lorsque les données ou la technologie sous-jacente changent. Il faut qu'il y ait une personne responsable. Dans le secteur public, nous mesurons souvent des variables qualitatives humaines comme la qualité de vie et leur donnons des mesures objectives qui peuvent ne pas capturer correctement les informations. Prenons l’exemple du score USA NarxCare (algorithme IA) attribué par une société privée (Appriss, nom récemment changé, article post Wired), financé en partie par le ministère américain de la Justice, qui utilise la base de données de l’État via son suivi des médicaments sur ordonnance. programmes (PDMP). Lorsque les hôpitaux ont adopté le système, les patients se sont vu automatiquement attribuer un score de risque de surdose, indiquant un abus de prescription d'opioïdes. Cela a influencé la gestion et le traitement de la douleur. Les médecins sont devenus réticents à prescrire des médicaments aux patients ayant des scores élevés, car la prescription de médicaments à un utilisateur connu d’opioïdes affectait le médecin. Seule l’entreprise sait comment est calculé l’algorithme (c’est une boîte noire). Même si l’intention du système d’IA était bonne, les médecins et les patients n’avaient pas de pouvoir d’action et le système pouvait également causer de graves dommages. Un tel système ne nécessite actuellement aucune surveillance réglementaire.

💬 Faites savoir à l'auteur ce que vous pensez du rôle des gouvernements dans la gouvernance et la responsabilité de l'IA en laissant un commentaire ci-dessous

Il est difficile de demander des comptes à l’IA générative, car elle peut effectuer des milliards de calculs par seconde. Comment voudriez-vous vérifier et vérifier cela en tant qu’humain ? Il faut jusqu'à 215 jours pour trouver une vulnérabilité logicielle. Pour nourrir le monstre de l’IA générative, vous avez besoin de données :où les obtiendrez-vous et approuverez-vous leur qualité ? Où est la source d’énergie de ces machines IA gourmandes en énergie ?

L’IA est un outil qui devrait idéalement augmenter la prise de décision humaine, pas toujours la remplacer.

Ce manque de diligence a conduit à l'adoption de systèmes qui ont licencié des personnes à tort ( Houston Independent School District pour les performances des enseignants ; MiDAS de l'État du Michigan) et accusé des personnes de fraude ou de crimes ( scandale de la poste britannique avec le système Fujitsu Horizon ; tests ADN et algorithme correspondant à des crimes ), leur a refusé des prestations ( systèmes de protection de l'enfance ; visas ), a violé les droits légaux ( droit d'auteur et IA générative , open source ) ou a donné des conseils incorrects ( chatbots de santé mentale ). Pour être centrés sur l’humain, nous devrions nous poser des questions telles que : « Le service sera-t-il toujours inclusif ? « Si une IA remplace l'emploi d'une personne, combien de temps faut-il à cette personne pour trouver un autre emploi, et va-t-elle gagner en revenus ou devra-t-elle choisir un emploi moins bien rémunéré ? « S'il y a un problème, quelle est la personne à contacter qui a le pouvoir de résoudre l'écart ? » « Quels sont les compromis ? »

2. Transparence dans la prise de décision homme-IA

L'IA est un **outil ** qui devrait idéalement augmenter la prise de décision humaine, pas toujours la remplacer. Savoir quand remplacer une compétence humaine n’est pas chose aisée. La transparence consiste à faire savoir aux utilisateurs et aux employés quand l’IA sera utilisée, comment elle sera utilisée et qui est responsable des échecs. La prise de décision nécessite des données, et même s'il existe de nombreuses réglementations sur les données , la confidentialité des données reste un défi car il est difficile d'identifier le moment où une violation s'est produite, de la contenir, de poursuivre en justice et d'obtenir justice. Il est problématique que les réglementations soient incohérentes d’une juridiction à l’autre, que les accords commerciaux de données se multiplient et que le courtage de données reste une activité lucrative.

Les lois ont également du mal à déterminer qui pénaliser en cas de défaillance de l’IA. Un humain est souvent traité plus sévèrement, par exemple en cas de perte de vie, qu’une technologie ou ses propriétaires, ce qui soulève la question de l’équité. Par conséquent, les lois devront peut-être en tenir compte. Davantage de programmes de formation sont nécessaires sur l’association homme-IA et sur le rôle de l’IA ou des humains.

Par souci de transparence, nous devons savoir quand il y a une défaillance et également comment le problème peut être remonté jusqu'à la chaîne de commandement. Les gouvernements sont des organisations complexes, souvent cloisonnées et dotées de peu d’expertise interne (grâce à l’externalisation). Cet échec dans la chaîne de commandement dans une prise de décision complexe est visible dans des cas tels que les approbations du Boeing MCAS , la collecte de données et le profilage des citoyens ( Chine ), ou le problème Cambridge Analytica-Facebook de 2016) ou le problème du contrôle des opioïdes NarxCare .

3. Création, achat et planification de la gouvernance de l'IA .

Les marchés publics représentent 12 % du PIB dans les pays de l'OCDE et, selon la Banque mondiale, ils peuvent atteindre 20 % . Voici quelques règles clés à garder à l’esprit pour concevoir de meilleures politiques en matière de marchés publics pour la conception et le déploiement ou la sous-traitance de systèmes d’IA :

  • Soyez conscient de ce qui se passe : consultez la base de données des incidents de l'IA . Nous pouvons créer et déployer de meilleurs systèmes d’IA si nous savons quelles erreurs éviter. RAND recommande de faire preuve de prévoyance pour réfléchir à ce qui pourrait mal se passer. Hackez-vous, comme le AI Cyber ​​Challenge – c'est un bon moyen de tester vos systèmes (bien sûr, l'hypothèse est que vous disposez de capacités en interne),
  • Invitez diverses parties prenantes à la table pour comprendre les implications de l’adoption de l’IA.
  • L'IEEE recommande d'auditer l'IA. Regardez particulièrement les API et tous les fournisseurs. Gartner Inc. a déclaré ,_ « De nombreuses violations d'API ont une chose en commun : l'organisation victime de la violation n'a pas eu connaissance de son API non sécurisée jusqu'à ce qu'il soit trop tard. La première étape de la sécurité des API consiste à découvrir les API que l'organisation fournit ou consomme auprès de tiers_.
  • Planifiez l'obsolescence : les mises à niveau technologiques (logicielles et matérielles) peuvent coûter entre 10 et 40 % des budgets informatiques et sont en augmentation. La gestion de l’obsolescence des données et la formation coûteront plus cher.
  • Planifier et former à l’obsolescence des compétences. Avec une dépendance accrue à l’égard de la haute technologie, le défi réside dans le fait que les compétences conventionnelles que nous avons acquises ne seront peut-être pas nécessaires jusqu’à ce qu’il y ait une défaillance critique de l’IA, et nous n’aurons alors peut-être pas la capacité.
  • Évitez le dilemme du trop gros pour faire faillite. Il est tentant d’ignorer l’éléphant dans la pièce et de continuer à investir beaucoup d’argent dans un système défectueux.
  • Désamorcer la course à l’IA dans la guerre froide, qui dispose de plus d’arsenal avec moins de surveillance que la guerre froide nucléaire avec plus de 70 000 armes.

Contrairement à la perception du public, le gouvernement peut et doit travailler avec ses parties prenantes pour mieux gérer la gouvernance, les connaissances et les objectifs de l’IA. Le rattrapage se traduit par des coûts réglementaires plus élevés pour les entreprises et un lobbying accru (ce qui favorise de manière disproportionnée les grandes technologies).

Vous avez fini de lire ? Assurez-vous de partager vos propres réflexions sur l'importance de la transparence et d'une prise de décision en matière d'IA centrée sur l'humain en laissant un commentaire ci-dessous ⬇️

(Crédit image : Unsplash )

N'oubliez pas de partager vos propres réflexions avec l'auteur en laissant un commentaire ci-dessous