Black Lives Matter montre que les gouvernements doivent repenser leur approche de l'IA et de l'éthique des données

Les manifestants descendent dans les rues des villes du monde entier pour se plaindre de la perte prématurée de vies noires aux États-Unis, mais leurs cris d'angoisse vont plus loin que cela.

Un racisme et des préjugés plus systémiques sont mis au jour, et la collecte et le traitement des données constituent l'une des principales cibles de la colère des militants et des manifestants. L'IA est devenue un élément clé du fonctionnement des gouvernements à travers le monde, générant des gains d'efficacité à un moment où les budgets sont réduits. Mais plus il est largement utilisé, plus ses angles morts sont découverts.

"C'est censé être objectif, mais ces choses ont causé de la discrimination en ne tenant pas compte des besoins, des goûts et des expériences des femmes et des minorités", a déclaré Deniz Erden, chercheuse au HIIG Berlin, qui étudie la discrimination algorithmique. C'est parce que le code est conçu pour reproduire presque parfaitement notre société - et cela inclut tous ses biais et ses moches.

«La main-d'œuvre est constituée principalement d'hommes blancs valides», a-t-elle ajouté. Tous les systèmes basés sur les données sont donc mis en place pour perpétuer cela au mieux de ses capacités.

Les femmes à la peau foncée sont mal identifiées par les systèmes de reconnaissance faciale une fois sur trois

Cela est dû au fait que les ensembles de données sur lesquels ces systèmes sont construits ne sont pas représentatifs de toute la gamme de la société. "Alors que les femmes et les minorités ethniques et d'autres parties de la société, comme les personnes handicapées et les personnes âgées, sont exclues des ensembles de données", a déclaré Erden. Par conséquent, les systèmes ne tiennent pas compte de leurs besoins et peuvent provoquer des ratés ou des rapports inexacts à leur sujet.

L'un des principaux éclairs pour les manifestations Black Lives Matter qui se déroulent dans le monde est la surveillance perpétuelle des Noirs et des minorités ethniques par un logiciel de reconnaissance faciale qui les identifie à tort. Selon une étude du Massachusetts Institute of Technology, les femmes à la peau foncée sont mal identifiées par les systèmes de reconnaissance faciale une fois sur trois . Cela peut avoir une incidence sur leur capacité à accéder aux services gouvernementaux et peut les identifier à tort lors de crimes.

«Les Noirs sont deux fois plus susceptibles de mourir en garde à vue, et ils utilisent un logiciel qui est probablement incorrect pour emmener ces personnes protestant contre la garde à vue», a déclaré Charlene Prempeh de A Vibe Called Tech, un groupe de pression axé sur l'amélioration représentation dans la technologie. Pour cette raison, IBM et Amazon ont tous deux annoncé qu'ils cesseraient de fournir des systèmes de reconnaissance faciale aux forces de l'ordre jusqu'à ce qu'ils puissent résoudre les problèmes.

Mais la réponse au problème n'est pas d'inclure des visages plus divers dans les ensembles de données - ce qui perpétue plus de surveillance sur une population déjà bien habituée et augmente les problèmes pour lesquels de nombreuses personnes descendent dans la rue.

Une réforme des racines et des branches est nécessaire, y compris des codes plus clairs sur l'éthique de l'utilisation des données. Les gouvernements se sont empressés d'adopter des solutions technologiques au détriment de la diligence requise. «S'il n'y a pas de cadre de gouvernance solide, il n'y a pas de limite sur la façon dont [les données saisies] pourraient être utilisées», a déclaré Lofred Madzou, responsable de l'intelligence artificielle au Forum économique mondial. Il pense que les manifestants "doivent plaider activement pour une réglementation renforcée des technologies de surveillance".

La réponse n'est pas de se précipiter dans les anciennes méthodes de travail, mais plutôt de réfléchir plus profondément aux impacts

Les villes doivent utiliser la crise des coronavirus comme une occasion de réfléchir sur leurs pratiques d'utilisation des données. Un certain nombre de villes américaines, notamment Seattle, San Francisco et Oakland, ont mis en place des politiques strictes sur la manière et le moment où elles peuvent utiliser les données - et ont pris des mesures pour mettre fin aux biais implicites qu'elles contiennent. Un récent projet de loi sur la réforme de la police interdirait l'utilisation de la reconnaissance faciale sur les caméras corporelles portées par la police américaine.

En plus de suivre l'exemple de Seattle, San Francisco et Oakland, ils pourraient s'inspirer de l'Union européenne, dont les règles relatives à l'utilisation de l'intelligence artificielle favorisent un «cadre éthique et juridique approprié» autour de l'utilisation des données et de l'IA.

L'un de ses principes fondamentaux est que «les systèmes d'IA doivent intégrer des mécanismes de sûreté et de sécurité dès la conception pour garantir qu'ils sont vérifiables en toute sécurité à chaque étape, en prenant à cœur la sécurité physique et mentale de toutes les parties concernées».

En sortant du coronavirus et en réinitialisant les économies locales et les structures de gouvernance, la réponse n'est pas de se précipiter dans les anciennes méthodes de travail, mais plutôt de réfléchir plus profondément aux impacts - intentionnels et non intentionnels - que les grands changements technologiques peuvent avoir . - Chris Stokel-Walker

(Crédit photo: Tony Zhen / Unsplash)