En 2013, Krishnamurthy Ramesh, chef du programme de surveillance des tigres dans la réserve de tigres de Panna, dans le centre de l'Inde, a reçu un e-mail l' avertissant que quelqu'un tentait de pirater son compte de messagerie. Ramesh a supervisé le marquage électronique des tigres du Bengale en voie de disparition dans la réserve et a conservé les coordonnées GPS des animaux marqués sur son courrier électronique professionnel.

Bien que le piratage ait échoué et que les données aient été cryptées, cela a soulevé des questions sur ce qui pourrait arriver si le lieu où se trouvaient les animaux tombait entre de mauvaises mains. Les mêmes données qui permettent au personnel de la réserve de garder une trace de la diminution de la population de tigres de l'Inde auraient permis au pirate de suivre le tigre jusqu'à son emplacement exact. Ces incidents de «cyber-braconnage» sont devenus plus courants au cours des dernières années, alors que les scientifiques construisent des ensembles de données sur les animaux en danger, révélant leurs emplacements précis.

Ceci est un exemple de ce qui se passe lorsque les mégadonnées tournent mal. Il y en a bien d'autres. Plutôt que de rendre l'image plus claire, les données peuvent renvoyer une image déformée de la réalité. Bien que les décideurs politiques partent avec les meilleures intentions, faire de la politique sur le dos de mauvaises données, c'est comme construire sur une ligne de faille. L'IA et l'apprentissage automatique peuvent exacerber les inégalités existantes, tandis que l'ouverture des données à toute personne peut avoir des conséquences inattendues et désastreuses.

Chez Apolitical, nous avons trouvé les histoires d'horreur pour vous aider à tracer un itinéraire à travers les pièges.

Les pièges de l'open data

Les données ouvertes sont censées mettre les bonnes informations entre de bonnes mains. En 2017, le gouvernement indien a ouvert les données de tous ses ministères à l'accès du public et a immédiatement déclenché des innovations. Cela a conduit au développement d'une interface de paiement unifiée appelée Open Street Maps, d'un cadre d'application Web à pile complète appelé Frappe et d'un système d'apprentissage ouvert appelé DigiLocker.

Mais parfois, les conséquences involontaires ne sont pas bonnes. En 2015, deux citoyens espagnols ont été arrêtés dans la réserve naturelle de Knersvlakte en Afrique du Sud. Un garde forestier les a découverts avec une camionnette pleine de plantes en voie de disparition, tandis qu'une autre fouille de leur maison d'hôtes en a révélé des centaines d'autres.

Le couple espagnol avait utilisé les données en ligne de JSTOR Global Plants, iSpot et des médias sociaux pour retrouver les plantes en danger à vendre sur son site Web . Des données géomarquées révélant l'emplacement des plantes les avaient conduites directement à l'endroit où elles étaient cachées, leur permettant de collecter des variétés rares et de les vendre aux collectionneurs. Dans un cas similaire, les braconniers ont parcouru les publications des médias sociaux du parc national Kruger en Afrique du Sud pour des géolocalisations qui ont révélé l'emplacement des animaux de valeur.

Prendre le pouvoir des plus pauvres

Lorsque les gouvernements veulent accroître l'efficacité et la transparence, ils déchiquettent les documents papier et se tournent vers une base de données numérique centralisée. À partir de 2009, l'Inde a commencé à donner à chaque citoyen de plus de 18 ans une identité numérique unique . Le système «Aadhaar» permet à 1,13 milliard d'Indiens d'accéder aux services gouvernementaux, de payer des impôts et d'ouvrir des comptes bancaires. Auparavant, bon nombre de ces citoyens n'avaient aucune pièce d'identité et ne pouvaient pas accéder aux comptes bancaires ou aux avantages sociaux du gouvernement.

Le même processus peut être utilisé pour prendre le pouvoir des plus pauvres. À partir de 2001, l'État indien du Karnataka a commencé à informatiser ses registres de propriété foncière. Le «système Bhoomi» , salué par la Banque mondiale et les politiciens locaux, a obligé les petits propriétaires fonciers à remplacer leur titre foncier existant par un enregistrement normalisé, qui a été téléchargé sur un système central. Les bureaux locaux du village ont été fermés et l’administration est passée au niveau du gouvernement de district, ou «taluk». Grâce à cela, le gouvernement du Karnataka a prétendu accroître l'efficacité et la transparence, tout en permettant des transactions commerciales plus rapides et plus claires.

Le résultat fut le contraire . Loin de réduire la corruption, le système Bhoomi a permis aux agents du gouvernement local de s'impliquer dans des pots-de-vin. Avant, les petits propriétaires fonciers versaient de petits pots-de-vin aux agents au niveau du village pour accélérer l'administration d'un titre foncier. Suite aux réformes, ils ont dû dépenser plusieurs pots-de-vin pour naviguer dans les quatre couches administratives qui ont remplacé l'officier local. Alors que les pots-de-vin locaux pouvaient être négociés, le nouveau système permettait aux agents de systématiser la corruption et de s'entendre entre eux pour fixer un taux de marché. Ces couches ont également ralenti considérablement le processus pour les petits agriculteurs.

Mais la plupart des dégâts ont été causés par l'informatisation des registres fonciers elle-même. En normalisant les registres fonciers et en les téléchargeant sur une plate-forme centrale, le système Bhoomi a donné aux personnes qui contrôlaient les données une vue à vol d'oiseau des terres du Karnataka. Cela a structuré le marché foncier, facilitant la planification de grands projets et permettant aux promoteurs de soumissionner pour eux, mais au détriment des petits propriétaires fonciers. Alors qu'avant que les petits et moyens agriculteurs aient accès à leurs registres fonciers physiques, l'informatisation leur a pris le contrôle et l'a donné au gouvernement local, aux développeurs multinationaux et aux grands agriculteurs. L'informatisation a été utilisée pour armer les terres de leur possession et renforcer la pauvreté existante.

Algorithmes discriminatoires

L'automatisation peut sauver des vies. En entraînant des algorithmes à trouver des modèles dans des masses de données, nous pouvons automatiser des processus complexes et tout prévoir, de la probabilité d'incendies à la maltraitance des enfants, des appels aux hotlines de protection des enfants . Pourtant, ces algorithmes sont construits sur des données historiques, et s'ils contiennent des biais, les algorithmes sur lesquels ils sont basés peuvent les exacerber.

Les tribunaux américains dans des États comme l'Idaho et le Colorado utilisent un algorithme pour mesurer les chances de récidive de chaque criminel condamné avant qu'il ne soit condamné. Les criminels sont priés de remplir le questionnaire LSI-R , qui leur pose des questions allant de la question de savoir s'ils ont déjà été impliqués dans un crime, où ils vivent, ou si quelqu'un de leurs amis ou de leur famille a été impliqué dans la police. Sur la base des corrélations et des données de cas précédents, le modèle génère un score, de haut risque à faible risque, qui évalue la probabilité de récidive du criminel.

Ces systèmes ne sont pas neutres. Bien qu'ils soient conçus pour empêcher la partialité du juge humain, ils ne peuvent pas contourner les biais sociaux dans les données . Aux États-Unis, les Noirs et les minorités ethniques sont plus susceptibles d'avoir été interpellés par la police et d'avoir des membres de leur famille qui ont commis des crimes. Étant donné que le modèle fonctionne à partir d'une implication antérieure auprès de la police plutôt que d'un crime, le simple fait d'être arrêté et fouillé peut avoir un impact sur le score. Si le traitement des minorités n'est pas équitable, le score de sortie est déformé. Ces paramètres servent souvent de proxy pour la race ou la pauvreté - ils ne jugent pas la personne, mais sa situation.

La technologie apporte de nouvelles opportunités - mais souvenez-vous de l'élément humain

L'ouverture des données a conduit à une innovation positive, mais elle peut également conduire à l'exploitation. La numérisation peut permettre aux forts de prendre des faibles. Les algorithmes peuvent faire le travail de services entiers en une fraction du temps, mais ils exacerbent également la discrimination.

Tous ces dangers peuvent être évités, mais cela nécessite de prendre conscience des failles des données. Les données ne sont pas neutres et contiennent des biais. Repérez-les et vos politiques ne les exacerberont pas. Travailler avec des données peut même aider à les révéler en premier lieu.

Les bons décideurs seront conscients de ces lignes de faille. Lorsque les gens se familiarisent avec toute nouvelle technologie, ils découvrent le potentiel d'exploitation parallèlement à l'amélioration. Se souvenir que les êtres humains font toujours partie de l'équation est la première étape et la plus essentielle lorsque l'on travaille avec des données au gouvernement, et le comprendre peut causer les plus gros maux de tête.

(Crédit photo: Flickr / beachmobjellies)

N'oubliez pas de partager vos propres réflexions avec l'auteur en laissant un commentaire ci-dessous