Ce ne sont pas les mégadonnées qui discriminent - ce sont les gens qui les utilisent

S'ils ne sont pas utilisés avec soin, les modèles qui tirent des conclusions fondées sur des données historiques peuvent accentuer les biais et enraciner la discrimination. Pourtant, le Dr Reuben Binns soutient qu'ils fournissent également les moyens aux personnes qui les interprètent de découvrir l'injustice dans nos sociétés. Le Dr Binns est chercheur au Département d'informatique de l' Université d'Oxford et écrit sur les données et leur impact sur la société.

Les données ne peuvent pas être racistes ou sexistes, mais leur utilisation peut contribuer à renforcer la discrimination. Internet signifie que plus de données sont collectées sur nous que jamais auparavant et utilisées pour prendre des décisions automatiques qui peuvent affecter considérablement nos vies, de nos cotes de crédit à nos opportunités d'emploi.

Si ces données reflètent des biais sociaux injustes contre des attributs sensibles, tels que notre race ou notre sexe, les conclusions tirées de ces données peuvent également être basées sur ces biais.

Mais cette ère de «big data» n'a pas besoin de creuser les inégalités de cette manière. Si nous construisons des algorithmes plus intelligents pour analyser nos informations et nous assurer que nous sommes conscients de la façon dont la discrimination et l'injustice peuvent être à l'œuvre, nous pouvons réellement utiliser les mégadonnées pour contrer nos préjugés humains.

Ce type de problème peut survenir lorsque des modèles informatiques sont utilisés pour faire des prédictions dans des domaines tels que l'assurance, les prêts financiers et la police. Si les membres d'un certain groupe racial ont historiquement été plus susceptibles de faire défaut sur leurs prêts, ou ont été plus susceptibles d'être condamnés pour un crime, alors le modèle peut juger ces personnes plus risquées. Cela ne signifie pas nécessairement que ces personnes ont en fait un comportement plus criminel ou sont plus mal à gérer leur argent. Ils peuvent simplement être ciblés de manière disproportionnée par la police et les vendeurs de prêts hypothécaires à risque.

La scientifique des données Cathy O'Neil a écrit sur son expérience de développement de modèles de services aux sans-abri à New York. Les modèles ont été utilisés pour prédire combien de temps les clients sans-abri resteraient dans le système et pour les jumeler avec les services appropriés. Elle soutient que l'inclusion de la race dans l'analyse aurait été contraire à l'éthique.

Si les données montrent que les clients blancs étaient plus susceptibles de trouver un emploi que les noirs, selon l'argument, alors le personnel pourrait concentrer ses ressources limitées sur les clients blancs qui auraient plus de chances d'avoir un résultat positif. Alors que la recherche sociologique a dévoilé les façons dont les disparités raciales dans le sans-abrisme et le chômage sont le résultat d' une discrimination injuste, les algorithmes ne peuvent pas faire la différence entre des modèles justes et injustes. Les ensembles de données doivent donc exclure les caractéristiques qui peuvent être utilisées pour renforcer le biais, comme la race.

Mais cette réponse simple n'est pas nécessairement la réponse. D'une part, les algorithmes d'apprentissage automatique peuvent souvent déduire des attributs sensibles à partir d'une combinaison d'autres faits non sensibles. Les gens d'une race particulière peuvent être plus susceptibles de vivre dans une certaine région, par exemple. Ainsi, l'exclusion de ces attributs peut ne pas être suffisante pour supprimer le biais.

Mais plus important encore, si des attributs sensibles sont inclus dans une analyse, il n'est pas clair que l'algorithme serait à blâmer pour des résultats inégaux. Tout dépend de la façon dont l'algorithme est utilisé et interprété dans la pratique. Dans l'exemple d'O'Neil, l'algorithme prédit simplement que les familles noires sans-abri sont moins susceptibles d'obtenir un emploi. C'est aux fournisseurs de services de déterminer pourquoi cela pourrait être et comment y répondre. Et c'est là qu'interviennent les considérations éthiques.

Si les prestataires de services supposaient que le taux de chômage plus élevé était dû à un manque de talent ou d'efforts, ce serait certainement une erreur. S'ils décident alors de cesser d'offrir des conseils en matière d'emploi aux familles de sans-abri noires sur cette base (comme le suggère O'Neil), ce serait également contraire à l'éthique. Mais aucun de ces résultats ne serait justifié ou dicté par l'algorithme. Ce sont des hypothèses et des choix influencés par les préjugés humains et l'ignorance.

Un fournisseur de services éclairé pourrait, en voyant les résultats de l'analyse, rechercher si et comment le racisme est un obstacle à l'embauche de leurs clients noirs. Munis de ces connaissances, ils pourraient commencer à faire quelque chose. Par exemple, ils pourraient garantir que les pratiques d'embauche des employeurs locaux sont équitables et fournir une aide supplémentaire aux candidats les plus susceptibles de faire l'objet de discrimination. La responsabilité morale incombe à ceux qui sont chargés d'interpréter et d'agir sur le modèle, et non sur le modèle lui-même.

Ainsi, l'argument selon lequel les attributs sensibles devraient être supprimés des ensembles de données que nous utilisons pour former des modèles prédictifs est trop simple. Bien entendu, la collecte de données sensibles doit être soigneusement réglementée car elle peut facilement être utilisée à mauvais escient. Mais une mauvaise utilisation n'est pas inévitable, et dans certains cas, la collecte d'attributs sensibles pourrait s'avérer absolument essentielle pour découvrir, prévoir et corriger la discrimination injuste. Par exemple, dans le cas des services aux sans-abri discutés ci-dessus, la ville devrait collecter des données sur l'origine ethnique afin de découvrir des biais potentiels dans les pratiques d'emploi.

Les informaticiens commencent tout juste à découvrir les façons dont l'apprentissage automatique peut être utilisé à la fois pour détecter et atténuer les effets de la discrimination. Associée à une solide compréhension de la dynamique de la discrimination et à des cadres juridiques et de gouvernance solides, la prochaine génération de scientifiques des données pourrait éviter les injustices passées et présentes. Plutôt que d'enraciner les inégalités, les mégadonnées pourraient simplement nous aider à les surmonter.

Cet article a été initialement publié par The Conversation , et peut être trouvé ici.

(Crédit photo: Flickr / Eric Fischer)