Cet article est rédigé par Paul Waller, chercheur invité, Université de Bradford et directeur de recherche, Thorney Isle Research.

Le problème : la recherche a montré que l'utilisation de méthodes algorithmiques pour prédire les circonstances ou le comportement des personnes pose de nombreux problèmes et peut entraîner de mauvais résultats.

Pourquoi c'est important : ces méthodes, parfois qualifiées d'intelligence artificielle , d'algorithmes d'apprentissage automatique, de prise de décision automatisée, d'analyse prédictive, d'analyse de données ou similaires, ont été promues et parfois testées par des agences gouvernementales. Ils ont été utilisés dans les domaines des services sociaux, de la justice pénale, de la police, de la fraude aux prestations et autres.

La solution : Les organismes du secteur public doivent suivre les règles qui existent et faire très attention. Cet article est fictif, mais l'histoire est composée de découvertes rapportées par des chercheurs pour servir d'avertissement sur ce qui pourrait arriver. Voir aussi une longue vidéo de l'histoire.

Il est probable que la pression institutionnelle et l'aversion au risque personnel par les travailleurs de première ligne conduiraient, au fil du temps, à ce que la prédiction du système soit appliquée sans autre considération.

Arrière plan

Entre 2017 et 2019, plusieurs autorités locales en Angleterre ont piloté l'utilisation de l'analyse prédictive dans les soins sociaux, pour les adultes et les enfants . De nombreux pilotes ont été arrêtés avant d'être mis en service. Les universitaires en ont étudié certains et ont trouvé de nombreux problèmes et un manque d'informations détaillées sur les résultats; d'autres ont signalé de nombreux risques .

L'une des questions soulevées était de savoir comment les travailleurs sociaux traiteraient les résultats d'un système prédictif en conflit avec leur jugement professionnel. Il est probable que la pression institutionnelle et l'aversion au risque personnel par les travailleurs de première ligne conduiraient, au fil du temps, à ce que la prédiction du système soit appliquée sans autre considération.

Ce problème conduirait presque inévitablement à la fois à des interventions inutiles qui perturbent la vie des familles et gaspillent des ressources, et à l'absence d'interventions dans les cas critiques où des dommages se produisent plus tard. Cette dernière situation pourrait être considérée comme de la négligence : si le risque était connu et que quelqu'un en décédait, cela pourrait être considéré comme un homicide involontaire coupable par négligence grave .

L'histoire qui suit est fictive. Rien n'indique qu'un tel événement se soit produit ou que des responsables des autorités locales se soient comportés de cette manière. Cependant, si ces systèmes d'analyse prédictive avaient été largement adoptés, il est tout à fait possible qu'un tel scénario se soit produit. Cette histoire est donc écrite pour souligner les dangers de tels systèmes dans les soins sociaux, et par extension dans toute prise de décision dans les services publics.

En procès : les décideurs, pas l'algorithme

Le directeur des services à l'enfance et le directeur de la technologie (CTO) d'une autorité locale sont jugés pour homicide involontaire par négligence grave à la suite du décès en 2018 de l'enfant D à la suite de maltraitance d'enfants dans une famille sur le radar de l'équipe de protection sociale de l'autorité . L'affaire judiciaire a été ouverte par le parquet mais ensuite suspendue en raison de la pandémie de Covid-19. En 2017, l'autorité avait acheté et mis en service un système utilisant l'analyse prédictive pour identifier les familles où il y avait un risque de problèmes graves mettant les enfants en danger. Le système n'avait pas signalé la famille de l'Enfant D à l'équipe d'assistance sociale.

Pour sa défense, la directrice des services à l'enfance a déclaré qu'une fois en place, il est devenu évident que, politiquement et personnellement, ce serait désastreux si une prédiction d'un tel système était ignorée et que quelque chose de mal se produisait. Elle a donc donné des instructions à l'équipe de la protection sociale pour qu'elle se concentre sur les cas signalés par elle avant tous les autres. Cela signifiait que tous leurs efforts étaient consacrés à eux seuls. Elle croyait qu'il était probable que, sans le système, son équipe serait intervenue auprès de la famille de l'Enfant D et ainsi le décès aurait probablement été évité.

Le CTO est maintenant appelé à la barre.

Le parquet interroge le CTO

Procureur : Pourquoi ce système d'analyse prédictive a-t-il été introduit ? Qu'est-ce qui a motivé son adoption ?

Défendeur: Nous l'avons introduit en raison de la recommandation et du financement du programme Troubled Families du gouvernement, des messages répandus sur la capacité de ces systèmes, de la nécessité de faire des économies, des pressions pour faire mieux avec moins de soins sociaux familiaux, et il a coché la case de la transformation numérique .

PC : Comment avez-vous choisi le système ?

D : Nous avons vu ce que les autres autorités utilisaient. Nous avons examiné les documents publiés dans les administrations locales et ailleurs, ainsi que les études de cas des consultants et des fournisseurs. Ensuite, nous avons mené un processus d'approvisionnement – léger car il s'agissait d'un projet pilote.

PC : On sait que de tels systèmes sont très dépendants de la qualité des données sur lesquelles ils sont entraînés et qui leur sont fournies en entrée. Avez-vous recherché des conseils professionnels auprès d'experts en analyse de données sur les données et les risques de biais potentiels qu'elles contiennent ?

D : Ce n'est pas mon domaine d'expertise et nous n'employons personne ayant les qualifications pour l'analyser. Les consultants nous ont assuré que le système avait été largement utilisé et formé sur des données similaires aux nôtres.

PC : Quelles évaluations d'impact ont été réalisées ?

D : Uniquement sur la protection des données. Nous l'avons soumis à notre équipe RGPD (Règlement général sur la protection des données) et à ses avocats. Sur leur conseil, une déclaration de confidentialité a été publiée sur le site Web pour expliquer la base du RGPD pour le traitement des données.

PC : Quelle concertation a eu lieu avec les familles qui seraient couvertes par le dispositif ?

D : Aucun. Nous avons été informés que s'ils savaient qu'ils pourraient commencer à jouer avec le système ou essayer de se retirer, ce qui irait à l'encontre de l'intérêt.

PC : Seriez-vous donc d'accord pour dire que les personnes soumises à cet algorithme de prédiction n'avaient aucune connaissance, aucune compréhension et n'ont donné aucun consentement à son utilisation ?

D : Oui, je dois accepter cela.

PC : Si c'était un pilote, comment sauriez-vous si le système fonctionnait bien ? Une évaluation a-t-elle été mise en place pour repérer les impacts positifs ou négatifs ?

D : Non, nous n'avions pas de base de référence pour effectuer une comparaison. Nous obtiendrions des commentaires de l'équipe des services sociaux sur les effets sur elle et sur la communauté.

PC : Quel raisonnement l'équipe Social Care disposait-elle du système sur la façon dont elle était parvenue à ses conclusions ? Son fonctionnement était-il transparent ?

D : La sortie a donné un profil de chaque famille et une brève raison pour laquelle le cas a été signalé, mais pas de détails sur le processus analytique. Les vendeurs ont insisté sur le fait que leur méthodologie était commercialement confidentielle. Je ne suis pas sûr que nous l'aurions compris de toute façon.

PC : Nous avons entendu dire que la performance de l'équipe était jugée sur le nombre de cas « à haut risque » signalés par le système chaque mois et suivis. Saviez-vous combien d'entre eux semblaient, lors de l'enquête de l'équipe des services sociaux, ne pas être un problème, mais comme ils avaient été signalés par le système, ils devaient continuer à y consacrer des ressources ?

D : Je ne connais pas les chiffres, mais je les ai entendus se plaindre de perdre du temps à visiter des familles qui semblaient bien.

PC : Nous avons entendu dire que l'équipe était instinctivement préoccupée par la famille de l'enfant D, mais le système ne l'a jamais identifiée comme un risque élevé. Leur avez-vous donné un système sans comprendre le risque qu'il fasse une mauvaise prédiction d'une manière ou d'une autre ?

D : Je suppose que oui, mais ces choses sont prônées par beaucoup de gens qui, je suppose, en savent plus que moi.

PC : Êtes-vous d'accord pour dire que le manque d'explications du système sur la manière dont il est parvenu à ses conclusions a rendu beaucoup plus difficile pour l'équipe de l'assistance sociale d'appliquer son jugement professionnel avec confiance, plutôt que d'avoir à accepter les résultats à l'aveugle ?

D : Je suppose que oui.

PC : Pour résumer, je soumets au tribunal que l'imposition d'un système d'analyse prédictive de cette nature, sans aucune compréhension de son efficacité, de son fonctionnement ou de ses impacts, alliée à des changements de procédure basés sur l'hypothèse erronée d'une précision de 100 %, a empêché l'équipe Social Care d'exercer son jugement professionnel et d'intervenir auprès de la famille de l'Enfant D, entraînant ainsi tragiquement la mort de l'Enfant D. autorité envisageant l'utilisation de l'analyse prédictive. Cependant, nous avons vu comment une chaîne d'événements, activement menée et fortement prônée par le directeur de la technologie, a affiché un niveau de négligence catastrophique qui était bien en deçà de toute interprétation des termes « professionnel » ou « éthique ». Je soutiens que ce niveau de négligence, qui a contribué avec une probabilité significative à la mort de l'enfant D, est suffisant pour être grossier et donc criminel et une condamnation pour homicide involontaire coupable par négligence grave est pleinement justifiée.

PC : Votre Honneur, tout cela vient de l'accusation.

Juge : L'audience est ajournée.

Quel est votre verdict : coupable ou non coupable ?

👋 Vous pouvez créer une publication comme celle-ci ! Partagez vos réflexions avec une communauté de fonctionnaires. Apprendre encore plus

(Crédit image : Unsplash)