Cette pièce a été écrite par Thea Snow, responsable de programme senior au sein de l'équipe Nesta Government Innovation. Pour en savoir plus, consultez notre fil d'actualité numérique du gouvernement .
Molly est travailleuse sociale à Londres et travaille dans le domaine de la protection sociale des enfants. Elle travaille dans le cadre de «l'équipe de la porte d'entrée», répondant aux appels des citoyens préoccupés par le bien-être des enfants. Molly agit comme premier point de contact; c'est son rôle de déterminer si l'appel justifie une enquête plus approfondie. Ce n'est pas une tache facile.
Molly travaille sous une pression temporelle intense. Elle travaille également avec des informations incomplètes et est contrainte par les limites de la puissance de traitement de son cerveau; elle prend des décisions dans ce que les psychologues comportementaux appellent des «conditions d'incertitude».
• Tu veux écrire pour nous? Jetez un œil au guide d' Apolitical pour les contributeurs
Comment les humains prennent des décisions
Dans les années 40, Herbert Simon a inventé le terme de «rationalité limitée» pour expliquer comment les humains, comme Molly, prennent des décisions. Il explique:
« Il est impossible pour le comportement d'un seul individu isolé d'atteindre un degré élevé de rationalité. Le nombre d'alternatives qu'il doit explorer est si grand, les informations dont il aurait besoin pour les évaluer si vastes que même une approximation de la rationalité objective est difficile à concevoir. »
Et donc, les gens «satisfont». Quelqu'un comme Molly examine les informations disponibles, traite ce qu'elle peut humainement, puis s'appuie sur son intuition pour trouver une solution satisfaisante - mais pas nécessairement optimale.
Simon fait partie du mouvement Naturalistic Decision Making (NDM). Cette école de pensée croit que, lorsque les humains satisfont, ils appliquent généralement l' intuition experte ; une caractéristique acceptable - et productive - de la prise de décision humaine.
Contrairement à cela, l' approche heuristique et biais (HB). Selon cette école de pensée, les humains ont tendance à s'appuyer sur des croyances et des préjugés irrationnels pour satisfaire.
Bien que ces écoles de pensée semblent en tension les unes avec les autres, elles s'accordent sur quelques idées fondamentales:
- NDM reconnaît que des biais irrationnels existent et doivent être évités.
- HB reconnaît que l'intuition d'experts existe et doit être adoptée.
Kahneman et Klein (2009) décrivent la différence entre les écoles comme suit:
« Les membres de la communauté HB… ont tendance à se concentrer sur les défauts de performance cognitive humaine. Les membres de la communauté NDM savent que les professionnels se trompent souvent, mais ils ont tendance à souligner les merveilles d'une performance d'expert réussie . »
Outils de décision algorithmique
Ces dernières années, des outils de décision algorithmiques ont été introduits pour soutenir la prise de décision des travailleurs du secteur public, comme Molly, qui prennent des décisions dans des conditions d'incertitude.
Ils ont été introduits parce que de nombreuses études ont démontré que les modèles actuariels sont plus précis que le jugement clinique pour prédire le risque.
Cependant, de nombreux outils de décision algorithmiques sont conçus dans le but d'être utilisés conjointement avec le jugement expert de professionnels. Par exemple, les développeurs de l' outil de dépistage de la famille Allegheny écrivent:
« Bien que les experts en évaluation des risques des [Services de protection de l'enfance] conviennent désormais généralement que les outils actuariels sont plus efficaces pour prédire le risque de maltraitance des enfants que le jugement clinique seul, ces outils ne peuvent pas et ne doivent pas remplacer un jugement clinique solide pendant le processus d'évaluation.»
Ainsi, même avec l'introduction d'outils algorithmiques, les humains sont encouragés à appliquer l'intuition experte. J'appellerai cela «l'artification» - la forme de satisfaction qui persiste après l'introduction des outils de décision algorithmiques.
Les différentes manières d'utiliser les outils de décision algorithmiques
Depuis l'introduction des outils de décision algorithmique dans le secteur public, il y a eu de nombreuses discussions sur les risques potentiels causés par les lacunes techniques de l'IA, telles que les biais algorithmiques.
Cependant, une discussion qui attire beaucoup moins l'attention est la suivante: les outils sont-ils utilisés tels qu'ils ont été conçus pour être utilisés? Que pensent les humains de ces outils et comment ces émotions façonnent-elles les interactions homme-machine?
Aussi - dans quelle mesure devons-nous nous attendre à ce que les outils algorithmiques remplacent les biais et les heuristiques qui caractérisent la prise de décision humaine?
Je soupçonne (et mènera des recherches sur le terrain au cours de l'été pour tester cette hypothèse) que souvent les outils ne sont pas utilisés précisément comme prévu.
Molly pourrait utiliser l'outil algorithmique pour soutenir sa prise de décision de quatre manières: (1) elle pourrait utiliser l'outil comme prévu - en tenant compte des conseils de l'algorithme et en augmentant cela avec une intuition experte; (2) elle pourrait s'appuyer sur les conseils de l'outil pour guider sa décision, mais en complétant cela par des biais et des heuristiques; (3) elle pourrait ignorer l'outil ou; (4) elle pourrait s'en remettre entièrement à l'outil. Je vais les explorer tour à tour.
- «Artificing expert»
Exemple: Molly reçoit un appel au sujet d'un enfant qui a été absent de l'école pendant une semaine entière sans explication. L'outil de décision suggère que l'enfant est à faible risque, mais Molly appelle la mère de l'enfant et observe qu'elle est extrêmement erratique au téléphone.
En réfléchissant à ses 20 années de travail avec les familles, Molly ne peut penser qu'à quelques cas où un parent a semblé si instable. Molly estime qu'il est très probable que le parent de l'enfant souffre d'une psychose aiguë. Molly s'appuie sur son jugement professionnel et intensifie l'affaire contre les conseils de l'outil algorithmique.
Molly s'appuie sur son intuition experte pour diagnostiquer un parent qui souffre probablement d'une psychose aiguë. C'est quelque chose qu'un outil statistique aurait très peu de chances de saisir, étant donné la rareté de ce type de présentation. C'est précisément pour cette raison que les concepteurs des outils algorithmiques encouragent «l'artification experte» - pour s'assurer que les limites de l'algorithme sont contrôlées par les humains.
- «Artificing biaisé»
Exemple: Molly reçoit un appel à propos d'un enfant dont les parents crient. Le voisin a entendu claquer des portes et des enfants pleuraient régulièrement pendant trois jours. L'outil suggère que l'enfant est à faible risque; cependant, ce matin-là, Molly a entendu parler d'un enfant décédé après que des informations selon lesquelles des parents avaient crié ne nécessitaient aucune enquête supplémentaire. Sur cette base, Molly fait avancer le dossier pour une évaluation en face à face.
Molly prend sa décision sur la base du «biais de rappel», ce qui signifie que son évaluation du cas actuel est fortement influencée par son souvenir d'un événement similaire.
Bien que l'outil de décision puisse minimiser la mesure dans laquelle les gens comptent sur les raccourcis cognitifs, l'irrationalité et les préjugés continueront presque certainement à figurer dans les processus de prise de décision des gens - appelons cela «un artificiel biaisé».
Il est important que les organisations du secteur public reconnaissent que les outils de décision algorithmiques ne sont pas une solution miracle qui éliminera toute irrationalité de la prise de décision humaine. Des mesures devraient donc être mises en œuvre pour minimiser «l'artification biaisée».
Attirer l'attention des gens sur les biais et l'heuristique à travers même un simple guide est un excellent début. En outre, voici quelques suggestions simples pour minimiser les biais:
- Demander à ses collègues de prendre la position d'un défenseur du diable.
- Utiliser l'approche des six chapeaux de pensée de De Bono pour soutenir la prise en compte d'autres points de vue.
- «Déférence algorithmique»
Exemple: Molly reçoit un appel concernant un enfant qui aurait eu des ecchymoses aux bras et aux jambes pendant trois semaines. L'outil de décision algorithmique donne à l'enfant une cote de risque faible. Malgré ses craintes, Molly s'en remet à l'outil et estime que l'enfant ne nécessite aucune autre action.
Molly fait preuve de « biais d'automatisation » en favorisant les conseils de l'outil algorithmique malgré son jugement selon lequel une enquête plus approfondie est justifiée.
C'est un problème parce que - pour les raisons évoquées ci-dessus - les outils de décision algorithmiques sont généralement conçus pour être utilisés conjointement avec le jugement professionnel.
Ici, la solution consiste à éduquer les travailleurs du secteur public sur les outils algorithmiques et comment les utiliser. La formation devrait se concentrer sur deux choses: rendre explicites les limites des outils pour déplacer tout sentiment d'intimidation que les employés du secteur public pourraient ressentir; deuxièmement, il devrait souligner l'importance pour les travailleurs de s'appuyer à la fois sur leur expertise professionnelle et sur l'outil pour guider les décisions.
- «Aversion algorithmique»
Exemple: Molly reçoit un appel concernant un enfant à risque et choisit d'ignorer l'outil de décision algorithmique. Elle fait confiance à son jugement professionnel - acquis en plus de 15 ans comme assistante sociale - plus qu'à un ordinateur.
Il existe des preuves convaincantes que les outils de décision ne sont souvent pas utilisés comme prévu. Dans son livre "Sources of Power", Gary Klein décrit les militaires américains dépensant des millions de dollars pour développer des outils de décision pour les commandants, seulement pour les abandonner parce qu'ils n'étaient pas utilisés.
Si les travailleurs du secteur public ignorent les outils algorithmiques parce qu'ils en veulent et ne leur font pas confiance, les outils n'auront aucun impact.
La solution ici est de responsabiliser les gens à l'aide des outils et de leur donner un sentiment de contrôle.
Un moyen d'y parvenir est d'inclure les utilisateurs de l'outil dans le processus de conception. Un bon exemple est l' Outil Xantura , où les concepteurs travaillent en étroite collaboration avec les travailleurs sociaux pour comprendre comment l'outil Xantura leur sera le plus utile.
Une autre solution consiste à donner aux utilisateurs un sentiment de contrôle sur l'algorithme lui-même. Il a été démontré que les gens sont plus susceptibles d'utiliser des algorithmes s'ils peuvent (même légèrement) les modifier.
Comment faire évoluer tout le monde vers un artificing expert
Ci-dessus, j'ai décrit différentes façons d'utiliser les outils de décision algorithmiques.
Les organisations du secteur public devraient aider tout le monde à utiliser l'outil tel qu'il a été conçu pour être utilisé - ce que j'ai appelé «l'artification experte». Cette simple liste de contrôle devrait aider:
Nous devons aborder l'introduction d'outils de décision algorithmiques dans les lieux de travail avec une approche centrée sur l'homme, en pensant au fonctionnement des esprits humains; sur la façon dont les humains se sentent; et sur l'interface et l'interaction homme-machine.
La liste de contrôle ci-dessus propose quelques idées initiales; sans doute, il y en a beaucoup plus. Fondamentalement, cependant, il est nécessaire que les organisations du secteur public utilisent des outils algorithmiques pour aider leurs travailleurs à bien concevoir parce que - même avec le meilleur outil possible - s'il n'est pas utilisé comme prévu, son utilité et son impact seront limités. - Thea Snow
La version complète de cette pièce a été publiée pour la première fois par Nesta et peut être trouvée ici .
(Crédit photo: Unsplash)
Connectez-vous ou inscrivez-vous pour continuer la conversation