Este artículo fue escrito por Thea Snow, Gerente Senior de Programa en el equipo de Innovación del Gobierno de Nesta. Para más información como esta, vea nuestro suministro de noticias digital del gobierno .
Molly es una trabajadora social en Londres que trabaja en la atención social de los niños. Ella trabaja como parte del "equipo de Front Door", respondiendo llamadas de ciudadanos preocupados sobre el bienestar de los niños. Molly actúa como primer punto de contacto; Es su papel determinar si la llamada amerita más investigación. Esta no es una tarea fácil.
Molly está trabajando bajo una intensa presión de tiempo. Ella también está trabajando con información incompleta y está limitada por los límites del poder de procesamiento de su cerebro; ella está tomando decisiones bajo lo que los psicólogos conductuales llaman "condiciones de incertidumbre".
• ¿Quieres escribir para nosotros? Echa un vistazo a la guía de Apolitical para contribuyentes
Cómo los humanos toman decisiones
En la década de 1940, Herbert Simon acuñó el término "racionalidad limitada" para explicar cómo los humanos, como Molly, toman decisiones. El explica:
“ Es imposible que el comportamiento de un solo individuo aislado alcance un alto grado de racionalidad. La cantidad de alternativas que debe explorar es tan grande, la información que necesitaría para evaluarlas es tan amplia que incluso una aproximación a la racionalidad objetiva es difícil de concebir ".
Y así, la gente "satisface". Alguien como Molly revisa la información disponible, procesa lo que puede humanamente y luego confía en su intuición para encontrar una solución satisfactoria, pero no necesariamente óptima.
Simon cae en el movimiento Naturalistic Decision Making (NDM). Esta escuela de pensamiento cree que, cuando los humanos satisfacen, generalmente aplican la intuición experta ; Una característica aceptable y productiva de la toma de decisiones humanas.
En contraste con esto, se destaca el enfoque de heurística y sesgo (HB). Según esta escuela de pensamiento, los humanos tienden a confiar en creencias y prejuicios irracionales para satisfacer.
Si bien estas escuelas de pensamiento parecen estar en tensión entre sí, coinciden en algunas ideas fundamentales:
- NDM reconoce que existen prejuicios irracionales y deben evitarse.
- HB reconoce que la intuición experta existe y debe ser aceptada.
Kahneman y Klein (2009) describen la diferencia entre las escuelas de la siguiente manera:
“ Los miembros de la comunidad HB ... tienden a enfocarse en fallas en el rendimiento cognitivo humano. Los miembros de la comunidad de NDM saben que los profesionales a menudo se equivocan, pero tienden a enfatizar las maravillas del desempeño exitoso de los expertos ”.
Herramientas de decisión algorítmica
En los últimos años, se han introducido herramientas algorítmicas de decisión para apoyar la toma de decisiones de los trabajadores del sector público, como Molly, que toman decisiones en condiciones de incertidumbre.
Se han introducido porque muchos estudios han demostrado que los modelos actuariales son más precisos que el juicio clínico para predecir el riesgo.
Sin embargo, muchas herramientas de decisión algorítmica están diseñadas con la intención de que se utilicen junto con el juicio experto de profesionales. Por ejemplo, los desarrolladores de Allegheny Family Screening Tool escriben:
" Aunque los expertos en evaluación de riesgos [de los Servicios de Protección Infantil] ahora generalmente están de acuerdo en que las herramientas actuariales son más efectivas para predecir el riesgo de maltrato infantil que el juicio clínico solo, estas herramientas no pueden ni deben reemplazar el buen juicio clínico durante el proceso de evaluación".
Por lo tanto, incluso con la introducción de herramientas algorítmicas, se alienta a los humanos a aplicar la intuición experta. Llamaré a esto "artificialización", la forma de satisfacción que persiste después de la introducción de herramientas de decisión algorítmica.
Las diferentes formas en que se pueden usar las herramientas de decisión algorítmica
Desde la introducción de las herramientas de decisión algorítmica en el sector público, ha habido una discusión considerable sobre los riesgos potenciales causados por las deficiencias técnicas de AI, como el sesgo algorítmico.
Sin embargo, una discusión que está atrayendo mucha menos atención es: ¿se están utilizando las herramientas como fueron diseñadas para ser utilizadas? ¿Cómo se sienten los humanos acerca de estas herramientas y cómo estas emociones dan forma a las interacciones hombre-máquina?
Además, ¿en qué medida deberíamos esperar que las herramientas algorítmicas desplacen los sesgos y las heurísticas que caracterizan la toma de decisiones humanas?
Sospecho (y realizaré una investigación de campo durante el verano para probar esta suposición) que a menudo las herramientas no se usan exactamente como se pretendía.
Parece que hay cuatro formas en que Molly podría estar usando la herramienta algorítmica para apoyar su toma de decisiones: (1) podría estar usando la herramienta según lo previsto - considerando los consejos del algoritmo y aumentando eso con intuición experta; (2) podría confiar en los consejos de la herramienta para guiar su decisión, pero complementarla con prejuicios y heurísticas; (3) podría estar ignorando la herramienta o; (4) ella podría estar difiriendo completamente a la herramienta. Exploraré cada uno a su vez.
- "Experto en artesanía"
Ejemplo: Molly recibe una llamada sobre un niño que ha estado ausente de la escuela durante una semana entera sin explicación. La herramienta de decisión sugiere que el niño es de bajo riesgo, pero Molly llama a la madre del niño y observa que es muy errática por teléfono.
Al reflexionar sobre sus 20 años trabajando con familias, Molly solo puede pensar en algunos casos en los que un padre parece tan inestable. Molly siente que es muy probable que los padres del niño experimenten una psicosis de inicio agudo. Molly confía en su juicio profesional y escala el caso contra el consejo de la herramienta algorítmica.
Molly recurre a su intuición experta para diagnosticar a un padre que probablemente experimente psicosis aguda. Esto es algo que una herramienta estadística sería altamente improbable de captar, dada la rareza de ese tipo de presentación. Precisamente por esta razón, los diseñadores de las herramientas algorítmicas fomentan la "creación experta" para garantizar que los humanos controlen las limitaciones del algoritmo.
- "Articulación sesgada"
Ejemplo: Molly recibe una llamada sobre un niño cuyos padres han estado gritando. El vecino escuchó portazos y niños llorando regularmente durante tres días. La herramienta sugiere que el niño es de bajo riesgo; Sin embargo, esa mañana, Molly se enteró de un niño que murió después de que se consideró que los informes sobre gritos de los padres no requerían más investigación. Sobre esa base, Molly avanza el caso para una evaluación cara a cara.
Molly está tomando su decisión basándose en un "sesgo de memoria", lo que significa que su evaluación del caso actual está fuertemente influenciada por su recuerdo de un evento similar.
Si bien la herramienta de decisión podría minimizar la medida en que las personas confían en los atajos cognitivos, la irracionalidad y el sesgo seguramente seguirán apareciendo en los procesos de toma de decisiones de las personas, llamémosle "artillería sesgada".
Es importante que las organizaciones del sector público reconozcan que las herramientas de decisión algorítmica no son una bala de plata que eliminará toda irracionalidad de la toma de decisiones humanas. Por lo tanto, se deben implementar medidas para minimizar la "artillería sesgada".
Llamar la atención de la gente sobre el sesgo y la heurística a través de una simple guía es un gran comienzo. Además, algunas sugerencias simples para minimizar el sesgo incluyen:
- Pidiendo a los colegas que tomen la posición de abogado del diablo.
- Usando el enfoque de seis sombreros de pensamiento de De Bono para apoyar la consideración de puntos de vista alternativos.
- "Deferencia algorítmica"
Ejemplo: Molly recibe una llamada sobre un niño que, según los informes, ha tenido hematomas en los brazos y las piernas durante tres semanas. La herramienta de decisión algorítmica le da al niño una calificación de bajo riesgo. A pesar de sus dudas, Molly hace referencia a la herramienta y evalúa que el niño no requiere ninguna otra acción.
Molly está demostrando un " sesgo de automatización " al favorecer el asesoramiento de la herramienta algorítmica a pesar de su opinión de que se justifica una mayor investigación.
Esto es un problema porque, por las razones discutidas anteriormente, las herramientas de decisión algorítmica generalmente están diseñadas para usarse en conjunto con el juicio profesional.
Aquí, la solución radica en educar a los trabajadores del sector público sobre las herramientas algorítmicas y cómo usarlas. La capacitación debe enfocarse en dos cosas: hacer explícitas las limitaciones de las herramientas para desplazar cualquier sensación de intimidación que puedan sentir los empleados del sector público; en segundo lugar, debe enfatizar la importancia de que los trabajadores confíen tanto en su experiencia profesional como en la herramienta para guiar las decisiones.
- "Aversión algorítmica"
Ejemplo: Molly recibe una llamada sobre un niño en riesgo y elige ignorar la herramienta de decisión algorítmica. Ella confía en su juicio profesional, ganado durante 15 años como trabajadora social, más que en una computadora.
Existe evidencia convincente de que las herramientas de decisión a menudo no se usan como se pretendía. En su libro "Fuentes de poder", Gary Klein describe que el ejército de los Estados Unidos gastó millones de dólares en el desarrollo de herramientas de decisión para los comandantes, solo para abandonarlos porque no estaban siendo utilizados.
Si los trabajadores del sector público ignoran las herramientas algorítmicas porque se resienten y no confían en ellas, las herramientas no tendrán ningún impacto en absoluto.
La solución aquí es capacitar a las personas que usan las herramientas y proporcionarles una sensación de control.
Una forma de lograr esto es incluir a los usuarios de la herramienta en el proceso de diseño. Un gran ejemplo es la herramienta Xantura , donde los diseñadores trabajan en estrecha colaboración con los trabajadores sociales para comprender cómo la herramienta Xantura les será más útil.
Otra solución es dar a los usuarios una sensación de control sobre el algoritmo mismo. Se ha demostrado que es más probable que las personas usen algoritmos si pueden (aunque sea un poco) modificarlos.
Cómo mover a todos hacia la creación de expertos
Arriba, describí diferentes formas en que se pueden usar las herramientas de decisión algorítmica.
Las organizaciones del sector público deberían estar apoyando a todos para que utilicen la herramienta tal como fue diseñada para usarse, lo que he llamado "creación de expertos". Esta simple lista de verificación debería ayudar:
Necesitamos abordar la introducción de herramientas de decisión algorítmica en los lugares de trabajo con un enfoque centrado en el ser humano, pensando en cómo funcionan las mentes humanas; sobre cómo se sienten los humanos; y sobre la interfaz e interacción máquina-humano.
La lista de verificación anterior ofrece algunas ideas iniciales; Sin duda hay muchos más. Sin embargo, fundamentalmente, lo que se necesita es que las organizaciones del sector público utilicen herramientas algorítmicas para ayudar a sus trabajadores a articular bien porque, incluso con la mejor herramienta posible, si no se usa según lo previsto, su utilidad e impacto serán limitados. - Thea Snow
La versión completa de esta pieza fue publicada por primera vez por Nesta y se puede encontrar aquí .
(Crédito de la imagen: Unsplash)
Inicia sesión o regístrate para continuar la conversación