Esta peça foi escrita por Thea Snow, Gerente de Programa Sênior da equipe de Inovação Governamental da Nesta. Para mais informações como essa, consulte nosso feed de notícias governamentais digitais .
Molly é uma assistente social em Londres que trabalha com assistência social para crianças. Ela trabalha como parte da “equipe da porta da frente”, atendendo a ligações de cidadãos preocupados com o bem-estar das crianças. Molly atua como um primeiro ponto de contato; é sua função determinar se a ligação justifica uma investigação mais aprofundada. Esta não é uma tarefa fácil.
Molly está trabalhando sob intensa pressão de tempo. Ela também está trabalhando com informações incompletas e é restringida pelos limites do poder de processamento de seu cérebro; ela está tomando decisões sob o que os psicólogos comportamentais chamam de “condições de incerteza”.
_• Quer escrever para nós? Dê uma olhada no [guia para colaboradores] do Apolitical (https://apolitical.co/opinion-writing-becoming-an-apolitical-contributor/) _
** Como os humanos tomam decisões **
Na década de 1940, Herbert Simon cunhou o termo “racionalidade limitada” para explicar como os humanos, como Molly, tomam decisões. Ele explica:
“É impossível que o comportamento de um único indivíduo isolado alcance um alto grau de racionalidade. O número de alternativas que ele deve explorar é tão grande, as informações de que ele precisaria para avaliá-las são tão vastas que mesmo uma aproximação da racionalidade objetiva é difícil de conceber. ”
E assim, as pessoas “se satisfazem”. Alguém como Molly analisa as informações disponíveis, processa o que ela pode humanamente e, em seguida, confia em sua intuição para encontrar uma solução satisfatória - mas não necessariamente ótima.
Simon cai no movimento Tomada de decisão naturalística (NDM). Esta escola de pensamento acredita que, quando os humanos se satisfazem, eles geralmente aplicam a ** intuição especializada **; uma característica aceitável - e produtiva - da tomada de decisão humana.
Em contraste com isso está a Abordagem heurística e polarização (HB). De acordo com essa escola de pensamento, os humanos tendem a confiar em ** crenças e preconceitos irracionais ** para se satisfazer.
Embora essas escolas de pensamento pareçam estar em tensão umas com as outras, elas concordam em algumas idéias fundamentais:
- NDM reconhece que existem preconceitos irracionais e devem ser evitados.
- HB reconhece que a intuição de especialista existe e deve ser adotada.
Kahneman e Klein (2009) descrevem a diferença entre as escolas da seguinte forma:
“_Os membros da comunidade HB… tendem a focar nas falhas no desempenho cognitivo humano. Os membros da comunidade NDM sabem que os profissionais muitas vezes erram, mas tendem a enfatizar as maravilhas do desempenho de especialistas bem-sucedidos. ”
** Ferramentas de decisão algorítmica **
Nos últimos anos, ferramentas de decisão algorítmica foram introduzidas para apoiar a tomada de decisão dos trabalhadores do setor público, como Molly, que estão tomando decisões em condições de incerteza.
Eles foram introduzidos porque muitos estudos demonstraram que os modelos atuariais são mais precisos do que o julgamento clínico na previsão do risco.
No entanto, muitas ferramentas de decisão algorítmica são projetadas com a intenção de serem usadas em conjunto com a opinião especializada de profissionais. Por exemplo, os desenvolvedores da Allegheny Family Screening Tool escrevem:
“_Embora especialistas em avaliação de risco \ [Serviços de proteção à criança ] agora geralmente concordem que as ferramentas atuariais são mais eficazes na previsão do risco de maus-tratos infantis do que o julgamento clínico por si só, essas ferramentas não podem e não devem substituir o julgamento clínico sólido durante o processo de avaliação.” _
Assim, mesmo com a introdução de ferramentas algorítmicas, os humanos estão sendo encorajados a aplicar a intuição de especialista. Chamarei isso de “artifício” - a forma de satisficing que persiste após a introdução de ferramentas de decisão algorítmica.
** As diferentes maneiras pelas quais as ferramentas de decisão algorítmica podem ser usadas **
Desde a introdução de ferramentas de decisão algorítmica no setor público, tem havido uma discussão considerável sobre os riscos potenciais causados por deficiências técnicas da IA, como o viés algorítmico.
No entanto, uma discussão que está atraindo muito menos atenção é: as ferramentas estão sendo usadas da forma como foram projetadas para serem usadas? Como os humanos se sentem sobre essas ferramentas e como essas emoções moldam as interações homem-máquina?
Além disso - até que ponto devemos esperar que as ferramentas algorítmicas substituam os vieses e heurísticas que caracterizam a tomada de decisão humana?
Suspeito (e estarei conduzindo pesquisas de campo durante o verão para testar essa suposição) que muitas vezes as ferramentas não estão sendo usadas exatamente como planejado.
Parece haver quatro maneiras de Molly usar a ferramenta algorítmica para apoiar sua tomada de decisão: (1) ela poderia usar a ferramenta conforme pretendido - considerando o conselho do algoritmo e aumentando isso com a intuição de especialista; (2) ela pode estar contando com o conselho da ferramenta para orientar sua decisão, mas complementando isso com viés e heurísticas; (3) ela pode estar ignorando a ferramenta ou; (4) ela pode estar cedendo inteiramente à ferramenta. Vou explorar um de cada vez.
- ** “Artifício especializado” **
Exemplo: Molly recebe uma ligação sobre uma criança que faltou à escola por uma semana inteira sem nenhuma explicação. A ferramenta de decisão sugere que o risco da criança é baixo, mas Molly liga para a mãe da criança e observa que ela está extremamente instável ao telefone.
Refletindo sobre seus 20 anos de trabalho com famílias, Molly só consegue pensar em alguns casos em que um dos pais parecia tão instável. Molly sente que é altamente provável que os pais da criança estejam passando por um início agudo de psicose. Molly confia em seu julgamento profissional e encaminha o caso contra o conselho da ferramenta algorítmica.
Molly está usando sua intuição de especialista para diagnosticar um pai que provavelmente está sofrendo de psicose aguda. Isso é algo que uma ferramenta estatística dificilmente pegaria, dada a raridade desse tipo de apresentação. É precisamente por esta razão que os designers das ferramentas algorítmicas encorajam o "artifício especializado" - para garantir que as limitações do algoritmo sejam mantidas sob controle pelos humanos.
- ** “Artifício tendencioso” **
Exemplo: Molly recebe uma ligação sobre uma criança cujos pais estavam gritando. O vizinho ouviu portas batendo e crianças chorando regularmente por três dias. A ferramenta sugere que a criança apresenta baixo risco; no entanto, naquela manhã, Molly ouviu sobre uma criança que morreu depois que relatos sobre pais gritando foram considerados como não exigindo mais investigação. Com base nisso, Molly avança no caso para uma avaliação face a face.
Molly está tomando sua decisão com base no “viés de memória”, o que significa que sua avaliação do caso atual é fortemente influenciada por sua lembrança de um evento semelhante.
Embora a ferramenta de decisão possa minimizar a extensão em que as pessoas dependem de atalhos cognitivos, a irracionalidade e o preconceito quase certamente continuarão a figurar nos processos de tomada de decisão das pessoas - vamos chamar isso de "artifício tendencioso".
É importante que as organizações do setor público reconheçam que as ferramentas de decisão algorítmica não são uma bala de prata que eliminará toda a irracionalidade da tomada de decisão humana. Medidas devem, portanto, ser implementadas para minimizar “artifícios tendenciosos”.
Chamar a atenção das pessoas para tendências e heurísticas por meio de um guia simples é um grande começo. Além disso, algumas sugestões simples para minimizar o viés incluem:
- Pedir aos colegas que assumam a posição de advogado do diabo.
- Usando a abordagem de De Bono seis chapéus pensantes para apoiar a consideração de pontos de vista alternativos.
- ** “Deferência algorítmica” **
Exemplo: Molly recebe uma ligação sobre uma criança que relatou ter tido hematomas nos braços e nas pernas por três semanas. A ferramenta de decisão algorítmica dá à criança uma classificação de baixo risco. Apesar de suas dúvidas, Molly segue a ferramenta e avalia que a criança não precisa de nenhuma ação adicional.
Molly está demonstrando “viés de automação” ao favorecer o conselho da ferramenta algorítmica, apesar de seu julgamento de que uma investigação mais aprofundada é necessária.
Isso é um problema porque - pelas razões discutidas acima - as ferramentas de decisão algorítmica são geralmente projetadas para serem usadas em conjunto com o julgamento profissional.
Aqui, a solução está em educar os funcionários do setor público sobre as ferramentas algorítmicas e como usá-las. O treinamento deve se concentrar em duas coisas: tornar as limitações das ferramentas explícitas para deslocar qualquer sensação de intimidação que os funcionários do setor público possam sentir; em segundo lugar, deve-se enfatizar a importância de os trabalhadores confiarem tanto em sua experiência profissional, quanto na ferramenta, para orientar as decisões.
- ** “Aversão algorítmica” **
Exemplo: Molly recebe uma ligação sobre uma criança em risco e opta por ignorar a ferramenta de decisão algorítmica. Ela confia em seu julgamento profissional - adquirido ao longo de 15 anos como assistente social - mais do que em um computador.
Há evidências convincentes de que as ferramentas de decisão muitas vezes não são usadas como pretendido. Em seu livro "Fontes de poder", Gary Klein descreve os militares dos EUA gastando milhões de dólares desenvolvendo ferramentas de decisão para comandantes, apenas para abandoná-las porque não estavam sendo usadas.
Se os funcionários do setor público estão ignorando as ferramentas algorítmicas porque se ressentem e não confiam nelas, as ferramentas não terão nenhum impacto.
A solução aqui é capacitar as pessoas usando as ferramentas e fornecer-lhes um senso de controle.
Uma maneira de conseguir isso é incluir os usuários da ferramenta no processo de design. Um ótimo exemplo é a Ferramenta Xantura, onde designers estão trabalhando em conjunto com assistentes sociais para entender como a ferramenta Xantura será mais útil para eles.
Outra solução é dar aos usuários uma sensação de controle sobre o próprio algoritmo. Foi demonstrado que as pessoas são mais propensas a usar algoritmos se puderem (mesmo que ligeiramente) modificá-los.
** Como levar todos em direção à arte de especialistas **
Acima, eu descrevi diferentes maneiras que as ferramentas de decisão algorítmica podem ser usadas.
Precisamos abordar a introdução de ferramentas de decisão algorítmica nos locais de trabalho com uma abordagem centrada no ser humano, pensando sobre como funcionam as mentes humanas; sobre como os humanos se sentem; e sobre a interface e interação máquina-homem.
A lista de verificação acima oferece algumas idéias iniciais; sem dúvida, existem muitos mais. Fundamentalmente, no entanto, o que é necessário é que as organizações do setor público usem ferramentas algorítmicas para apoiar seus funcionários a artificiais porque - mesmo com a melhor ferramenta possível - se não estiver sendo usada como pretendido, sua utilidade e impacto serão limitados. - Thea Snow
A versão completa desta peça foi publicada pela primeira vez por Nesta [e pode ser encontrada aqui](https://www.nesta.org.uk/blog/human-vs-machine-why-we-need-be-thinking-more -sobre-como-os-humanos-estão-interagindo-a-ferramentas /).
(Crédito da imagem: Unsplash)
Inicie sessão ou registe-se para continuar a conversa