_ ** Este artigo foi escrito por Monika Sarder, Analista Estratégica Sênior da Monash University. Foi publicado originalmente em The Conversation . ** _
A tomada de decisão algorítmica tem um potencial enorme para fazer o bem. Desde a identificação de áreas prioritárias para a primeira resposta após a ocorrência de um terremoto até a identificação daqueles em risco de COVID-19 em minutos, sua aplicação tem se mostrado extremamente benéfica.
Mas as coisas podem dar errado quando as decisões são confiáveis para algoritmos sem garantir que eles cumpram normas éticas estabelecidas. Dois exemplos recentes ilustram como as agências governamentais estão falhando em automatizar a justiça.
1 . O algoritmo não corresponde à realidade
Esse problema surge quando uma regra de tamanho único é implementada em um ambiente complexo.
O exemplo devastador mais recente foi o desastre da Austrália Centrelink “robodebt”. Nesse caso, os pagamentos de bem-estar feitos com base na renda quinzenal auto-relatada foram comparados com uma renda quinzenal estimada, tomada como uma média simples de rendimentos anuais relatados ao Australian Tax Office, e usados para autogerar avisos de dívida sem qualquer outro escrutínio ou explicação humana.
"O racismo sistêmico foi repetido, de forma mais insidiosa, em processos algorítmicos"
Esta suposição está em desacordo com a forma como a [força de trabalho altamente casualizada] da Austrália (https://theconversation.com/the-costs-of-a-casual-job-are-now-outweighing-any-pay-benefits-82207) é na verdade pago. Por exemplo, um designer gráfico que não conseguiu encontrar trabalho durante nove meses do exercício financeiro, mas ganhou A $ 12.000 nos três meses anteriores a junho, teria uma dívida automatizada levantada contra ela. Isso apesar de nenhuma fraude ter ocorrido, e este cenário constitui exatamente o tipo de dificuldade que o Centrelink foi projetado para resolver.
O esquema acabou sendo um desastre para o governo australiano, que agora deve [pagar cerca de A $ 721 milhões em dívidas emitidas indevidamente](https://theconversation.com/government-to-repay-470-000-unlawful- robodebts-in-o-que-poderia-ser-australias-o-maior-backdown-financeiro-de-sempre-139.668) depois que a Suprema Corte declarou o esquema ilegal. Mais de 470.000 dívidas foram levantadas indevidamente pelo esquema, principalmente contra pessoas de baixa renda, causando grande sofrimento.
2 . As entradas incorporam racismo
As cenas impressionantes de violência policial nas cidades dos EUA sublinharam até que ponto racismo sistêmico influencia os processos de lei e ordem nos Estados Unidos , desde patrulhas policiais até a sentença. Indivíduos negros são mais propensos a serem parados e revistados, mais probabilidade de ser preso por infrações de baixo nível, mais probabilidade de [ter o tempo de prisão incluído nos acordos judiciais](https : //www.dailypress.com/news/dp-nws-sunshine-disparities-20160317-story.html) e [incorrer em sentenças mais longas por crimes comparáveis](https://www.ussc.gov/sites/default/ files / pdf / research-and-responses / research-publicações / 2017 / 20171114_Demographics.pdf) quando forem a julgamento.
Esse racismo sistêmico foi repetido, de forma mais insidiosa, em processos algorítmicos. Um exemplo é o COMPAS, um polêmico sistema de "apoio à decisão" projetado para ajudar os conselhos de liberdade condicional nos Estados Unidos a decidir qual os prisioneiros devem ser libertados mais cedo, fornecendo uma pontuação de probabilidade de sua probabilidade de reincidência.
Em vez de confiar em uma regra de decisão simples, o algoritmo usou uma variedade de entradas, incluindo informações demográficas e de pesquisa, para obter uma pontuação. O algoritmo não usou raça como uma variável explícita, mas incorporou racismo sistêmico usando variáveis que foram moldadas por preconceitos policiais e judiciais no local.
"Usar algoritmos para tomar decisões não é inerentemente ruim"
Os candidatos foram questionados sobre suas interações com o sistema de justiça, como a idade em que entraram em contato com a polícia pela primeira vez e se familiares ou amigos já haviam sido presos. Essa informação foi então usada para derivar sua pontuação final de “risco”.
Como Cathy O'Neill colocou em seu livro Weapons of Math Destruction: “é fácil imaginar como os presos de uma formação privilegiada responderia de um jeito e os de duras ruas internas, de outro ”.
O que está errado?
Usar algoritmos para tomar decisões não é inerentemente ruim. Mas pode ficar ruim se os sistemas automatizados usados pelos governos não incorporarem os princípios que os humanos reais usam para tomar decisões justas.
As pessoas que projetam e implementam essas soluções precisam se concentrar não apenas em estatísticas e design de software, mas também [ética](https://www.aat.gov.au/about-the-aat/engagement/speeches-and-papers/ the-honorable-justice-garry-downes-am-former-pre / good-decision-making). Veja como:
- consulte aqueles que provavelmente serão significativamente afetados por um novo processo antes de sua implementação, não depois
- verificar se há potencial viés injusto na fase de design do processo
- garantir que a base lógica das decisões seja transparente e os resultados sejam relativamente previsíveis
- tornar um ser humano responsável pela integridade das decisões e suas consequências.
Seria ideal se os desenvolvedores de algoritmos de política social colocassem esses princípios no centro de seu trabalho. Mas, na ausência de responsabilidade no setor de tecnologia, várias leis foram aprovadas, ou estão sendo aprovadas, para lidar com o problema.
A lei de proteção de dados da União Europeia declara que as decisões algorítmicas que têm consequências significativas para qualquer pessoa devem envolver um componente de revisão humana. Também requer que as organizações forneçam uma explicação transparente da lógica usada nos processos algorítmicos.
O Congresso dos EUA, enquanto isso, está considerando um projeto Lei de Responsabilidade Algorítmica que exigiria que as instituições considerassem “o riscos de que o sistema de decisão automatizado possa resultar ou contribuir para decisões imprecisas, injustas, tendenciosas ou discriminatórias que afetem os consumidores ”.
A legislação é uma solução, mas não é a melhor. Precisamos desenvolver e incorporar a ética e as normas em torno da tomada de decisão na prática organizacional. Para isso, precisamos impulsionar a alfabetização em dados do público, para que eles tenham a linguagem necessária para exigir responsabilidade dos gigantes da tecnologia, aos quais todos estamos cada vez mais em dívida.
Uma abordagem transparente e aberta é vital se quisermos aproveitar ao máximo as tecnologias oferecidas em nosso mundo rico em dados, mantendo nossos direitos como cidadãos. - Monika Sarder
** Este artigo foi republicado de The Conversation sob uma licença Creative Commons. Leia o artigo original. **
\ [Crédito da foto: Sean Batty / Pizabay ]
Inicie sessão ou registe-se para continuar a conversa