O uso de assessores de robôs no governo não é mais uma novidade. Por anos os servidores públicos têm usado ferramentas computacionais - “sistemas automatizados de decisão” - para aconselhar e orientar suas decisões. Esses programas processam grandes quantidades de dados para avaliar a probabilidade de ocorrência de certos eventos ou para medir o desempenho. Algoritmos são usados para julgar [onde o crime pode ocorrer](https://www.theguardian.com/cities/2014/jun/25/predicting-crime-lapd-los-angeles-police-data-analysis-algorithm- relatório da minoria), quais são as chances de criminosos condenados reincidirem ou de criar pontuações para medir o professor desempenho em escolas.

Embora o uso de computadores como consultores possa parecer que isso remove o preconceito humano dos julgamentos, os críticos temem que muitos desses sistemas de decisão automatizados contenham preconceitos embutidos. Uma investigação ProPublica 2016, por exemplo, descobriu que os algoritmos usados nos tribunais de muitos estados dos EUA são mais propensos a classificar os negros em maior risco de reincidência.

Agora, um grupo de acadêmicos e pesquisadores de políticas públicas em Nova York estabeleceu um conjunto de diretrizes para evitar a codificação de vieses em ferramentas algorítmicas de tomada de decisão antes de serem usadas . Isso segue a decisão da cidade em dezembro de 2017 de estabelecer uma equipe dedicada para olhar para fazer o uso de algoritmos mais transparentes e se baseia no trabalho do AI Now de lobby para que a cidade adote regras mais rígidas de responsabilidade.

• Para mais informações sobre o assunto, consulte nosso governo digital newsfeed.

As novas propostas podem ajudar os servidores públicos a tirar proveito dos claros benefícios da tecnologia, reduzindo a pressão sobre tempo e recursos, ajudando-os a analisar massas de informações relevantes automaticamente, sem discriminação. Mas se as diretrizes viáveis não forem adotadas, a injustiça pode não ser relatada e a desconfiança no governo pode aumentar.

Abrindo a caixa preta

As diretrizes, elaboradas pelo recém-inaugurado [Instituto AI Now] da Universidade de Nova York (https://ainowinstitute.org/), recomendam que cada agência pública que emprega sistemas de decisão automatizados conclua o que chamam de “[Avaliações de Impacto Algorítmico](https: //ainowinstitute.org/aiareport2018.pdf) ”.

A ideia é baseada nas Avaliações de Impacto Ambiental exigidas quando os governos embarcam em projetos convencionais. Como parte da avaliação, as agências devem estudar o impacto dos sistemas que usam, avaliá-los quanto a tendências e permitir que o público e os auditores externos examinem seu impacto em diferentes comunidades.

As diretrizes sugerem que as agências concluam análises internas antes de usar sistemas de decisão automatizados, explicando as razões por trás de sua adoção. O relatório também diz que os servidores públicos devem publicar detalhes dos sistemas já em uso. E quando uma ferramenta está instalada e funcionando, continua o novo conselho, o governo deve permitir auditorias de seus efeitos por especialistas externos: aqueles que são capazes de interrogar a mecânica do sistema, mas também jornalistas, cientistas políticos e sociólogos.

"Em muitos casos, os vários fatores que influenciam o julgamento de um algoritmo são mantidos em segredo"

“Acho que nossa proposta é uma das primeiras a realmente abordar a responsabilidade algorítmica fora do contexto acadêmico”, disse Dillon Reisman, pesquisador técnico do AI Now Institute e um dos autores do relatório. “Nos Estados Unidos, os governos não conseguiram resolver isso.”

“Você poderia chamar isso de justiça fundamental”, acrescentou Reisman. “Basicamente, as pessoas deveriam ter notado quando as principais decisões estão sendo tomadas sobre elas por esses sistemas algorítmicos e deveriam ter a oportunidade de responder e contestar o uso deles”.

Em muitos casos, os vários fatores que influenciam o julgamento de um algoritmo e como eles são ponderados dentro do algoritmo não são claros ou são mantidos em segredo pelas empresas privadas que os fabricam para o governo, a fim de manter sua vantagem competitiva. Isso rendeu a tais algoritmos o apelido “caixas pretas” e isso torna difícil para aqueles que estão recebendo as decisões que tomam desafiá-los.

Distorcendo o sistema

Os algoritmos de reincidência usados pelos sistemas de justiça de muitos estados nos Estados Unidos, por exemplo, fornecem uma pontuação de um dez prevendo a probabilidade de um infrator cometer um delito futuro. Esses algoritmos funcionam extrapolando a partir de milhares de casos anteriores para procurar os fatores que normalmente levam um criminoso a reincidir, e usam isso para prever futuras ofensas.

Os algoritmos não usam raça explicitamente como um desses fatores. Mas, devido às disparidades raciais nos Estados Unidos, fatores como localização de casa, renda e se os familiares imediatos cometeram crimes, que são usados, podem servir como representantes de raça.

A investigação da Propublica descobriu que tais algoritmos podem discriminar injustamente os negros, embora os fabricantes contestem isso. Northpointe, uma empresa que fabrica software de justiça criminal usado na Flórida, disse não acreditar que a metodologia que a Propublica usou para fazer suas alegações "reflete com precisão \ [reflete ] os resultados da aplicação desse modelo".

"Muitas vezes, não é claro até que ponto os sistemas automatizados são usados no governo"

Outro problema surge quando esses algoritmos são usados para tomar decisões para servidores públicos, ao invés de aconselhá-los. Os algoritmos de reincidência usados por muitos tribunais dos Estados Unidos não tinham a intenção original de orientar a sentença, mas de determinar se os réus podem solicitar liberdade condicional ou atendimento médico. Mas os juízes foram alimentados com uma pontuação de uma máquina cujos processos eles tinham pouco conhecimento e, de acordo com a Propublica, a usaram para influenciar suas decisões de condenação.

“Os servidores públicos são, de muitas maneiras, os especialistas em seus próprios processos - uma grande parte da nossa proposta é garantir que eles fiquem cientes do que os sistemas que usam estão realmente fazendo”, disse Reisman.

Freqüentemente, não está claro até que ponto os sistemas automatizados são usados no governo. O relatório AI Now enfatiza a necessidade de as agências tornarem público todo o uso de sistemas automatizados e informar os membros do público afetados pelas decisões que tomam. Os autores também exortam os servidores públicos a questionar quanta influência esses sistemas têm em seu pensamento.

Muitos países estão agora abordando a questão de como o uso de automação e inteligência artificial em serviços públicos pode ser responsabilizado. No início deste ano, o órgão britânico de ciência e pesquisa Nesta divulgou um conjunto de recomendações para o uso de IA no governo, recomendando que o público seja informado sobre todas as informações que regem a forma como o sistema chega a uma decisão ou recomendação. No outono passado, o Reino Unido anunciou um Centro de Ética e Inovação de Dados para monitorar o uso de dados na vida pública.

O governo ainda está começando a entender como deve lidar com os efeitos das tecnologias modernas. Embora a automação ofereça a chance de melhorar os serviços e aumentar a eficiência quando os orçamentos são apertados, os algoritmos podem ter consequências indesejadas e malignas quando adotados sem supervisão adequada. Avaliações de impacto algorítmicas podem ser um meio de antecipá-los antes que aconteçam.

(Crédito da imagem: Pixabay)

Anoush Darabi Anoush.Darabi@Apolitical.com