Este post foi escrito por Paul Waller, Visiting Fellow, University of Bradford & Research Principal, Thorney Isle Research.

O problema: a pesquisa mostrou que o uso de métodos algorítmicos para prever as circunstâncias ou o comportamento das pessoas tem muitos problemas e pode levar a resultados ruins.

Por que é importante: esses métodos, às vezes rotulados de inteligência artificial , algoritmos de aprendizado de máquina, tomada de decisão automatizada, análise preditiva, análise de dados ou similares, foram promovidos e, às vezes, testados por agências governamentais. Eles têm sido usados nas áreas de serviços sociais, justiça criminal, policiamento, fraude de benefícios e outros.

A Solução: Os órgãos do setor público devem seguir as regras existentes e tomar muito cuidado. Este artigo é fictício, mas a história é construída em torno de descobertas relatadas por pesquisadores para servir de alerta sobre o que pode acontecer. Veja também um vídeo estendido da história.

A probabilidade é que a pressão institucional e a aversão ao risco pessoal por parte dos trabalhadores da linha de frente levariam, com o tempo, à previsão do sistema sem nenhuma consideração adicional.

Fundo

Entre 2017 e 2019, várias autoridades locais na Inglaterra testaram o uso de análises preditivas em assistência social, para adultos e crianças . Muitos dos pilotos foram parados antes de serem colocados em operação ao vivo. Os acadêmicos estudaram alguns e encontraram vários problemas e falta de informações detalhadas sobre os resultados; outros sinalizaram muitos riscos .

Uma das questões levantadas foi como os assistentes sociais lidariam com a saída de um sistema preditivo conflitante com seu julgamento profissional. A probabilidade é que a pressão institucional e a aversão ao risco pessoal por parte dos trabalhadores da linha de frente levariam, com o tempo, à previsão do sistema sem nenhuma consideração adicional.

Esse problema quase inevitavelmente levaria a intervenções desnecessárias que perturbam a vida das famílias e desperdiçam recursos, e nenhuma intervenção em casos críticos em que o dano acontece mais tarde. A última situação poderia ser considerada como negligência: se o risco fosse conhecido e alguém morresse como resultado, poderia ser considerado homicídio culposo por negligência grosseira .

A história que se segue é fictícia. Não há nenhuma sugestão de que tal evento tenha acontecido ou que algum funcionário da autoridade local tenha se comportado de tal maneira. No entanto, se esses sistemas de análise preditiva tivessem sido amplamente adotados, é bem possível que tal cenário tivesse ocorrido. Portanto, esta história foi escrita para enfatizar os perigos de tais sistemas na assistência social e, por extensão, em qualquer tomada de decisão nos serviços públicos.

Em julgamento: os tomadores de decisão, não o algoritmo

O diretor de serviços infantis e o diretor de tecnologia (CTO) de uma autoridade local estão sendo julgados por homicídio culposo por negligência grave após a morte em 2018 da criança D como resultado de abuso infantil em uma família no radar da equipe de assistência social da autoridade . O processo judicial foi iniciado pela promotoria, mas depois suspenso devido à pandemia de Covid-19. Em 2017, a autarquia tinha adquirido e colocado em funcionamento um sistema de análise preditiva para identificar famílias onde havia risco de ocorrência de problemas graves que colocassem as crianças em risco. O sistema não havia sinalizado a família da Criança D para a equipe de Assistência Social.

Em sua defesa, a Diretora de Serviços Infantis disse que, uma vez implantado, ficou claro que, política e pessoalmente, seria desastroso se uma previsão de tal sistema fosse ignorada e algo ruim acontecesse. Então ela orientou a equipe da Assistência Social a focar os casos por ela sinalizados acima de todos os outros. Isso significava que todo o esforço deles era gasto apenas neles. Ela acreditava que era provável que, sem o sistema, sua equipe teria intervindo com a família de Child D e, assim, a morte provavelmente teria sido evitada.

O CTO é agora chamado a depor.

A promotoria questiona o CTO

Ministério Público: Por que esse sistema de análise preditiva foi introduzido? O que motivou sua adoção?

Réu: Nós o trouxemos por causa da recomendação e financiamento do programa Troubled Families do governo, mensagens generalizadas sobre a capacidade de tais sistemas, a necessidade de fazer economias, pressões para fazer melhor com menos assistência social familiar e marcou a caixa de transformação digital .

PC: Como você selecionou o sistema?

D: Vimos o que outras autoridades estavam usando. Analisamos o material publicado no governo local e em outros lugares e estudos de caso de consultores e fornecedores. Em seguida, realizamos um processo de aquisição – leve, pois era um piloto.

PC: Sabe-se que tais sistemas são muito dependentes da qualidade dos dados sobre os quais são treinados e que são fornecidos como entrada. Você procurou aconselhamento profissional de especialistas em análise de dados sobre os dados e os riscos de possíveis vieses neles?

D: Não é minha área de especialização e não contratamos ninguém com qualificação para analisá-la. Os consultores nos deram garantias de que o sistema foi amplamente utilizado e treinado com dados semelhantes aos nossos.

PC: Que avaliações de impacto foram realizadas?

D: Apenas na proteção de dados. Colocamo-lo à nossa equipa de RGPD (Regulamento Geral de Proteção de Dados) e aos seus advogados. A conselho deles, uma declaração de privacidade foi colocada no site para explicar a base do GDPR para o processamento de dados.

PC: Que consulta foi feita com as famílias que seriam atendidas pelo sistema?

D: Nenhum. Fomos avisados de que, se eles soubessem, poderiam começar a jogar com o sistema ou tentar desistir, o que acabaria com o objetivo.

PC: Você concordaria, portanto, que aqueles sujeitos a esse algoritmo de previsão não tinham conhecimento, não entendiam e não davam consentimento para seu uso?

D: Sim, tenho que aceitar isso.

PC: Se fosse um piloto, como você saberia se o sistema estava funcionando bem? Foi feita uma avaliação para identificar impactos positivos ou negativos?

D: Não, não tínhamos uma linha de base para realizar uma comparação. Recebíamos feedback da equipe de Assistência Social sobre os efeitos sobre ela e a comunidade.

PC: Que raciocínio estava à disposição da equipe de Assistência Social do sistema sobre como chegou às suas conclusões? Seu funcionamento era transparente?

D: A saída deu um perfil de cada família e um breve motivo pelo qual o caso foi sinalizado, mas não deu detalhes sobre o processo analítico. Os fornecedores insistiram que sua metodologia era comercialmente confidencial. Não tenho certeza se teríamos entendido de qualquer maneira.

PC: Ouvimos dizer que o desempenho da equipe estava sendo julgado por quantos casos de “alto risco” divulgados pelo sistema a cada mês eram acompanhados. Você sabia quantos deles pareciam, quando investigados pela equipe de Assistência Social, não ser um problema, mas por terem sido sinalizados pelo sistema, tiveram que continuar investindo recursos neles?

D: Eu não sei os números, mas eu os ouvi resmungando sobre perder tempo visitando famílias que pareciam boas.

PC: Ouvimos dizer que a equipe estava instintivamente preocupada com a família de Child D, mas o sistema nunca a identificou como de alto risco. Você estava dando a eles um sistema sem entender a chance de fazer uma previsão errada de uma forma ou de outra?

D: Acho que sim, mas essas coisas são defendidas por muitas pessoas que presumo saber mais do que eu.

PC: Você concorda que a falta de explicação do sistema sobre como chegou às suas conclusões tornou muito mais difícil para a equipe de Assistência Social aplicar seu julgamento profissional com confiança, em vez de ter que aceitar os resultados às cegas?

D: Acho que sim.

PC: Em suma, afirmo ao tribunal que a imposição de um sistema analítico preditivo desta natureza, sem compreensão da sua eficácia, funcionamento ou impactos, aliada a alterações processuais baseadas no pressuposto errado de 100% de precisão, impediu a equipe de assistência social de exercer seu julgamento profissional e intervir na família da criança D, levando assim tragicamente à morte da criança D. Podemos entender como incentivos externos, exageros generalizados, reivindicações exageradas de fornecedores e consultores e pressões financeiras levaram ao autoridade considerando o uso de análise preditiva. No entanto, vimos como uma cadeia de eventos, ativamente liderada e fortemente defendida pelo Chief Technology Officer, exibiu um nível catastrófico de negligência que ficou muito abaixo de qualquer interpretação dos termos “profissional” ou “ético”. Sugiro que este nível de negligência, que contribuiu com probabilidade significativa para a morte da criança D, é suficiente para ser grosseiro e, portanto, criminoso e uma condenação por homicídio culposo grave e negligente é totalmente justificada.

PC: Meritíssimo, isso é tudo da acusação.

Juiz: O tribunal está encerrado.

Qual é o seu veredicto - culpado ou inocente?

👋 Você pode criar um post como este! Compartilhe suas ideias com uma comunidade de servidores públicos. Saber mais

(Crédito da imagem: Unsplash)