As apostas são altas quando se trata de usar aprendizado de máquina no governo. As acusações de erros éticos resultantes da tomada de decisão automatizada incluem acusações de falsa dívida e supostamente sentenças de prisão com preconceito racial.

Mas existem diretrizes para ajudá-lo a evitar preconceitos, ser transparente e gerar impactos positivos para a sociedade.

Extraído de conversas com especialistas e diretrizes do Ethical AI Institute, do [Governo do Reino Unido](https://www.gov.uk/government/organisations/office-for-artificial -intelligence) e o Alan Turing Institute, incorporar essas três considerações principais em seu trabalho deve ajudá-lo a evitar seu projeto de causar danos não intencionais.

** 1 . Considere os impactos do seu sistema **

Antes mesmo de começar um projeto, você deve dar um passo para trás e se perguntar se a decisão de automatizar o processo é a escolha certa, de acordo com Andrew Harding, Consultor Sênior de Tecnologia e Política do Centro de Ética e Inovação de Dados. “Certifique-se de que o momento da automação seja de reflexão e pausa”, disse Harding.

Quando você automatiza um processo, explicou ele, pode se tornar mais difícil inspecionar, observar e testar. Isso significa que a automação nem sempre é a melhor escolha - especialmente para sistemas que você não entende bem ou casos em que o ambiente da política não é claro.

O [Guia para usar IA no Setor Público] do governo do Reino Unido (https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/861204/A_guide_to_using_AI_in_the_public_sector__Web_.pdf) sugere que você “ considere os impactos que \ [seu projeto ] pode ter no bem-estar das partes interessadas e comunidades afetadas ”. Reservar um tempo para fazer isso antes de implementar o sistema é uma boa maneira de prever e evitar efeitos prejudiciais.

Um co-autor do guia e ex-consultor do [Office for Artificial Intelligence] do governo do Reino Unido (https://www.gov.uk/government/organisations/office-for-artificial-intelligence '), Sébastien Krier, disse que ele recomenda o uso do Princípio de Não-Dano Discriminatório. Isso pode ajudá-lo a garantir que seu sistema não tenha “impactos discriminatórios ou injustos” na vida das pessoas que ele afeta - ou envolva [características protegidas](http://www.legislation.gov.uk/ukpga/2010/15 / conteúdo), incluindo orientação sexual, religião e deficiência, onde não deveria.

Ele recomenda trabalhar em estreita colaboração com os usuários finais, a sociedade civil e especialistas para compreender esses efeitos.

Você também pode dar uma olhada na estrutura de direitos humanos, disse Harding. Pergunte a si mesmo: seu sistema afeta o direito de alguém à vida privada? Torna mais difícil para as pessoas desfrutar do sistema democrático?

Kate Carruthers, diretora de dados da University of South Wales e membro da Ethical AI Network, usou o exemplo de um fornecedor que propôs uma solução de aprendizado de máquina para admissões universitárias que preveria as características dos alunos de melhor desempenho. Ela explicou que, ao considerar o impacto desse software, a universidade corria o risco de encorajar as universidades a admitir homens brancos ricos, em vez de aumentar a diversidade.

** 2 . Identifique e mitigue vieses **

“Sempre tenha em mente que essas tecnologias, não importa o quão neutras possam parecer, são projetadas e produzidas por seres humanos, que estão presos às limitações de seus contextos e preconceitos”, adverte o Dr. David Leslie do Instituto Alan Turing em seu capítulo sobre a compreensão da ética e segurança da IA.

Os humanos podem injetar seu preconceito nos sistemas em qualquer estágio do processo, desde a coleta de dados até a implementação, enquanto os conjuntos de dados já podem conter preconceitos e discriminações culturais.

Por exemplo, Krier argumentou que, ao usar conjuntos de dados sobre prisões históricas, os sistemas de policiamento preditivo não estão prevendo crimes, mas decisões policiais de prender. Acusado de ser construído com “dados sujos” que já reflete preconceitos sistêmicos, os sistemas supostamente amplificam corrupto, ilegal e antiético práticas de policiamento em meio a um legado de discriminação.

** O viés não é necessariamente intencional nem imediatamente evidente **

O preconceito também pode moldar os processos de desenvolvimento de tecnologias. Um estudo do MIT mostrou que o software de reconhecimento facial atinge taxas de precisão mais baixas em rostos femininos mais escuros do que em homens mais claros. Sugeriu que isso ocorre porque muitas empresas não testam o desempenho dos sistemas em diferentes subgrupos, e os conjuntos de dados de benchmark tendem a representar em excesso os indivíduos mais leves, especialmente os homens.

“Dados não são neutros”, disse Carruthers, “assim que você decidiu usar um dado e não outro , você já tem preconceito se aproximando. ”

O preconceito não é necessariamente intencional nem imediatamente evidente. Então, como podemos detectar e mitigar isso?

Em primeiro lugar, tome cuidado para não confiar muito na tecnologia. “É chamado de IA porque as tecnologias podem ser inteligentes e tomar decisões. Mas eles não têm contexto, consciência e senso de justiça - e, em última análise, não têm julgamento ”, disse Harding. Certifique-se de que os humanos estejam verificando as previsões e fazendo uma chamada final.

A Ethical AI Network recomenda adicionando “processos de revisão humanos” para evitar previsões ruins.

Mas, primeiro, certifique-se de que sua equipe tenha o treinamento necessário. O Princípio de Não-Dano Discriminatório aconselha garantir que os sistemas sejam implantados por pessoas com treinamento suficiente para implementá-los de forma responsável e sem preconceitos. Às vezes, há uma tendência de confiar na saída de um algoritmo sem questionar adequadamente os resultados, explicou Krier. Portanto, é importante garantir que as pessoas sejam adequadamente treinadas para trabalhar com IA.

E lembre-se de pensar sobre quem está envolvido em seu projeto - uma variedade de perspectivas é imprescindível. É realmente importante ter equipes diversas, disse Krier, e, em alguns casos, envolver acadêmicos e especialistas em políticas, já que o conhecimento do domínio pode melhorar significativamente como os algoritmos são projetados.

Você pode consultar uma ONG que atua em sua área, sugeriu Harding. Por exemplo, se seu sistema estava afetando pessoas LGBT + no Reino Unido, você poderia consultar uma organização como Consortium.

Existem muitos conhecimentos especializados para ajudá-lo a atenuar o preconceito. Frameworks, [pastas de trabalho](https://www.gov.uk/government/publications/data -ethics-workbook / data-ethics-workbook) e modelos de entidades como o [governo do Reino Unido](https://www.gov .uk / government / organization / office-for-artificial-intelligence), AI Now e o Open Data Institute podem ajudá-lo detectar e mitigar vieses em seus dados, enquanto reguladores como a Autoridade de Conduta Financeira podem ser chamados para [revisão](https://www.fca.org. uk / news / speeches / future-Regulation-ai-consumer-good) seus processos.

Krier recomendou o relatório Toward Trustworthy AI Development da Cornell University. Enquanto isso, a organização de Harding, o CDEI, está conduzindo uma [Revisão sobre o preconceito na tomada de decisão algorítmica](https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/819168/Interim_report_ -_review_into_algorithmic_bias.pdf).

** 3 . Seja transparente **

Para desenvolver um [sistema de aprendizado de máquina] transparente (https://apolitical.co/en/solution_article/how-machine-learning-can-help-with-public-sector-transparency), você precisa ser capaz de ambos explicar a lógica por trás de suas decisões e comportamentos e [justificar os processos de design e implementação.](https: //www.turing.ac.uk/sites/default/files/2019-06/understanding_artificial_intelligence_ethics_and_safety.pdf)

Veja o exemplo de Krier de sistemas de policiamento preditivo adotado por agências de aplicação da lei para prever crimes. Ele explicou que, em alguns casos, a opacidade de como os modelos são desenvolvidos significava que os algoritmos não podiam ser totalmente compreendidos e examinados pelas agências de aplicação da lei.

O AI Institute recomenda que os formuladores de políticas tornem público o uso de sistemas automatizados e informem os cidadãos afetados pelas decisões que tomam, enquanto [Nesta aconselha](https: //www. nesta.org.uk/blog/10-principles-for-public-sector-use-of-algorithmic-decision-making/) que o público seja informado de todas as entradas que governam como o sistema chega a uma decisão ou recomendação .

** Se os legisladores não conseguirem conquistar a confiança, eles correm o risco de prejudicar gravemente as relações governo-cidadão **

A melhor maneira de garantir transparência é começar a pensar nisso desde o início - não apenas depois de desenvolver seu modelo. Freqüentemente, o aprendizado de máquina baseia-se em suposições estatísticas. Se você desenvolver seu modelo de forma estatisticamente robusta e científica, e for honesto sobre essas suposições, será mais fácil explicá-lo depois, disse Harding.

Também é importante que os cidadãos tenham uma "agência significativa", ele acrescentou: envolva-se com as pessoas que seu sistema afeta para garantir que elas possam alimentar o processo que você está projetando.

Mas como os funcionários públicos podem atrair os cidadãos? Para provar que seu sistema é digno de confiança pública, os formuladores de políticas devem garantir, tanto quanto possível, sua "segurança, precisão, confiabilidade, segurança e robustez", explica o guia de IA do setor público do Reino Unido. Por exemplo, garantindo a privacidade dos dados do cidadão.

Se os formuladores de políticas não conseguirem conquistar a confiança, correm o risco de prejudicar gravemente as relações governo-cidadão. O governo australiano foi acusado de “encobrimento,” após sua Programa Robodebt - um sistema automatizado sistema para notificar os cidadãos das dívidas que devem ao governo - alegadamente tinha uma taxa de erro de 20%.

“Há uma capacidade genuína de entregar resultados piores para os cidadãos em escala por meio do uso de tecnologias como o aprendizado de máquina”, alertou Carruthers.

Mas com as novas tecnologias vem um grande potencial. Ao incutir bons julgamentos éticos em nossas máquinas, explicou Harding, podemos capacitá-las a tomar decisões menos tendenciosas e críticas do que as pessoas, seja por falta de tempo, pressão ou recaindo em preconceitos culturais. - Anna Goulden

_ (Crédito da imagem: Unsplash) _