Os manifestantes estão tomando as ruas de cidades ao redor do mundo para lamentar a perda prematura de vidas negras nos Estados Unidos, mas seus gritos de angústia estão se estendendo além disso.

Mais racismo e preconceitos sistêmicos estão sendo descobertos, e um dos principais alvos da ira de ativistas e manifestantes é a coleta e processamento de dados. A IA se tornou uma parte fundamental da forma como os governos trabalham em todo o mundo, impulsionando a eficiência em um momento em que os orçamentos estão sendo reduzidos. Mas quanto mais amplamente está sendo usado, mais seus pontos cegos estão sendo descobertos.

“A intenção é ser objetivo, mas essas coisas têm causado discriminação por não levar em consideração as necessidades, gostos e experiências de mulheres e minorias”, disse Deniz Erden, pesquisador da HIIG Berlin, que estuda a discriminação algorítmica. Isso porque o código é projetado para replicar nossa sociedade quase perfeitamente - e isso inclui todos os seus preconceitos e partes feias.

“A força de trabalho é composta predominantemente por homens brancos fisicamente aptos”, acrescentou ela. Quaisquer sistemas orientados por dados são, portanto, configurados para perpetuar isso da melhor maneira possível.

Mulheres de pele escura são identificadas erroneamente por sistemas de reconhecimento facial uma em cada três vezes

Isso se deve ao fato de os conjuntos de dados nos quais esses sistemas são construídos não serem representativos de toda a gama da sociedade. “Enquanto mulheres e minorias étnicas e outras partes da sociedade, como deficientes e idosos, são deixados de fora dos conjuntos de dados”, disse Erden. Como resultado, os sistemas não levam em consideração suas necessidades e podem falhar ou gerar relatórios incorretos sobre eles.

Um dos principais pára-raios para os protestos Black Lives Matter que ocorrem em todo o mundo é a vigilância perpétua de pessoas negras e de minorias étnicas por software de reconhecimento facial que as identifica erroneamente. Mulheres de pele escura são erroneamente identificadas por sistemas de reconhecimento facial uma em cada três vezes, de acordo com uma pesquisa do Instituto de Tecnologia de Massachusetts. Isso pode afetar sua capacidade de acessar serviços do governo e pode identificá-los incorretamente em crimes.

“Os negros têm duas vezes mais chances de morrer sob custódia policial e estão usando um software provavelmente incorreto para levar as pessoas que protestam contra a custódia policial”, disse Charlene Prempeh de A Vibe Called Tech, um grupo de lobby focado em melhorar representação em tecnologia. Por esse motivo, a IBM e a Amazon anunciaram que farão uma pausa no fornecimento de sistemas de reconhecimento facial às autoridades policiais até que possam resolver os problemas.

Mas a resposta para o problema não é incluir rostos mais diversos nos conjuntos de dados - o que perpetua mais vigilância em uma população já acostumada a isso e aumenta os problemas pelos quais muitas pessoas estão tomando as ruas.

É necessária uma reforma da raiz e do ramo, incluindo códigos mais claros sobre a ética do uso de dados. Os governos se apressaram em adotar soluções tecnológicas às custas do devido cuidado. “Se não houver uma estrutura de governança sólida, não há limite de como \ [os dados capturados ] podem ser usados”, disse Lofred Madzou, líder de inteligência artificial no Fórum Econômico Mundial. Ele acredita que os manifestantes “precisam defender ativamente a regulamentação das tecnologias de vigilância”.

A resposta não é voltar às velhas formas de trabalho, mas sim pensar mais profundamente sobre os impactos

As cidades precisam usar a crise do coronavírus como uma oportunidade para refletir sobre suas práticas de uso de dados. Várias cidades americanas, incluindo Seattle, San Francisco e Oakland, têm políticas rígidas sobre como e quando podem usar os dados - e tomaram medidas para impedir os preconceitos implícitos neles contidos. Um recente projeto de reforma da polícia proibiria o uso de reconhecimento facial em câmeras corporais usadas pela polícia americana.

Além de seguir o exemplo de Seattle, San Francisco e Oakland, eles poderiam se inspirar na União Europeia, cujas regras em torno [do uso de inteligência artificial](https://ec.europa.eu/digital-single-market/ pt / inteligência artificial) promover uma “estrutura ética e legal apropriada” em torno do uso de dados e IA.

Entre seus princípios básicos está que “os sistemas de IA devem integrar mecanismos de proteção e proteção desde o projeto para garantir que sejam verificadamente seguros em cada etapa, levando em consideração a segurança física e mental de todos os envolvidos”.

Ao sair do coronavírus e redefinir as economias locais e as estruturas de governança, a resposta não é voltar às velhas formas de trabalho, mas sim pensar mais profundamente sobre os impactos - intencionais e não intencionais - que as grandes mudanças tecnológicas podem ter . _ \ - Chris Stokel-Walker_

(Crédito da foto: Tony Zhen / Unsplash)

Certifique-se de partilhar as suas próprias ideias com o autor ao deixar um comentário abaixo