Não é o big data que discrimina - são as pessoas que o usam

Se não forem usados com cuidado, os modelos que tiram conclusões com base em dados históricos _podem acentuar os preconceitos e consolidar a discriminação. No entanto, Dr. Reuben Binns argumenta que eles também fornecem os meios para as pessoas que os interpretam para descobrir a injustiça em nossas sociedades. O Dr. Binns é pesquisador do Departamento de Ciência da Computação da Universidade de Oxford e escreve sobre dados e seu impacto na sociedade.

Os dados não podem ser racistas ou sexistas, mas a forma como são usados pode ajudar a reforçar a discriminação. A Internet significa que mais dados são coletados sobre nós do que nunca e é usada para tomar decisões automáticas que podem afetar enormemente nossas vidas, desde nossa pontuação de crédito até nossas oportunidades de emprego.

Se esses dados refletem preconceitos sociais injustos contra atributos confidenciais, como nossa raça ou gênero, as conclusões tiradas desses dados também podem ser [com base nesses preconceitos](https://obamawhitehouse.archives.gov/sites/default/files /docs/big_data_privacy_report_may_1_2014.pdf)

Mas esta era de "big data" não precisa consolidar a desigualdade dessa forma. Se construirmos algoritmos mais inteligentes para analisar nossas informações e garantir que estamos cientes de como a discriminação e a injustiça podem estar em ação, podemos realmente usar o big data para combater nossos preconceitos humanos.

Esse tipo de problema pode surgir quando modelos de computador são usados para fazer previsões em áreas como seguros, empréstimos financeiros e policiamento. Se os membros de um determinado grupo racial têm, historicamente, mais probabilidade de inadimplir em seus empréstimos ou a probabilidade de serem condenados por um crime, o modelo pode considerar essas pessoas [mais arriscadas](https://theconversation.com/ algoritmos de big data podem discriminar e-não-está-claro-o-que-fazer-sobre-isso-45849) Isso não significa necessariamente que essas pessoas realmente se envolvem em um comportamento mais criminoso ou são piores no gerenciamento dinheiro deles. Eles podem ser desproporcionalmente visados pela polícia e vendedores de hipotecas sub-prime.

A cientista de dados Cathy O’Neil escreveu sobre sua experiência no desenvolvimento de modelos de serviços para moradores de rua na cidade de Nova York. Os modelos foram usados para prever quanto tempo os clientes sem-teto permaneceriam no sistema e para combiná-los com os serviços apropriados. Ela argumenta que incluir raça na análise teria sido antiético.

Se os dados mostrassem que os clientes brancos tinham maior probabilidade de encontrar um emprego do que os negros, o argumento continua, então a equipe poderia concentrar seus recursos limitados nos clientes brancos que teriam mais probabilidade de ter um resultado positivo. Embora a pesquisa sociológica tenha revelado as maneiras pelas quais as disparidades raciais na falta de moradia e no desemprego são o resultado de [discriminação injusta], (https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2915460/), os algoritmos não sabem dizer a diferença entre padrões justos e injustos. E, portanto, os conjuntos de dados devem excluir características que podem ser usadas para reforçar o viés, como raça.

Mas esta resposta simples não é necessariamente a resposta. Por um lado, os algoritmos de aprendizado de máquina muitas vezes podem inferir atributos confidenciais de uma combinação de outros fatos não confidenciais. Pessoas de uma determinada raça podem ser mais propensas a morar em uma determinada área, por exemplo. Portanto, excluir esses atributos pode não ser suficiente para remover o viés.

Mas, o mais importante, se atributos sensíveis forem incluídos em uma análise, não está claro se o algoritmo seria o culpado por quaisquer resultados desiguais. Tudo depende de como o algoritmo é usado e interpretado na prática. No exemplo de O'Neil, o algoritmo simplesmente prevê que famílias negras sem-teto têm menos probabilidade de conseguir empregos. Cabe aos prestadores de serviço descobrir o porquê disso e como responder a isso. E é aí que entram as considerações éticas.

Se os provedores de serviço presumissem que a taxa de desemprego mais alta se devia à falta de talento ou esforço, isso certamente estaria errado. Se eles decidirem parar de oferecer aconselhamento profissional a famílias negras sem-teto nessa base (como O’Neil sugere que fariam), isso também seria antiético. Mas nenhum desses resultados seria justificado ou ditado pelo algoritmo. São suposições e escolhas influenciadas pelo preconceito e pela ignorância humana.

Um prestador de serviço esclarecido pode, ao ver os resultados da análise, investigar se e como o racismo é uma barreira para que seus clientes negros sejam contratados. Munidos desse conhecimento, eles poderiam começar a fazer algo a respeito. Por exemplo, eles podem garantir que as práticas de contratação dos empregadores locais sejam justas e fornecer ajuda adicional aos candidatos com maior probabilidade de sofrer discriminação. A responsabilidade moral recai sobre os responsáveis por interpretar e agir de acordo com o modelo, não o modelo em si.

Portanto, o argumento de que atributos confidenciais devem ser retirados dos conjuntos de dados que usamos para treinar modelos preditivos é muito simples. Obviamente, a coleta de dados confidenciais deve ser cuidadosamente regulamentada porque pode ser facilmente mal utilizada. Mas o uso indevido não é inevitável e, em alguns casos, coletar atributos confidenciais pode ser absolutamente essencial para descobrir, prever e corrigir a discriminação injusta. Por exemplo, no caso dos serviços para moradores de rua discutidos acima, a cidade precisaria coletar dados sobre etnia para descobrir possíveis vieses nas práticas de emprego.

Os cientistas da computação estão apenas começando a descobrir as maneiras que o aprendizado de máquina pode ser usado para detectar e mitigar os efeitos da discriminação. Juntamente com um forte entendimento da dinâmica da discriminação e fortes estruturas legais e de governança, a próxima geração de cientistas de dados poderia evitar injustiças do passado e do presente. Em vez de consolidar as desigualdades, o big data pode apenas nos ajudar a superá-las.

Este artigo foi publicado originalmente por The Conversation e pode ser encontrado [aqui](https://theconversation.com/its-not-big-data-that-discriminates -its-the-people-that-use-it-55591)

(Crédito da foto: Flickr / Eric Fischer)