Quando o Big Data fica ruim: como boas intenções podem levar ao desastre

Em 2013, Krishnamurthy Ramesh, chefe do programa de monitoramento de tigres na Reserva Panna Tiger, na Índia central, [recebeu um e-mail](http://news.nationalgeographic.com/news/2013/10/131010-poaching-technology-tigers -endangered-animals-science /) avisando-o de que alguém estava tentando invadir sua conta de e-mail. Ramesh supervisionou a marcação eletrônica dos tigres de Bengala ameaçados de extinção na reserva e manteve as coordenadas GPS dos animais marcados em seu e-mail de trabalho.

Embora o hack não tenha sido bem-sucedido e os dados tenham sido criptografados, ele levantou questões sobre o que poderia acontecer se o paradeiro dos animais caísse em mãos erradas. Os mesmos dados que permitem que a equipe da reserva rastreie a população cada vez menor de tigres da Índia teriam permitido ao hacker rastrear o tigre até sua localização exata. Esses incidentes de "cyber-caça furtiva" tornaram-se mais comuns nos últimos anos, conforme os cientistas constroem conjuntos de dados de animais ameaçados, revelando suas localizações precisas.

Este é um exemplo do que acontece quando o big data dá errado. Existem muitos outros. Em vez de tornar a imagem mais clara, os dados podem lançar de volta uma imagem distorcida da realidade. Embora os formuladores de políticas estabeleçam as melhores intenções, fazer política com base em dados ruins é como construir uma linha de falha. A IA e o aprendizado de máquina podem exacerbar as desigualdades existentes, enquanto a abertura de dados para qualquer pessoa acessar pode levar a consequências indesejadas e desastrosas.

Aqui no Apolitical, encontramos as histórias de terror para ajudá-lo a traçar uma rota através das armadilhas.

** As armadilhas dos dados abertos **

Os dados abertos devem colocar as informações certas nas mãos certas. Em 2017, o governo da Índia abriu dados de todos os seus ministérios ao acesso público e gerou inovações imediatamente. Isso levou ao desenvolvimento de uma interface de pagamento unificada chamada Open Street Maps, uma estrutura de aplicativo da web full-stack chamada Frappe e um sistema de aprendizado aberto chamado DigiLocker.

Mas às vezes, as consequências indesejadas não são boas. Em 2015, dois cidadãos espanhóis foram presos na Reserva Natural Knersvlakte da África do Sul. Um ranger os descobriu com uma caminhonete cheia de plantas ameaçadas de extinção, enquanto uma busca adicional em sua casa de hóspedes revelou centenas de outras.

O casal espanhol tem usado dados online da JSTOR Global Plants, iSpot e mídia social para rastrear plantas ameaçadas para vender em seu website. Dados com geotags revelando a localização das plantas os levaram diretamente para onde estavam escondidas, permitindo-lhes coletar variedades raras e vendê-las aos colecionadores. Em um caso semelhante, caçadores furtivos vasculharam postagens de mídia social do parque nacional Kruger da África do Sul em busca de geotags que revelavam a localização de animais valiosos.

** Tirando energia dos mais pobres **

Quando os governos desejam aumentar a eficiência e a transparência, eles destroem os registros em papel e recorrem a um banco de dados digital centralizado. A partir de 2009, a Índia começou a dar a todos os cidadãos maiores de 18 anos uma identidade digital exclusiva. O sistema “Aadhaar” permite que 1,13 bilhão de indianos acessem serviços do governo, paguem impostos e abram contas bancárias. Anteriormente, muitos desses cidadãos não tinham nenhuma identificação e não podiam acessar contas bancárias ou benefícios do governo.

O mesmo processo pode ser usado para tirar o poder dos mais pobres. A partir de 2001, o estado indiano de Karnataka começou a informatizar seus registros de propriedade de terras. O “sistema Bhoomi”, elogiado pelo Banco Mundial e por políticos locais, fez com que pequenos proprietários substituíssem seus títulos de terra existentes por um registro padronizado, que foi carregado em um sistema central. Os escritórios locais das aldeias foram fechados e a administração subiu um degrau para o nível de governo distrital, ou “taluk”. Com isso, o governo de Karnataka reivindicou aumentar a eficiência e a transparência, ao mesmo tempo em que possibilitou transações comerciais mais rápidas e claras.

O resultado foi o oposto. Longe de reduzir a corrupção, o sistema Bhoomi ofereceu uma oportunidade para os agentes do governo local se envolverem em suborno. Antes, os pequenos proprietários pagavam pequenos subornos aos oficiais da aldeia para acelerar a administração de um título de terra. Após as reformas, eles tiveram que gastar vários subornos para navegar nas quatro camadas administrativas que substituíram o oficial local. Embora os subornos locais pudessem ser negociados, o novo sistema permitiu aos agentes sistematizar o suborno e conspirar entre si para definir uma taxa de mercado. Essas camadas também retardaram significativamente o processo para os pequenos agricultores.

Mas o maior dano foi causado pela própria informatização dos registros fundiários. Ao padronizar os registros de terras e enviá-los para uma plataforma central, o sistema Bhoomi deu às pessoas no controle dos dados uma visão panorâmica da terra em Karnataka. Isso estruturou o mercado de terras, facilitando o planejamento de grandes projetos e a licitação dos incorporadores, mas às custas dos pequenos proprietários. Enquanto antes que os pequenos e médios agricultores tivessem acesso a seus registros físicos de terras, a informatização assumiu o controle de suas mãos e o entregou ao governo local, aos desenvolvedores multinacionais e aos grandes agricultores. A informatização foi usada para proteger a terra de sua posse e reforçou a pobreza existente.

** Algoritmos discriminatórios **

A automação pode salvar vidas. Ao treinar algoritmos para encontrar padrões em massas de dados, podemos automatizar processos complexos e prever tudo a partir da [probabilidade de incêndios](https://apolitical.co/solution_article/new-york-city-saving-lives-predicting-fires -will-break /) ao abuso infantil de ligações para linhas diretas de proteção infantil. No entanto, esses algoritmos são construídos em dados históricos e, se contiverem tendências, os algoritmos em que se baseiam podem agravá-los.

Os tribunais dos EUA em estados como Idaho e Colorado usam um algoritmo para medir as chances de cada criminoso condenado de reincidir antes de ser condenado. Os criminosos são convidados a preencher o questionário LSI-R, que faz perguntas que vão desde se eles já estiveram envolvidos em crime, para onde moram, se alguém de seus amigos ou familiares havia se envolvido com a polícia. Com base em correlações e dados de casos anteriores, o modelo produz uma pontuação, de alto risco a baixo risco, que classifica a probabilidade de reincidência do criminoso.

Esses sistemas não são neutros. Embora sejam projetados para evitar o preconceito do juiz humano, [eles não podem contornar os preconceitos sociais nos dados](http://pyfound.blogspot.co.uk/2017/01/weapons-of-math-destruction- by-cathy.html). Nos Estados Unidos, é mais provável que negros e minorias étnicas sejam parados pela polícia e tenham familiares que cometeram crimes. Uma vez que o modelo trabalha com o envolvimento anterior com a polícia, ao invés do crime, simplesmente ser parado e revistado pode impactar uma pontuação. Se o tratamento das minorias não for equitativo, a pontuação de saída será distorcida. Essas métricas geralmente servem como substitutos para raça ou pobreza - elas não julgam a pessoa, mas suas circunstâncias.

** A tecnologia traz novas oportunidades - mas lembre-se do elemento humano **

A abertura de dados levou a inovações positivas, mas também pode levar à exploração. A digitalização pode fornecer a oportunidade para que os fortes tirem proveito dos fracos. Os algoritmos podem fazer o trabalho de departamentos inteiros em uma fração do tempo, mas também exacerbam a discriminação.

Todos esses perigos podem ser evitados, mas isso requer consciência das falhas nos dados. Os dados não são neutros e contêm preconceitos. Identifique-os e suas políticas não os agravarão. Trabalhar com dados pode até ajudar a revelá-los em primeiro lugar.

Bons formuladores de políticas estão cientes dessas linhas de falha. Quando as pessoas se familiarizam com qualquer nova tecnologia, descobrem o potencial de exploração junto com a melhoria. Lembrar que o ser humano sempre faz parte da equação é o primeiro e mais importante passo ao se trabalhar com dados no governo, e entendê-los pode causar as maiores dores de cabeça.

(Crédito da imagem: Flickr / beachmobjellies)