Cuando Big Data se vuelve malo: cómo las buenas intenciones pueden conducir al desastre

En 2013, Krishnamurthy Ramesh, jefe del programa de monitoreo de tigres en la Reserva de Tigres de Panna en el centro de India, recibió un correo electrónico advirtiéndole que alguien estaba tratando de hackear su cuenta de correo electrónico. Ramesh supervisó el etiquetado electrónico de los tigres de Bengala en peligro de extinción en la reserva, y mantuvo las coordenadas GPS de los animales etiquetados en su correo electrónico de trabajo.

Aunque el hackeo no tuvo éxito y los datos se cifraron, planteó preguntas sobre qué podría pasar si el paradero de los animales cayera en las manos equivocadas. La misma información que permite al personal de la reserva realizar un seguimiento de la población de tigres en disminución de la India le habría permitido al hacker rastrear al tigre hasta su ubicación exacta. Tales incidentes de "ciber-caza furtiva" se han vuelto más comunes en los últimos años, a medida que los científicos construyen conjuntos de datos de animales en peligro de extinción, revelando sus ubicaciones precisas.

Este es un ejemplo de lo que sucede cuando Big Data sale mal. Hay muchos otros En lugar de aclarar la imagen, los datos pueden devolver una imagen distorsionada de la realidad. Si bien los formuladores de políticas se propusieron con las mejores intenciones, formular políticas a partir de datos erróneos es como construir una línea de falla. La IA y el aprendizaje automático pueden exacerbar las desigualdades existentes, mientras que la apertura de datos para que cualquiera pueda acceder puede tener consecuencias desastrosas y no deseadas.

Aquí en Apolitical, hemos encontrado historias de terror para ayudarlo a trazar una ruta a través de las trampas.

Las trampas de los datos abiertos

Se supone que los datos abiertos tienen la información correcta en las manos correctas. En 2017, el gobierno de la India abrió datos de todos sus ministerios al acceso público, y generó innovaciones de inmediato. Condujo al desarrollo de una interfaz de pago unificada llamada Open Street Maps, un marco de aplicación web de pila completa llamado Frappe y un sistema de aprendizaje abierto llamado DigiLocker.

Pero a veces, las consecuencias no deseadas no son buenas. En 2015, dos ciudadanos españoles fueron arrestados en la Reserva Natural Knersvlakte de Sudáfrica. Un guardabosques los descubrió con una camioneta llena de plantas en peligro de extinción, mientras que una nueva búsqueda en su casa de huéspedes reveló cientos más.

La pareja española había estado utilizando datos en línea de JSTOR Global Plants, iSpot y las redes sociales para localizar plantas en peligro de extinción para vender en su sitio web . Los datos geoetiquetados que revelan la ubicación de las plantas los llevaron directamente a donde estaban escondidos, permitiéndoles recolectar variedades raras y venderlas a los recolectores. En un caso similar, los cazadores furtivos recorrieron las publicaciones en redes sociales del parque nacional Kruger de Sudáfrica en busca de geoetiquetado que revelara la ubicación de animales valiosos.

Tomando el poder de los más pobres

Cuando los gobiernos quieren aumentar la eficiencia y la transparencia, trituran los registros en papel y recurren a una base de datos digital centralizada. A partir de 2009, India comenzó a dar a cada ciudadano mayor de 18 años una identidad digital única . El sistema "Aadhaar" permite que 1.13 billones de indios accedan a servicios gubernamentales, paguen impuestos y abran cuentas bancarias. Anteriormente, muchos de estos ciudadanos no tenían identificación alguna, y no podían acceder a cuentas bancarias o beneficios gubernamentales.

El mismo proceso se puede utilizar para tomar el poder de los más pobres. A partir de 2001, el estado indio de Karnataka comenzó a informatizar sus registros de propiedad de la tierra. El "sistema Bhoomi" , alabado por el Banco Mundial y los políticos locales, hizo que los pequeños propietarios reemplazaran su título de propiedad existente con un registro estandarizado, que se cargó en un sistema central. Las oficinas locales de las aldeas se cerraron y la administración dio un paso al nivel de gobierno de distrito o "taluk". A través de esto, el gobierno de Karnataka afirmó aumentar la eficiencia y la transparencia, al tiempo que permitió transacciones comerciales más rápidas y claras.

El resultado fue todo lo contrario . Lejos de reducir la corrupción, el sistema Bhoomi brindó una oportunidad para que los agentes del gobierno local se involucraran en el soborno. Antes, los pequeños propietarios pagaban pequeños sobornos a los oficiales a nivel de aldea para acelerar la administración de un título de propiedad. Después de las reformas, tuvieron que gastar varios sobornos para navegar por las cuatro capas administrativas que reemplazaron al oficial local. Si bien los sobornos locales podían negociarse, el nuevo sistema permitía a los agentes sistematizar el soborno y coludían entre sí para establecer una tasa de mercado. Estas capas también retrasaron significativamente el proceso para los pequeños agricultores.

Pero el mayor daño fue causado por la informatización de los registros de tierras en sí. Al estandarizar los registros de tierras y subirlos a una plataforma central, el sistema Bhoomi les dio a las personas que tenían el control de los datos una vista panorámica de la tierra en Karnataka. Esto estructuró el mercado de tierras, facilitando la planificación de grandes proyectos y que los desarrolladores pujen por ellos, pero a costa de los pequeños propietarios. Mientras que antes de que los pequeños y medianos agricultores tuvieran acceso a sus registros físicos de la tierra, la informatización tomó el control de sus manos y se lo dio al gobierno local, a los desarrolladores multinacionales y a los grandes agricultores. La informatización se usó para forzar a las tierras de su posesión y reforzar la pobreza existente.

Algoritmos discriminatorios

La automatización puede salvar vidas. Al entrenar algoritmos para encontrar patrones en masas de datos, podemos automatizar procesos complejos y predecir todo, desde la probabilidad de incendios hasta el abuso infantil, desde las llamadas hasta las líneas directas de protección infantil . Sin embargo, dichos algoritmos se basan en datos históricos y, si contienen sesgos, los algoritmos en los que se basan pueden exacerbarlos.

Los tribunales de Estados Unidos en estados como Idaho y Colorado utilizan un algoritmo para medir las posibilidades de reincidencia de cada delincuente condenado antes de ser sentenciado. Se les pide a los delincuentes que completen el cuestionario LSI-R , que les hace preguntas que van desde si anteriormente habían estado involucrados en delitos, dónde viven, hasta si alguien de sus amigos o familiares había estado involucrado con la policía. Basado en correlaciones y datos de casos anteriores, el modelo genera una puntuación, de alto riesgo a bajo riesgo, que califica la probabilidad del delincuente de reincidencia.

Estos sistemas no son neutrales. Si bien están diseñados para evitar el sesgo del juez humano, no pueden evitar los sesgos sociales en los datos . En los Estados Unidos, las personas negras y las minorías étnicas tienen más probabilidades de haber sido detenidas por la policía y de tener familiares que hayan cometido delitos. Dado que el modelo funciona a partir de la participación previa con la policía, en lugar del delito, el simple hecho de ser detenido y registrado puede afectar un puntaje. Si el tratamiento de las minorías no es equitativo, la puntuación de salida se distorsiona. Estas métricas a menudo sirven como indicadores de la raza o la pobreza: no juzgan a la persona, sino a sus circunstancias.

La tecnología brinda nuevas oportunidades, pero recuerda el elemento humano

La apertura de datos ha llevado a una innovación positiva, pero también puede conducir a la explotación. La digitalización puede brindar la oportunidad a los fuertes de tomar de los débiles. Los algoritmos pueden hacer el trabajo de departamentos enteros en una fracción del tiempo, pero también exacerban la discriminación.

Todos estos peligros pueden evitarse, pero requiere ser consciente de las fallas en los datos. Los datos no son neutrales y contienen sesgos. Detecte estos, y sus políticas no los exacerbarán. Trabajar con datos puede incluso ayudar a revelarlos en primer lugar.

Los buenos formuladores de políticas serán conscientes de estas fallas. Cuando las personas se familiarizan con cualquier tecnología nueva, descubren el potencial de explotación junto con la mejora. Recordar que los seres humanos siempre son parte de la ecuación es el primer paso y el más esencial cuando se trabaja con datos en el gobierno, y comprender que puede causar los mayores dolores de cabeza.

(Crédito de la imagen: Flickr / beachmobjellies)