Si no se usa con cuidado, los modelos que hacen conclusiones basadas en datos históricos pueden acentuar sesgos y afianzar la discriminación. Sin embargo, el Dr. Reuben Binns argumenta que también proporcionan los medios para que las personas que los interpretan descubran la injusticia en nuestras sociedades. El Dr. Binns es investigador en el Departamento de Informática de la Universidad de Oxford y escribe sobre datos y su impacto en la sociedad.

Los datos no pueden ser racistas o sexistas, pero la forma en que se usan puede ayudar a reforzar la discriminación. Internet significa que se recopilan más datos sobre nosotros que nunca y se utilizan para tomar decisiones automáticas que pueden afectar enormemente nuestras vidas, desde nuestros puntajes de crédito hasta nuestras oportunidades de empleo.

Si esos datos reflejan sesgos sociales injustos contra atributos sensibles, como nuestra raza o género, las conclusiones extraídas de esos datos también podrían basarse en esos sesgos.

Pero esta era de "big data" no necesita afianzar la desigualdad de esta manera. Si creamos algoritmos más inteligentes para analizar nuestra información y asegurarnos de que somos conscientes de cómo la discriminación y la injusticia pueden estar en el trabajo, en realidad podemos usar grandes datos para contrarrestar nuestros prejuicios humanos.

Este tipo de problema puede surgir cuando se utilizan modelos de computadora para hacer predicciones en áreas tales como seguros, préstamos financieros y vigilancia. Si los miembros de un determinado grupo racial históricamente han sido más propensos a incumplir sus préstamos, o han sido más propensos a ser condenados por un delito, entonces el modelo puede considerar a estas personas más riesgosas. Eso no significa necesariamente que estas personas realmente se involucren en un comportamiento más criminal o sean peores en la administración de su dinero. Es posible que solo sean blanco desproporcionadamente de la policía y vendedores de hipotecas de alto riesgo.

La científica de datos Cathy O'Neil ha escrito sobre su experiencia en el desarrollo de modelos para servicios para personas sin hogar en la ciudad de Nueva York. Los modelos se utilizaron para predecir cuánto tiempo los clientes sin hogar estarían en el sistema y para combinarlos con los servicios adecuados. Ella argumenta que incluir la raza en el análisis no hubiera sido ético.

Si los datos muestran que los clientes blancos tenían más probabilidades de encontrar un trabajo que los negros, según el argumento, entonces el personal podría centrar sus recursos limitados en aquellos clientes blancos que probablemente tendrían un resultado positivo. Si bien la investigación sociológica ha revelado las formas en que las disparidades raciales en la falta de vivienda y el desempleo son el resultado de una discriminación injusta, los algoritmos no pueden diferenciar entre patrones justos e injustos. Y, por lo tanto, los conjuntos de datos deben excluir las características que pueden usarse para reforzar el sesgo, como la raza.

Pero esta respuesta simple no es necesariamente la respuesta. Por un lado, los algoritmos de aprendizaje automático a menudo pueden inferir atributos sensibles de una combinación de otros hechos no sensibles. Las personas de una raza en particular pueden tener más probabilidades de vivir en un área determinada, por ejemplo. Por lo tanto, excluir esos atributos puede no ser suficiente para eliminar el sesgo.

Pero lo que es más importante, si se incluyen atributos sensibles en un análisis, no está claro que el algoritmo sea el responsable de los resultados desiguales. Todo depende de cómo se use e interprete el algoritmo en la práctica. En el ejemplo de O'Neil, el algoritmo simplemente predice que las familias negras sin hogar tienen menos probabilidades de conseguir trabajo. Depende de los proveedores de servicios averiguar por qué podría ser eso y cómo responder. Y ahí es donde entran las consideraciones éticas.

Si los proveedores de servicios tuvieran que suponer que la mayor tasa de desempleo se debió a la falta de talento o esfuerzo, eso seguramente sería un error. Si luego deciden dejar de ofrecer asesoramiento laboral a familias negras sin hogar sobre esa base (como O'Neil sugiere que lo harían), eso tampoco sería ético. Pero ninguno de estos resultados estaría justificado o dictado por el algoritmo. Son suposiciones y elecciones influenciadas por prejuicios humanos e ignorancia.

Un proveedor de servicios iluminado podría, al ver los resultados del análisis, investigar si el racismo es una barrera para que sus clientes negros sean contratados y de qué manera. Equipados con este conocimiento, podrían comenzar a hacer algo al respecto. Por ejemplo, podrían garantizar que las prácticas de contratación de los empleadores locales sean justas y proporcionar ayuda adicional a aquellos solicitantes con mayor probabilidad de sufrir discriminación. La responsabilidad moral recae en los responsables de interpretar y actuar sobre el modelo, no sobre el modelo en sí.

Por lo tanto, el argumento de que los atributos sensibles se deben eliminar de los conjuntos de datos que utilizamos para entrenar modelos predictivos es demasiado simple. Por supuesto, la recopilación de datos confidenciales debe ser cuidadosamente regulada porque puede ser mal utilizada fácilmente. Pero el mal uso no es inevitable y, en algunos casos, la recopilación de atributos sensibles podría resultar absolutamente esencial para descubrir, predecir y corregir la discriminación injusta. Por ejemplo, en el caso de los servicios para personas sin hogar discutidos anteriormente, la ciudad necesitaría recopilar datos sobre el origen étnico para descubrir posibles sesgos en las prácticas de empleo.

Los informáticos apenas comienzan a descubrir las formas en que el aprendizaje automático puede utilizarse para detectar y mitigar los efectos de la discriminación. Junto con una sólida comprensión de la dinámica de la discriminación y sólidos marcos legales y de gobernanza, la próxima generación de científicos de datos podría evitar injusticias pasadas y presentes. En lugar de afianzar las desigualdades, los grandes datos podrían ayudarnos a superarlas.

Este artículo fue publicado originalmente por The Conversation y se puede encontrar aquí.

(Crédito de la imagen: Flickr / Eric Fischer)

La conversación