Este artículo fue escrito por Monika Sarder, Analista Estratégico Senior de la Universidad de Monash. Fue publicado originalmente en The Conversation .

La toma de decisiones algorítmicas tiene un enorme potencial para hacer el bien. Desde la identificación de áreas prioritarias para la primera respuesta después de un terremoto, hasta la identificación de aquellos en riesgo de COVID-19 en cuestión de minutos, su aplicación ha demostrado ser enormemente beneficiosa.

Pero las cosas pueden salir drásticamente mal cuando las decisiones se confían en los algoritmos sin garantizar que se adhieran a las normas éticas establecidas. Dos ejemplos recientes ilustran cómo las agencias gubernamentales no logran automatizar la equidad.

1. El algoritmo no coincide con la realidad.

Este problema surge cuando se implementa una regla de talla única en un entorno complejo.

El ejemplo devastador más reciente fue la debacle "robodebt" de Centrelink en Australia. En ese caso, los pagos de asistencia social realizados sobre la base de ingresos quincenales autoinformados se hicieron referencias cruzadas contra un ingreso quincenal estimado , se tomaron como un promedio simple de ganancias anuales informadas a la Oficina de Impuestos de Australia, y se utilizaron para generar automáticamente avisos de deuda sin cualquier otro escrutinio humano o explicación.

"El racismo sistémico se ha repetido, más insidiosamente, en procesos algorítmicos"

Esta suposición está en desacuerdo con la forma en que se paga a la fuerza laboral altamente informal de Australia. Por ejemplo, un diseñador gráfico que no pudo encontrar trabajo durante nueve meses del año financiero pero ganó A $ 12,000 en los tres meses anteriores a junio habría tenido una deuda automatizada contra ella. Esto a pesar de que no se ha producido ningún fraude, y este escenario constituye exactamente el tipo de dificultad que Centrelink está diseñado para abordar.

El plan finalmente resultó ser un desastre para el gobierno australiano, que ahora debe pagar un estimado de A $ 721 millones en deudas emitidas erróneamente después de que el Tribunal Superior dictaminó que el plan era ilegal. El esquema planteó más de 470,000 deudas por error, principalmente contra personas de bajos ingresos, lo que causó una angustia significativa.

2. Las entradas incrustan el racismo

Las impresionantes escenas de violencia policial en las ciudades de los Estados Unidos han puesto de relieve hasta qué punto el racismo sistémico influye en los procesos de ley y orden en los Estados Unidos , desde las patrullas policiales hasta las sentencias. Las personas negras tienen más probabilidades de ser detenidas y registradas , más propensas a ser arrestadas por infracciones de bajo nivel, más propensas a tener tiempo de prisión incluido en acuerdos de declaración de culpabilidad e incurrir en sentencias más largas por delitos comparables cuando van a juicio.

Este racismo sistémico se ha repetido, más insidiosamente, en procesos algorítmicos. Un ejemplo es COMPAS, un controvertido sistema de "apoyo a la decisión" diseñado para ayudar a las juntas de libertad condicional en los Estados Unidos a decidir a qué prisioneros liberar antes, proporcionando un puntaje de probabilidad de su probabilidad de reincidencia.

En lugar de basarse en una regla de decisión simple, el algoritmo utilizó una variedad de entradas, incluida información demográfica y de encuestas, para obtener una puntuación. El algoritmo no utilizó la raza como una variable explícita, pero sí incorporó el racismo sistémico al usar variables que fueron moldeadas por prejuicios policiales y judiciales sobre el terreno.

"Usar algoritmos para tomar decisiones no es inherentemente malo"

Se les hizo una serie de preguntas a los solicitantes sobre sus interacciones con el sistema de justicia, como la edad en la que entraron en contacto por primera vez con la policía y si la familia o los amigos habían sido encarcelados previamente. Esta información se utilizó luego para derivar su puntaje final de "riesgo".

Como lo expresó Cathy O'Neill en su libro Weapons of Math Destruction : "es fácil imaginar cómo los internos de un entorno privilegiado responderían de una manera y los de las calles interiores difíciles de otra".

¿Qué va mal?

Usar algoritmos para tomar decisiones no es inherentemente malo. Pero puede volverse malo si los sistemas automatizados utilizados por los gobiernos no incorporan los principios que los humanos reales usan para tomar decisiones justas.

Las personas que diseñan e implementan estas soluciones deben centrarse no solo en el diseño de estadísticas y software, sino también en la ética . Así es cómo:

  • consultar a aquellos que probablemente se verán afectados significativamente por un nuevo proceso antes de que se implemente, no después
  • verificar posibles sesgos injustos en la fase de diseño del proceso
  • Asegurar que el fundamento de las decisiones sea transparente y que los resultados sean relativamente predecibles.
  • Hacer responsable a un ser humano por la integridad de las decisiones y sus consecuencias.

Sería ideal si los desarrolladores de algoritmos de política social colocan estos principios en el centro de su trabajo. Pero en ausencia de responsabilidad en el sector tecnológico, se han aprobado numerosas leyes, o se están aprobando, para abordar el problema.

La ley de protección de datos de la Unión Europea establece que las decisiones algorítmicas que tienen consecuencias significativas para cualquier persona deben involucrar un componente de revisión humana. También requiere que las organizaciones proporcionen una explicación transparente de la lógica utilizada en los procesos algorítmicos.

Mientras tanto, el Congreso de los Estados Unidos está considerando un proyecto de Ley de Responsabilidad Algorítmica que requeriría que las instituciones consideren "los riesgos que el sistema de decisión automatizado puede generar o contribuir a decisiones inexactas, injustas, sesgadas o discriminatorias que afectan a los consumidores".

La legislación es una solución, pero no es la mejor. Necesitamos desarrollar e incorporar la ética y las normas en torno a la toma de decisiones en la práctica organizacional. Para esto, necesitamos aumentar la alfabetización de datos del público, para que tengan el lenguaje para exigir responsabilidad de los gigantes tecnológicos a los que todos estamos cada vez más comprometidos.

Un enfoque transparente y abierto es vital si queremos aprovechar al máximo las tecnologías que se ofrecen en nuestro mundo rico en datos, al tiempo que conservamos nuestros derechos como ciudadanos. La conversación - Monika Sarder

Este artículo se vuelve a publicar de The Conversation bajo una licencia Creative Commons. Lee el artículo original .

[Crédito de la foto: Sean Batty / Pizabay]