El uso de asesores de robots en el gobierno ya no es una novedad. Durante años, los servidores públicos han utilizado herramientas computacionales (“sistemas de decisión automatizados”) para asesorar y guiar sus decisiones. Estos programas procesan grandes cantidades de datos para evaluar la probabilidad de que ocurran ciertos eventos o para medir el rendimiento. Los algoritmos se usan para juzgar dónde es probable que ocurra un delito , cuáles son las posibilidades de que los delincuentes condenados reincidan o para crear puntajes para medir el desempeño de los maestros en las escuelas .

Aunque, al pie de la letra, usar computadoras como asesores puede parecer que elimina los prejuicios humanos de los juicios, los críticos temen que muchos de estos sistemas de decisión automatizados contengan sesgos incorporados. Una investigación de ProPublica de 2016 , por ejemplo, encontró que los algoritmos utilizados en los tribunales de muchos estados de EE. UU. Tienen más probabilidades de calificar a las personas negras con mayor riesgo de reincidencia.

Ahora, un grupo de académicos e investigadores de políticas públicas en Nueva York ha establecido un conjunto de pautas para evitar la codificación de sesgos en las herramientas de toma de decisiones algorítmicas antes de que se usen. Esto sigue a la decisión de la ciudad en diciembre de 2017 de establecer un equipo dedicado para buscar hacer que el uso de algoritmos sea más transparente, y se basa en el trabajo de AI Now presionando a la ciudad para que adopte reglas más estrictas para la rendición de cuentas.

• Para más información como esta, vea nuestro suministro digital de noticias del gobierno .

Las nuevas propuestas podrían ayudar a los servidores públicos a aprovechar los claros beneficios de la tecnología, reduciendo la presión sobre el tiempo y los recursos, ayudándoles a atravesar grandes cantidades de información relevante automáticamente sin discriminación. Pero si no se toman pautas viables, entonces la injusticia podría no denunciarse y la desconfianza del gobierno podría aumentar.

Rompiendo la caja negra

Las pautas, diseñadas por el AI Now Institute recientemente inaugurado por la Universidad de Nueva York, recomiendan que todas las agencias públicas que empleen sistemas de decisión automatizados completen lo que llaman " Evaluaciones de impacto algorítmico ".

La idea se basa en las evaluaciones de impacto ambiental requeridas cuando los gobiernos se embarcan en proyectos convencionales. Como parte de la evaluación, las agencias deben estudiar el impacto de los sistemas que utilizan, evaluar su sesgo y permitir que los auditores públicos y externos examinen su impacto en diferentes comunidades.

Las pautas sugieren que las agencias completen revisiones internas antes de usar sistemas de decisión automatizados explicando las razones detrás de su adopción. El informe también dice que los servidores públicos deberían publicar detalles de los sistemas que ya están en uso. Y cuando una herramienta está en funcionamiento, el nuevo consejo continúa, el gobierno debe permitir auditorías de sus efectos por parte de expertos externos: aquellos que pueden interrogar la mecánica del sistema, pero también periodistas, politólogos y sociólogos.

"En muchos casos, los diversos factores que influyen en el juicio de un algoritmo se mantienen en secreto"

"Creo que nuestra propuesta es una de las primeras en abordar la responsabilidad algorítmica fuera del contexto académico", dijo Dillon Reisman, técnico del Instituto AI Now y uno de los autores del informe. "En los Estados Unidos, los gobiernos no han logrado abordar esto".

"Se podría llamar justicia fundamental", agregó Reisman. "Básicamente, las personas deberían tener en cuenta cuando estos sistemas algorítmicos toman decisiones importantes sobre ellos, y deberían tener la oportunidad de responder y cuestionar su uso".

En muchos casos, los diversos factores que influyen en el juicio de un algoritmo, y cómo se ponderan dentro del algoritmo, no están claros o se mantienen en secreto por las empresas privadas que los fabrican para el gobierno a fin de mantener su ventaja competitiva. Esto le ha valido a estos algoritmos el sobrenombre de "recuadros negros", y hace que sea difícil para aquellos en el extremo receptor de las decisiones que toman para desafiarlos.

Sesgar el sistema

Los algoritmos de reincidencia utilizados por los sistemas de justicia de muchos estados en los EE. UU., Por ejemplo, proporcionan una puntuación de diez para predecir la probabilidad de que un delincuente cometa un delito en el futuro. Tales algoritmos funcionan extrapolando de miles de casos anteriores para buscar los factores que comúnmente llevan a un delincuente a reincidir, y usar esto para predecir futuros delitos.

Los algoritmos no usan la raza explícitamente como uno de estos factores. Pero debido a las disparidades raciales en los EE. UU., Factores como la ubicación del hogar, los ingresos y si los miembros de la familia inmediata han cometido o no delitos, que se utilizan, pueden servir como representantes de la raza.

La investigación de Propublica encontró que tales algoritmos pueden discriminar injustamente a las personas negras, aunque los fabricantes lo disputan. Northpointe, una compañía que hizo que el software de justicia penal se usara en Florida, dijo que no creía que la metodología que Propublica usó para hacer sus reclamos "con precisión [refleja] los resultados de la aplicación de ese modelo".

"A menudo, la medida en que los sistemas automatizados se utilizan en el gobierno no está clara"

Otro problema surge cuando estos algoritmos se utilizan para tomar decisiones para los servidores públicos, en lugar de aconsejarlos. Los algoritmos de reincidencia utilizados por muchos tribunales de los EE. UU. No estaban destinados originalmente a guiar las sentencias, sino a determinar si los acusados pueden solicitar libertad condicional o atención médica. Pero los jueces recibieron una puntuación de una máquina de cuyos procesos tenían poco conocimiento y, según Propublica, la usaron para influir en sus decisiones de sentencia.

"Los servidores públicos son, en muchos aspectos, expertos en sus propios procesos. Una gran parte de nuestra propuesta es asegurarnos de que estén al tanto de lo que realmente están haciendo los sistemas que utilizan", dijo Reisman.

A menudo, la medida en que los sistemas automatizados se utilizan en el gobierno no está clara. El informe AI Now enfatiza la necesidad de que las agencias hagan público todo su uso de sistemas automatizados e informen a los miembros del público afectado por las decisiones que toman. Los autores también instan a los servidores públicos a cuestionar cuánta influencia tienen estos sistemas en su pensamiento.

Muchos países ahora abordan la cuestión de cómo se puede responsabilizar el uso de la automatización y la inteligencia artificial en los servicios públicos. A principios de este año, el organismo británico de ciencia e investigación Nesta publicó un conjunto de recomendaciones para el uso de la IA en el gobierno, recomendando que el público conozca todos los aportes que rigen la forma en que el sistema toma una decisión o recomendación. El otoño pasado, el Reino Unido anunció un Centro de ética e innovación de datos para monitorear el uso de datos en la vida pública.

El gobierno todavía está comenzando a comprender cómo debe lidiar con los efectos de las tecnologías modernas. Si bien la automatización ofrece la oportunidad de mejorar los servicios y aumentar la eficiencia cuando los presupuestos son ajustados, los algoritmos pueden tener consecuencias no deseadas y malignas cuando se adoptan sin una supervisión adecuada. Las evaluaciones de impacto algorítmico podrían ser un medio para anticiparlas antes de que sucedan.

(Crédito de la imagen: Pixabay)

Anoush Darabi
Anoush.Darabi@Apolitical.com