Este artículo de opinión fue escrito por Krzysztof Izdebski, Director de Políticas, coautor de la Fundación ePaństwo, del reciente informe sobre alGOVrithms. Para más información como esta, vea nuestro suministro de noticias digital del gobierno.

Si hay una falta general de confianza hacia los gobiernos de hoy, ¿estamos entonces, como ciudadanos, también en lo correcto al desconfiar de las herramientas que nos brinda la administración pública?

Una respuesta a esta difícil pregunta es cada vez más urgente en el campo de la toma de decisiones automatizada y la IA .

La toma de decisiones automatizada es un sistema que utiliza el razonamiento automatizado para ayudar o reemplazar un proceso de toma de decisiones que de otro modo sería realizado por humanos, y recientemente se ha convertido en un tema candente discutido en varias conferencias y reuniones de políticas.

• ¿Quieres escribir para nosotros? Echa un vistazo a la guía de Apolitical para contribuyentes

Cada vez más gobiernos muestran participación en estos debates elaborando sus estrategias o, en algunos casos raros como Canadá o Francia, preparando regulaciones concretas.

Aún así, muchos gobiernos parecen tratar el tema como la base para la implementación de la Inteligencia Artificial en los procedimientos administrativos o judiciales, en lugar de concentrarse en el estado actual del juego.

Algoritmos de jardín de infantes

En la ciudad polaca de Wrocław, las autoridades locales han implementado una herramienta de software para organizar la contratación de personal para jardines de infancia locales. Sin embargo, según los padres frustrados, el proceso ha estado lejos de ser perfecto.

Uno de los padres entrevistados por la estación de noticias local dijo que “para tener acceso a información actualizada sobre reclutamiento, debemos organizarnos en las redes sociales, comparar resultados, recopilar errores, informar a la oficina de cualquier deficiencia, interrogar oficiales que no están preparados para proporcionar información y que nos envían a otros funcionarios igualmente mal informados. Luego escribimos a las instituciones apropiadas sin recibir ninguna respuesta ".

Este ejemplo ilustra cómo la falta de políticas en torno a la toma de decisiones automatizada puede socavar la confianza tanto en las autoridades públicas como en los servicios que brindan al público. Y el problema no se reduce a una ciudad o un país.

A pesar del debate en curso sobre los peligros de la influencia de los algoritmos en los derechos humanos, no hemos identificado ninguna política gubernamental general existente con respecto a la implementación de algoritmos en ninguno de los países que participan en la investigación.

Es un fenómeno común revelado en el reciente informe sobre "alGOVrithms". El estado del juego. Informe sobre el uso de algoritmos en las relaciones entre el gobierno y los ciudadanos , del que soy coautor, y que fue publicado por la Fundación ePaństwo, con sede en Polonia, que trabaja con los socios de Georgia, Hungría, Serbia, Chequia y Eslovaquia. La investigación sobre el actual entorno automatizado de toma de decisiones en los países de Europa Central y Oriental proporciona evidencia de que los ciudadanos ya tienen bastantes razones para no confiar en las autoridades.

En el informe encontramos evidencia de la toma de decisiones automatizada implementada en una gran cantidad de esferas públicas, incluido el control de velocidad, la asignación de jueces y otros funcionarios públicos, la elección de lotes para realizar controles e inspecciones, la distribución de beneficios sociales, la detección de fraudes o incluso la preselección de contratistas en la contratación pública.

A pesar del debate en curso sobre los peligros de la influencia de los algoritmos en los derechos humanos, no hemos identificado ninguna política gubernamental general existente con respecto a la implementación de algoritmos en ninguno de los países que participan en la investigación.

No se han detectado ejemplos de marcos éticos o legales que describan de manera exhaustiva la responsabilidad personal por la aplicación de las herramientas, la seguridad de su implementación o los derechos y obligaciones de los estados y ciudadanos a este respecto.

El conocimiento de su funcionamiento permanece clasificado. Esto no solo es problemático para los ciudadanos y para aquellos que buscan desesperadamente información sobre los problemas relacionados con el proceso de reclutamiento en el jardín de infantes, sino también para los funcionarios públicos que no tienen conocimiento de cómo funcionan realmente las herramientas que utilizan para realizar tareas públicas.

Retomando el control público

Los algoritmos utilizados en el software creado para la toma de decisiones automatizada no están sujetos a la transparencia y no es posible obtener acceso público a los algoritmos o al código fuente que los incluye.

Por ejemplo, no solo los ciudadanos, sino también los jueces, se ven privados del acceso a la información relacionada con el Sistema de asignación aleatoria de jueces, que se utiliza en Polonia, Georgia y Serbia.

Con frecuencia, solo las empresas que crean herramientas para instituciones públicas tienen pleno conocimiento de las funciones de los algoritmos y no se someten a ningún proceso de auditoría externa que determine la equidad y precisión de las herramientas.

Además, ninguno de los países investigados estableció un organismo coordinador responsable de monitorear la implementación automatizada de la toma de decisiones, incluida la creación de herramientas y su desempeño.

El informe es seguido por recomendaciones de políticas que deben ser implementadas de inmediato por los gobiernos de la región y más allá.

A medida que más y más herramientas en el sector público hagan uso de la IA, los problemas descritos en el informe solo empeorarán. Por lo tanto, recomendamos que los gobiernos deberían:

  • Introducir nuevas políticas que regulen la toma de decisiones automatizada, describiendo la transparencia del proceso de implementación y el funcionamiento de las herramientas;
  • Utilice las evaluaciones de impacto algorítmico (AIA) en los sistemas utilizados en el área de elaboración de leyes, como las evaluaciones de impacto regulatorio, donde una institución responsable de la implementación de las herramientas está obligada a demostrar la necesidad de su uso, su impacto en los derechos de los ciudadanos , definición de los riesgos y métodos de evaluación;
  • Crear los mecanismos para el control independiente de algoritmos;
  • Instituir garantías legales para contrarrestar la discriminación y proporcionar medios efectivos de protección legal.

Finalmente, el enfoque multidisciplinario en el proceso de creación de algoritmos es imprescindible.

Las organizaciones de derechos humanos desempeñan un papel importante al proporcionar experiencia en inclusión social e igualdad, prevención de la discriminación y transparencia de los gobiernos.

También hay una creciente comunidad de tecnología cívica que puede ayudar a los gobiernos a crear herramientas que realmente estén destinadas a apoyar a los ciudadanos y al interés público en lugar de consolar a las autoridades y entender erróneamente la "efectividad" de las instituciones públicas. - Krzysztof Izdebski

(Crédito de la foto: Unsplash)