Esta publicación está escrita por Pia Andrews, reformadora del sector público. Agradecemos a las siguientes personas por sus contribuciones, revisión por pares, comentarios y apoyo: Tim de Sousa, Bruce Haefele, Matt Beard, Marcus Wigan, Abhinav Palia, Kathy Reid, Saket Narayan, Morgan Dumitru, Alex Morrison, Geoff Mason y Aurélie Jacquet ( Consultoría Ética en IA).

  • El problema : la confianza pública y la confianza en las instituciones públicas se ven afectadas negativamente por sistemas opacos, inconsistentes e irresponsables.
  • Por qué es importante: La confianza pública en el sector público tiene un impacto directo en la eficacia de las políticas, así como en la estabilidad social, democrática y económica.
  • La solución: el contexto especial del gobierno es fundamental para comprender y aplicar en el diseño, la entrega y la gestión de los sistemas gubernamentales. Este documento explora formas prácticas de crear inteligencia artificial confiable y toma de decisiones automatizada en el sector público, y se aplica igualmente a todos y cada uno de los sistemas gubernamentales.

Ganar y mantener la confianza del público en los sistemas de gobierno no es algo "agradable", sino que es fundamental para la estabilidad y la confianza del público.

A medida que los gobiernos exploran e invierten cada vez más en sistemas de inteligencia artificial (IA) y toma de decisiones automatizada (ADM), debemos tomar medidas para garantizar que estas tecnologías en rápida evolución se utilicen adecuadamente en el contexto especial de un servicio público, junto con todos los demás sistemas. .

La confianza en el gobierno es clave en la legitimidad percibida de todo lo que administra el sector público, desde servicios hasta políticas y elecciones. Es por eso que ganar y mantener la confianza del público en los sistemas de gobierno no es "agradable", sino que es fundamental para la estabilidad y la confianza del público. Los gobiernos deben tener la confianza del público para seguir siendo legítimos.

El documento completo del que se extrajo esta publicación de blog, incluidas las referencias y más detalles, está disponible aquí .

El uso opaco de AI y ADM está erosionando la confianza en el sector público

La confianza puede definirse ampliamente como:

  • a) la voluntad de creer que una persona o entidad está operando de buena fe,
  • b) con integridad, y
  • c) de una manera que satisfaga las expectativas del individuo de esa persona o entidad.

Por lo tanto, los sistemas gubernamentales podrían considerarse confiables al demostrar buena fe (a través de un compromiso sistémico, mensurable e informado públicamente con resultados humanos y centrados en el ser humano), al garantizar sistemas de alta integridad (que son legales, precisos, consistentemente aplicable y apelable), y que cumpla con las expectativas públicas(entendiendo y reflejando los valores y necesidades del público, sin hacer daño, siendo transparente y operando dentro de las limitaciones legales, sociales, morales y jurisdiccionales pertinentes del poder).

Los ciudadanos y residentes se enfrentan cada vez más a una situación de “la computadora dice que no” de los servicios públicos, y pocas o ninguna opción para buscar una explicación o apelación.

Desafortunadamente, la forma en que los gobiernos han digitalizado o automatizado los procesos manuales en toda la amplitud de las funciones de servicio público a menudo ha resultado en sistemas opacos e inescrutables, lo que lleva a resultados que no son explicables o rastreables hasta su autoridad legal. Por ejemplo, muchos sistemas generan resultados sin registrar las normas legislativas correspondientes, los datos y otros factores en los que se basó el resultado, lo que requiere una revisión manual en caso de impugnación. Esto ha dificultado la comprensión o la apelación de las decisiones tomadas por los sistemas, que a su vez no son auditables en tiempo real y, por lo tanto, son incapaces de detectar y minimizar las consecuencias no intencionales. La mayoría de los sistemas del sector público tampoco miden los beneficios humanos o los impactos en la calidad de vida (más allá de las medidas básicas de satisfacción), lo que hace imposible comprender o impulsar los resultados humanos, y mucho menos identificar y mitigar los daños potenciales a medida que surgen.

Hay muchos problemas creados por sistemas opacos e inescrutables. Los ciudadanos y residentes se enfrentan cada vez más a una situación de “la computadora dice que no” de los servicios públicos, y pocas o ninguna opción para buscar una explicación o apelación. El personal de primera línea tiene medios limitados para determinar, y mucho menos explicar, la lógica detrás de las decisiones generadas a partir de sistemas de software opacos. Los sistemas, a su vez, a menudo están protegidos del escrutinio mediante acuerdos comerciales confidenciales o de proveedores propietarios. datos para entrenar respuestas predictivas que perpetúan los sesgos/desigualdades históricas y los errores heredados o basados en el sistema, y crean incertidumbre adicional para la población.

El contexto especial de gobierno requiere un enfoque diferente

Estos temas son anatema para el buen gobierno. Los gobiernos tienen un contexto especial que debe tenerse en cuenta en el diseño y la ejecución de los sistemas de gobierno, es decir, están impulsados por el bien público, en lugar de las ganancias, como el sector privado. Además, tienen mayor poder y, por lo tanto, mayor responsabilidad. Este contexto diferencia al gobierno de las organizaciones del sector privado y requiere un enfoque diferente para el diseño y la entrega de sistemas que aseguren y aseguren resultados públicos y sean justos, precisos y legales, para mantener la confianza pública, el acceso a la justicia y, por extensión, la legitimidad. gobierno.

A diferencia del sector privado, se espera que las organizaciones gubernamentales cumplan con la Ley Administrativa, con responsabilidad comprobable y auditable ante el Parlamento, el pueblo y los Auditores Generales. El acceso a la revisión de las decisiones gubernamentales es un componente clave del acceso a la justicia, por lo que los sistemas gubernamentales deben mantener la capacidad de registrar, explicar y monitorear la toma de decisiones automatizada. Los gobiernos también tienen requisitos muy específicos, tal como se establece en la legislación sobre privacidad y manejo de datos (como la Ley de Privacidad de Australia de 1988 (Cth) ) para permitir la transparencia del uso, el uso y la divulgación apropiados, y la protección de la información personal y la privacidad personal.

Diferentes objetivos, que requieren diferentes métricas

La mayoría de las cosas que se hacen en el gobierno son ostensiblemente en la búsqueda de un objetivo de política y para el bien público. Medir y monitorear el impacto de la política a lo largo del tiempo es fundamental para garantizar que se cumpla la intención de la política, pero monitorear y medir el impacto humano también es fundamental para garantizar un impacto positivo neto para la sociedad con daños no intencionales limitados. Ambos tipos de mediciones pueden alimentar la iteración de políticas y la capacidad de respuesta al cambio. Esto es diferente en el sector privado, que está impulsado principalmente por un imperativo financiero. Finalmente, siempre hay un contexto constitucional y/o legislativo y un mandato para las instituciones públicas, que deben cumplir. Este contexto es importante para diseñar sistemas que cumplan con la legislación y estén alineados con el propósito y el mandato de la institución pública específica en su jurisdicción específica, en contraste con los sistemas comerciales.

Las personas no tienen la opción de no interactuar con el gobierno, y rara vez tienen la opción de con qué gobiernos interactuar.

Con un gran poder viene una gran responsabilidad

Finalmente, y lo más importante, los gobiernos tienen palancas de alto impacto que ningún otro sector tiene. Los distintos poderes del Estado pueden investigar, sancionar, censurar, hacer cumplir, incautar bienes, institucionalizar o encarcelar. Los controles estrictos son muy importantes para garantizar que no se abuse de estos poderes y para mantener la confianza pública y la legitimidad continua. La separación entre los poderes ejecutivo y judicial del gobierno es útil para la confianza al garantizar que todos, incluidas las instituciones y los funcionarios gubernamentales, puedan rendir cuentas por igual bajo el Estado de derecho.

Si bien muchas personas pueden compartir grandes cantidades de datos personales con plataformas tecnológicas del sector privado como Google o Facebook, pueden elegir qué servicios usar y qué compartir, y esas empresas no tienen el poder de encarcelarlos, o quitarles a sus hijos. Las personas no tienen la opción de no interactuar con el gobierno, y rara vez tienen la opción de con qué gobiernos interactuar. Este contexto es extremadamente importante porque si los sistemas de gobierno no son justos, equitativos, legales, apelables, etc., entonces el impacto real en la vida de las personas puede ser, y ha sido, devastador.

Los gobiernos afectan la vida de las personas, idealmente para mejor, pero a veces para peor. A medida que los gobiernos digitalizan, automatizan y adoptan cada vez más AI/ADM, los sistemas gubernamentales deben diseñarse para cumplir con las expectativas básicas de brindar un bien público de manera justa. Y si no lo hacen, se necesitan mecanismos para demostrarlo y sobre los cuales basar la acción correctiva.

Diseñando para la confianza

Entonces, ¿cómo se pueden construir sistemas confiables en el gobierno? Es útil articular claramente los requisitos para construir y mantener sistemas confiables en el contexto especial del sector público. Estas seis preguntas deben estar en el centro del diseño de todas las políticas y servicios, para ayudar a que sean más confiables:

  1. ¿Cómo auditaría y monitorearía las decisiones/acciones tomadas, su precisión y su autoridad legal, en tiempo real?
  2. ¿Cómo podría un usuario final (ciudadano, residente, etc.) conocer, comprender, impugnar y apelar una decisión/acción?
  3. ¿Cómo sabría si esta acción/proceso está teniendo un impacto justo, positivo o negativo?
  4. ¿Cómo garantizaría, mantendría y demostraría una supervisión independiente y una gobernanza eficaz?
  5. ¿Cómo detectaría, respondería e implementaría cambios continuos, externos o internos?
  6. ¿Cómo puede operar su organización de una manera que el público consideraría 'confiable'?

Cada sistema de gobierno exige una respuesta sólida para todas estas preguntas, pero la prueba final es preguntar a las personas qué haría que una relación con una agencia en particular sea confiable (que variará según el mandato de la agencia) e implementar medidas en consecuencia, en lugar de asumir o exigir confianza. La confianza es situacional y depende del contexto de la legislación y el alcance de la institución que busca ganar y mantener esa confianza. Mapear el 'recorrido del usuario' o el proceso de extremo a extremo para estas preguntas inevitablemente nos obliga a profundizar en varias características probables de un sistema de alta confianza.

  • Explicabilidad y captura de decisiones: ¿ha registrado los eventos que llevaron a la decisión, los datos y la base legal en los que se basó la decisión y la decisión en sí? La explicabilidad de la decisión/acción en sí es necesaria para los sistemas ADM del sector público.
  • Trazabilidad de la autoridad: ¿Puede vincular el proceso y su resultado con las autoridades legislativas, reglamentarias, delegadas o normativas? Esto requiere que las reglas legislativas y reglamentarias prescriptivas estén disponibles digitalmente, comprobables y rastreables por máquinas, y claridad sobre qué reglas requieren juicio humano con acceso digital a la jurisprudencia para basarse en precedentes.
  • Supervisión de la precisión: ¿Existe algún medio para comprobar la coherencia, la precisión y la previsibilidad de los resultados de su sistema? ¿El conjunto de pruebas o el mecanismo de verificación está disponible públicamente para que cualquiera pueda probarlo? ¿Está monitoreando patrones de tendencias inusuales que necesitan ser entendidos o investigados?
  • Capacidad de respuesta operativa: no tiene sentido tener un sistema de monitoreo si no existe un modelo operativo a su alrededor con personal capacitado capaz de tomar medidas o escalar un problema. Un sistema confiable debe ser una combinación de personas y capacidades tecnológicas.

2. ¿Cómo conocería, impugnaría, comprendería y apelaría una decisión/acción un usuario final?

  • Visibilidad de la decisión: ¿Cómo se comunica la decisión a la persona afectada? ¿Cómo pueden acceder a su registro de decisiones y confiar en que el registro no se modificó? ¿Cómo puede entender la persona afectada la decisión: las reglas, las pruebas a las que se aplicaron y cómo eso condujo a la decisión?
  • Facilidad de acceso a la apelación: ¿Cómo puede el usuario final (ciudadano, residente, etc.) apelar la decisión? ¿Qué es ese 'viaje del usuario' y cómo puede garantizar una experiencia digna en todo momento?
  • Coherencia en la aplicación: ¿El sistema está aplicando reglas y decisiones de manera consistente, con resultados consistentes que no discriminen o sesguen involuntariamente contra una persona o grupo?
  • Un derecho a la explicación: La responsabilidad debe recaer en la entidad gubernamental para explicar la decisión/acción, pero esta explicación solo está disponible a través de apelaciones tradicionales o procesos de FOI, que son una barrera para la explicación. Podría ser útil introducir un derecho explícito de acceso por persona a los motivos de las decisiones que afectan a esa persona (como se encuentra en la Sección 23 de la Ley de Información Oficial en Nueva Zelanda ), creando una obligación legal para los departamentos de explicar las decisiones a las personas sobre qué decisiones se toman.

3. ¿Cómo sabría si esta acción/proceso está teniendo un impacto justo, positivo o negativo?

  • Marco de medición de resultados humanos: ¿Su sistema mide los impactos humanos de su sistema AI/ADM, tanto directa como ampliamente? ¿Puede medir el impacto humano real del cambio en su servicio o política? ¿Cómo puede detectar y mitigar los daños no deseados?
  • Marco de medición basado en la sociedad: ¿Está su sistema midiendo o motivando buenos resultados para la sociedad en general?
  • Plazos inmediatos y a largo plazo: ¿Puede investigar la decisión en tiempo real, a nivel individual, de sistema y social? ¿Puede modelar el cambio en todo el gobierno?
  • Recopilación de datos de impacto: ¿Está recopilando datos relevantes (de su sistema o de otras fuentes) para comprender el impacto de su sistema? ¿Están estos datos protegidos contra el mal uso? ¿Está garantizando un enfoque de privacidad por diseño, para cumplir con la letra y el espíritu de la Ley de privacidad?

4. ¿Cómo mantendría una supervisión independiente y una gobernanza eficaz?

  • Una biblioteca de modelos y algoritmos para sistemas AI/ADM: ¿Puede el público encontrar, comprender y probar los componentes básicos de su sistema de gobierno? De no ser así, ¿pueden al menos los órganos de supervisión/gobernanza pertinentes hacerlo (particularmente en el caso de las agencias de auditoría y el Parlamento, para supervisar sistemas menos transparentes)? ¿Qué habilidades y herramientas se necesitan para auditar y monitorear tales sistemas?
  • Garantía de datos/software/algoritmo de extremo a extremo: ¿Puede probar, auditar y monitorear la cadena completa de suministro de software y datos para garantizar que no haya interferencias en los resultados/decisiones resultantes, así como la validación objetiva de la procedencia y la calidad de los datos? ¿Prueba y supervisa cómo interactúan los diferentes sistemas/reglas/datos para evitar consecuencias dañinas no deseadas?
  • Gobernanza participativa: ¿Existe una representación amplia y diversa de la sociedad servida incluida en la supervisión y escrutinio del sistema?
  • Informes públicos: ¿Qué visibilidad tiene el público sobre las operaciones, políticas, servicios y administración? ¿Qué necesitan para confiar en esa organización específica del sector público?

5. ¿Cómo detectaría, respondería e implementaría cambios continuos, externos o internos?

  • Detectar y responder al cambio: ¿Está monitoreando los impactos humanos a lo largo del tiempo, los beneficios y los daños, y los cambios extrínsecos o inesperados que desencadenarían un cambio de política o implementación? ¿Tiene un modelo operativo que respalda el cambio continuo basado en evidencia y las mejoras a las políticas o servicios?
  • Mano de obra altamente calificada: las instituciones públicas necesitan una fuerza laboral altamente calificada que pueda desempeñar funciones básicas con integridad, incluidos, en este contexto, sistemas AI/ADM, monitoreo/medición y auditoría. Se puede involucrar a investigadores y proveedores para respaldar la mejora de la capacidad y proporcionar plataformas/herramientas según corresponda, pero para que las instituciones públicas ganen la confianza del público, deben poder cumplir bien las funciones principales de las que son responsables. Esto significa tener las habilidades para especificar adecuadamente los entregables de los proveedores y hacer que los proveedores rindan cuentas por entregarlos.
  • Mecanismos de retroalimentación: ¿Existen medios de fácil acceso para que cualquier persona proporcione retroalimentación a su sistema, incluido el personal y los ciudadanos? ¿La retroalimentación recopilada a lo largo del proceso de entrega es un servicio/una decisión? ¿Se crean y se ponen en práctica continuamente nuevos conocimientos? ¿Se monitorea, analiza, prioriza y actúa para alimentar la mejora continua?

En términos generales, cuando los usuarios no confían en un sistema, evitan el contacto con él o lo esquivan.

6. ¿Cómo puede operar de una manera que el público consideraría 'confiable'?

El informe del Comisionado de Privacidad de Australia sobre las actitudes de la comunidad sobre la privacidad y la confianza identifica que el público tiene algunas preocupaciones comunes y crecientes: preocupaciones sobre la protección de los datos y la privacidad (incluidos los datos de ubicación personal), saber cuándo se usa su información en los sistemas ADM y cómo eso les afectan, el acceso a la justicia, etc.

En términos generales, cuando los usuarios no confían en un sistema, evitan el contacto con él o lo esquivan. En consecuencia, la falta de confianza puede obstaculizar o comprometer la eficacia de un sistema y la relación entre la persona/comunidad y la organización que ejecuta el sistema. A continuación se presentan algunas ideas a considerar al diseñar, entregar y operar un sistema de una manera que el público pueda considerar confiable:

  • Administración participativa: las instituciones públicas deben involucrar continuamente una representación diversa de la experiencia, los antecedentes, las habilidades y las perspectivas del público en el desarrollo, la implementación y las operaciones del sistema.
  • Experiencia digna: ¿la persona afectada tiene una experiencia digna, donde no se le exige compartir demasiado información personal, se siente respetada, apoyada para tener éxito en su tarea, recibe un servicio útil que se anticipa a su contexto y necesidades, etc.?
  • Controles de usuario: ¿Los ciudadanos/residentes/etc. tener control sobre sus propios consentimientos y datos? ¿Hay utilidades de datos disponibles (como una interfaz programable de aplicación de prueba de medios o un servicio de verificación de edad) para evitar el intercambio innecesario de datos?
  • Procedencia de los datos y las decisiones: las organizaciones del sector público deben poder rastrear, rastrear y demostrar la procedencia de los datos, las decisiones, las reglas y los resultados.
  • Denuncia: ¿Existen fuertes protecciones para los denunciantes, como último recurso?

Recomendaciones

Las siguientes recomendaciones, combinadas con un marco/mecanismo tradicional de revisión humana, ayudarían a garantizar un enfoque que sea auditable, apelable, comprobable, centrado en el ser humano y considerado confiable, creando sistemas gubernamentales éticos y justos que beneficien a las personas.

Recomendaciones para ordenar/legislar :

  1. Establecer un derecho de acceso por persona a las razones de la decisión, en línea con la Sección 23 de la Ley de Información Oficial en Nueva Zelanda , creando una obligación legal para los departamentos de brindar explicación a las personas acerca de las cuales se toman las decisiones.
  2. Un requisito del sistema para registrar inmutablemente todas las decisiones que afectan a una persona, con explicación y referencias a las autoridades legales capturadas en tiempo real, y una declaración de motivos (consulte eldocumento del Ombudsman australiano sobre toma de decisiones automatizada ) para auditoría y apelación.
  3. Asegúrese de que todos los nuevos servidores públicos y contratistas/consultores que trabajan con el sector público estén educados e informados sobre el contexto especial del gobierno, para mantener la integridad operativa y garantizar que los mecanismos importados de otros sectores no se apliquen a ciegas.
  4. Publicar una implementación de referencia disponible públicamente de la legislación/regulaciones existentes de alto impacto como código, con una amplia gama de casos de prueba para su reutilización.
  5. Establezca un seguimiento en tiempo real de las decisiones, con análisis de patrones y mecanismos de escalamiento.
  6. Establecer mecanismos de retroalimentación pública para todos los sistemas gubernamentales, incluidos los sistemas AI/ADM, un "informe de errores" público y una herramienta de solicitud de funciones.
  7. Ordenar los requisitos para publicar información operativa relacionada con los sistemas gubernamentales ADM. Esto necesariamente requiere considerar qué sistemas, modelos, algoritmos, datos, etc. deben ser de código abierto para el escrutinio/rendición de cuentas, creando requisitos de adquisición/desarrollo.
  8. Establecer un marco de medición de resultados humanos (como el Marco de resultados de servicios humanos del gobierno de Nueva Gales del Sur ) para incentivar los sistemas y dar forma a la inversión/priorización.
  9. Supervise las medidas de resultados humanos a nivel de presupuesto, proyecto, servicio y programa para motivar resultados humanos positivos netos al comprender y medir el impacto humano (y el daño), con mecanismos de escalamiento. Daño en este sentido, es cuando las medidas de resultados humanos comienzan a tener una tendencia en la dirección equivocada, ya sea a nivel individual, demográfico o comunitario.
  10. Establecer una función dedicada a todo el gobierno, sin restricciones de cartera, para explorar, comprender y escalar problemas que puedan poner en riesgo la confianza pública.
  11. Incluir un requisito en la redacción de directrices para redactar todos los nuevos reglamentos/legislación como legibles por humanos y máquinas desde el principio, para entregar una legislación/regulación más clara y mejor autorizada (legible por humanos), y una implementación de referencia (legible por máquina) para su reutilización.
  12. Establecer la visibilidad pública y la participación en la supervisión de los sistemas gubernamentales de IA/ADM.
  13. Publicar modelos gubernamentales, datos de entrenamiento anónimos, algoritmos y otros artefactos técnicos de IA/ADM relevantes utilizando mecanismos relevantes, como fuente abierta para el escrutinio y las pruebas públicas.
  14. Establecer un Estándar de Servicio Gubernamental obligatorio que requiera que los servicios públicos midan y monitoreen el impacto humano y de políticas junto con medidas estándar de usuario y desempeño.
  15. Mapee las cadenas de suministro de software, datos y comunicaciones de extremo a extremo para servicios, sistemas e infraestructuras digitales críticos, y establezca mecanismos de alta veracidad con monitoreo

Recomendaciones para orientar y apoyar a entidades gubernamentales que utilizan AI/ADM:

  1. Establecer pruebas rigurosas consistentes y estandarizadas de los sistemas AI/ADM desde diferentes perspectivas, asegurando que los resultados se alineen con las expectativas y sean representativos.
  2. Establezca requisitos comunes para la gestión de la calidad y la procedencia de los datos de extremo a extremo.
  3. Considere y adopte la Lista de evaluación para el uso confiable del marco de IA para uso del gobierno y aproveche la Evaluación de impacto algorítmico del gobierno canadiense como un medio para determinar el nivel de riesgo (que podría aprovechar los modelos tradicionales como el marco de riesgo de ANAO ), y diseñar la gobernanza y supervisión independiente en consecuencia.
  4. Establecer la participación pública en el desarrollo de políticas y el diseño de servicios como práctica normal, independiente de las comunicaciones formales y las actividades de relaciones públicas.
  5. Establecer una cultura 'abierta por defecto' en el servicio público, donde la 'necesidad de saber' es por excepción.
  6. Establezca una cultura de búsqueda y valoración de comentarios (con apoyo en la planificación de programas y recursos), incluidos los comentarios de los usuarios finales y la revisión por pares de expertos independientes.
  7. Asegúrese de que haya informes públicos y de denunciantes de fácil acceso sobre problemas o inquietudes.

Conclusión

El uso de sistemas AI/ML y ADM en el sector público podría proporcionar mucho valor al gobierno y a la sociedad en general, pero sin barreras y controles claros, podría igualmente perpetuar y acelerar la inequidad y la desconfianza pública. Es fundamental que las instituciones públicas naveguen con cuidado en este espacio y vayan mucho más allá del punto de referencia del cumplimiento mínimo o basado en principios, y hacia mejores prácticas medibles y basadas en pruebas, mientras ejemplifican un buen servicio público a través de ser legal, ético, responsable, justo y valores. establecido.

El bien no se mide solo por lo que hacemos, sino por cómo lo hacemos.

Para ser considerados confiables, los sistemas gubernamentales deben demostrar buena fe (a través de un compromiso sistémico, mensurable e informado públicamente con resultados humanos y centrados en el ser humano), deben garantizar una alta integridad (que sean legales, precisas, aplicadas de manera consistente y apelables) y deben cumplir expectativas (entendiendo y reflejando los valores y necesidades del público, sin hacer daño, siendo transparentes y operando dentro de las limitaciones de poder legales, sociales, morales y jurisdiccionales pertinentes). La confianza pública es el facilitador más crítico para que las instituciones públicas aseguren la búsqueda y entrega de resultados genuinos, responsables, justos y equitativos para todos.

👋 ¡Puedes crear una publicación como esta! Comparta sus pensamientos con una comunidad de servidores públicos. Aprende más

(Crédito de la imagen: Unsplash)