Este post foi escrito por Pia Andrews, reformadora do setor público. Agradecemos aos seguintes por suas contribuições, revisão por pares, comentários e apoio: Tim de Sousa, Bruce Haefele, Matt Beard, Marcus Wigan, Abhinav Palia, Kathy Reid, Saket Narayan, Morgan Dumitru, Alex Morrison, Geoff Mason e Aurélie Jacquet ( Consultoria Ética em IA).

  • O problema : a confiança do público e a confiança nas instituições públicas são impactadas negativamente por sistemas opacos, inconsistentes e irresponsáveis.
  • Por que é importante: A confiança do público no setor público tem um impacto direto na eficácia das políticas, bem como na estabilidade social, democrática e econômica.
  • A solução: O contexto especial do governo é fundamental para entender e aplicar na concepção, entrega e gestão de sistemas governamentais. Este artigo explora maneiras práticas de criar Inteligência Artificial confiável e Tomada de Decisão Automatizada no setor público, e se aplica igualmente a todo e qualquer sistema governamental.

Ganhar e manter a confiança do público nos sistemas governamentais não é algo 'bom de se ter', mas é crítico para a estabilidade e a confiança do público.

À medida que os governos exploram e investem cada vez mais em sistemas de Inteligência Artificial (AI) e Automated Decision Making (ADM), precisamos tomar medidas para garantir que essas tecnologias em rápida evolução sejam usadas adequadamente no contexto especial de um serviço público, juntamente com todos os outros sistemas .

A confiança no governo é fundamental para a legitimidade percebida de tudo o que o setor público administra, de serviços a políticas e eleições. É por isso que ganhar e manter a confiança do público nos sistemas governamentais não é algo 'bom de se ter', mas é fundamental para a estabilidade e a confiança do público. Os governos devem ter a confiança do público para permanecerem legítimos.

O artigo completo do qual esta postagem do blog foi extraída, incluindo referências e mais detalhes, está disponível aqui .

O uso opaco de IA e ADM está corroendo a confiança no setor público

A confiança pode ser amplamente definida como:

  • a) uma vontade de acreditar que uma pessoa ou entidade está operando de boa fé,
  • b) com integridade, e
  • c) de uma forma que satisfaça as expectativas do indivíduo em relação a essa pessoa ou entidade.

Os sistemas governamentais podem, portanto, ser considerados confiáveis por meio da demonstração de boa fé (por meio de um compromisso sistêmico, mensurável e divulgado publicamente com resultados humanitários e centrados no ser humano), garantindo sistemas de alta integridade (que sejam legais, precisos, consistentemente aplicado e passível de recurso), e que atenda às expectativas públicas(compreendendo e refletindo os valores e necessidades públicas, não causando danos, sendo transparente e operando dentro das limitações de poder legais, sociais, morais e jurisdicionais relevantes).

Cidadãos e residentes são cada vez mais confrontados com uma situação de “computador diz não” dos serviços públicos e poucas ou nenhumas opções para procurar uma explicação ou recurso.

Infelizmente, a maneira pela qual os governos digitalizaram ou automatizaram processos manuais em toda a gama de funções de serviço público muitas vezes resultou em sistemas opacos e inescrutáveis, levando a resultados que não são explicáveis ou rastreáveis até sua autoridade legal. Por exemplo, muitos sistemas produzem resultados sem registrar as regras legislativas, dados e outros fatores correlatos nos quais o resultado foi baseado, exigindo revisão manual no caso de um desafio. Isso dificultou a compreensão ou o recurso das decisões tomadas pelos sistemas, que por sua vez não são auditáveis em tempo real e, portanto, incapazes de detectar e minimizar consequências não intencionais. A maioria dos sistemas do setor público também não mede os benefícios humanos ou os impactos na qualidade de vida (além das medidas básicas de satisfação), o que impossibilita a compreensão ou a condução de resultados humanos, muito menos identificar e mitigar possíveis danos à medida que surgem.

Existem muitos problemas criados por sistemas opacos e inescrutáveis. Cidadãos e residentes são cada vez mais confrontados com uma situação de “computador diz não” dos serviços públicos e poucas ou nenhumas opções para procurar uma explicação ou recurso. A equipe da linha de frente tem meios limitados de determinar, quanto mais explicar, a lógica por trás das decisões geradas a partir de sistemas de software opacos. Os sistemas, por sua vez, são frequentemente protegidos do escrutínio por acordos comerciais de confiança ou de fornecedores proprietários. dados para treinar respostas preditivas que perpetuam preconceitos/iniquidades históricas e erros legados ou baseados no sistema e criam incerteza adicional para a população.

O contexto especial do governo requer uma abordagem diferente

Essas questões são um anátema para um bom governo. Os governos têm um contexto especial que precisa ser considerado na concepção e entrega dos sistemas governamentais - ou seja, eles são movidos pelo bem público, e não pelo lucro, como o setor privado. Além disso, eles têm maior poder e, portanto, maior responsabilidade. Esse contexto diferencia o governo das organizações do setor privado e requer uma abordagem diferente para o projeto e a entrega de sistemas que garantam e garantam resultados públicos e sejam justos, precisos e legais, para manter a confiança pública, o acesso à justiça e, por extensão, a legitimidade governo.

Ao contrário do setor privado, espera-se que as organizações governamentais estejam em conformidade com o Direito Administrativo, com prestação de contas testável e auditável ao Parlamento, ao povo e aos Auditores Gerais. O acesso à revisão das decisões governamentais é um componente chave do acesso à justiça, portanto, os sistemas governamentais precisam manter a capacidade de registrar, explicar e monitorar a tomada de decisão automatizada. Os governos também têm requisitos muito específicos, conforme estabelecido na legislação de privacidade e manuseio de dados (como o Australian Privacy Act 1988 (Cth) ) para permitir a transparência de uso, uso e divulgação apropriados e proteção de informações pessoais e privacidade pessoal.

Objetivos diferentes - que exigem métricas diferentes

A maioria das coisas feitas no governo são ostensivamente na busca de um objetivo de política e para o bem público. Medir e monitorar o impacto da política ao longo do tempo é fundamental para garantir que a intenção da política seja cumprida, mas monitorar e medir o impacto humano também é fundamental para garantir um impacto líquido positivo para a sociedade com danos não intencionais limitados. Ambos os tipos de medições podem alimentar a iteração de políticas e a capacidade de resposta às mudanças. Isso é diferente no setor privado, que é impulsionado principalmente por um imperativo financeiro. Finalmente, há sempre um contexto e mandato constitucional e/ou legislativo para as instituições públicas, que elas precisam cumprir. Esse contexto é importante para projetar sistemas que estejam em conformidade com a legislação e alinhados ao propósito e mandato da instituição pública específica em sua jurisdição específica, em contraste com os sistemas comerciais.

As pessoas não têm a opção de não interagir com o governo e raramente têm a opção de com quais governos interagir.

Com grandes poderes vem grandes responsabilidades

Finalmente, e mais importante, os governos têm alavancas de alto impacto que nenhum outro setor possui. Os vários ramos do governo podem investigar, penalizar, censurar, fazer cumprir, confiscar bens, institucionalizar ou encarcerar. Controles rigorosos são muito importantes para garantir que esses poderes não sejam abusados e para manter a confiança do público e a legitimidade contínua. A separação entre os poderes executivo e judiciário do governo é útil para a confiança, garantindo que todos, incluindo instituições e funcionários governamentais, possam ser igualmente responsabilizados sob o Estado de Direito.

Embora muitas pessoas possam compartilhar grandes quantidades de dados pessoais com plataformas de tecnologia do setor privado, como Google ou Facebook, elas podem escolher quais serviços usar e o que compartilhar, e essas empresas não têm o poder de prendê-las, ou levar seus filhos embora. As pessoas não têm a opção de não interagir com o governo e raramente têm a opção de com quais governos interagir. Este contexto é extremamente importante porque se os sistemas governamentais não forem justos, equitativos, legais, passíveis de recurso, etc., então o impacto real na vida das pessoas pode ser, e tem sido, devastador.

Os governos afetam a vida das pessoas, idealmente para melhor, mas às vezes para pior. À medida que os governos digitalizam, automatizam e adotam cada vez mais a IA/ADM, os sistemas governamentais devem ser projetados para atender às expectativas básicas de fornecer o bem público de forma justa. E se não o fizerem, são necessários mecanismos para provar isso e sobre os quais basear a ação corretiva.

Projetando para confiar

Então, como você pode construir sistemas confiáveis no governo? É útil articular claramente os requisitos para construir e manter sistemas confiáveis no contexto especial do setor público. Estas seis questões devem ser colocadas no centro do desenho de todas as políticas e serviços, para ajudar a torná-los mais confiáveis:

  1. Como você auditaria e monitoraria as decisões/ações tomadas, sua precisão e sua autoridade legal, em tempo real?
  2. Como um usuário final (cidadão, residente, etc.) saberia, entenderia, contestaria e apelaria de uma decisão/ação?
  3. Como você saberia se esta ação/processo está tendo um impacto justo, positivo ou negativo?
  4. Como você garantiria, manteria e demonstraria supervisão independente e governança eficaz?
  5. Como você detectaria, responderia e implementaria mudanças contínuas, externas ou internas?
  6. Como sua organização pode operar de uma forma que o público consideraria 'confiável'?

Todo sistema de governo exige uma resposta sólida para todas essas perguntas, mas o teste final é perguntar às pessoas o que tornaria um relacionamento com uma determinada agência confiável (o que varia de acordo com o mandato da agência) e implementar medidas de acordo, em vez de assumir ou exigir confiança. A confiança é situacional e contingente ao contexto da legislação e ao escopo da instituição que busca conquistar e manter essa confiança. Mapear a 'jornada do usuário' ou o processo de ponta a ponta para essas questões inevitavelmente nos força a investigar vários recursos prováveis de um sistema de alta confiança.

  • Explicação e captura de decisão: você registrou os eventos que levaram à decisão, os dados e a base legal em que a decisão foi baseada e a própria decisão? A explicabilidade da decisão/ação em si é necessária para sistemas ADM do setor público.
  • Rastreabilidade da autoridade: você pode vincular o processo e seu resultado às autoridades legislativas, regulatórias, delegadas ou políticas? Isso exige que regras legislativas e regulatórias prescritivas estejam disponíveis digitalmente, testáveis e rastreáveis por máquinas, e clareza sobre quais regras exigem julgamento humano com acesso digital à jurisprudência para se basear em precedentes.
  • Monitoramento de precisão: Existe um meio de verificar a consistência, precisão e previsibilidade das saídas do seu sistema? O conjunto de testes ou mecanismo de verificação está disponível publicamente para qualquer pessoa testar? Você está monitorando padrões de tendências incomuns que precisam ser compreendidas ou investigadas?
  • Capacidade de resposta operacional: Não adianta ter um sistema de monitoramento se não houver um modelo operacional em torno dele com pessoal qualificado capaz de agir ou escalar um problema. Um sistema confiável precisa ser uma combinação de recursos humanos e tecnológicos.

2. Como um usuário final saberia, contestaria, entenderia e apelaria de uma decisão/ação?

  • Descoberta da decisão: Como você comunica a decisão à pessoa afetada? Como eles podem acessar seu registro de decisões e confiar que o registro não foi alterado? Como a pessoa afetada pode entender a decisão: as regras, as evidências às quais elas foram aplicadas e como isso levou à decisão?
  • Facilidade de acesso ao recurso: Como o usuário final (cidadão, residente, etc.) pode recorrer da decisão? O que é essa 'jornada do usuário' e como você pode garantir uma experiência digna por toda parte?
  • Consistência de aplicação: O sistema está aplicando regras e decisões de forma consistente, com resultados consistentes que não discriminem ou enviem involuntariamente uma pessoa ou grupo?
  • Direito à explicação: O ônus deve recair sobre a entidade governamental para explicar a decisão/ação, mas essa explicação só está disponível por meio de recursos tradicionais ou processos de FOI, que são uma barreira à explicação. Pode ser útil introduzir um direito explícito de acesso da pessoa aos motivos das decisões que afetam essa pessoa (conforme encontrado na Seção 23 da Lei de Informação Oficial da Nova Zelândia ), criando uma obrigação legal para os departamentos de explicar as decisões às pessoas sobre quais decisões são tomadas.

3. Como você saberia se esta ação/processo está tendo um impacto justo, positivo ou negativo?

  • Estrutura de medição de resultados humanos: seu sistema está medindo os impactos humanos de seu sistema de IA/ADM, direta e amplamente? Você pode medir o impacto humano real da mudança em seu serviço ou política? Como você pode detectar e mitigar danos não intencionais?
  • Estrutura de medição baseada na sociedade: seu sistema está medindo ou motivando bons resultados para a sociedade de forma mais ampla?
  • Prazos imediatos e de longo prazo: você pode investigar a decisão em tempo real, em nível individual, sistêmico e social? Você pode modelar a mudança em todo o governo?
  • Coleta de dados de impacto: você está coletando dados relevantes (do seu sistema ou de outras fontes) para entender o impacto do seu sistema? Esses dados estão protegidos contra uso indevido? Você está garantindo uma abordagem de privacidade por design, para atender à letra e ao espírito da Lei de Privacidade?

4. Como você manteria uma supervisão independente e governança eficaz?

  • Uma biblioteca de modelos e algoritmos para sistemas AI/ADM: o público pode encontrar, entender e testar os blocos de construção do seu sistema governamental? Se não, pelo menos os órgãos de supervisão/governação relevantes podem fazê-lo (particularmente no caso de agências de auditoria e do Parlamento, para supervisionar sistemas menos transparentes)? Que habilidades e ferramentas são necessárias para auditar e monitorar esses sistemas?
  • Garantia de dados/software/algoritmo de ponta a ponta: você pode testar, auditar e monitorar todo o software e a cadeia de fornecimento de dados para garantir que não haja interferência nas saídas/decisões resultantes, bem como validação objetiva da proveniência e qualidade dos dados? Você testa e monitora como diferentes sistemas/regras/dados interagem, para evitar consequências não intencionais prejudiciais?
  • Governança participativa: Existe uma representação ampla e diversificada da sociedade atendida incluída na supervisão e escrutínio do sistema?
  • Relatórios públicos: Que visibilidade o público tem sobre as operações, políticas, serviços e administração? O que eles precisam para confiar nessa organização específica do setor público?

5. Como você detectaria, responderia e implementaria mudanças contínuas, externas ou internas?

  • Detectando e respondendo a mudanças: Você está monitorando impactos humanos ao longo do tempo, benefícios e danos, e mudanças extrínsecas ou inesperadas que desencadeariam uma mudança de política ou implementação? Você tem um modelo operacional que suporta mudanças e melhorias contínuas baseadas em evidências para políticas ou serviços?
  • Força de trabalho altamente qualificada: as instituições públicas precisam de uma força de trabalho altamente qualificada que possa efetivamente desempenhar funções essenciais com integridade, incluindo, neste contexto, sistemas de IA/ADM, monitoramento/medição e auditoria. Pesquisadores e fornecedores podem ser contratados para apoiar o aumento de capacidade e fornecer plataformas/ferramentas conforme apropriado, mas para que as instituições públicas tenham a confiança do público, elas precisam ser capazes de desempenhar bem as funções principais pelas quais são responsáveis. Isso significa ter as habilidades para especificar adequadamente as entregas do fornecedor e responsabilizar os fornecedores por entregá-las.
  • Mecanismos de feedback: Existem meios de fácil acesso para qualquer pessoa fornecer feedback ao seu sistema, incluindo funcionários e cidadãos? O feedback coletado ao longo do processo de entrega é um serviço/decisão? Novos insights estão sendo continuamente criados e acionados? É monitorado, analisado, priorizado e acionado para alimentar a melhoria contínua?

De um modo geral, quando os usuários não confiam em um sistema, eles evitam o contato com ele ou o contornam.

6. Como você pode operar de uma forma que o público consideraria 'confiável'?

O relatório do Australian Privacy Commissioner sobre as atitudes da comunidade sobre privacidade e confiança identifica que o público tem algumas preocupações comuns e crescentes: preocupações com dados e proteção de privacidade (incluindo dados de localização pessoal), saber quando suas informações são usadas em sistemas ADM e como isso será afetá-los, acesso à justiça, etc.

De um modo geral, quando os usuários não confiam em um sistema, eles evitam o contato com ele ou o contornam. Assim, a falta de confiança pode prejudicar ou comprometer a eficácia de um sistema e o relacionamento entre a pessoa/comunidade e a organização que administra o sistema. Abaixo estão algumas ideias a serem consideradas ao projetar, entregar e operar um sistema de uma forma que o público possa considerar confiável:

  • Administração participativa: as instituições públicas devem envolver continuamente uma representação diversificada da experiência, formação, habilidades e perspectivas públicas no desenvolvimento, implementação e operações do sistema.
  • Experiência digna: a pessoa afetada tem uma experiência digna, onde não é obrigado a compartilhar informações pessoais em excesso, se sente respeitado, é apoiado para ter sucesso em sua tarefa, obter um serviço útil que antecipe seu contexto e necessidades, etc?
  • Controles do usuário: Os cidadãos/residentes/etc. têm controle sobre seus próprios consentimentos e dados? Estão disponíveis utilitários de dados (como uma interface programável de aplicativo de teste de meios ou serviço de verificação de idade) para evitar o compartilhamento desnecessário de dados?
  • Procedência de dados e decisões: as organizações do setor público precisam ser capazes de rastrear, rastrear e demonstrar a procedência de dados, decisões, regras e resultados.
  • Denúncias: Existem fortes proteções para denunciantes, como último recurso?

Recomendações

As recomendações a seguir, combinadas com uma estrutura/mecanismo tradicional de revisão humana, ajudariam a garantir uma abordagem auditável, apelativa, testável, centrada no ser humano e considerada confiável, criando sistemas governamentais éticos e justos mensuráveis que beneficiem as pessoas.

Recomendações para mandato/legislação :

  1. Estabelecer um direito de acesso por pessoa às razões de decisão, de acordo com a Seção 23 da Lei de Informação Oficial da Nova Zelândia , criando uma obrigação legal para os departamentos de fornecer explicações às pessoas sobre as quais as decisões são tomadas.
  2. Um requisito de sistemas para registrar de forma imutável todas as decisões que afetam uma pessoa, com explicabilidade e referências a autoridades legais capturadas em tempo real e uma declaração de motivo (consulte odocumento do Ombudsman australiano sobre tomada de decisão automatizada ) para auditoria e recurso.
  3. Garantir que todos os novos servidores públicos e contratados/consultores que trabalham com o setor público sejam educados e informados sobre o contexto especial do governo, para manter a integridade operacional e garantir que os mecanismos importados de outros setores não sejam aplicados cegamente.
  4. Publique uma implementação de referência disponível publicamente de legislação/regulamentos existentes de alto impacto como código, com uma gama diversificada de casos de teste para reutilização.
  5. Estabeleça monitoramento em tempo real das decisões, com análise de padrões e mecanismos de escalonamento.
  6. Estabeleça mecanismos de feedback público para todos os sistemas governamentais, incluindo sistemas AI/ADM, um “relatório de bugs” público e uma ferramenta de solicitação de recursos.
  7. Mandar os requisitos para publicar informações operacionais relacionadas aos sistemas de ADM do governo. Isso necessariamente requer consideração sobre quais sistemas, modelos, algoritmos, dados, etc. devem ser de código aberto para escrutínio/responsabilidade, criando requisitos de aquisição/desenvolvimento.
  8. Estabelecer uma estrutura de medição de resultados humanos (como a Estrutura de Resultados de Serviços Humanos do Governo de Nova Gales do Sul ) para incentivar os sistemas e moldar o investimento/priorização.
  9. Monitore as medidas de resultados humanos nos níveis de orçamento, projeto, serviço e programa para motivar resultados humanos líquidos positivos, entendendo e medindo o impacto humano (e danos), com mecanismos de escalonamento. O dano, nesse sentido, é quando as medidas de resultados humanos começam a tender na direção errada, seja em nível individual, demográfico ou comunitário.
  10. Estabeleça uma função dedicada a todo o governo, sem restrições por portfólio, para explorar, entender e escalar questões que possam colocar em risco a confiança e a confiança do público.
  11. Incluir um requisito na elaboração de diretrizes para redigir todos os novos regulamentos/legislações como legíveis por humanos e máquinas desde o início, para fornecer legislação/regulamentos mais claros e com autoridade (legível por humanos) e uma implementação de referência (legível por máquina) para reutilização.
  12. Estabelecer visibilidade pública e participação na supervisão dos sistemas governamentais de AI/ADM.
  13. Publique modelos governamentais, dados de treinamento anônimos, algoritmos e outros artefatos técnicos de IA/ADM relevantes usando mecanismos relevantes, como código aberto para escrutínio e testes públicos.
  14. Estabeleça um Padrão de Serviço Governamental obrigatório que exija que os serviços públicos meçam e monitorem o impacto humano e de políticas juntamente com as medidas padrão de usuário e desempenho.
  15. Mapeie as cadeias de suprimentos de software, dados e comunicação de ponta a ponta para serviços, sistemas e infraestrutura digitais críticos e estabeleça mecanismos de alta veracidade com monitoramento

Recomendações para orientar e apoiar entidades governamentais usando AI/ADM:

  1. Estabeleça testes rigorosos consistentes e padronizados de sistemas de IA/ADM de diferentes perspectivas, garantindo que os resultados estejam alinhados às expectativas e sejam representativos.
  2. Estabeleça requisitos comuns para gerenciamento de qualidade e proveniência de dados de ponta a ponta.
  3. Considere e adote a Lista de Avaliação para o uso confiável da estrutura de IA para uso governamental e aproveite a Avaliação de Impacto Algorítmico do Governo Canadense como um meio de determinar o nível de risco (que poderia alavancar modelos tradicionais como a estrutura de risco ANAO ) e projetar a governança e supervisão independente em conformidade.
  4. Estabelecer a participação pública no desenvolvimento de políticas e desenho de serviços como prática normal, independente de comunicações formais e atividades de relações públicas.
  5. Estabelecer uma cultura 'aberta por padrão' no serviço público, onde 'necessidade de saber' é uma exceção.
  6. Estabeleça uma cultura de busca e valorização de feedback (com suporte no planejamento de programas e recursos), incluindo feedback do usuário final e revisão por pares de especialistas independentes.
  7. Assegure-se de que haja denunciantes de fácil acesso e relatórios públicos de problemas ou preocupações.

Conclusão

O uso de sistemas AI/ML e ADM no setor público poderia agregar muito valor ao governo e à sociedade de forma mais ampla, mas sem barreiras e controles claros, poderia igualmente perpetuar e acelerar a desigualdade e a desconfiança pública. É fundamental que as instituições públicas naveguem cuidadosamente neste espaço e vão muito além da referência de conformidade mínima ou baseada em princípios, e em direção às melhores práticas mensuráveis e baseadas em testes, ao mesmo tempo em que exemplificam o bom serviço público por meio de serem legais, éticos, responsáveis, justos e de valores. Sediada.

O bem não é medido apenas no que fazemos, mas em como o fazemos.

Para serem considerados confiáveis, os sistemas governamentais devem demonstrar boa-fé (por meio de um compromisso sistêmico, mensurável e divulgado publicamente com resultados humanitários e centrados no ser humano), devem garantir alta integridade (que sejam legais, precisos, aplicados de forma consistente e apelativos) e devem atender ao público expectativas (compreendendo e refletindo os valores e necessidades públicas, não causando danos, sendo transparente e operando dentro das limitações de poder legais, sociais, morais e jurisdicionais relevantes). A confiança e a confiança do público são o facilitador mais crítico para as instituições públicas garantirem a busca e a entrega de resultados genuínos, responsáveis, justos e equitativos para todos.

👋 Você pode criar um post como este! Compartilhe seus pensamentos com uma comunidade de servidores públicos. Saber mais

(Crédito da imagem: Unsplash)