_ ** Este artigo foi escrito por Anna Thomas, cofundadora e diretora do Instituto para o Futuro do Trabalho no Reino Unido e membro independente do CDEI Bias Review Steering Group. ** _

No início de agosto, os jovens em todo o Reino Unido tiveram um rude despertar quando receberam suas notas de nível A. Devido à pandemia de Covid-19 e ao cancelamento dos exames, o Ofqual desenvolveu um [algoritmo](https://apolitical.co/en/solution_article/what-can-go-wrong-when-governments-let-algorithms-make -decisões) que gerou previsões de nível A usando os dados históricos de desempenho de cada escola, uma classificação fornecida pelos professores e as realizações anteriores de cada grupo. Este processo de padronização foi aplicado para escolas com mais de cinco alunos para uma disciplina, o que significa que escolas "pequenas" escaparam da moderação do Ofqual.

Mas quando as notas foram anunciadas, quase 40% dos alunos haviam sido ajustados ou “rebaixados_”, o que significa que uma grande proporção das notas finais era inferior às notas previstas avaliadas por seus professores. Além disso, o rebaixamento do Ofqual não foi distribuído uniformemente: as escolas estaduais desfavorecidas eram mais propensas a ver a variação ano a ano nas notas e menos propensas a usar a advertência de "escola pequena". Isso significa que as escolas estaduais eram mais propensas a serem prejudicadas por um modelo que dava muito pouca atenção às características individuais de cada aluno. Seguiu-se um clamor público, enquanto professores, pais e alunos protestavam contra a injustiça do sistema.

** Para combater a incômoda verdade de que a padronização automatizada não dará atenção à personalidade individual, os algoritmos não devem ser terceirizados para tecnólogos: devem ser co-desenvolvidos **

O clamor público é mais do que as perspectivas ameaçadas de centenas e milhares de candidatos a empregos em todo o país. Também reflete a frustração com a ausência de responsabilidade humana significativa e governança sobre sistemas automatizados que podem projetar, em massa, as desigualdades do passado para o futuro.

O debate, até o momento, tem se centrado na necessidade de uma revisão técnica do processo automatizado. Mas as soluções tecnológicas não são suficientes e não podem ser vistas isoladamente. Para evitar uma forma de “tecno-chauvinismo”, precisamos fazer perguntas mais amplas sobre as infra-estruturas jurídicas, sociais e políticas em que esta situação pode ocorrer.

Em outras palavras, é imperativo que os formuladores de políticas aprendam como implementar os princípios de design justo, equitativo e inclusivo e o uso de algoritmos para evitar a repetição desse desastre - e certifique-se de que a tecnologia funcione para promover o bem público. Então, que lições os formuladores de políticas devem aprender com isso? Embora não seja um substituto para a responsabilidade ministerial, aqui ofereço três lições principais.

Um caminho para uma tecnologia melhor

Em primeiro lugar, métodos mais inclusivos de projeto e teste de sistemas são necessários com urgência. A transparência sobre os aspectos técnicos de um modelo é importante, mas não foi o principal problema no caso do Ofqual. Para contrariar a incômoda verdade de que a padronização automatizada não dará atenção à personalidade individual, os algoritmos não devem ser terceirizados para tecnólogos: devem ser co-desenvolvidos.

** Os formuladores de políticas devem estar preparados para pensar grande e entreter propostas para novos caminhos para a responsabilidade algorítmica **

No caso do Ofqual, cientistas sociais e estudantes teriam apontado os problemas de uso de classificação e [dados] históricos (https://apolitical.co/en/solution_article/how-to-break-down-silos-and-share-data -melhor no governo); os advogados teriam apontado para o dever de igualdade do setor público e os princípios de justiça na legislação administrativa e de proteção de dados; especialistas, como a Sociedade Estatística Real do Reino Unido, teriam apontado para as limitações técnicas do modelo; os sindicatos de professores teriam identificado os resultados desiguais para grupos demográficos e escolas.

** _ O Institute for the Future of Work está desenvolvendo uma ferramenta e metodologia de política social inclusiva com líderes mundiais em sistemas e [design thinking](https://apolitical.co/en/solution_article/3-ways-cities-used- design pensando-para-cortar-violência), que pode ajudar a apoiar o co-desenvolvimento de ferramentas como o algoritmo Ofqual ._ **

Em segundo lugar, os formuladores de políticas em todos os departamentos devem reduzir os silos e trabalhar muito mais estreitamente para alinhar a política e a regulamentação. Isso prejudica o apoio do chanceler aos jovens em seu Plano de empregos se os candidatos a empregos forem injustamente privados de nota limites de que precisam para trabalhar; ou se o Departamento de Trabalho e Pensões (DWP) simultaneamente exigir que este infeliz grupo prove que está procurando empregos que não existem, a fim de evitar sanções. E isso prejudica o compromisso do Gabinete de Governo em lidar com as desigualdades estruturais, para o DfE prosseguir com o algoritmo Ofqual que não foi projetado com igualdade de tratamento entre grupos demográficos e origens socioeconômicas em mente, ou se ajustes para mitigar impactos desiguais não foram feitos.

O trabalho mais próximo entre os departamentos também teria chamado a atenção para obstáculos ou conflitos óbvios, como a dupla função do Presidente do Ofqual, que dirige o Centro de Ética e Inovação de Dados.

** _ Para ajudar a alinhar o trabalho em diferentes esferas, a [Comissão sobre o Futuro do Trabalho](https://www.ifow.org/publications/2020/6/10/a-rapid-review-with-the-future- of-work-Commission-a-better-for-work-the-world-after-covid-19) propôs uma Estratégia de Trabalho 5.0 entre departamentos que reorientaria a formulação de políticas em direção a uma estratégia central e transversal objetivo da política ._ **

Por último, os formuladores de políticas devem estar preparados para pensar grande e considerar propostas de novos caminhos para a responsabilidade algorítmica. Devemos agora criticar rigorosamente as estruturas jurídicas e outras estruturas de responsabilidade relevantes para garantir que se ajustem à idade do sistema automatizado - e garantir que as lacunas de responsabilidade expostas na última semana sejam preenchidas. Podemos fazer melhor do que exigir que escolas ou alunos individuais se oponham à avaliação injusta ex post facto.

** Se podemos aprender alguma coisa com isso, é que a tecnologia é tão boa quanto os humanos a desenvolvendo, aplicando e governando; e os valores humanos que sustentam essas atividades **

A política de tecnologia deve exigir uma avaliação prévia e consideração dos danos e impactos coletivos, bem como individuais, sobre a igualdade. Há agora um caso forte para incluir a consideração da desvantagem socioeconômica, que no Reino Unido não é atualmente protegida pela Lei da Igualdade (a Lei da Igualdade s1 está em vigor apenas na [Escócia](https://www.gov.scot/ publicações / fairer-scotland-duty-interim-guidance-public-corpos / pages / 2 /)).

E precisaremos de deveres proativos e afirmativos para o setor público e privado para monitorar, avaliar e relatar os impactos adversos sobre a igualdade para garantir que novas formas de dano coletivo não sejam projetadas com ousadia no futuro.

Os olhos agora se voltarão para o próximo [Bias Review] do Center for Data Ethics and Innovation (https://www.gov.uk/government/publications/interim-reports-from-the-centre-for-data-ethics-and- inovação / relatório interino-revisão-em-tendência-na-tomada de decisão algorítmica), que deverá responder a esses novos desafios.

Restaurando a confiança

Se podemos aprender alguma coisa com isso, é que a tecnologia é tão boa quanto os humanos a desenvolvendo, aplicando e governando; e os valores humanos que sustentam essas atividades. O sistema de padronização algorítmica Ofqual não tinha poderes misteriosos: era um sistema sociotécnico. Os humanos decidiram implantar o algoritmo e determinar sua missão e propósito: prever a distribuição de notas para cada escola, em vez de prever as notas de cada aluno.

Os humanos projetaram o algoritmo; humanos selecionaram os pontos de dados, variáveis e ponderação; e os humanos decidiram como os dados históricos, que refletem as desigualdades históricas, deveriam ser usados; e que as notas avaliadas pelo professor não devem ser usadas. E no nível político, os humanos decidem como regular, governar e supervisionar essas decisões também.

A tecnologia é mais necessária do que nunca para enfrentar os desafios da pandemia. Deve ser usado para aproximar pessoas e formuladores de políticas, alavancar as forças humanas e melhorar o acesso ao trabalho, ao trabalho e ao bem-estar. Os formuladores de políticas agora devem trabalhar duro para fazer isso - e reconquistar a confiança do público na tecnologia.

** _ Consulta do Institute for the Future of Work sobre avaliações de impacto de igualdade está aqui - os leitores são convidados a concluí-la antes de 27 de agosto. A Equality Task Force da IFOW apresentará relatórios em outubro de 2020. Anna Thomas também é um membro independente do CDEI Bias Review Steering Group ._ **

_ (Crédito da imagem: Unsplash) _