** Este artigo foi escrito por Tim Hill, Padrões de Dados e Líder Técnico do Open Data Institute **

Quatro dias antes de o Reino Unido entrar em confinamento, Neil Ferguson, chefe do Centro de Análise de Doenças Infecciosas Globais do Conselho de Pesquisa Médica (MRC), enviou uma leve desculpa tweet

Embora muitas pessoas quisessem acessar a base de código de modelagem Covid do MRC, Ferguson admitiu que consistia em “milhares de linhas de C não documentado” escritas “treze anos antes para modelar pandemias de gripe”. Eles estavam trabalhando com a Microsoft e o GitHub para limpar e racionalizar o código. Até então, não estava disponível.

**Quer escrever para nós? Dê uma olhada no [guia para colaboradores] do Apolitical (https://apolitical.co/opinion-writing-becoming-an-apolitical-contributor/) **

O tweet foi facilmente perdido em meio à confusão de outras histórias relacionadas ao coronavírus naquela semana. Mas para um desenvolvedor de software como eu, a admissão foi chocante. Milhares de linhas produzidas em treze anos? Em uma [linguagem indutora de erros](http://blog.khinsen.net/posts/2020/05/18/an-open-letter-to-software-engineers-criticizing-neil-ferguson-s-epidemics-simulation -code /) como C? O próprio pensamento produziu uma sensação de vertigem. Como você _ começaria_ a encontrar e consertar todos os bugs que podem ter surgido?

Pior ainda - como você poderia defender uma política pública com base nela, especialmente (assustadoramente) quando essa política teve implicações tão enormes quanto o então pendente bloqueio da Covid-19?

Avaliando irrealidades

Nos últimos anos, tem havido uma preocupação crescente com o uso de modelos de computador na tomada de decisões públicas - em particular, com questões de parcialidade. Por mais difundidos que tais vieses algorítmicos sejam, no entanto, o entendimento das políticas públicas dessas '[caixas pretas] computacionais (https://www.adalovelaceinstitute.org/examining-the-black-box-tools-for-assessing-algorithmic-systems/ ) 'está crescendo e as técnicas para detectar e remediar suas deficiências estão cada vez mais bem desenvolvidas.

O código de Ferguson Covid-19, no entanto, não é como a maioria dos [modelos de computador em uso hoje](https: //apolitical.co/en/solution_article/it-takes-a-village-to-foster-responsible-ai-in-government). A maioria dos algoritmos que foram examinados recentemente são modelos de "previsão": dada uma gama de fatores conhecidos (digamos, temperatura e umidade de hoje), tentamos prever um resultado (como a chuva de amanhã). Se nossa previsão estiver correta, sabemos que o algoritmo está funcionando. Se não, nós o refinamos com novas evidências.

O código de Ferguson, em contraste, é uma "simulação". Em vez de rastrear os efeitos de fatores individuais em resultados conhecidos, os modelos de simulação ajudam os cientistas a explorar os possíveis efeitos de decisões políticas em larga escala. No contexto da Covid-19, um modelo de previsão pode ser usado para responder a perguntas sobre como fatores como idade, etnia e renda afetam as taxas de sobrevivência, enquanto um modelo de simulação pode fazer perguntas como 'Se fecharmos todos os aeroportos, qual é o efeito provável nas taxas de transmissão? E se os mantivermos abertos? '

** Modelos de simulação são fundamentais para explorar opções de política em alguns dos problemas mais importantes que os governos enfrentam hoje **

Essa diferença de foco torna os modelos de simulação difíceis de avaliar. Dos muitos cenários considerados, normalmente apenas um acontecerá. Se você estima que 150.000 mortes ocorrerão a menos que os aeroportos sejam fechados e depois que tais medidas forem tomadas, o número de mortos é menor, isso [não torna a projeção inicial _ errada_](https://thesocietypages.org/specials/what-are -covid-19-models-modeling /). No entanto, torna difícil ou impossível avaliar a precisão da estimativa original, precisamente porque todo o cenário foi evitado.

Da mesma forma, atualizar o modelo conforme novos dados surgem não é simplesmente uma questão de adicioná-lo a um conjunto de treinamento. Em vez disso, é um processo aberto de revisão de premissas e parâmetros com novas informações e, às vezes, desenvolvimento de novos cenários.

De uma perspectiva acadêmica, não há [nada de errado](https://philbull.wordpress.com/2020/05/10/why-you-can-ignore-reviews-of-scientific-code-by-commercial-software-developers /) com esta abordagem ad hoc. Para políticas públicas, no entanto, é profundamente problemático. Os modelos de simulação são fundamentais para explorar opções de política em algumas das questões mais importantes que os governos enfrentam hoje, incluindo aquecimento global e recusa de vacinas. Mas como as decisões baseadas em tais modelos podem ser justificadas? Ou, visto de outra forma: como esses modelos podem ser confiáveis?

Metodologias abertas para auditoria algorítmica

A questão da confiança, após o tweet fatídico de Ferguson, era urgente. Oponentes ideológicos das medidas de bloqueio que estão sendo contempladas foram rápidos em levantar dúvidas sobre a qualidade do código; um MP experiente em tecnologia declarou a situação potencialmente "escandalosa".

Dada a dificuldade de modelos de simulação de auditoria, a única maneira de conter a onda crescente de críticas era a transparência: as pessoas de fora do governo precisavam ser capazes de revisar o código, dados e resultados do MRC e avaliar suas conclusões.

Felizmente, graças ao trabalho de acadêmicos, grupos de defesa e engenheiros de software nas últimas duas décadas, agora existem metodologias claras para fazer isso. Essas abordagens têm nomes e ênfases diferentes, mas o que elas compartilham é uma ênfase na abertura: [acesso aberto](https://www.jisc.ac.uk/guides/an-introduction-to-open- Acesso); dados abertos; ciência aberta; software código aberto.

Todas essas abordagens "abertas" tiveram um papel a desempenhar na defesa do trabalho do MRC. Depois de abraçá-los, o progresso foi rápido. Em 22 de abril, Ferguson e sua equipe lançaram uma versão simplificada e refatorada de seu código como software de código aberto. Três dias depois, eles consertaram um bug identificado por uma equipe externa. E, finalmente, em 1 de junho de 2020, uma auditoria independente foi capaz de replicar [resultados](https://www.imperial.ac.uk/mrc-global-infectious-disease-analysis/covid-19/report-9-impact -of-npis-on-covid-19 /) o MRC havia publicado anteriormente sob uma licença de acesso aberto, confirmando que nem a refatoração nem o bug alteraram os resultados do código.

Dez semanas após o tweet tímido de Ferguson, a validade do trabalho do MRC foi confirmada. Mas aquelas dez semanas foram um problema: dez semanas de quebra de confiança entre o público; dez semanas de distração para a equipe e dez semanas de incerteza para os servidores públicos que não têm certeza se podem confiar nas informações que estão recebendo.

Na parte 2 deste artigo, veremos como evitar esses tipos de atrasos catastróficos e garantir que as metodologias abertas sejam, quando apropriado, prontas em seus projetos desde o início - Tim Hill

** Queremos saber sua opinião sobre este artigo. Proponha um artigo para nós ou envie seus comentários para [hello@apolitical.co](mailto: hello@apolitical.co) **

_ (Crédito da foto: UnSplash) _