Este artigo foi escrito por Edward Orlik, um consultor de política da What Works Network. É parte de uma nova série Apolitical dos melhores blogs governamentais de todo o mundo.

O mês passado marcou exatamente cinco anos desde que a What Works Network foi estabelecida para fornecer melhores evidências sobre a maneira como tomamos decisões no setor público.

Percorremos um longo caminho desde 2013. A rede agora compreende 10 centros de pesquisa independentes em áreas como saúde, educação e assistência social infantil.

_ • Se você estiver interessado em escrever um artigo de opinião, dê uma olhada no [guia para colaboradores] do Apolitical (https://apolitical.co/opinion-writing-becoming-an-apolitical-contributor/) ._

Mas estes não são centros de pesquisa comuns. Eles nos dizem o que funciona em suas respectivas áreas de política, resumindo a base de evidências existente. Onde as evidências disponíveis são fracas, vários centros encomendaram ensaios para fornecer aos comissários, formuladores de políticas e trabalhadores da linha de frente as respostas de que precisam. E esses centros desenvolveram maneiras inovadoras de ajudar os tomadores de decisão a agir com base nessas evidências.

Juntamente com a rede, também estabelecemos o Cross-Government Trial Advice Panel, que ajuda os funcionários públicos a projetar, entregar e analisar avaliações de impacto de alta qualidade. Com quase 50 projetos em nosso currículo, aprendemos uma ou duas coisas sobre como projetar experimentos de política robustos.

Aqui estão cinco lições que aprendemos ao longo do caminho.

1 . Os ensaios clínicos randomizados não são a única forma de avaliar o impacto de uma política ou programa.

Embora ainda sejam considerados o padrão ouro quando se trata de medir o impacto de uma política, em situações em que são impraticáveis ou antiéticos, o painel de aconselhamento de avaliação às vezes recomenda projetos quase experimentais como correspondência de pontuação de propensão ou análise de descontinuidade de regressão.

Quase-experimentos apresentam um grupo de controle artificial sem a necessidade de atribuir tratamentos aleatoriamente aos participantes do ensaio. Eles são particularmente úteis em situações eticamente sensíveis onde você tem bons dados sobre os participantes - por exemplo, ao condenar infratores.

2 . É socialmente aceitável fazer experimentos em crianças!

Nos primeiros dias da Education Endowment Foundation (EEF), havia a preocupação de que [testar abordagens de ensino em crianças seria considerado antiético](https: //www .ft.com / content / 59bb202c-ca7b-11e3-8a31-00144feabdc0) e não seria aceito pelas escolas. Cinco anos depois, a EEF conduziu mais de 150 testes, nos quais mais de um terço das escolas de inglês se ofereceram para participar. Como resultado, a EEF é responsável por cerca de 10% dos julgamentos educacionais em todo o mundo e suas evidências contam com a confiança de milhares de diretores em todo o país.

3 . Descobrir o que não funciona é tão importante quanto entender o que funciona.

Acontece que os antibióticos são ineficazes no tratamento da maioria dos casos de sinusite (apesar de serem prescritos rotineiramente). A transferência de jovens do sistema de justiça criminal juvenil para o adulto aumenta a probabilidade de reincidência. Repetir um ano letivo, uniformes escolares, observação de professores ponto a ponto e novos prédios escolares não fazem nada para o desempenho dos alunos. Somente descobrindo o que não funciona - e sendo transparentes sobre isso - podemos identificar onde o dinheiro pode ser economizado e reinvestido em intervenções eficazes.

4 . Mobilizar evidências é mais difícil do que imaginávamos.

Simplesmente disponibilizar evidências não é suficiente para mudar a prática local. Em um de seus testes recentes (apelidado de Literacy Octopus) , a EEF testou vários métodos de envolvimento com os professores, incluindo guias de prática impressos, conferências e webinars, e descobriu que nenhum aumentou a probabilidade de os professores adotarem as práticas recomendadas em sala de aula.

Muitos dos Centros What Works agora estão tentando acelerar a adoção de novas evidências por meio de um envolvimento mais sustentado com os profissionais (por exemplo, Early Intervention Foundation's Early Intervention Police Academy, as parcerias estratégicas do Center for Ageing Better com as autoridades locais e a EEF's Research Rede de Escolas).

5 . Os efeitos de curto prazo nem sempre significam benefícios de longo prazo.

A Early Intervention Foundation (EIF) avaliou mais de 100 programas e alertou que os estudos que não avaliam os resultados de longo prazo (pelo menos um ano após a intervenção) - ou não os avaliam bem - não podem nos dizer se os efeitos de curto prazo persistir. Como sabemos, por exemplo, que um programa para ajudar as pessoas a encontrar um emprego oferece resultados significativos se rastrearmos os participantes por apenas seis meses após eles iniciarem um novo emprego? A fim de evitar problemas como estes, o EIF lançou recentemente [novas orientações](http://www.eif.org.uk/publication/evaluating-early-intervention-programmes-six-common-pitfalls-and-how- evitá-los /) para avaliadores. - Edward Orlik

_Este artigo foi publicado originalmente no blog What Works e pode ser encontrado aqui. _

(Crédito da imagem: Flickr / Howard County Library)