** Este artigo foi escrito por ** ** Jonathan Breckon, Diretor, e Anna Hopkins, pesquisadora associada da ** ** Alliance for Useful Evidence. **

_O que é experimentação na política ou prática? E por que vale a pena investir em um experimento? Quais ferramentas experimentais existem? E quando ou onde eles podem falhar? _

Em todo o mundo, um pequeno mas crescente movimento de experimentadores de políticas está trazendo novas ideias sobre como resolver problemas públicos. Desde a elaboração de melhores serviços até tornar o back-office do governo mais eficiente, novos métodos e ferramentas estão sendo usados para desenvolver e testar políticas.

Um inventário de diferentes designs publicado hoje por The Alliance for Useful Evidence e Nesta cataloga o conteúdo do experimentador de políticas Caixa de ferramentas. Nele, apresentamos 18 abordagens experimentais para políticas baseadas em evidências e fornecemos conselhos sem jargão sobre os prós e contras de cada uma.

Por que experimentar?

Dos milhares de experimentos conduzidos por Thomas Edison para criar a primeira lâmpada, passando por testes na medicina, ou os [experimentos de campo] de longa duração (https://www.rothamsted.ac.uk/long-term-experiments). Para sustentar a agricultura moderna, experimentar ideias na prática é a pedra angular da descoberta científica e tecnológica.

Os experimentos agora são essenciais para setores onde a inovação e a otimização são rotineiras, como o desenvolvimento web. Ele pegou nos negócios. Entre as maiores instituições financeiras, varejistas e restaurantes dos EUA, pelo menos um terço está realizando experimentos aleatórios, com [empresas como Google e Amazon realizando dezenas de milhares de experimentos por ano](https://www.amazon.co.uk / Uncontrolled-Surprising-Trial-Error-Business / dp / 046502324X). Teste A / B agora é o meio padrão pelo qual o Vale do Silício melhora seus produtos online. No entanto, no governo, a experimentação permanece relativamente rara.

** A palavra “experimental” passou a significar “inovador” ou “radical” em vez de simplesmente “não testado”. Mas a experimentação genuína consiste em se comprometer com avaliações e evidências rigorosas - não apenas “experimentar coisas” livremente **

Quando os governos fazem experiências, a linguagem pode ser confusa. Para alguns, experimentação é apenas sinônimo de inovação - experimentar uma nova ideia, como a introdução de [cotas de gênero em Ruanda, ou Assembléias de Cidadãos na Irlanda](https://www.politico.com/interactives/2019/how -para-consertar-experiências-políticas /). A palavra “experimental” passou a significar “inovador” ou “radical” em vez de simplesmente “não testado”. Mas a experimentação genuína consiste em se comprometer com avaliação e evidências rigorosas - não apenas “experimentar coisas” livremente. Trata-se de criar uma estrutura para aprender com as experiências do mundo. Não se trata apenas de fazer as coisas de maneira diferente - e esperar ter sucesso.

A experimentação exige uma atitude mais madura dos líderes e tomadores de decisão, que nos permita aprender positivamente com “bom fracasso” . Em vez de fingir que temos todas as respostas, significa admitir que não temos e que precisamos colocar nossas ideias à prova. Uma abordagem mais transparente, “open-by-default” está sendo pioneira internacionalmente, por experimentadores no Canadá, Finlândia e Estados Unidos .

A caixa de ferramentas experimental

Na Alliance for Useful Evidence, que é financiado pelo National Lottery Community Fund, o Economic and Social Research Council (ESRC) e Nesta, nós apresentamos o caso que o governo deve rigorosa e sistematicamente colocar a política à prova - ou corre o risco de estagnação.

Nosso novo inventário cataloga 11 tipos de experimentos aleatórios usados para informar a tomada de decisão. Destes experimentos aleatórios é talvez um dos mais poderosos.

Os experimentos randomizados têm como objetivo testar uma ideia ou inovação de política, investigando a diferença que isso fez para as pessoas que pretende ajudar. Eles fazem isso usando um grupo de controle; testando uma inovação em relação ao “business-as-usual”. Isso não precisa ser um grande ensaio, como testar uma droga. Eles podem ser rápidos e flexíveis. Por exemplo, o Banco Mundial defende “RCTs ágeis”. Eles financiaram avaliações ágeis sobre a melhor forma de melhorar a adesão ao seguro saúde no Azerbaijão, expandir o uso de anticoncepcionais no Burundi e apoiar os professores para oferecer educação personalizada para crianças afetadas pela guerra e pelo deslocamento no Líbano.

Existem oportunidades para experimentar até mesmo em questões sociais difíceis. Mas, nesses casos, a criação de um grupo de controle traz seu próprio risco. Se, por exemplo, você está experimentando um novo esquema de benefícios, ter um grupo de controle permite que você teste se o esquema realmente atingiu seus objetivos, mas também significa privar um grupo de cidadãos de um serviço melhorado, pelo menos inicialmente.

** É importante deixar claro o que diferentes designs experimentais podem e não podem nos dizer **

Para contornar isso, uma implementação de política em fases pode criar o que é chamado de experimento de "lista de espera", em que o grupo de controle é o grupo que logo terá inovação. Todo mundo acaba recebendo a inovação da nova política, negando o risco de reação do público. Esta abordagem foi usada pelo Ministério da Habitação, Comunidades e Governo Local do Reino Unido em seu primeiro ensaio randomizado sobre integração comunitária. Em 2016, eles testaram se o treinamento da língua inglesa poderia ajudar os imigrantes a se envolverem mais em sua comunidade.

Os resultados foram impressionantes. Eles encontraram melhorias significativas em muitos resultados de integração social, como novas amizades formadas com pessoas de outras culturas e comparecimento a mais consultas de saúde. O teste ajudou o Departamento a montar novos planos para 2018 Integrated Communities Green Pape r - incluindo uma rede de conversação clubes e um novo fundo para o idioma inglês. Para outras pessoas que desejam projetar seus próprios experimentos no governo do Reino Unido, há um [Painel de conselhos sobre ensaios administrado pela equipe do Gabinete O que funciona](https://www.gov.uk/government/publications/cross-government- julgamento-conselho-painel-papel-e-associação) guiará você através dos aspectos técnicos.

Existem também outras ferramentas valiosas para ajudar a orientar a tomada de decisões públicas. Apesar de seu status fora de moda entre alguns especialistas em políticas e avaliadores, também destacamos o valor e a utilidade dos projetos quase-experimentais. Explicamos esses métodos, que muitas vezes são expressos em linguagem técnica mortal em inglês simples. Esses métodos foram usados para avaliar políticas como o [programa Famílias com problemas](https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/786891/National_evaluation_of_the_Troubled_Families_Programme_2015_to_2020_partational_family_data_dados_dados_df_2015_2015_to_families_da_family_dfocal_family_df_2020_family_doc_doc_2020_focal_2015 impacto do programa Sure Start Reino Unido, incluindo abordagens mais recentes como o Controle Sintético, que usa métodos estatísticos inventivos para aproveitar o advento do “big data”.

Compreendendo a diferença

É importante deixar claro o que os diferentes designs experimentais podem e não podem nos dizer. Apenas alguns projetos experimentais são úteis para aprender sobre impacto e eficácia - ou seja, se nossa nova ideia está realmente fazendo a diferença ou não. Aqui, experimentos aleatórios ou projetos quase-experimentais têm valor único. Mas outras abordagens podem ser mais adequadas para descobrir coisas diferentes, em diferentes estágios de desenvolvimento de uma solução política.

Prototipagem, por exemplo, enfatiza o risco de carregamento antecipado e criar uma solução com melhores chances de sucesso por meio do engajamento das partes interessadas. Usar tijolos de Lego de plástico para construir protótipos de produtos de engenharia é um baixo fi, forma com poucos recursos de tornar óbvios os primeiros problemas operacionais ou de design. Mas não dirá se o novo sistema funciona ou não na vida real ou em escala.

Além de aumentar nossa compreensão sobre qual design experimental usar e quando, há espaço para que os experimentadores se tornem muito melhores no uso de diferentes ferramentas em combinação para inovar com mais eficácia. Prototipadores, por exemplo, podem usar testes randomizados de baixo custo como testes A / B ou testes ágeis para avaliar produtos ou serviços prototipados.

Esperamos que este recurso seja útil para esclarecer quando os experimentos são úteis e por quê, bem como para simplificar o jargão e o discurso duplo, e para acabar com alguns equívocos comuns. Como inovadores que buscam o bem social, temos o dever de colocar nossas ideias à prova - descobrir o que não funciona, descobrir o que funciona e melhorar a vida das pessoas. - Jonathan Breckon e Anna Hopkins

_ ** Leia o Inventário do Experimentador ** ** her **** e ** **. ** _

_ (Crédito da imagem: Death to the stock photo) _