** Este artigo foi escrito por Sumayyah Tasnim, Consultor de Política de O que Funciona na Unidade de Implementação do Primeiro Ministro no Gabinete do Governo do Reino Unido **

Compreender se uma política funciona é fundamental para garantir que os programas governamentais sejam entregues ao público. O recente orçamento do Reino Unido comprometido para garantir que “todos os programas sejam apoiados por planos robustos de implementação e avaliação . ” Mas por onde você começa? Como você avalia sua política?

A Equipe do What Works elaborou um conjunto de perguntas para ajudar os formuladores de políticas a identificar métodos potenciais que poderiam usar para avaliar suas políticas . Faça a si mesmo essas perguntas ao começar a desenvolver uma política. Isso ajudará a garantir que sua política seja configurada de uma forma que permita uma avaliação eficaz.

Aviso: Esta não é uma lista exaustiva de todos os tipos de métodos (seria impossível cobrir todos eles em um único artigo!). Dito isso, esperamos que essas perguntas o façam pensar sobre as várias maneiras de descobrir se sua política funciona.

** 1 . Como é o sucesso ou o fracasso? **

Antes de pensar em métodos de avaliação, pergunte-se primeiro: o que sua política pretende alcançar? Como é o sucesso ou o fracasso? Em que contexto você está operando? Experimente responder às perguntas na estrutura TIDieR.

A próxima etapa é desenvolver uma "Teoria da Mudança" para sua política ou programa para ajudá-lo a mapear quais são suas metas e objetivos e como sua política ou programa deve ajudar a alcançá-los. Este processo encoraja você a pensar sobre todas as outras coisas que podem influenciar o sucesso de sua política e podem ajudá-lo a identificar o que você precisa medir para entender se sua política funcionou, por que / porque não, para quem e em quais condições. Confira a infinidade de recursos online sobre como desenvolver uma Teoria da Mudança, por exemplo aqui, aqui e [aqui](https: //www.gov.uk/government/publications/logic-mapping-hints-and-tips-guide).

** 2 . Você poderia testar a política antes de começar a entregar em grande escala? **

Um ensaio robusto em pequena escala pode ser uma maneira econômica de descobrir se uma intervenção deve ser implementada em grande escala. Os Randomised Controlled Trials (RCTs) envolvem a atribuição aleatória de participantes a um grupo de tratamento que recebe uma intervenção ou a um grupo de controle que não recebe. A diferença nos resultados de ambos os grupos é então medida e analisada após um período de tempo para determinar a eficácia da intervenção. RCTs bem projetados são geralmente a maneira mais precisa de determinar se uma intervenção está funcionando.

Exemplo de caso: The Family Nurse Partnership

Leia mais sobre como desenvolver políticas públicas com RCTs em Teste, Aprenda, Adapte e verifique esta [postagem do blog](https://educationendowmentfoundation.org.uk / news / eef-blog-randomizado-controlado-ensaios-or-como-treinar-seu-dragão /) da Education Endowment Foundation sobre os prós e contras dos RCTs, além de algumas dicas importantes.

** 3 . Você poderia testar várias variações da política para entender a abordagem mais eficaz? **

Em vez de colocar todos os ovos na mesma cesta, por que não criar uma política com variação embutida para testar qual versão é mais eficaz?

RCTs multi-armados testa simultaneamente mais de uma variação de uma política. Nessa abordagem, os participantes são designados aleatoriamente para receber uma das variantes. Isso permite uma comparação de todas as diferentes variantes e ajuda a estabelecer qual delas funciona ou funciona melhor. Um dos maiores benefícios de um RCT de vários braços é que ele não precisa incluir um grupo de controle, portanto, é uma ótima solução se não for possível negar ou atrasar a implementação da política para participantes elegíveis.

Exemplo de caso: [Testando intervenções de baixo custo para melhorar a segurança no trânsito](https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/730101/learning-to-drive-trial -publication.pdf)

** 4 . Você poderia implementar o programa em fases para ajudá-lo a entender seu impacto? **

Recursos limitados ou logística simples podem significar que a entrega de um programa deve ser escalonada usando uma lista de espera ou implementação em fases. Isso oferece uma oportunidade de usar um design de cunha escalonada ou design de lista de espera que permite que aqueles que ainda não receberam uma intervenção sejam usados como um grupo de controle temporário.

É possível estimar o impacto (1) comparando os resultados dos grupos de tratamento e controle para o período de tempo anterior ao grupo de controle que recebeu a intervenção, ou (2) comparando os resultados entre os grupos que foram expostos à intervenção por períodos variáveis de tempo . Embora a ordem em que os participantes recebem a intervenção possa ser randomizada, esse método é frequentemente usado onde a randomização não é possível.

Caso de exemplo: Avaliando a função do treinamento de idioma na integração

** 5 . Você pode minerar os dados existentes ou explorar a variação natural para entender o impacto do programa? **

Se os [dados] administrativos de boa qualidade (https://apolitical.co/en/solution_article/small-british-city-using-data-play-days-jump-start-tech-industry) já estiverem disponíveis, é possível construir grupos de controle com base em características demográficas observáveis (por exemplo, sexo, idade, ocupação). O objetivo é construir um grupo de controle (ou comparação “combinada”) que, no início de um programa, seja o mais semelhante possível ao grupo de intervenção. Os resultados de ambos os grupos são então rastreados e comparados para estimar a eficácia da intervenção.

No entanto, a correspondência pode rapidamente se tornar impraticável quando as equipes de avaliação são obrigadas a corresponder a um características de alto número (por exemplo, perfil do infrator, idade, gênero, etnia, histórico socioeconômico, status de emprego e área de residência).

Propensity score matching (PSM) fornece uma solução alternativa nesta situação. A técnica envolve a construção de um modelo que prevê a probabilidade de um indivíduo ser exposto a uma intervenção com base em suas características observáveis. Os “escores de propensão” gerados por meio desse processo são usados para criar grupos de comparação que permitem que o efeito da intervenção seja analisado. Isso acontece combinando beneficiários e não beneficiários da intervenção que têm pontuações semelhantes e comparando seus resultados. Para um grande explicador sobre correspondência de dados e PSM que usamos regularmente, consulte este [guia](https: //www.canada.ca/en/innovation-hub/services/reports-resources/measuring-impact-design.html#toc26) pelo Governo do Canadá.

Exemplo de caso: Avaliando o suporte para famílias com problemas

Se houver dados de tendência histórica, pode ser possível usar a abordagem diferença em diferenças. Isso envolve a comparação dos resultados entre um grupo de tratamento e um grupo de controle que tem historicamente seguido a mesma tendência no (s) resultado (s) de interesse (por exemplo, dois países cujos resultados de exames permaneceram paralelos ao longo do tempo). Se os resultados para os dois grupos diferirem após uma intervenção (por exemplo, a abolição das tabelas classificatórias da escola), a mudança no tamanho da diferença pode ser usada para estimar o efeito da intervenção (portanto, "diferença na diferença").

Caso de exemplo: Usando diferença-em-diferença avalia o impacto da publicação de tabelas classificatórias escolares

Se o programa tiver um limite de elegibilidade quantificável (por exemplo, idade de 18 anos ou nível de renda <£ 50.000), então o desenho de descontinuidade de regressão é uma boa opção de avaliação. Na realidade, o grupo que fica fora do cut off é muito semelhante ao grupo que acaba de se classificar. Qualquer diferença provavelmente é fruto do acaso, portanto, as diferenças nos resultados entre os dois grupos podem ser atribuídas ao programa.

Exemplo de caso: O impacto dos empréstimos de ordenado

** 6 . Você tem capacidade para realizar testes e realizar avaliações? Você precisa de suporte? **

Depois de pensar sobre as possíveis maneiras de avaliar, você precisará pensar nos detalhes de como projetar e realizar a avaliação. Considere buscar a ajuda de analistas de seu departamento. Ou você pode solicitar uma avaliação de um fornecedor especializado. Para aqueles no Serviço Civil do Reino Unido, existem recursos adicionais disponíveis para ajudar, por exemplo:

Se você quiser saber mais sobre os métodos mencionados neste blog, consulte os seguintes guias úteis:

— Sumayyah Tasnim

(Crédito da imagem: Unsplash)

Certifique-se de partilhar as suas próprias ideias com o autor ao deixar um comentário abaixo