_ ** Este artigo foi escrito por Jack Martin, diretor de pesquisa sênior da Early Intervention Foundation (EIF), que faz parte da rede What Works do Reino Unido. ** _

Apesar das boas intenções, os serviços públicos - seja na educação, justiça criminal, serviços infantis ou em qualquer outro lugar - nem sempre alcançam os resultados que buscamos. Ou, para simplificar, às vezes as coisas simplesmente não "funcionam".

Com relação a muitas áreas de envio público e prática, simplesmente não sabemos o suficiente para ter certeza se isso está fazendo ou não a diferença. Mas não há razão para que precisemos tropeçar no escuro, incertos de que o que estamos fazendo está tendo o impacto desejado. É possível identificar o que funciona e o que não funciona, em vez de simplesmente esperar o melhor.

Da mesma forma que a medicina é rigorosamente testada em ensaios científicos e comprovada como benéfica antes de ser usada na prática, podemos - e devemos - testar rigorosamente nossos serviços públicos. E da mesma forma, seu médico consulta as diretrizes baseadas em evidências antes de fazer uma prescrição, os tomadores de decisão na política social podem consultar as melhores evidências disponíveis ao decidir como agir. Isso não apenas é possível, mas também é essencial para melhorar significativamente os resultados e gastar o dinheiro do contribuinte de forma responsável.

Ao observar o histórico de se um determinado tipo de serviço foi bem-sucedido no passado - conforme ilustrado por evidências de alta qualidade - podemos ter certeza de que estamos entregando os serviços que têm a melhor chance de funcionar. Também podemos parar de fazer coisas que têm um histórico de falhas e podemos adaptar os serviços existentes para torná-los mais eficazes.

Mas como você tomará decisões de alta qualidade baseadas em evidências? Uma grande parte do trabalho dos UK What Works Centres envolve descobrir a melhor forma de apoiar os tomadores de decisão em várias áreas de políticas públicas. Embora as especificações sempre variem de acordo com o contexto, em nossa experiência na Early Intervention Foundation (EIF), existem três considerações particularmente importantes e transversais que são cruciais para considere cuidadosamente ao usar evidências para ajudar a decidir quais serviços fornecer:

1 . Considerando a força da evidência - a evidência é confiável?

Ao investigar as evidências, você pode identificar uma pilha de estudos ou relatórios que têm algo a dizer sobre a eficácia de uma gama de serviços (ou “[avaliações](https://apolitical.co/en/solution_article/eif-evaluating -início-intervenções-seis-comuns-armadilhas-evitar) “).

No entanto, nem todas as evidências são iguais e nem todas as avaliações são confiáveis. Um estudo falho pode concluir que um serviço é eficaz quando, na realidade, não produziu benefícios ou é até prejudicial. Então, por onde você começa? E em quais avaliações podemos confiar?

O “padrão ouro” para avaliar a eficácia é o ensaio de controle randomizado (RCT); esses estudos, quando bem conduzidos, fornecem as estimativas mais confiáveis sobre a eficácia de um serviço.

** Para tomar uma decisão baseada em evidências de alta qualidade, você precisa usar seu julgamento profissional para avaliar a comparabilidade - ou fit - entre sua situação e as situações em que um serviço se mostrou eficaz no passado * *

O molho especial do RCT é que ele nos diz se um serviço foi eficaz, permitindo-nos comparar o que acontece quando um serviço é entregue com o que teria acontecido se o serviço não tivesse sido entregue - usando o poder da randomização para criar um controle grupo. Existem também outros projetos fortes no kit de ferramentas do avaliador, como avaliações de projeto quase-experimental (ou QEDs). Esses projetos, como os RCTs, tentam fazer afirmações confiáveis sobre o impacto de um serviço usando um grupo de controle, embora isso seja criado usando métodos estatísticos (como correspondência) em vez de randomização.

Serviços que foram considerados eficazes em vários RCTs ou QEDs de alta qualidade (muitas vezes agrupados em estudos de pesquisa chamados de "revisões sistemáticas" ou "meta-análises") têm um histórico de sucesso e representam uma "melhor aposta" sobre o que pode funcionar no futuro com base nas evidências existentes.

No entanto, nem todos os RCTs ou QEDs são perfeitos e alguns são mais confiáveis do que outros. Muitas vezes é difícil desmarcar qual é qual. Quando disponível, é melhor confiar no trabalho existente. Os UK What Works Centres fornecem registros online de evidências, como o [Guia do EIF](https://guidebook.eif.org.uk /) E o EEF Toolkit para ajudar os tomadores de decisão em diferentes áreas da política social a decifrar quais avaliações são confiáveis.

2 . Considerando o 'ajuste' da evidência - a evidência é relevante para a minha situação?

Os serviços apoiados por RCTs ou QEDs de alta qualidade representam a “melhor aposta” sobre o que pode funcionar no futuro. Mas mesmo o melhor RCT não pode garantir que um serviço funcionará no futuro e em todas as situações. A evidência só pode garantir que o serviço _ funcionou, _ no passado, prestado de forma específica, para um determinado grupo de pessoas, em um determinado local.

Para tomar uma decisão de alta qualidade e baseada em evidências, você precisa usar seu julgamento profissional para avaliar a comparabilidade - ou apto - entre sua situação (onde e como você deseja fornecer o serviço) e as situações em que um serviço tem foram avaliados e demonstraram ser eficazes no passado. Quanto mais comparáveis forem, maior será a probabilidade de você replicar os sucessos do passado. Se você não considerar adequado ao decidir qual serviço fornecer, é menos provável que você alcance com sucesso os resultados que espera.

** Os registros de evidências não podem tomar sua decisão por você, mas podem iluminar o que, de outra forma, poderia parecer um caminho tenebroso e difícil para uma formulação de políticas bem-sucedida **

Em particular, você precisa pensar sobre a população para a qual pretende prestar o serviço - as pessoas que você quer ajudar com este serviço se parecem com aquelas a quem ajudou no passado? O serviço pode funcionar bem para pessoas com certas características - em termos de idade, sexo, etnia, status sócio-demográfico e assim por diante - mas não para outras. Você também precisa pensar sobre seu _contexto, _ e implementação.

Ao selecionar um serviço, é essencial saber se você pode fornecê-lo com sucesso em condições comparáveis àquelas em que ele demonstrou ser eficaz. Mudanças na implementação ou no contexto (como a configuração da entrega, quem entrega o serviço e por quanto tempo) podem comprometer a eficácia de um serviço.

3 . Considerando o tamanho dos efeitos e o custo - a evidência está demonstrando melhorias significativas?

O próximo passo é olhar cuidadosamente para o que as melhores e mais relevantes evidências dizem sobre quanta o impacto benéfico que os serviços têm. Avaliações de alta qualidade reportarão estimativas numéricas de impacto, conhecidas como “efeitos” ou “tamanhos de efeito”.

A forma como você interpreta o efeito raramente é simples e varia de acordo com o tipo de serviço que você está procurando implementar e por quê. Mas é absolutamente vital que seja considerado. Alguns serviços podem ter evidências de RCT fortes e confiáveis sugerindo que eles realmente não alcançaram muito (talvez apenas efeitos pequenos ou insignificantes), enquanto outros serviços podem ter um forte histórico de produzir efeitos praticamente significativos ou relativamente grandes - os serviços mais eficazes deve ser priorizado.

Porém, maior nem sempre é melhor, e é importante considerar quais benefícios podem ser alcançados a que custo. Por exemplo, se dois serviços têm um histórico de produção de efeitos de tamanho semelhante, mas um é muito caro e o outro é mais barato, então - todos os outros sendo iguais - é claramente do interesse público buscar o serviço menos caro.

Nada disso é fácil. Os tomadores de decisão não estão por conta própria, e os centros UK What Works se esforçam para ajudar a tornar essas decisões difíceis menos difíceis, fornecendo acesso informações sobre a confiabilidade e relevância das evidências, juntamente com informações sobre os benefícios e custos dos serviços. Registros de evidências não podem tomar sua decisão por você, mas podem iluminar o que poderia parecer um caminho tenebroso e cheio para a formulação de políticas bem-sucedidas e ajudá-lo a alcançar mudanças reais e significativas. - Jack Martin

_ (Crédito da imagem: Death to the stock photo) _