Ser “baseado em evidências” tornou-se uma parte importante da formulação de políticas. Mas o que acontece quando a evidência conta uma história que você não queria ouvir? Evidence Action, uma organização que amplia programas baseados em evidências em todo o mundo, recentemente enfrentou essa questão quando se deparou com evidências decepcionantes sobre um de seus projetos.

No Lean Season, um projeto baseado em pesquisas da Universidade de Yale, foi elaborado para ajudar a mitigar os efeitos da pobreza sazonal na agricultura comunidades em Bangladesh. No entanto, apesar de um teste bem-sucedido, o programa não mostrou nenhum impacto em sua próxima fase, e a Evidence Action teve que interrompê-lo.

Aqui está o que eles aprenderam e por que seu trabalho mostra a importância de testes completos em escala, bem como [ouvir os dados](https://apolitical.co/solution_article/to-turn-the-open-data-revolution- da ideia à realidade, precisamos de mais evidências /), mesmo quando não conta uma grande história.

** De RCT para Beta Incubator **

A missão central da Evidence Action é apenas empreender projetos que sejam respaldados por evidências rigorosas e substanciais.

Isso significa que cada programa passa de um ensaio de controle aleatório (RCT) bem-sucedido para uma fase extensa de “incubadora beta”, na qual o programa é implementado em escala, mas avaliado de perto quanto ao impacto.

Isso é quase como um período de "experiência", para garantir que o programa faça o que deve, e pode incluir testes A / B contínuos para ajudar a definir quais abordagens são mais bem-sucedidas em escala.

Kanika Bahl, CEO da Evidence Action, explica que ela nunca dá como certa a noção de que um programa que foi bem-sucedido na fase de pesquisa e RCT funcionará quando estiver na fase beta da incubadora. “Só porque algo vem de uma base de pesquisa muito promissora ou o mecanismo é bem conhecido, nunca presumimos que o programa está tendo o impacto pretendido”, diz ela.

No Lean Season foi planejado para ajudar as pessoas na zona rural de Bangladesh, onde a temporada entre o plantio e a colheita pode levar as famílias a uma situação difícil. O programa ofereceu um subsídio de migração para trabalhadores que se beneficiariam de viajar para uma área urbana onde as flutuações de empregos e salários são muito menos graves.

As questões centrais que a Evidence Action tinha sobre o programa eram duplas. Primeiro, a taxa de migração estava aumentando nas áreas que estavam sendo tratadas? E, em segundo lugar, a renda familiar e / ou a taxa de consumo estavam aumentando junto com o aumento da migração?

** Os dados falam **

Quando os líderes do programa sentaram-se para analisar o impacto da fase de incubação Sem Época Enxuta, os dados produziram resultados decepcionantes. Não houve impacto significativo sobre a migração e, portanto, nenhum efeito sobre o consumo e a renda das famílias.

A pergunta que se seguiu naturalmente foi: O que deu errado?

A melhor hipótese da Evidence Action, disse Bahl, é que houve problemas entre a organização e seus parceiros locais no cálculo do número de empréstimos concedidos. Isso fez com que as metas estabelecidas no início da fase de incubação fossem cumpridas muito rapidamente, sem realmente aumentar o número de migrantes sazonais.

O parceiro local começou a pesquisar 100.000 famílias e avaliar se eram elegíveis para um empréstimo de migração do programa. A Evidence Action então estabeleceu metas para a quantidade de dinheiro a ser distribuída, com base em quantas dessas famílias realmente tomariam o empréstimo e migrariam.

No final, o parceiro pesquisou 160.000 famílias, mas a quantidade de empréstimos concedidos não foi maior do que se eles tivessem pesquisado apenas 100.000. Isso significa que a porcentagem de pessoas do grupo que ofereceu empréstimos e que realmente migraram não era maior do que a do grupo de controle, porque menos empréstimos foram concedidos do que o previsto.

Embora esta seja a melhor estimativa da Evidence Action sobre por que o impacto foi tão baixo, Bahl reitera que esta é apenas uma hipótese.

Além dessa questão, a Evidence Action recebeu alegações de impropriedade financeira por parte de seu parceiro local. Embora uma investigação completa das alegações não tenha sido capaz de corroborá-las, no final fez sentido encerrar o relacionamento com o parceiro local.

Isso significava que, em 2018, No Lean Season estava olhando para resultados malsucedidos de sua incubadora beta, sem impacto na migração ou renda familiar, bem como nenhum parceiro local no local para ajudar a corrigir esses problemas de implementação para o próximo ano.

** Decisões difíceis **

Foi então que a Evidence Action tomou a difícil decisão de encerrar a No Lean Season. No final, Kanika Bahl pensa que foi uma indicação da integridade e do compromisso da Evidence Action com sua missão.

“Como estávamos testando em grande escala, e muito além do que você normalmente faria em uma ONG, pudemos detectar que o programa não estava funcionando.”

Se a organização tivesse contado apenas com o RCT, ela acrescentou: “nós teríamos dito, Puxa, há uma evidência realmente forte, estamos em ótima forma e teríamos continuado o programa e continuado nos sentindo muito bem por despejar milhões de dólares em um programa que não estava tendo o impacto pretendido. ”

Parte da decisão se resumiu à experiência da Evidence Action com programas de grande sucesso em outras áreas, incluindo a iniciativa Deworm the World , que aproveitou a infraestrutura existente para desparasitar crianças em suas escolas e Dispensers for Safe Water, que levou água potável para mais de 4 milhões de pessoas.

“Estamos alcançando mais de 280 milhões de pessoas hoje com nossos outros programas de evidências”, disse Bahl. Isso a fez pensar: “Este é o melhor uso do tempo e da atenção da organização? É o melhor programa que poderíamos fazer? Ou a melhor maneira de cumprirmos nossa missão de melhorar de forma mensurável a vida de centenas de milhões de pessoas? ”

Em última análise, Bahl vê isso menos como uma história sobre desafios de implementação e mais sobre como tomar decisões difíceis e táticas [com base em evidências](https://apolitical.co/solution_article/failing-use-data-transform-health-services /). Afinal, programas de escalonamento no mundo em desenvolvimento é complexo e difícil. É irreal presumir que cada projeto terá o sucesso que espera.

"Pode ser doloroso, mas se você não estiver tomando essas decisões difíceis, há uma boa chance de que você não seja realmente honesto consigo mesmo sobre o que realmente é a maneira mais eficaz de usar o dinheiro e os recursos de desenvolvimento".

\ - Megan Dent

(Crédito da imagem: Flickr)