Campos de desenvolvimento como a primeira infância, nos últimos anos, se uniram em torno de um padrão ouro de evidências políticas: o ensaio clínico randomizado. Emprestado da medicina clínica, o método permite que os pesquisadores comparem rigorosamente os efeitos de uma intervenção política com um grupo de controle, eliminando preconceitos e fatores de confusão. Mas há um problema: seus resultados muitas vezes são inúteis.

Uma avaliação de um milhão de dólares de um programa de visita domiciliar para novas mães pode descobrir que não melhora os resultados de saúde - não porque é um programa ruim, mas simplesmente porque as trabalhadoras não fizeram todas as visitas programadas. Testes caros e de vários anos podem acabar revelando apenas que você não pode ajudar as pessoas com uma política que não foi realmente implementada.

Isso está começando a mudar. Uma nova abordagem "ágil" para avaliação de políticas, liderada por um punhado de economistas, poderiam dar aos formuladores de políticas as informações de que realmente precisam: sobre como garantir que seus programas não falhem antes do primeiro obstáculo.

Falhando sem aprender

O Fundo de Avaliação de Impacto Estratégico, ou SIEF, é um braço do Banco Mundial que financia ensaios de políticas para reunir evidências cruciais em áreas como primeira infância, saúde e saneamento. Essas avaliações têm como objetivo informar o trabalho subsequente do Banco, governos e outras agências de desenvolvimento.

Mas eles nem sempre cumprem essa promessa, de acordo com Alaka Holla, gerente de programa do SIEF.

Em Bangladesh, por exemplo, o SIEF financiou [um teste de um programa](http://documents.worldbank.org/curated/en/460751510225499119/pdf/121111-REVISED-PUBLIC-E2P-Bangladesh-11-21-Read. pdf) para dar às mães mais informações sobre os benefícios da estimulação para seus filhos. No final da avaliação de dois anos, quase metade das mães envolvidas disseram não ter recebido nenhum material informativo e 85% tiveram menos sessões com trabalhadores comunitários do que o pretendido.

Provações como essa foram uma fonte de frustração para Holla. “Para mim, foi um sinal de que era prematuro fazer uma avaliação de impacto completa”, disse ela.

Mesmo uma política com potencial transformador não terá muito efeito se sua implementação for um desastre. As avaliações podem coletar algumas evidências sobre as dificuldades na implementação de uma política, mas não são retornadas até que o teste seja concluído - muitas vezes, anos depois. Nesse estágio, é tarde demais para ser útil.

E as avaliações de impacto completas têm outra dificuldade: podem ser extremamente caras. O custo da coleta de dados - especialmente em países em desenvolvimento - pode ser proibitivo. Os ensaios de controle randomizados podem se tornar cada vez mais raros, sugeriu Holla, se for considerado que custam inevitavelmente "pelo menos um milhão de dólares e três ou quatro anos".

Seja ágil

Mas as técnicas do ensaio de controle aleatório podem ser a solução para esses desafios. O novo conceito de uma “avaliação ágil” faria com que os pesquisadores usassem os mesmos métodos para estudar a implementação inicial das políticas, em vez de seus resultados finais.

Defendida pelo economista americano Dean Karlan, e agora adotada por Holla para a última rodada de trabalho do SIEF, avaliações ágeis têm dois elementos principais: foco na implementação em vez de resultados de bem-estar, e encontrar maneiras mais baratas de coletar dados.

Holla descreveu um projeto para ajudar pessoas que sofrem de pressão alta. Uma abordagem poderia ser fazer com que mais pessoas tomassem medicamentos, aumentando a parte do custo reembolsada.

Uma avaliação ágil poderia testar esse método junto com uma série de outros - diferentes taxas de reembolso ou abordagens focadas em aumentar a conveniência de obter medicamentos de um médico em vez de reduzir seu preço, por exemplo.

Isso deixaria algumas perguntas sem resposta sobre os impactos finais do programa na saúde. Mas seus resultados seriam úteis imediatamente - e o ensaio pode ser muito mais curto do que uma avaliação de resultados completa. "Se alguém não vai entregar um programa em seis meses, provavelmente não vai entregá-lo - não vai responder à sua intervenção com atraso", disse Holla.

A outra chave é reduzir os custos de execução de tais experimentos. Nos países menos desenvolvidos, pode ser necessário encomendar pesquisas domiciliares.

Mas nas áreas de renda média, os dados do governo podem ser bons o suficiente, especialmente para os esforços de implementação. Ou os projetos podem ser concebidos de forma a gerar os dados à medida que avançam, em vez de exigir pesquisas adicionais.

“No campo da economia do desenvolvimento, esses testes de campo começaram nos locais de renda mais baixa, onde não havia dados”, disse Holla. “Isso de alguma forma se tornou a norma, mesmo em países e contextos onde talvez você pudesse ter contado com dados administrativos.”

Esses tipos de avaliações - ágeis em sua relativa brevidade e em seus custos muito mais baixos - tornam muito mais fácil conduzir pesquisas de acompanhamento rápidas e experimentos iterativos sobre a melhor maneira de fazer as políticas realmente funcionarem

Indo para a agilidade

A maioria dos pesquisadores e funcionários do Banco Mundial e de outras organizações de desenvolvimento estão entusiasmados com a ideia de avaliações ágeis, disse Holla.

Mas ainda é preciso algum trabalho para torná-los realidade. Holla recrutou Dean Karlan para presente no Banco Mundial para convencer seus colegas da importância da pesquisa focada na implementação.

E agora ela está usando o poder do SIEF como órgão de financiamento para atrair pesquisadores. A última [chamada de propostas] do fundo (https://www.worldbank.org/en/programs/sief-trust-fund/brief/sief-call-for-proposals-4) concentra-se exclusivamente em avaliações ágeis.

O SIEF também reservou fundos adicionais para avaliações que são concluídas a tempo de realizar um segundo teste com base nas lições do primeiro. Esse tipo de iteração é difícil com avaliações mais longas e caras - e integrá-la na estrutura de uma oferta de financiamento é uma inovação global.

Holla espera que esta primeira grande rodada de avaliações ágeis sirva como uma prova de conceito para uma abordagem mais barata e dinâmica à pesquisa de políticas. Os destinatários serão anunciados no final deste mês.

“Não é como se tivéssemos dividido o átomo”, disse ela. “Mas esta é uma boa maneira de sinalizar que estamos dispostos a colocar dinheiro nisso, porque é importante.” - Fergus Peace

Este artigo foi atualizado para esclarecer algumas críticas aos ensaios de controle randomizados feitos por Alaka Holla.

(Crédito da imagem: Pexels)