O dimensionamento muda tudo. Como podemos prever seus efeitos?

Os formuladores de políticas em todos os níveis sabem o que é assistir um esquema que funcionou bem no estágio piloto não ter sucesso quando ampliado. O que funciona para 30 crianças em Loughborough pode não funcionar para 1000 em Lagos. Ou mesmo Londres.

Isso não é porque as ideias eram ruins em primeiro lugar, ou porque os próprios pilotos foram mal executados, mas porque a escala afeta os projetos de maneiras diferentes e, como tal, precisa de uma abordagem de avaliação diferente.

A escala afeta o desempenho dos projetos em parte porque o tamanho de um projeto mudará seu impacto fundamentalmente, mas também porque diferentes culturas, geografias e economias reagirão ao mesmo projeto de maneiras diferentes. E dimensionamento projetos voltados para crianças apresentam desafios específicos, desde obter o consentimento dos participantes até encontrar seu público.

Mas não adianta experimentar se seus resultados provavelmente não serão úteis. Então, como os governos podem definir avaliações que prevejam melhor o sucesso em escala?

O próximo nível

Esperar que o que funcionou em um pequeno política social piloto seja replicado em escala sem ajustes no programa ou em sua avaliação pode ser fatal.

A Dra. Stephanie Talbut, gerente sênior de qualidade do programa da instituição de caridade Restless Development, que avalia esquemas em todo o mundo, argumenta que tal retrabalho deve ter os recursos adequados. Certificar-se de que haja uma equipe bem treinada que entenda os desafios da expansão é essencial.

Se você vai avaliar uma ideia que se expande de um piloto de 30 crianças para um programa nacional de milhares, você precisa de continuidade na forma como aborda sua avaliação, mesmo que o que você está avaliando mude.

Mesmo que a estrutura de entrega do programa seja alterada com a expansão, os fatores essenciais que você está testando ainda podem ser medidos de maneira robusta. E isso requer experiência. “Seus indicadores vão mudar, sua estrutura de resultados vai se expandir e você vai fazer muito mais com ela. Isso precisa ser refletido em seu orçamento de pessoal ”, disse Talbut.

Um grupo de acadêmicos da Universidade de Yale, nos Estados Unidos, aceitou esse desafio. A Iniciativa de Pesquisa em Inovação e Escala de Yale (YRise) está adotando uma abordagem científica para expandir programas para governos e outras organizações em todo o mundo.

Yrise olha para a diferença que um piloto de pequena escala tem de um esquema mais amplo e tenta entender quais são as mudanças entre o ambiente bem gerenciado de ensaios clínicos randomizados ([RCTs](https://apolitical.co/solution_article/the- replicação-quebra-cabeça-por-que-políticas-trabalho-lá-mas-não-aqui /)) e implementação em larga escala.

Ahmed Mushfiq Mobarak, diretor do corpo docente da YRise, diz que um exemplo na provisão para o primeiro ano é o treinamento de enfermeiras de berçário. “Quando você aumenta a escala, começa a afetar o mercado”, disse ele, “então os salários podem começar a cair se você treinar muitas pessoas no mesmo trabalho”.

Portanto, o desafio para YRise é: “Como podemos desenvolver um projeto de pesquisa que possa prever o que acontecerá se passarmos de 50 para 500 \ [enfermeiras de berçário ] - como os salários podem se ajustar? Precisamos abordar a lacuna entre os resultados da pesquisa que obtemos e os resultados das políticas que podemos esperar ver em escala. ”

YRise concentra-se em cinco áreas: economia política - o impacto que um programa tem sobre políticos e legisladores; evidências - se um programa pode ser dimensionado com confiança em locais diferentes; efeitos de rede - as consequências, intencionais ou não, no ambiente mais amplo em que o programa é executado; efeitos no crescimento e bem-estar da área em que opera e, finalmente, quanta demanda há para o programa.

Brincadeira de criança?

Nos primeiros anos, alguns programas são mais facilmente escaláveis do que outros.

Mobarak diz que, em termos de escalabilidade, os programas que podem ser ministrados no jardim de infância, pais ou membros da comunidade, em vez de ter um especialista vindo para entregar o programa, têm melhor desempenho. No entanto, isso tem suas dificuldades.

“Algumas questões de escalonamento que podem surgir são se uma organização de entrega sabe como fazer um programa bem, se você então mudar para um ambiente onde, para torná-lo escalável e econômico, você precisa treinar a população local. Mas isso pode mudar fundamentalmente o programa. Então isso também precisa de monitoramento e pesquisa. ”

Portanto, será importante aprender como devolver a entrega de especialistas externos a provedores locais impacta - positiva ou negativamente - na eficácia de um programa.

Outro elemento-chave quando se trata de avaliar programas para crianças é a dificuldade de obter o consentimento dos sujeitos.

Garantir o consentimento dos pais para a avaliação, bem como para a participação em um programa, é vital, disse Talbut, já que uma criança de cinco anos não pode dar consentimento sozinha. Garantir a adesão dos pais paga dividendos, no entanto, já que "os filhos são cegamente, terrivelmente honestos. Você obterá dados incríveis sem o preconceito. Eles não se importam em agradar você ”, acrescentou.

Talbut achou isso particularmente desafiador ao avaliar programas internacionais, onde diferentes idiomas, normas culturais e níveis de educação e alfabetização apresentam desafios separados.

Obter o consentimento dos pais requer recursos e um planejamento cuidadoso.

“Se você está treinando ou equipando outras pessoas para entregar seu programa porque ele passou de piloto a amplo em toda a cidade, por exemplo”, disse Talbut, “Aqueles que fazem a entrega precisam ser totalmente treinados em como obter consentimento, por que você pegá-lo e o que acontece com os dados. O consentimento é mais do que garantir que os pais assinaram um formulário e aqueles que fazem a entrega precisam ter uma compreensão mais ampla de seu papel no sucesso do programa. ”

Todo esse procedimento cuidadoso tem o potencial de ser prejudicado quando realizado em escala.

E tanto Talbut quanto Mobarak concordam sobre a importância não apenas da avaliação, mas de garantir que você tenha bons dados para avaliar em primeiro lugar.

Em grande escala, uma preocupação que o Dr. Talbut levantou foi a “Síndrome de Smurfette”. Isso se deve ao fato de que nos filmes você costuma ter uma mulher excessivamente incrível (e não representativa) que está lá para responder às questões de equilíbrio de gênero, já que Smurfette era a única mulher Smurf.

A personagem feminina pode ser brilhante e uma líder, mas quando o resto do elenco é masculino, a representação geral das mulheres no filme permanece pouco representativa. Portanto, como diz o Dr. Talbut, “quando você amplia uma avaliação, pode perder estudos de caso significativos. Então você acaba destacando um bom exemplo - você acaba com as Smurfettes. ”

Ser capaz de expandir da escala piloto para projetos nacionais e internacionais que alcancem a mesma taxa de sucesso é uma meta na qual todos os formuladores de políticas devem estar interessados.

À medida que Yrise continua a examinar a ciência por trás de fazer isso acontecer, será útil para todos nós termos respostas às perguntas do Professor Mobarak de que todos os programas devem ser interrogados primeiro com “Vale a pena? Isso é útil? Esta é a melhor maneira de melhorar os resultados das crianças? ”

Se a resposta for não, então um projeto não é útil em nenhuma escala. Quando a resposta for sim, no entanto, este é apenas o começo do desafio: como garantir que não está apenas melhorando a vida das crianças em pequenos bolsos, mas entendendo a ciência por trás de fazer isso em grande escala. - Emma Burnell

(Crédito da imagem: Foster and Asher / Deathtothestockphoto)