_Esta peça faz parte da série de holofotes da Apolitical sobre dimensionamento do impacto social, em parceria com a Fundação Bernard Van Leer. Ele também aparece em nosso feed de notícias inovação governamental.

Nos EUA, a Parceria Enfermeira-Família é considerada um programa comprovado. Envia enfermeiras para visitar mães pobres pela primeira vez e, em três ensaios clínicos randomizados (RCTs), demonstrou ter um grande impacto na saúde e no bem-estar da mãe e do filho. O modelo foi importado para o Reino Unido nessa base e alterado para uma escala muito maior. Mas quando já estava sendo implementado em 132 locais em todo o país, eles o testaram em um RCT - e descobriram que não tinha efeito.

A parceria enfermeira-família é um dos casos recentes mais claros de um quebra-cabeça que atormenta qualquer tentativa de replicar um programa que está funcionando em outro lugar: generalização. É o ponto de interrogação no centro de qualquer aumentar a escala: se replicarmos uma abordagem em um novo contexto, podemos esperar que o impacto seja semelhante?

Esse novo contexto pode ser outra cidade no mesmo país, ou pode ser outro país do outro lado do mundo. Só porque tem o mesmo problema não significa que a mesma intervenção funcionará, porque toda intervenção funciona em conjunto com seu contexto.

Quanto mais diferente o contexto, menos apropriada pode ser a intervenção. E quanto mais a intervenção é adaptada para se adequar ao novo contexto, menos relevante se torna qualquer evidência existente. No final, pode ser efetivamente uma intervenção nova e não testada.

Em última análise, a replicação é sempre uma aposta. Mas como podemos encurtar as chances?

Qual é a evidência

Antes de tentar replicar uma intervenção, vale a pena fazer duas coisas. Em primeiro lugar, avalie a evidência existente: quantas e que tipo de avaliações foram feitas e em que contextos. E em segundo lugar, entenda o que essa evidência realmente significa fora do contexto.

Mais e melhores testes executados são claramente uma vantagem. Replicar algo com base em uma única avaliação é arriscado; replicar algo como um programa de transferência condicional de dinheiro, que foi testado dezenas de vezes em diferentes contextos, é menos. Mas, mesmo assim, há um debate considerável sobre o que essa evidência realmente diz a você.

Faça o ensaio clínico randomizado (RCT). Com a formulação de políticas baseadas em evidências e a profissionalização do setor sem fins lucrativos, os ECRs são a essência do momento. Descrevê-los como um padrão ouro tornou-se uma espécie de clichê político. Mas eles têm os seus - e essas limitações são particularmente relevantes quando se trata de replicação em outro lugar.

Um RCT bem executado diz algo sobre a intervenção naquele momento e naquela população. Nesse sentido, eles são o padrão ouro. Mas, além desse contexto específico, eles não têm privilégios especiais sobre outros tipos de evidência. Um RCT feito lá não tem nenhuma influência real sobre como esse programa funcionaria aqui.

Mas isso não quer dizer que os RCTs e as evidências em geral de outro lugar sejam inúteis. Na verdade, eles podem fornecer uma visão vital sobre por que algo funciona - e essa é a chave para saber se isso pode ser replicado em diferentes contextos.

Qual é o mecanismo

Depois de saber que algo funciona, você pode dissecar por que funciona: os mecanismos subjacentes e as condições que eles exigem. O Poverty Action Lab programa de prevenção do HIV Sugar Daddies é um bom exemplo desta abordagem.

No Quênia, este programa foi extremamente eficaz na redução de um modo-chave de transmissão do HIV: as relações sexuais entre adolescentes e homens mais velhos. Um ECR descobriu que mostrar estatísticas de meninos e meninas da oitava série e um pequeno vídeo sobre as taxas mais altas de HIV entre homens mais velhos mudou drasticamente seu comportamento. O número de adolescentes que engravidaram de um homem mais velho nos 12 meses seguintes caiu 60%.

É evidente que a intervenção funciona - mas por que funciona? Em que depende sua eficácia?

Eles identificaram três coisas. Os relacionamentos entre homens mais velhos e meninas adolescentes devem ser comuns. Homens mais velhos precisam ter taxas mais altas de AIDS do que homens mais jovens - um risco relativo maior de transmissão. E, o que é crucial, as meninas precisam ignorar isso.

Ao analisar o mecanismo, eles derivaram as condições que ele requer. Então, eles estavam em uma posição de prever se funcionaria em outro lugar: eles simplesmente precisavam verificar essas condições.

Qual é o novo contexto

Quando Ruanda quis replicar o programa Sugar Daddies, o Laboratório de Ação contra a Pobreza perguntou se as condições locais atendiam aos requisitos desse mecanismo. Eles começaram a analisar os dados.

Eles viram que as taxas de infecção por HIV eram mais altas entre os homens mais velhos do que entre os mais jovens, e muitas meninas adolescentes sexualmente ativas o eram com homens mais de cinco anos mais velhos do que elas. Até agora, tão promissor.

Uma equipe do Laboratório de Ação contra a Pobreza Abdul Latif Jameel (J-PAL) decidiu fazer algumas pesquisas locais para ver como as adolescentes percebem o risco. Duas coisas surgiram. Eles sabiam que homens mais velhos tinham maior probabilidade de serem infectados do que homens mais jovens - mas também superestimaram enormemente a porcentagem de homens infectados em todas as faixas etárias.

Isso turvou o quadro e apresentou uma possibilidade alarmante. O programa Sugar Daddies não afetaria o risco relativo - as meninas já sabiam que homens mais velhos tinham maior probabilidade de serem infectados. Mas, na verdade, pode diminuir sua percepção do risco de HIV devido ao sexo desprotegido em geral. Isso significa que o programa poderia muito bem ter aumentado a transmissão do HIV.

Isso destaca o quão importante pode ser a compreensão da interação entre intervenção e contexto.

Esse tipo de abordagem pode ser feito sistematicamente, conforme demonstrado pela ONG internacional Evidence Action. Um de seus programas, o No Lean Season, reduz a pobreza sazonal dando subsídios para viagens que ajudam os homens a se mudar temporariamente para uma cidade, encontrar trabalho lá e enviar dinheiro para casa.

“Primeiramente procuramos a existência de sazonalidade: há grandes grupos de pessoas que vivenciam a privação sazonal? É uma característica comum dos meios de subsistência agrícolas, mas não é universal ”, disse Karen Levy, Diretora de Inovação Global da Evidence Action.

“Isso dá a você um conjunto de lugares. Então você olha dentro disso para lugares onde há cidades próximas em crescimento e prósperas. Dois exemplos de lugares que examinamos que passaram no primeiro teste, mas falharam no segundo foram Zâmbia e Malaui. Eles têm uma temporada de fome aguda, mas não há oportunidades de trabalho assalariado excedente nas cidades - então eles têm aquele prego, mas nosso martelo não vai funcionar lá. ”

“E dentro desse conjunto de lugares, você está procurando por aqueles onde a distância entre os empobrecidos e as cidades e vilas próximas é longa, mas não muito longe. Se você tiver que comprar uma passagem de avião, isso não é algo que No Lean Season possa resolver. Mas, da mesma forma, se a tarifa custar apenas três dólares, talvez um subsídio de transporte não resolva esse problema. Estamos procurando aquela resistência que nosso subsídio pode superar. ”

Primeiro, identifique a necessidade e, em seguida, confirme sistematicamente a presença das condições necessárias para a intervenção. Com essa abordagem, você evita levar um programa a algum lugar onde ele nunca funcionará.

Adapte a intervenção ao novo contexto

Avaliar as evidências para a intervenção, o mecanismo da intervenção e o novo contexto para o qual você deseja transplantá-la são os testes preliminares. Se um programa for aprovado, é hora de adaptá-lo.

Novamente, entender por que algo funciona e, portanto, o que é essencial, é crucial. “Quanto mais você entende os mecanismos subjacentes, mais você sabe onde é necessária uma alta fidelidade ao design original e o que é mais flexível”, disse Levy.

No entanto, exatamente o que é flexível raramente é claro ou acordado. E isso dá origem à tensão entre fidelidade e adaptação que perturba [tantas ampliações](https://apolitical.co/solution_article/you-cant-worry-about-scaling-second-you-have-to-worry- logo no início /).

A parceria enfermeira-família é um bom exemplo. “A entrega do programa na Inglaterra foi de alta qualidade”, disse o professor Mike Robling, que realizou o RCT. “Mas essas metas de fidelidade foram baseadas nos parâmetros que foram observados nos testes originais dos EUA. Quão relevantes ou essenciais são aqueles quando aplicados em um novo ambiente? ”

Após o decepcionante RCT, os licenciadores do programa afrouxaram os requisitos de fidelidade. Agora, a equipe do Reino Unido está experimentando, alterando coisas como o conteúdo do programa ou o número de visitas que as pessoas recebem. Eles também estão permitindo que cada unidade que fornece o programa o personalize de acordo com suas necessidades.

Dado que o Reino Unido tem um sistema de saúde público, enquanto os EUA não, pode ser que o programa simplesmente não funcione. Ou eles podem encontrar uma versão que forneça resultados.

Isso ajuda a lembrar que a replicação não se trata de copiar escravamente todos os recursos: trata-se de replicar o impacto. É sobre os mecanismos subjacentes, ao invés dos aspectos superficiais da entrega.

No final, um programa deve ter um núcleo fixo, mas qualquer número de modelos de entrega que sejam dependentes do contexto. Esses modelos de entrega podem parecer muito diferentes.

Veja Reach Up, a intervenção na primeira infância analisada em um de nossos casos estudos. Ele se originou na Jamaica, onde teve um impacto notável no desempenho educacional das crianças por meio de suas visitas domiciliares semanais por agentes comunitários de saúde. Mas as réplicas no Peru e na Colômbia têm lutado para conseguir algo parecido com o mesmo impacto. No entanto, recentemente, em Bangladesh, eles experimentaram um modelo de entrega muito diferente: fazer sessões de grupo em clínicas de saúde e metade do número de sessões. E obteve o mesmo impacto que na Jamaica - não apesar, mas por causa dessas adaptações.

Uma estrutura de quatro etapas

Não há fórmula para replicação, nenhum algoritmo para dissipar todas as dúvidas. Mesmo a intervenção mais simples é dependente do contexto de inúmeras maneiras sutis - é impossível dizer com certeza como ela se sairá em outro lugar.

No entanto, conforme apresentado aqui, há uma estrutura de quatro etapas que pode desqualificar muitos erros antes que eles aconteçam e melhorar as chances de replicações que você busca.

Primeiro, avalie as evidências. É bom, recente e relevante?

Em segundo lugar, entenda o mecanismo: por que a intervenção funciona.

Terceiro, verifique se o novo site atende às condições desse mecanismo.

E quarto, adapte conforme necessário. Não fique em dívida com características superficiais.

Sugar Daddies foi desclassificado na etapa três. Talvez a parceria enfermeira-família devesse ter sido. Claramente, uma abordagem mais sistemática para replicação pode economizar recursos - e pode economizar muito mais.

(Crédito da imagem: Flickr / Aikawa Ke)

Tom Graham