Provas hacks: escolhendo estudos com pressa

** Este artigo foi escrito por Michael Sanders, o diretor executivo do What Works Center for Children’s Social Care. **

Se você perguntar à maioria dos funcionários públicos se eles acham que o uso de evidências é importante em seu trabalho, você receberá um retumbante sim. Poucas pessoas diriam que a política não deve se basear nas melhores evidências disponíveis. Apesar disso, o uso de evidências muitas vezes pode ser irregular ou mesmo inexistente. Porque?

Com exceção de alguns casos muito raros, a escassez de evidências não se deve à malícia ou incompetência. É porque os funcionários estão trabalhando sob pressão de prazos e precisam condensar rapidamente várias fontes de informação - de dentro do governo, das partes interessadas e da pesquisa. Muitas evidências vêm de artigos acadêmicos que não são exatamente de leitura rápida ou fácil. talvez não seja surpreendente que seja a primeira fonte de informação a ser descartada sob pressão.

Obviamente, há muito que a comunidade de pesquisa pode fazer para comunicar melhor suas descobertas, mas e se você for um funcionário público com pressa? O que você pode fazer para melhorar o uso das evidências? Tendo trabalhado como consumidor e produtor de evidências em funções no governo, na Behavioral Insights Team, como acadêmico e, mais recentemente, no What Works for Children's Social Care, sei quão importantes são as evidências de pesquisa e quão difíceis pode ser para arranjar tempo para.

Para começar, existem algumas perguntas que você pode fazer a qualquer pesquisa - sejam artigos acadêmicos ou relatórios de grupos de reflexão - que encontrar. Essas perguntas o ajudarão a decidir rapidamente se deseja continuar lendo e se uma fonte pode ser útil para decidir o que fazer.

** Críticas e revisores **

Antes de começar, vale a pena se perguntar quais tipos de papéis você deseja incluir. Afinal, ler centenas de estudos individuais consome muito tempo. Além disso - e talvez ainda mais frustrante - as conclusões costumam ser contraditórias. Revisões sistemáticas, meta-análises e outras formas de papel de resumo condensam as descobertas de uma área inteira de pesquisa em uma única forma digerível e podem ser mais úteis do que a soma de suas partes. Para um número crescente de áreas de política, também existem organizações como os What Works Centres que revisam as evidências e apresentar recomendações de políticas de tamanho reduzido.

Depois de reunir sua pesquisa, aqui estão algumas perguntas críticas que ajudarão a julgar seus méritos:

** Que tipo de idioma você está procurando? **

Você está lendo um artigo que faz alegações causais ou não? Diz “X causa Y” (uma afirmação causal) ou “X está associado a Y” (uma afirmação correlacional)? Neste último caso, você não deve usá-lo para informar declarações sobre os impactos de uma política específica ou as causas de um problema específico. Se for o primeiro, talvez você ainda não deva ...

** Comparando maçãs e ursos **

A maioria das alegações causais deve ser apoiada por algum tipo de contrafactual. Em outras palavras, os pesquisadores devem comparar um grupo ao qual algo aconteceu (ou seja, uma nova política ou intervenção) com outro grupo ao qual não aconteceu (também conhecido como grupo de controle). Se eles não estiverem fazendo isso, você provavelmente pode desconsiderar quaisquer alegações causais.

Os dois grupos também devem ser semelhantes antes de fazer sentido compará-los. Se os autores estão fazendo uma comparação, pergunte-se se os grupos são realmente semelhantes. Nesse caso, você pode consultar as estatísticas (conhecidas como verificações de equilíbrio) para ajudá-lo - a maioria dos documentos inclui tabelas de equilíbrio ou de comparação que mostram como os grupos são semelhantes - mas, em alguns casos, seu instinto também será suficiente. Os jovens das faculdades de educação continuada no Nordeste da Inglaterra são semelhantes aos jovens das faculdades da sexta série em Londres? Provavelmente não. São famílias que se qualificam de forma restrita para benefícios de imposto por causa de sua renda basicamente a mesma que aquelas que estritamente perdida pelo mesmo motivo? Provavelmente sim. Isso pode não soar como uma falha comum em artigos de pesquisa, mas é muito mais comum do que você imagina.

** É grande o suficiente? **

Se um artigo está usando análise estatística, você deve olhar para o tamanho da amostra. Qualquer coisa com um pequeno número de pessoas - qualquer coisa menos do que cem pessoas recebendo uma intervenção é uma boa regra - deve ser tratada com algum ceticismo, a menos que a pesquisa seja realizada em um ambiente muito controlado, onde não haja muita variação. Os estudos que dependem de pequenas amostras muitas vezes não são representativos e frequentemente falham nas verificações de “equilíbrio” descritas acima e terão dificuldade em detectar estatisticamente os impactos, mesmo que eles existam.

Muito bom para ser verdade?

Se as descobertas de um estudo parecem boas demais para ser verdade, provavelmente são. Esta pode ser uma regra prática severa - afinal, existem algumas intervenções do tipo “Unicórnio” que têm efeitos muito grandes.

Mas se você está passando por cima de muitas pesquisas para tentar descobrir o que incluir e o que descartar, efeitos implausivelmente grandes são um bom lugar para começar. Vieses de seleção e outros vieses estatísticos, bem como vieses de publicação (a tendência de apenas resultados positivos ou novos serem publicados), todos favorecem grandes efeitos. A maioria dos efeitos reais, particularmente em um contexto de política, são bastante modestos.

** Pequeno, frequente e divertido **

Talvez o conselho mais útil que posso dar não se relacione a nenhum estudo ou área de tópico. Em vez disso, está relacionado à maneira como você aborda as evidências em primeiro lugar. Se você adquirir o hábito de ler evidências regularmente, mesmo em pequenas quantidades, o ato de fazer isso inevitavelmente se torna mais fácil, e se você for como eu, já terá um estoque de coisas potencialmente úteis para ler. Além da Rede What Works, alguns colunistas de jornais, podcasts e veículos como Apolitical e The Conversation apresentam regularmente resultados de pesquisas para ajudá-lo a se manter atualizado.

Ficar no topo da pesquisa e das evidências pode ser demorado, mas é uma parte importante da função de um funcionário entender o estado atual do conhecimento em sua área de política. Essas dicas podem ajudar com isso, mas não substituem por permitir tempo suficiente na semana de trabalho para que você e as equipes que você lidera se mantenham informados. – Michael Sanders

(Crédito da imagem: Unsplash)