Hacks de evidencia: elegir estudios a toda prisa

Este artículo está escrito por Michael Sanders, el director ejecutivo del Centro What Works for Children's Social Care.

Si le preguntas a la mayoría de los funcionarios públicos si creen que usar evidencia es importante en su trabajo, obtendrías un rotundo sí. Hay muy pocas personas que dirían que la política no debe basarse en la mejor evidencia disponible. A pesar de esto, el uso de evidencia a menudo puede ser irregular o incluso inexistente. ¿Por qué?

Aparte de algunos casos muy raros, la escasez de evidencia no se debe a malicia o incompetencia. Esto se debe a que los funcionarios están trabajando bajo la presión de los plazos y necesitan condensar rápidamente múltiples fuentes de información, desde dentro del gobierno, desde las partes interesadas y desde la investigación. Una gran cantidad de evidencia proviene de trabajos académicos que no son exactamente lecturas rápidas o fáciles, por lo que tal vez no sea sorprendente que sea la primera fuente de información que se descarta bajo presión.

Obviamente, hay mucho que la comunidad de investigación podría hacer para comunicar mejor sus hallazgos, pero ¿qué pasa si eres un funcionario público a toda prisa? ¿Qué puede hacer para mejorar su uso de la evidencia? Después de haber trabajado como consumidor y como productor de evidencia en roles en el gobierno, en el equipo de Behavioral Insights, como académico y más recientemente en What Works for Children's Social Care, sé lo importante que es la evidencia de investigación y lo difícil que es puede ser hacer tiempo para

Para empezar, hay algunas preguntas que puede hacerle a cualquier investigación, ya sea documentos académicos o informes de think tanks, que encuentre. Estas preguntas lo ayudarán a decidir rápidamente si desea leer más y si es probable que una fuente sea útil para decidir qué hacer.

Revisiones y revisores

Antes de comenzar, vale la pena preguntarse qué tipo de documentos desea incluir. Después de todo, leer cientos de estudios individuales lleva mucho tiempo. Además, y tal vez aún más frustrante, las conclusiones son a menudo contradictorias. Las revisiones sistemáticas, los metanálisis y otras formas de resumen resumen condensan los hallazgos de un área completa de investigación en una sola forma digestible, y pueden ser más útiles que la suma de sus partes. Para un número creciente de áreas de políticas , también hay organizaciones como los Centros What Works que revisan la evidencia y presentan recomendaciones políticas generales.

Una vez que haya recopilado su investigación, aquí hay algunas preguntas críticas que ayudarán a juzgar sus méritos:

¿Qué tipo de lenguaje estás viendo?

¿Estás mirando un artículo que hace afirmaciones causales, o no? ¿Dice "X causa Y" (un reclamo causal) o "X está asociado con Y" (un reclamo correlacional)? Si es lo último, no debe usarlo para informar declaraciones sobre los impactos de una política en particular o las causas de un problema en particular. Si es lo primero, quizás aún no deberías ...

Comparando manzanas y osos

La mayoría de las afirmaciones causales deben estar respaldadas por algún tipo de contrafactual. En otras palabras, los investigadores deberían comparar un grupo al que le sucedió algo (es decir, una nueva política o intervención) con otro grupo al que no le sucedió (también conocido como grupo de control). Si no están haciendo esto, probablemente puede ignorar cualquier reclamo causal.

Los dos grupos también deberían ser similares antes de que tenga sentido compararlos. Si los autores están haciendo una comparación, pregúntese si los grupos son realmente similares. En este caso, puede consultar las estadísticas (conocidas como comprobaciones de saldo) para ayudarlo: la mayoría de los documentos incluirán tablas de saldo o de comparación que le indican qué tan similares son los grupos, pero en algunos casos, su instinto también será suficiente. ¿Son los jóvenes en las universidades de educación superior en el noreste de Inglaterra similares a los jóvenes en las universidades de sexto grado en Londres? Probablemente no. ¿Las familias que califican por poco para recibir beneficios tributarios debido a sus ingresos son, en general, las mismas que aquellas que se perdieron por la misma razón? Probablemente si. Esto podría no parecer un defecto común en los trabajos de investigación, pero es mucho más frecuente de lo que parece.

¿Es lo suficientemente grande?

Si un documento está utilizando análisis estadístico, debe observar el tamaño de la muestra. Cualquier cosa con un pequeño número de personas (algo menos de cien personas que reciben una intervención es una buena regla general) debe tratarse con cierto escepticismo a menos que la investigación se realice en un entorno muy controlado donde no haya mucha variación. Los estudios que dependen de muestras pequeñas a menudo no son representativos, y a menudo fallan en las verificaciones de "equilibrio" descritas anteriormente, y será difícil detectar estadísticamente los impactos, incluso si existen.

¿Demasiado bueno para ser verdad?

Si los hallazgos de un estudio parecen demasiado buenos para ser verdad, probablemente lo sean. Esto puede ser una regla general dura: después de todo, hay algunas intervenciones de tipo "Unicornio" que tienen efectos muy grandes.

Pero si está examinando muchas investigaciones para tratar de determinar qué incluir y qué descartar, los efectos inverosímilmente grandes son un buen lugar para comenzar. El sesgo de selección y otros sesgos estadísticos, así como los sesgos de publicación (la tendencia a que solo se publiquen resultados positivos o novedosos), todos favorecen los grandes efectos. La mayoría de los efectos reales, particularmente en un contexto político, son bastante modestos.

Poco, a menudo y divertido

Quizás el consejo más útil que puedo dar no se relaciona con ningún estudio o área temática. En cambio, se relaciona con la forma en que aborda la evidencia en primer lugar. Si tienes el hábito de leer pruebas regularmente, incluso en pequeñas cantidades, el acto de hacerlo inevitablemente se vuelve más fácil, y si eres como yo, ya tendrás un stock de cosas potencialmente útiles para leer. Además de What Works Network, algunos columnistas de periódicos, podcasts y medios como Apolitical y The Conversation presentan regularmente resultados de investigaciones para ayudarlo a mantenerse actualizado.

Mantenerse al tanto de la investigación y la evidencia puede llevar mucho tiempo, pero es una parte importante del papel de un funcionario comprender el estado actual del conocimiento en su área de políticas. Estos consejos pueden ayudar con esto, pero no pueden sustituir el tiempo suficiente en la semana laboral para que usted y los equipos que lidera se mantengan informados. - Michael Sanders

(Crédito de la imagen: Unsplash)