Estar " basado en pruebas " se ha convertido en una parte importante de la formulación de políticas. Pero, ¿qué sucede cuando la evidencia cuenta una historia que no querías escuchar? Evidence Action , una organización que amplía los programas basados en evidencia en todo el mundo, recientemente enfrentó esta pregunta cuando se encontró cara a cara con evidencia decepcionante sobre uno de sus proyectos.

No Lean Season , un proyecto basado en la investigación de la Universidad de Yale, fue diseñado para ayudar a mitigar los efectos de la pobreza estacional en las comunidades agrícolas de Bangladesh. Sin embargo, a pesar de un ensayo exitoso, el programa no mostró ningún impacto en su próxima fase, y Evidence Action tuvo que acortarlo.

Esto es lo que aprendieron y por qué su trabajo muestra la importancia de realizar pruebas exhaustivas a escala, así como escuchar los datos , incluso cuando no cuentan una gran historia.

Del RCT a la Incubadora Beta

La misión central de Evidence Action es solo emprender proyectos respaldados por evidencia rigurosa y sustancial.

Esto significa que cada programa que pasa se mueve de un ensayo de control aleatorio (ECA) exitoso a una extensa fase de "incubadora beta", en la que el programa se implementa a escala, pero se evalúa de cerca el impacto.

Esto es casi como un período de "período de prueba", para asegurarse de que el programa haga lo que debe hacer, y puede incluir pruebas continuas A / B para ayudar a resolver qué enfoques son más exitosos a escala.

Kanika Bahl, CEO de Evidence Action, explica que nunca da por sentado la idea de que un programa que haya tenido éxito en la fase de investigación y ECA funcionará una vez que esté en la fase de incubadora beta. "Solo porque algo proviene de una base de investigación muy prometedora o el mecanismo es bien conocido, nunca asumimos que el programa está teniendo el impacto deseado", dice ella.

No Lean Season estaba destinado a ayudar a las personas en las zonas rurales de Bangladesh, donde la temporada entre la siembra y la cosecha puede hacer que las familias caigan en apuros. El programa ofreció un subsidio de migración a los trabajadores que se beneficiarían de viajar a un área urbana donde las fluctuaciones en los empleos y los salarios son mucho menos graves.

Las preguntas centrales que Evidence Action tenía sobre el programa eran dobles. Primero, ¿estaba aumentando la tasa de migración en las áreas que estaban siendo tratadas? Y en segundo lugar, ¿aumentó el ingreso familiar y / o la tasa de consumo junto con el aumento de la migración?

Los datos hablan

Cuando los líderes del programa se sentaron a analizar el impacto de la fase de incubación de la Temporada Sin Lean, los datos arrojaron resultados decepcionantes. No hubo un impacto significativo en la migración y, por lo tanto, ningún efecto en el consumo y los ingresos de los hogares.

La pregunta que siguió naturalmente fue: ¿Qué salió mal ?

La mejor hipótesis de Evidence Action, dijo Bahl, fue que la organización y sus socios locales habían tenido problemas para calcular la cantidad de préstamos otorgados. Esto llevó a que los objetivos que se establecieron al comienzo de la fase de incubadora se cumplieran demasiado rápido, sin aumentar realmente el número de migrantes estacionales.

El socio local se propuso encuestar a 100,000 hogares y evaluar si eran elegibles para un préstamo de migración del programa. Evidence Action luego estableció objetivos para la cantidad de dinero que se entregará, en función de cuántos de estos hogares realmente tomarían el préstamo y migrarían.

Al final, el socio encuestó a 160,000 hogares, pero la cantidad de préstamos otorgados no fue mayor que si solo hubieran encuestado a 100,000. Esto significaba que el porcentaje de personas del grupo que ofrecían préstamos que realmente migraron no era más alto que el grupo de control, porque se otorgaron menos préstamos de los anticipados.

Si bien esta es la mejor suposición de Evidence Action sobre por qué el impacto fue tan bajo, Bahl reitera que esto es solo una hipótesis.

Además de este problema, Evidence Action recibió denuncias de irregularidades financieras por parte de su socio local. Si bien una investigación exhaustiva de las acusaciones no pudo corroborarlas, al final tuvo sentido terminar la relación con el socio local.

Esto significó que en 2018, No Lean Season estaba buscando resultados infructuosos de su incubadora beta, sin impacto en la migración o los ingresos del hogar, así como tampoco un socio local en el terreno para ayudar a solucionar estos problemas de implementación para el próximo año.

Decisiones difíciles

Aquí es cuando Evidence Action tomó la difícil decisión de cerrar No Lean Season. Al final, Kanika Bahl cree que fue una indicación de la integridad y el compromiso de Evidence Action con su misión.

"Debido a que estábamos realizando pruebas a escala, y mucho más allá de lo que normalmente haría en una ONG, pudimos detectar que el programa no estaba funcionando".

Si la organización hubiera confiado solo en el ECA, agregó, "hubiéramos dicho, Dios, hay una evidencia realmente sólida, estamos en buena forma y hubiéramos continuado el programa, y continuamos sintiéndonos realmente bien por verter millones de dólares en un programa que no estaba teniendo el impacto deseado en absoluto ".

Parte de la decisión se redujo a la experiencia de Evidence Action con programas altamente exitosos en otras áreas, incluida la iniciativa Deworm the World , que aprovechó la infraestructura existente para desparasitar a los niños en sus escuelas y Dispensers for Safe Water , que ha llevado el agua potable a más de 4 un millón de personas.

"Estamos llegando a más de 280 millones de personas hoy con nuestros otros programas de evidencia", dijo Bahl. Esto le hizo pensar: “¿Es este el mejor uso del tiempo y la atención de la organización? ¿Es el mejor programa que podríamos estar haciendo? ¿O la mejor manera para que logremos nuestra misión de mejorar de manera considerable la vida de cientos de millones de personas? ”

En última instancia, Bahl ve esto como una historia menos sobre los desafíos de implementación y más sobre cómo tomar decisiones difíciles y tácticas basadas en la evidencia . Después de todo, los programas de escala en el mundo en desarrollo son complejos y difíciles. No es realista suponer que cada proyecto será tan exitoso como se espera.

"Puede ser doloroso, pero si no estás haciendo estas llamadas difíciles, hay una buena posibilidad de que no seas honesto contigo mismo acerca de cuál es la forma más efectiva de utilizar los recursos y recursos de desarrollo".

- Megan Dent

(Crédito de la imagen: Flickr)