Los campos de desarrollo como la primera infancia, en los últimos años, se han unido alrededor de un estándar de oro de evidencia política: el ensayo de control aleatorio. Tomado de la medicina clínica, el método permite a los investigadores comparar rigurosamente los efectos de una intervención política con un grupo de control, eliminando sesgos y factores de confusión. Pero hay un problema: sus resultados a menudo son inútiles.

Una evaluación de un millón de dólares de un programa de visitas domiciliarias para nuevas madres podría descubrir que no mejoró los resultados de salud, no porque sea un mal programa, sino simplemente porque las trabajadoras no hicieron todas las visitas programadas. Los costosos ensayos de varios años pueden terminar revelando solo que no se puede ayudar a las personas con una política que en realidad no está implementada.

Eso está empezando a cambiar. Un nuevo enfoque "ágil" para la evaluación de políticas , encabezado por un puñado de economistas, podría brindar a los responsables de la formulación de políticas la información que realmente necesitan : sobre cómo asegurarse de que sus programas no fallen antes del primer obstáculo.

Fallando sin aprender

El Fondo de Evaluación de Impacto Estratégico , o SIEF, es un brazo del Banco Mundial que financia ensayos de políticas para recopilar evidencia crucial en áreas como la primera infancia, la salud y el saneamiento. Estas evaluaciones están destinadas a informar el trabajo posterior del Banco, los gobiernos y otras agencias de desarrollo.

Pero no siempre cumplen esa promesa, según Alaka Holla, gerente de programa de SIEF.

En Bangladesh, por ejemplo, SIEF financió una prueba de un programa para dar a las madres más información sobre los beneficios de la estimulación para sus hijos. Al final de la evaluación de dos años, casi la mitad de las madres involucradas dijeron que no habían recibido ningún material informativo, y el 85% había tenido menos sesiones con los trabajadores comunitarios de lo previsto.

Ensayos como estos fueron una fuente de frustración para Holla. "Para mí, era una señal de que era prematuro hacer la evaluación completa del impacto", dijo.

Incluso una política con potencial transformador no mostrará mucho efecto si su implementación es un desastre. Las evaluaciones pueden recoger algunas pruebas sobre las dificultades para implementar una política, pero no se retroalimenta hasta que finaliza el juicio, a menudo años después. En esa etapa, es demasiado tarde para ser de mucha utilidad.

Y las evaluaciones de impacto completas tienen otra dificultad: pueden ser extremadamente costosas. El costo de recopilar datos, particularmente en los países en desarrollo, puede ser prohibitivo. Holla sugirió que los ensayos de control aleatorio pueden volverse cada vez más raros si se cree que inevitablemente cuestan "al menos un millón de dólares y tres o cuatro años".

Ser ágil

Pero las técnicas del ensayo de control aleatorio podrían ser la solución a estos desafíos. El nuevo concepto de una "evaluación ágil" vería a los investigadores utilizar los mismos métodos para estudiar la implementación inicial de políticas, en lugar de sus resultados finales.

Defendida por el economista estadounidense Dean Karlan , y ahora adoptada por Holla para la última ronda de trabajo del SIEF, las evaluaciones ágiles tienen dos elementos clave: centrarse en la implementación en lugar de los resultados de bienestar y encontrar formas más baratas de recopilar datos.

Holla describió un proyecto para ayudar a las personas que sufren de presión arterial alta. Un enfoque podría ser lograr que más personas tomen medicamentos al aumentar la parte del costo reembolsado.

Una evaluación ágil podría probar ese método junto con una gama de otros: diferentes tasas de reembolso o enfoques enfocados en aumentar la conveniencia de obtener medicamentos de un médico en lugar de reducir su precio, por ejemplo.

Eso dejaría algunas preguntas, sobre los últimos impactos en la salud del programa, sin respuesta. Pero sus resultados serían inmediatamente útiles, y el ensayo puede ser mucho más corto que una evaluación completa de resultados. "Si alguien no va a entregar un programa en seis meses, probablemente no lo va a entregar, no va a responder a su intervención con un retraso", dijo Holla.

La otra clave es reducir los costos de ejecutar tales experimentos. En los países menos adelantados, puede ser necesaria la realización de encuestas de hogares.

Pero en las áreas de ingresos medios, los datos del gobierno pueden ser lo suficientemente buenos, especialmente para los esfuerzos de implementación. O los proyectos pueden diseñarse de modo que generen los datos a medida que avanzan, en lugar de requerir encuestas adicionales.

"En el campo de la economía del desarrollo, estas pruebas de campo comenzaron en los entornos de ingresos más bajos donde no había datos", dijo Holla. "Eso de alguna manera se convirtió en la norma, incluso en países y contextos en los que tal vez podrías haber confiado en datos administrativos".

Este tipo de evaluaciones, ágiles tanto en su relativa brevedad como en sus costos mucho más bajos, hacen que sea mucho más fácil realizar una investigación de seguimiento rápida y experimentos iterativos sobre la mejor manera de hacer que las políticas realmente funcionen

Empujando hacia la agilidad

La mayoría de los investigadores y funcionarios del Banco Mundial y otras organizaciones de desarrollo han estado entusiasmados con la idea de evaluaciones ágiles, dijo Holla.

Pero todavía se necesita algo de trabajo para hacerlos realidad. Holla reclutó a Dean Karlan para presentar en el Banco Mundial para convencer a sus colegas de la importancia de la investigación centrada en la implementación.

Y ahora está usando el poder de SIEF como un organismo de financiación para atraer a los investigadores. La última convocatoria de propuestas del fondo se centra exclusivamente en evaluaciones ágiles.

El SIEF también ha reservado fondos adicionales para las evaluaciones que se completan a tiempo para ejecutar un segundo ensayo basado en las lecciones del primero. Ese tipo de iteración es difícil con evaluaciones más largas y costosas, y desarrollarlo en la estructura de una oferta de financiación es una primicia mundial.

Holla espera que esta primera ronda importante de evaluaciones ágiles sirva como prueba de concepto para un enfoque más económico y dinámico de la investigación de políticas. Los destinatarios serán anunciados a finales de este mes.

"No es que hayamos dividido el átomo", dijo. "Pero esta es una buena manera de señalar que estamos dispuestos a invertir dinero en esto, porque es importante". - Fergus Peace

Este artículo ha sido actualizado para aclarar algunas críticas de los ensayos de control aleatorio realizados por Alaka Holla.

(Crédito de la imagen: Pexels)