Esta pieza es parte de la serie de proyectores de Apolitical sobre el impacto social en escala , en asociación con la Fundación Bernard Van Leer. También aparece en nuestro suministro de noticias de innovación del gobierno .

En los Estados Unidos, la Asociación Enfermera-Familia se considera un programa probado. Envía enfermeras a visitar a madres pobres por primera vez, y en tres ensayos controlados aleatorios (ECA) se ha demostrado que tiene un gran impacto en la salud y el bienestar de la madre y el niño. El modelo se importó al Reino Unido sobre esa base y se cambió a una escala mucho mayor. Pero cuando ya se estaba implementando en 132 sitios en todo el país, lo probaron en un ECA y descubrieron que no tenía ningún efecto.

La Asociación Enfermera-Familia es uno de los casos recientes más claros de un rompecabezas que obstaculiza cualquier intento de replicar un programa que funciona en otro lugar: la generalización. Es el signo de interrogación en el centro de cualquier escalamiento : si replicamos un enfoque en un nuevo contexto, ¿podemos esperar que el impacto sea similar?

Ese nuevo contexto puede ser otra ciudad en el mismo país, o podría ser otro país en el otro lado del mundo. El hecho de que tenga el mismo problema no significa que la misma intervención funcionará, porque cada intervención funciona en conjunto con su contexto.

Cuanto más diferente sea el contexto, menos apropiada será la intervención. Y cuanto más se adapte la intervención para adaptarse al nuevo contexto, menos relevante será la evidencia existente. Al final, puede ser efectivamente una nueva intervención no probada.

En definitiva, la replicación es siempre una apuesta. Pero, ¿cómo podemos acortar las probabilidades?

Cual es la evidencia

Antes de intentar replicar una intervención, vale la pena hacer dos cosas. Primero, evalúe la evidencia existente: cuántas y qué tipo de evaluaciones se han realizado y en qué contextos. Y segundo, entienda lo que esa evidencia realmente significa fuera de contexto.

Más y mejores juicios ejecutados son claramente una ventaja. Replicar algo sobre la base de una sola evaluación es arriesgado; replicar algo así como un programa de transferencia de efectivo condicional, que se ha probado docenas de veces en diferentes contextos, no lo es tanto. Pero incluso entonces, hay un debate considerable sobre lo que esa evidencia realmente te dice.

Tome el ensayo controlado aleatorio (ECA). Con la formulación de políticas basadas en evidencia y la profesionalización del sector sin fines de lucro, los ECA son el sabor del momento. Describirlos como un estándar de oro se ha convertido en una especie de cliché político. Pero tienen la suya, y esas limitaciones son particularmente relevantes cuando se trata de replicación en otros lugares.

Un ECA bien ejecutado dice algo sobre la intervención en ese momento y sobre esa población. En ese sentido, son el estándar de oro. Pero más allá de ese contexto específico, no tienen privilegios especiales sobre otros tipos de evidencia. Un ECA realizado allí no tiene una relación real sobre cómo funcionaría ese programa aquí.

Pero eso no quiere decir que los ECA, y la evidencia en general, de otro lugar sean inútiles. De hecho, pueden proporcionar información vital sobre por qué algo funciona, y esa es la clave para saber si se puede replicar en diferentes contextos.

Cual es el mecanismo

Una vez que sepa que algo funciona, puede analizar por qué funciona: los mecanismos subyacentes y las condiciones que requieren. El programa de prevención del VIH Sugar Daddies de Poverty Action Lab es un buen ejemplo de este enfoque.

En Kenia, este programa fue notablemente efectivo para reducir un modo clave de transmisión del VIH: las relaciones sexuales entre adolescentes y hombres mayores. Un ECA encontró que mostrar estadísticas de niñas y niños de octavo grado y un video corto sobre las tasas más altas de VIH entre los hombres mayores cambiaron drásticamente su comportamiento. El número de muchachas adolescentes que quedaron embarazadas de un hombre mayor en los siguientes 12 meses disminuyó en un 60%.

Claramente, la intervención funciona, pero ¿por qué funciona? ¿De qué depende su efectividad?

Identificaron tres cosas. Las relaciones entre hombres mayores y adolescentes deben ser comunes. Los hombres mayores necesitan tener tasas más altas de SIDA que los hombres más jóvenes, un mayor riesgo relativo de transmisión. Y, lo que es más importante, las chicas deben ser conscientes de eso.

Al analizar el mecanismo, derivaron las condiciones que requiere. Luego estaban en condiciones de predecir si funcionaría en otro lugar: simplemente necesitaban verificar esas condiciones.

¿Cuál es el nuevo contexto?

Cuando Ruanda quiso replicar el programa Sugar Daddies, el Laboratorio de Acción contra la Pobreza preguntó si las condiciones locales cumplían los requisitos para ese mecanismo. Comenzaron a analizar los datos.

Vieron que las tasas de infección por VIH eran más altas entre los hombres mayores que entre los hombres más jóvenes, y muchas adolescentes que eran sexualmente activas también lo estaban con los hombres más de cinco años mayores que ellas. Hasta ahora, tan prometedor.

Un equipo del Laboratorio de Acción contra la Pobreza Abdul Latif Jameel (J-PAL) decidió hacer una investigación sobre el terreno para ver cómo las adolescentes perciben el riesgo. Surgieron dos cosas. Sabían que los hombres mayores tenían más probabilidades de infectarse que los hombres más jóvenes, pero también sobreestimaron enormemente el porcentaje de hombres infectados en todos los grupos de edad.

Esto enturbió la imagen y presentó una posibilidad alarmante. El programa Sugar Daddies no afectaría el riesgo relativo: las niñas ya sabían que los hombres mayores tenían más probabilidades de infectarse. Pero en realidad podría disminuir su percepción del riesgo de VIH por el sexo sin protección en general. Eso significa que el programa bien podría haber aumentado la transmisión del VIH.

Eso resalta cuán importante puede ser la comprensión de la interacción entre intervención y contexto.

Este tipo de enfoque se puede hacer sistemáticamente, como lo demuestra la ONG internacional Evidence Action. Uno de sus programas, No Lean Season, reduce la pobreza estacional al otorgar subsidios de viaje que ayudan a los hombres a trasladarse temporalmente a una ciudad, encontrar trabajo allí y enviar dinero a sus hogares.

“Primero buscamos la existencia de estacionalidad: ¿hay grandes grupos de personas que experimentan privaciones estacionales? Es una característica común de los medios de vida agrícolas, pero no es universal ", dijo Karen Levy, Directora de Innovación Global de Evidence Action.

“Eso te da un conjunto de lugares. Luego, buscas dentro de eso lugares donde hay ciudades cercanas y prósperas en crecimiento. Dos ejemplos de lugares que vimos que pasaron la primera prueba pero fallaron la segunda fueron Zambia y Malawi. Tienen una temporada de hambre aguda, pero no hay oportunidades de trabajo asalariado excedente en pueblos y ciudades, por lo que tienen ese clavo, pero nuestro martillo no va a funcionar allí ”.

“Y dentro de ese conjunto de lugares, estás buscando aquellos en los que la brecha entre los pobres y los pueblos y ciudades cercanas es muy grande, pero no demasiado. Si tiene que comprar un boleto de avión, eso no es algo que No Lean Season pueda resolver. Pero igualmente si la tarifa cuesta solo tres dólares, entonces quizás un subsidio de transporte no va a resolver ese problema. Estamos buscando ese poco de resistencia que nuestro subsidio puede superar ".

Primero, identifique la necesidad, luego confirme sistemáticamente la presencia de las condiciones requeridas para la intervención. Con este enfoque, evita llevar un programa a algún lugar donde nunca funcionará.

Adaptar la intervención al nuevo contexto.

Las pruebas preliminares evalúan la evidencia de la intervención, el mecanismo de la intervención y el nuevo contexto en el que desea trasplantarla. Si un programa los aprueba, entonces es hora de adaptarlo.

Nuevamente, entender por qué algo funciona, y por lo tanto lo que es esencial, es crucial. "Cuanto más comprenda los mecanismos subyacentes, más sabrá dónde se necesita una fidelidad muy alta al diseño original y qué cosas son más flexibles", dijo Levy.

Sin embargo, lo que es flexible es raramente claro o acordado. Y eso da lugar a la tensión entre la fidelidad y la adaptación que preocupa a muchos escalados .

La Asociación Enfermera-Familia es un buen ejemplo. "La entrega del programa en Inglaterra fue de alta calidad", dijo el profesor Mike Robling, quien llevó a cabo el ECA. “Pero esos objetivos de fidelidad se basaron en los parámetros que se observaron en los ensayos originales de los EE. UU. ¿Cuán relevantes o esenciales son esos cuando se aplican en un nuevo entorno?

Después del decepcionante RCT, los licenciantes del programa aflojaron los requisitos de fidelidad. Ahora el equipo del Reino Unido está experimentando cambiando cosas como el contenido del programa o la cantidad de visitas que recibe la gente. También permiten que cada unidad que ofrece el programa lo personalice según sus necesidades.

Dado que el Reino Unido tiene un sistema de salud pública, mientras que Estados Unidos no lo tiene, puede ser que el programa simplemente no funcione. O pueden encontrar una versión que sí arroje resultados.

Es útil recordar que la replicación no se trata de copiar servilmente cada característica: se trata de replicar el impacto. Se trata de los mecanismos subyacentes, más que de los aspectos superficiales del parto.

Al final, un programa debe tener un núcleo fijo, pero cualquier número de modelos de entrega que dependan del contexto. Esos modelos de entrega pueden verse muy diferentes.

Take Reach Up , la intervención de la primera infancia analizada en uno de nuestros estudios de caso. Se originó en Jamaica, donde tuvo un impacto notable en el logro educativo de los niños a través de sus visitas semanales a los hogares por parte de trabajadores de salud comunitarios. Pero las réplicas en Perú y Colombia han tenido problemas para lograr algo parecido al mismo impacto. Sin embargo, recientemente en Bangladesh experimentaron con un modelo de parto muy diferente: realizar sesiones grupales en clínicas de salud y la mitad del número de sesiones. Y logró el mismo impacto que en Jamaica, no a pesar de esas adaptaciones.

Un marco de cuatro pasos

No existe una fórmula para la replicación, ningún algoritmo para disipar toda duda. Incluso la intervención más simple depende del contexto de innumerables y sutiles formas: es imposible decir con certeza cómo le irá en otro lugar.

Sin embargo, como se presenta aquí, hay un marco de cuatro pasos que puede descalificar muchos errores antes de que ocurran, y mejorar las probabilidades de replicaciones que persigue.

Primero, evalúe la evidencia. ¿Es bueno, reciente y relevante?

Segundo, entienda el mecanismo: por qué funciona la intervención.

Tercero, verifique que el nuevo sitio cumpla con las condiciones para ese mecanismo.

Y cuarto, adaptar según sea necesario. No te dejes llevar por rasgos superficiales.

Sugar Daddies fue descalificado en el paso tres. Quizás la Asociación Enfermera-Familia debería haber sido. Claramente, un enfoque más sistemático para la replicación puede ahorrar recursos, y podría ahorrar mucho más.

(Crédito de la imagen: Flickr / Aikawa Ke)

Tom Graham