La escala cambia todo. ¿Cómo podemos predecir sus efectos?

Los formuladores de políticas en todos los niveles saben lo que es ver que un esquema que ha funcionado bien en la etapa piloto no tiene éxito cuando se amplía. Lo que funciona para 30 niños en Loughborough puede no funcionar para 1000 en Lagos. O incluso a Londres.

Eso no se debe a que las ideas fueran malas en primer lugar, o porque los pilotos mismos estaban mal administrados, sino porque la escala afecta a los proyectos de diferentes maneras y, como tal, necesita un enfoque evaluativo diferente.

La escala afecta el rendimiento de los proyectos en parte porque el tamaño de un proyecto cambiará su impacto fundamentalmente, pero también porque las diferentes culturas, geografías y economías reaccionarán al mismo proyecto de diferentes maneras. Y los proyectos de escalado dirigidos a niños presentan desafíos particulares, desde obtener el consentimiento de los sujetos hasta encontrar su audiencia.

Pero no tiene sentido experimentar si es probable que sus resultados no sean útiles. Entonces, ¿cómo pueden los gobiernos lograr evaluaciones que pronostiquen mejor el éxito a escala?

El siguiente nivel

Esperar que lo que funcionó en un pequeño piloto de política social se repita a escala sin ajustes en el programa o su evaluación puede ser fatal.

La Dra. Stephanie Talbut, Gerente Senior de Calidad del Programa de la organización benéfica Restless Development, que evalúa esquemas en todo el mundo, argumenta que dicha reelaboración debe contar con los recursos adecuados. Es esencial asegurarse de que haya personal bien capacitado que comprenda los desafíos de la ampliación de escala.

Si va a evaluar una idea que se expande de un piloto de 30 niños a un programa nacional de miles, necesita continuidad en la forma en que aborda su evaluación a pesar de que lo que está evaluando cambiará.

A pesar de que el marco de entrega del programa se alterará con la expansión, los factores esenciales que está probando aún se pueden medir de manera sólida. Y eso requiere experiencia. “Sus indicadores van a cambiar, su marco de resultados se expandirá y hará mucho más con eso. Eso debe reflejarse en su presupuesto de personal ”, dijo Talbut.

Un grupo de académicos de la Universidad de Yale en los Estados Unidos ha asumido este desafío. La Iniciativa de Investigación de Yale sobre Innovación y Escala (YRise) está adoptando un enfoque científico para ampliar los programas para gobiernos y otras organizaciones en todo el mundo.

Yrise observa la diferencia que tiene un piloto a pequeña escala de un esquema más amplio e intenta comprender cuáles son los cambios entre el entorno bien administrado de los ensayos controlados aleatorios ( ECA ) y la implementación a gran escala.

Ahmed Mushfiq Mobarak, director de la facultad de YRise, dice que un ejemplo en la provisión de principios de año es la capacitación de enfermeras de enfermería. "Cuando escala las cosas, comienza a afectar el mercado", dijo, "por lo que los salarios podrían comenzar a caer si capacita a demasiadas personas en el mismo trabajo".

Entonces, el desafío para YRise es: “¿Cómo desarrollamos un diseño de investigación que pueda predecir qué sucederá si pasamos de 50 a 500 [enfermeras de guardería]? ¿Cómo podrían ajustarse los salarios? Necesitamos abordar la brecha entre los resultados de la investigación que obtenemos y los resultados de las políticas que podríamos esperar ver a escala ".

YRise se centra en cinco áreas: economía política: el impacto que tiene un programa en los políticos y los encargados de formular políticas; evidencia: si un programa puede escalarse con confianza en diferentes lugares; efectos de red: las consecuencias, intencionadas o no, en el entorno más amplio en el que se ejecuta el programa; efectos sobre el crecimiento y el bienestar del área en la que se ejecuta y, finalmente, cuánta demanda hay para el programa.

¿Juego de niños?

En los primeros años, algunos programas son más fácilmente escalables que otros.

Mobarak dice que, en términos de escalabilidad, los programas que se pueden entregar a través del jardín de infantes, los padres o los miembros de la comunidad, en lugar de que un experto salga a entregar el programa, les va mejor. Sin embargo, esto no está exento de dificultades.

“Algunas preguntas de escala que pueden surgir son si una organización de entrega sabe cómo hacer bien un programa, si luego se muda a un entorno donde, para que sea escalable y rentable, necesita capacitar a la gente local. Pero eso podría cambiar fundamentalmente el programa. Eso también necesita monitoreo e investigación ”.

Por lo tanto, será importante saber cómo transferir la entrega de expertos externos a proveedores locales impacta, positiva o negativamente, en la efectividad de un programa.

Otro elemento clave cuando se trata de evaluar programas para niños es la dificultad de obtener el consentimiento de los sujetos.

Talbut dijo que asegurar el consentimiento de los padres para la evaluación y la participación en un programa es vital, ya que un niño de cinco años no puede dar su consentimiento. Sin embargo, asegurar la aceptación de los padres paga dividendos, ya que “los niños son cegadoramente horriblemente honestos. Obtendrá datos sorprendentes sin el sesgo. No les importa complacerlos ”, agregó.

Talbut ha encontrado esto particularmente desafiante al evaluar programas internacionales, donde los diferentes idiomas, normas culturales y niveles de educación y alfabetización presentan desafíos separados.

Obtener el consentimiento de los padres requiere recursos y una planificación cuidadosa.

"Si está entrenando o equipando a otros para que entreguen su programa porque ha pasado de ser piloto a toda la ciudad, por ejemplo", dijo Talbut, "Aquellos que realizan la entrega deben estar completamente capacitados sobre cómo tomar el consentimiento, por qué tomándolo y qué pasa con los datos. El consentimiento es más que asegurarse de que un padre haya firmado un formulario y que quienes realizan la entrega necesiten tener una comprensión más amplia de su papel en el éxito del programa ".

Todo este procedimiento cuidadoso tiene el potencial de ser socavado cuando se realiza a escala.

Y tanto Talbut como Mobarak están de acuerdo en la importancia no solo de la evaluación, sino de asegurarse de tener buenos datos para evaluar en primer lugar.

A escala, una preocupación que planteó el Dr. Talbut fue el "Síndrome de la Pitufina". Eso lleva el nombre del hecho de que en las películas a menudo tienes una mujer demasiado sorprendente (y poco representativa) que está allí para responder a las preguntas sobre el equilibrio de género, ya que Smurfette era la única mujer Pitufo.

El personaje femenino puede ser brillante y un líder, pero cuando el resto del elenco son hombres, la representación general de las mujeres en la película no es representativa. Entonces, como dice el Dr. Talbut, "cuando escalas una evaluación, puedes perder casos de estudio significativos. Así que terminas destacando el único buen ejemplo: terminas con Pitufina ".

Poder escalar de escala piloto a proyectos nacionales e internacionales que logren la misma tasa de éxito es un objetivo en el que todos los responsables de las políticas deberían estar interesados.

Mientras Yrise continúa examinando la ciencia detrás de hacer que esto suceda, será útil para todos nosotros tener respuestas a las preguntas del profesor Mobarak de que todos los programas deben ser interrogados primero con “¿Vale la pena? ¿Es útil? ¿Es esta la mejor manera de mejorar los resultados de los niños?

Si la respuesta es no, entonces un proyecto no es útil a ninguna escala. Sin embargo, cuando la respuesta es sí, este es solo el comienzo del desafío: cómo garantizar que no solo se mejore la vida de los niños en pequeños bolsillos, sino que se comprenda la ciencia detrás de hacerlo a gran escala. - Emma Burnell

(Crédito de la imagen: Foster and Asher / Deathtothestockphoto)