Este artículo está escrito por Jonathan Breckon, Director, y Anna Hopkins, investigadora asociada de la Alianza para la Evidencia Útil.

¿Qué es la experimentación en política o práctica? ¿Y por qué vale la pena invertir en un experimento? ¿Qué herramientas experimentales existen? ¿Y cuándo o dónde podrían quedarse cortos?

En todo el mundo, un pequeño pero creciente movimiento de experimentadores en políticas está aportando nuevas ideas sobre cómo resolver los problemas públicos. Desde la creación de mejores servicios, hasta hacer que la oficina administrativa del gobierno sea más eficiente, se están utilizando nuevos métodos y herramientas para desarrollar y probar políticas.

Un inventario de diferentes diseños publicado hoy por The Alliance for Useful Evidence y Nesta cataloga el contenido de la caja de herramientas del experimentador de políticas. En él, presentamos 18 enfoques experimentales para una política basada en evidencia y brindamos asesoramiento sin jerga sobre los pros y los contras de cada uno.

¿Por qué experimentar?

Desde los miles de experimentos realizados por Thomas Edison para crear la primera bombilla, pasando por ensayos en medicina o los experimentos de campo de larga duración que apuntalan la agricultura moderna, probar ideas en la práctica es una piedra angular del descubrimiento científico y tecnológico.

Los experimentos ahora son críticos para los sectores donde la innovación y la optimización son rutinarias, como el desarrollo web. Se ha puesto de moda en los negocios. Entre las instituciones financieras, minoristas y restaurantes más grandes de los EE. UU., Al menos un tercio realiza experimentos aleatorios, y compañías como Google y Amazon realizan decenas de miles de experimentos al año . Las pruebas A / B son ahora el medio estándar a través del cual Silicon Valley mejora sus productos en línea. Sin embargo, en el gobierno la experimentación sigue siendo relativamente rara.

La palabra "experimental" ha llegado a significar "innovador" o "radical" en lugar de simplemente "no probado". Pero la experimentación genuina se trata de comprometerse a una evaluación y evidencia rigurosas, no solo a "probar cosas" libremente

Cuando los gobiernos experimentan, el lenguaje puede ser confuso. Para algunos, la experimentación es solo un sinónimo de innovación: probar una nueva idea, como la introducción de cuotas de género en Ruanda o las Asambleas de Ciudadanos en Irlanda . La palabra "experimental" ha llegado a significar "innovador" o "radical" en lugar de simplemente "no probado". Pero la experimentación genuina se trata de comprometerse a una evaluación y evidencia rigurosas, no solo a "probar cosas" libremente. Se trata de establecer una estructura para aprender de probar cosas en el mundo. No se trata solo de hacer las cosas de manera diferente, y esperar tener éxito.

La experimentación requiere una actitud más madura por parte de los líderes y los responsables de la toma de decisiones, una que nos permita aprender positivamente del " buen fracaso ". En lugar de pretender que tenemos todas las respuestas, significa admitir que no las tenemos y que necesitamos poner a prueba nuestras ideas. Un enfoque más transparente, " abierto por defecto" está siendo pionero internacionalmente, por experimentadores en Canadá, Finlandia y los Estados Unidos.

La caja de herramientas experimental

En la Alianza para la Evidencia Útil , que está financiada por el Fondo Nacional de Lotería de la Comunidad, el Consejo de Investigación Económica y Social (ESRC) y Nesta, hemos defendido que el gobierno debe poner a prueba las políticas de manera rigurosa y sistemática, o el estancamiento del riesgo .

Nuestro nuevo inventario cataloga 11 tipos de experimentos aleatorios utilizados para informar la toma de decisiones. De estos experimentos aleatorios son quizás uno de los más poderosos.

Los experimentos aleatorios tienen como objetivo probar una idea política o innovación mediante la investigación de la diferencia que ha marcado para las personas a las que pretende ayudar. Lo hacen usando un grupo de control; probando una innovación contra "business-as-usual". Esto no tiene que ser un gran ensayo como probar un medicamento. Pueden ser rápidos y flexibles. Por ejemplo, el Banco Mundial defiende los " ECA ágiles ". Financiaron evaluaciones ágiles sobre la mejor manera de mejorar la cobertura del seguro de salud en Azerbaiyán, ampliar el uso de anticonceptivos en Burundi y apoyar a los maestros para brindar educación personalizada a los niños afectados por la guerra y el desplazamiento en el Líbano.

Hay oportunidades para experimentar incluso en problemas sociales difíciles. Pero en estos casos, crear un grupo de control conlleva su propio riesgo. Si, por ejemplo, está experimentando con un nuevo esquema de beneficios, tener un grupo de control le permite probar si el esquema realmente ha logrado sus objetivos, pero también significa privar a un grupo de ciudadanos de un servicio mejorado, al menos inicialmente.

Es importante tener claro qué diferentes diseños experimentales pueden y no pueden decirnos

Para evitar esto, una implementación gradual de políticas puede crear lo que se llama un experimento de "lista de espera" en el que el grupo de control es el grupo que pronto tendrá innovación. Todo el mundo eventualmente recibe la nueva innovación política, negando el riesgo de rechazo del público. Este enfoque fue utilizado por el Ministerio de Vivienda, Comunidades y Gobierno Local del Reino Unido en su primer ensayo aleatorio sobre integración comunitaria. En 2016, probaron si la capacitación en inglés podría ayudar a los inmigrantes a participar más en su comunidad.

Los resultados fueron impresionantes. Encontraron mejoras significativas en muchos resultados de integración social, como nuevas amistades formadas con personas de otras culturas y asistir a más citas de salud. La prueba ayudó al Departamento a elaborar nuevos planes para su Papelera Verde de Comunidades Integradas 2018, incluida una red de clubes de conversación y un nuevo fondo de idioma inglés. Para otros que quieran diseñar sus propios experimentos en el Gobierno del Reino Unido, existe un Panel de Asesoramiento de Ensayos dirigido por el Equipo de Gabinete de What Works Works que puede guiarlo a través de los aspectos técnicos.

También hay otras herramientas valiosas para ayudar a guiar la toma de decisiones públicas. A pesar de su estado pasado de moda entre algunos expertos y evaluadores de políticas, también destacamos el valor y la utilidad de los diseños cuasi-experimentales. Explicamos estos métodos, que a menudo se expresan en lenguaje técnico mortal en inglés simple. Estos métodos se han utilizado para evaluar políticas como el programa Troubled Families o el impacto del programa Sure Start de centros infantiles en el Reino Unido, incluidos enfoques más nuevos como Synthetic Control, que utilizan métodos estadísticos innovadores para aprovechar el advenimiento de "big data ".

Entendiendo la diferencia

Es importante tener claro qué diferentes diseños experimentales pueden y no pueden decirnos. Solo ciertos diseños experimentales son útiles para aprender sobre el impacto y la efectividad, es decir. si nuestra nueva idea realmente está haciendo la diferencia o no. Aquí, los experimentos aleatorios o los diseños cuasi-experimentales tienen un valor único. Pero otros enfoques pueden ser más adecuados para descubrir diferentes cosas, en diferentes etapas del desarrollo de una solución de política.

La creación de prototipos , por ejemplo, enfatiza el riesgo de carga frontal y la creación de una solución con una mejor oportunidad de éxito a través de la participación de las partes interesadas. El uso de ladrillos de plástico de Lego para construir prototipos de productos de ingeniería es una forma de bajo recurso y de bajos recursos para hacer obvios los problemas operativos o de diseño tempranos. Pero no le dirá si el nuevo sistema funciona en la vida real o no.

Además de aumentar nuestra comprensión de qué diseño experimental usar cuando existe, existe la posibilidad de que los experimentadores mejoren mucho el uso de diferentes herramientas en combinación para innovar de manera más efectiva. Los prototipos, por ejemplo, podrían usar ensayos aleatorios de bajo costo como pruebas A / B o ensayos ágiles para evaluar productos o servicios prototipados.

Esperamos que este recurso sea útil para aclarar cuándo los experimentos son útiles y por qué, así como para simplificar la jerga y el doble discurso, y para destruir mitos sobre algunas percepciones erróneas comunes. Como innovadores que buscan el bien social, tenemos el deber de poner a prueba nuestras ideas: descubrir qué no funciona, descubrir qué funciona y mejorar la vida de las personas. - Jonathan Breckon y Anna Hopkins

Leer el Inventario del experimentador correo .

(Crédito de la imagen: Muerte a la foto de archivo)