Cómo usar la evidencia cuando tienes poco tiempo

Este artículo está escrito por Stephen Fraser, director ejecutivo adjunto de la Fundación Educativa Endowment (EFF), parte de la red What Works del Reino Unido.

“Tenemos tanto tiempo y tan poco que hacer. Golpea eso, inviértela.
- Roald Dahl

Para el legislador informado por la evidencia, el tiempo puede parecer el archienemigo. Con demasiada frecuencia, el mundo conspira para robarnos el tiempo que necesitamos para definir el problema de la política, construir el compromiso con los ciudadanos y las partes interesadas, reunir pruebas, probar el contrafactual, monitorear el impacto, replicar los hallazgos, todo lo que podría ser necesario para Construir la confianza para aconsejar y actuar.

• ¿Quieres escribir para nosotros? Echa un vistazo a la guía de Apolitical para contribuyentes

Pero quizás el problema no sea el tiempo sino el modelo lineal descrito anteriormente. Después de todo, es poco probable que los gobiernos a menudo, si alguna vez, tengan tiempo para planear responder preguntas que aún no han anticipado hacer.

Entonces, ¿cómo puede el servidor público receptivo y responsable alcanzar el equilibrio entre rigor y urgencia? ¿Hay un cambio de tiempo para la evidencia?

La humildad primero

"No hay límite para lo que se puede lograr, siempre y cuando no te importe quién recibe el crédito"
- acreditado a muchos

Quizás el primer paso es actuar con humildad y estar dispuesto a aprender de los demás. Así como el advenimiento de la medicina basada en la evidencia en el último medio siglo ha dado lugar a recursos como la Biblioteca Cochrane , también una amplia gama de campos, incluido el desarrollo internacional y las ciencias sociales, comenzaron a beneficiarse de la inversión en repositorios de evidencia accesibles que nos permiten comenzar con lo que sabemos.

Jack Martin de la Early Intervention Foundation (EIF) ha resumido sucintamente la gama de repositorios de evidencia disponibles a través de What Works Network del Reino Unido, enfatizando la necesidad de tener en cuenta las cuestiones de calidad de evidencia, relevancia y rentabilidad en el proceso de toma de decisiones.

¿Cómo nos mantenemos fieles a la evidencia, mientras la adaptamos inteligentemente a nuestro contexto?

Estos recursos resumen grandes cantidades de resultados de investigaciones y nos ayudan a determinar si un programa o enfoque es una buena apuesta para resolver nuestra política específica o desafío de práctica. Simultáneamente nos ayudan a evitar el riesgo de depender demasiado de un solo estudio, nos permiten comprender hasta qué punto se ha probado la viabilidad de un enfoque en condiciones reales y nos ayudan a evitar el tiempo que generalmente se requiere para generar y sintetizar hallazgos de investigación complejos.

El Kit de herramientas de enseñanza y aprendizaje de la Fundación Education Endowment, por ejemplo, puede dar a los encargados de formular políticas una respuesta preparada a la pregunta de si los alumnos que no alcanzan un estándar de aprendizaje determinado al final de cada año deben ser obligados a repetir ese año (hay es una evidencia moderadamente buena que probablemente tenga un impacto negativo en el aprendizaje y sea muy costoso de implementar).

Pregunte "cómo" en lugar de "qué"

"Nunca funcionará aquí".
- casi todos en algún momento

Pero, por supuesto, el uso de estos repositorios no ofrece garantía de éxito. Describen lo que ha funcionado, en lugar de lo que funcionará. Y entonces la pregunta se convierte rápidamente en una cuestión de generalización. Si la evidencia existente ofrece promesa sin garantía, ¿cómo podemos maximizar las posibilidades de éxito? ¿Cómo nos mantenemos fieles a la adopción de la evidencia, mientras la adaptamos inteligentemente para que se adapte a nuestro contexto?

Mary Ann Bates y Rachel Glennerster ofrecen un marco útil de cuatro pasos para determinar la probabilidad de que los hallazgos de investigación existentes sobre un programa o enfoque puedan generalizarse a un nuevo contexto. Ellos preguntan:

1. ¿Cuál es la teoría desagregada detrás del programa?
2. ¿Se cumplen las condiciones locales para que se aplique esa teoría?
3. ¿Qué tan fuerte es la evidencia del cambio de comportamiento general requerido?
4. ¿Cuál es la evidencia de que el proceso de implementación se puede llevar a cabo bien?

Estas preguntas nos llevan más allá de "¿qué funciona?", E incluso más allá de "¿qué funciona, para quién y en qué circunstancias?" y nos traslada a preguntas sobre cómo un enfoque parece funcionar o no, conectando contexto, mecanismo y resultado.

Construir expectativas de evidencia en el tejido de la toma de decisiones públicas

No es el acto de repetir un año lo que es inherentemente perjudicial para el aprendizaje de los estudiantes. De hecho, algunos estudios han demostrado beneficios. Pero cuando preguntamos cómo la repetición de un año generalmente tiene un impacto negativo, comenzamos a ver que la repetición de un año puede afectar la autoestima de los alumnos, puede arriesgarse al aislamiento social y la desconexión, a la exposición repetida al mismo plan de estudios y a una disminución de las expectativas que el ritmo del progreso del aprendizaje coincidirá con el de los compañeros.

Equipados con una comprensión no solo de lo que funciona sino de cómo, podemos comenzar a involucrarnos con los mecanismos conductuales, cognitivos o físicos a través de los cuales se ve afectado el aprendizaje, y comenzar a preguntarnos si se aplica en nuestras circunstancias.

Ven preparado

La oportunidad llama pero una vez
- Proverbio

Es un Ministro raro, feliz o capaz de esperar más de unos pocos días para recibir una respuesta política; Como la crisis de Covid-19 ha subrayado con trágicas consecuencias, algunas semanas son a veces lo mejor que podemos esperar y rara vez tendremos una segunda oportunidad para responder la misma pregunta. Y así, el imperativo es estar preparado.

Cambiar las expectativas culturales sobre cómo se aplica la evidencia

Construya expectativas para una política basada en evidencia en el tejido de la toma de decisiones públicas: en el reclutamiento, la inducción y el aprendizaje profesional continuo para los equipos de políticas, en las plantillas para los informes del gabinete y las decisiones presupuestarias, en la comunicación pública de los fundamentos de las políticas. Haga trampas invirtiendo en infraestructura de evidencia a largo plazo (financiar el equivalente de un enfoque What Works es un gran lugar para comenzar) y, en última instancia, cambie las expectativas culturales sobre cómo se aplica la evidencia.

Una cosa es convencer a un ministro de la necesidad de evidencia; otra muy distinta si el Ministro espera asesoramiento informado desde el principio. Mientras más líderes del sector público puedan conectar el uso de la evidencia a la cultura y la práctica, mayores serán nuestras posibilidades de satisfacer las demandas de preguntas de política pública cada vez más complejas, cambiantes y urgentes.

Y finalmente, podemos aprender del ejemplo de Pedro Cunho, el ex Director General Adjunto de Educación de Portugal, quien literalmente llevó la evidencia con él: una copia impresa del Kit de herramientas de enseñanza y aprendizaje de la EEF , listo para presentar el momento en que la discusión requirió evidencia. Pedro mantuvo su evidencia en su bolsillo. - Stephen Fraser

(Crédito de la imagen: Unsplash)