Este artículo está escrito por Jack Martin, oficial superior de investigación de la Early Intervention Foundation (EIF), que forma parte de la red What Works del Reino Unido.

A pesar de las buenas intenciones, los servicios públicos, ya sea en educación, justicia penal, servicios infantiles o en cualquier otro lugar, no siempre lograrán los resultados que buscamos. O, para decirlo simplemente, a veces las cosas simplemente no "funcionan".

Con respecto a muchas áreas de envío y práctica pública, simplemente no sabemos lo suficiente como para estar seguros de si está marcando una diferencia o no. Pero no hay ninguna razón por la que debamos tropezar en la oscuridad, sin saber si lo que estamos haciendo es tener el impacto deseado. Es posible identificar qué funciona y qué no, en lugar de simplemente esperar lo mejor.

De la misma manera que la medicina se prueba rigurosamente en ensayos científicos y se demuestra que es beneficiosa antes de ser utilizada en la práctica, podemos y debemos probar rigurosamente nuestros servicios públicos. Y de la misma manera, su médico consulta las pautas basadas en evidencia antes de hacer una receta, los tomadores de decisiones en política social pueden consultar la mejor evidencia disponible al decidir cómo actuar. Esto no solo es posible, sino que también es esencial para mejorar significativamente los resultados y gastar el dinero de los contribuyentes de manera responsable.

Al observar el historial de si un tipo particular de servicio ha tenido éxito en el pasado, como lo ilustra la evidencia de alta calidad, podemos asegurarnos de que estamos brindando los servicios que tienen la mejor oportunidad de funcionar. También podemos dejar de hacer cosas que tienen un historial de fallas y podemos adaptar los servicios existentes para que sean más efectivos.

Pero, ¿cómo se toman decisiones informadas de alta calidad? Una gran parte del trabajo del UK What Works Centers implica descubrir la mejor manera de apoyar a los responsables de la toma de decisiones para que hagan esto en diversas áreas de la política pública. Aunque los detalles siempre variarán según el contexto, en nuestra experiencia en la Early Intervention Foundation (EIF), hay tres consideraciones particularmente importantes y transversales que son cruciales para considerar cuidadosamente al usar evidencia para ayudar a decidir qué servicios ofrecer:

1. Considerando la fuerza de la evidencia, ¿es confiable la evidencia?

Al profundizar en la evidencia, puede identificar una pila de estudios o informes que tienen algo que decir sobre la efectividad de una gama de servicios (o " evaluaciones ").

Sin embargo, no todas las pruebas son iguales y no todas las evaluaciones son confiables. Un estudio defectuoso puede concluir que un servicio es efectivo cuando, en realidad, no ha producido beneficios o incluso es dañino. Entonces, ¿por dónde empiezas? ¿Y en qué evaluaciones podemos confiar?

El "estándar de oro" para evaluar la efectividad es el ensayo de control aleatorio (ECA); Estos estudios, cuando se llevan a cabo bien, brindan las estimaciones más confiables de cuán efectivo ha sido un servicio.

Para tomar una decisión informada de alta calidad, debe usar su criterio profesional para evaluar la comparabilidad, o ajuste , entre su situación y las situaciones en las que un servicio ha demostrado ser efectivo en el pasado

La salsa especial del ECA es que nos dice si un servicio ha sido efectivo al permitirnos comparar lo que sucede cuando se entrega un servicio con lo que hubiera sucedido si el servicio no se hubiera entregado, utilizando el poder de la asignación al azar para crear un control grupo. También hay otros diseños fuertes en el conjunto de herramientas del evaluador, como las evaluaciones de diseño cuasi-experimentales (o QED). Estos diseños, como los ECA, intentan hacer afirmaciones confiables sobre el impacto de un servicio mediante el uso de un grupo de control, aunque esto se crea utilizando métodos estadísticos (como la correspondencia) en lugar de la aleatorización.

Los servicios que se han encontrado efectivos en múltiples ECA o QED de alta calidad (a menudo agrupados en estudios de investigación llamados "revisiones sistemáticas" o "metanálisis") tienen un historial de éxito y representan una "mejor apuesta" sobre lo que podría funcionar en el futuro basado en la evidencia existente.

Sin embargo, no todos los ECA o QED son perfectos, y algunos son más confiables que otros. A menudo es difícil eliminar cuál es cuál. Donde esté disponible, es mejor confiar en el trabajo existente. Los Centros What Works del Reino Unido proporcionan registros de evidencia en línea, como la Guía de EIF y el Kit de herramientas EEF para ayudar a los tomadores de decisiones en diferentes áreas de la política social a descifrar qué evaluaciones son confiables.

2. Considerando el 'ajuste' de la evidencia, ¿es la evidencia relevante para mi situación?

Los servicios respaldados por ECA o QED de alta calidad representan una "mejor apuesta" sobre lo que podría funcionar en el futuro. Pero incluso el mejor ECA no puede garantizar que un servicio funcione en el futuro y en todas las situaciones. La evidencia solo puede garantizar que el servicio funcionó, en el pasado, entregado de una manera específica, a un grupo específico de personas, en un lugar específico.

Para hacer una alta calidad, decisión basada en información, tiene que usar su juicio profesional para evaluar la comparabilidad - o ajuste - entre su situación (dónde y cómo se desea entregar el servicio), y las situaciones en las que un servicio se ha sido evaluado y demostrado ser efectivo en el pasado. Cuanto más comparables sean, más probable es que reproduzca los éxitos del pasado. Si no considera adecuado al decidir qué servicio ofrecer, es menos probable que logre con éxito los resultados que espera.

Los registros de evidencia no pueden tomar su decisión por usted, pero pueden arrojar luz sobre lo que de otro modo podría parecer un camino turbio y tenso hacia una formulación de políticas exitosa

En particular, debe pensar en la población a la que pretende prestar el servicio: ¿las personas a las que desea ayudar con este servicio se parecen a las personas a las que ha ayudado en el pasado? El servicio podría funcionar bien para personas con ciertas características, en términos de edad, sexo, origen étnico, estado sociodemográfico, etc., pero no para otros. También debe pensar en su contexto e implementación .

Al seleccionar un servicio, es esencial saber si puede entregarlo con éxito en condiciones comparables a aquellas en las que se demostró que era efectivo. Los cambios en la implementación o el contexto (como la configuración de la entrega, quién entrega el servicio y por cuánto tiempo) pueden comprometer la efectividad de un servicio.

3. Considerando el tamaño de los efectos y el costo, ¿la evidencia demuestra mejoras significativas?

El siguiente paso es observar cuidadosamente lo que dice la mejor y más relevante evidencia sobre cuánto impacto beneficioso tienen los servicios. Las evaluaciones de alta calidad informarán estimaciones numéricas de impacto, conocidas como "efectos" o "tamaños de efectos".

La forma en que interpreta el efecto rara vez es sencilla y variará según el tipo de servicio que desee implementar y por qué. Pero es absolutamente vital que se considere. Algunos servicios pueden tener evidencia de ECA sólida y confiable que sugiere que en realidad no han logrado mucho (quizás solo efectos pequeños o insignificantes), mientras que otros servicios pueden tener un sólido historial de producir efectos prácticamente significativos o relativamente grandes, los servicios más efectivos debe ser priorizado.

Sin embargo, más grande no siempre es mejor, y es importante considerar qué beneficios se pueden lograr a qué costo. Por ejemplo, si dos servicios tienen un historial de producir efectos de tamaño similar, pero uno es muy costoso y el otro es más barato, entonces, si todo lo demás es igual, es claramente de interés público buscar el servicio menos costoso.

Nada de esto es fácil. Sin embargo, los tomadores de decisiones no están solos, y los centros What Works del Reino Unido se esfuerzan por ayudar a que esas decisiones difíciles sean menos difíciles al proporcionar información accesible sobre la confiabilidad y relevancia de la evidencia, junto con información sobre los beneficios y costos de los servicios. Los registros de evidencia no pueden tomar su decisión por usted, pero pueden arrojar luz sobre lo que de otro modo podría parecer un camino turbio y tenso hacia una formulación de políticas exitosa, y ayudarlo a lograr un cambio real y significativo. - Jack Martin

(Crédito de la imagen: Muerte a la foto de archivo)