Este artículo fue escrito por Tim Hill, Data Standards and Technical Lead del Open Data Institute

Cuatro días antes de que el Reino Unido fuera bloqueado, Neil Ferguson, director del Centro de Análisis de Enfermedades Infecciosas Globales del Consejo de Investigación Médica (MRC), envió un tuit ligeramente de disculpa.

Aunque mucha gente había querido tener acceso al código base de modelado Covid del MRC, Ferguson admitió que consistía en "miles de líneas de C indocumentadas" escritas "trece años antes para modelar pandemias de gripe". Estaban trabajando con Microsoft y GitHub para limpiar y racionalizar el código. Hasta entonces, no estaba disponible.

¿Quieres escribirnos? Eche un vistazo a la guía de Apolitical para colaboradores

El tweet se perdió fácilmente en medio de la confusión de otras historias relacionadas con el coronavirus esa semana. Pero para un desarrollador de software como yo, la admisión fue impactante. ¿Miles de líneas producidas durante trece años? ¿En un lenguaje que induce a errores como C? El solo pensamiento produjo una sensación de vértigo. ¿Cómo empezaría a encontrar y corregir todos los errores que podrían haberse infiltrado?

Peor aún, ¿cómo podría defender una política pública basada en ella, especialmente (terriblemente) cuando esa política tuvo implicaciones tan enormes como el bloqueo de Covid-19, entonces pendiente?

Evaluación de irrealidades

En los últimos años se ha observado una creciente preocupación por el uso de modelos informáticos en la toma de decisiones públicas, en particular, con cuestiones de sesgo. Sin embargo, aunque estos sesgos algorítmicos son omnipresentes, la comprensión de las políticas públicas de estas " cajas negras " computacionales está creciendo y las técnicas para detectar y remediar sus deficiencias están cada vez más desarrolladas.

Sin embargo, el código Covid-19 de Ferguson no es como la mayoría de los modelos de computadora que se usan hoy en día . La mayoría de los algoritmos que han estado bajo escrutinio reciente son modelos de "pronóstico": dado un rango de factores conocidos (digamos la temperatura y la humedad de hoy), intentamos predecir un resultado (como la lluvia de mañana). Si nuestra predicción es correcta, sabemos que el algoritmo está funcionando. Si no, lo refinamos con nueva evidencia.

El código de Ferguson, por el contrario, es una "simulación". En lugar de rastrear los efectos de los factores individuales en los resultados conocidos, los modelos de simulación ayudan a los científicos a explorar los posibles efectos de las decisiones políticas a gran escala. En el contexto de Covid-19, un modelo de pronóstico podría usarse para responder preguntas sobre cómo factores como la edad, el origen étnico y los ingresos afectan las tasas de supervivencia, mientras que un modelo de simulación podría plantear preguntas como 'Si cerramos todos los aeropuertos, ¿cuál es el probable efecto sobre las tasas de transmisión? ¿Y si los dejamos abiertos?

Los modelos de simulación son fundamentales para explorar opciones de políticas en algunos de los problemas más importantes que enfrentan los gobiernos en la actualidad.

Esta diferencia de enfoque hace que los modelos de simulación sean difíciles de evaluar. De los muchos escenarios considerados, normalmente solo uno llegará a suceder. Si estima que ocurrirán 150.000 muertes a menos que se cierren los aeropuertos y después de que se tomen tales medidas, el número de muertos es menor, eso no hace que la proyección inicial sea incorrecta . Sin embargo, hace que sea difícil o imposible evaluar la precisión de esa estimación original, precisamente porque se evitó todo el escenario.

Del mismo modo, actualizar el modelo a medida que surgen nuevos datos no es simplemente una cuestión de agregarlo a un conjunto de entrenamiento. En cambio, es un proceso abierto de revisión de supuestos y parámetros con nueva información y, en ocasiones, desarrollando nuevos escenarios.

Desde una perspectiva académica, no hay nada de malo en este enfoque ad hoc . Para las políticas públicas, sin embargo, es profundamente problemático. Los modelos de simulación son fundamentales para explorar opciones de políticas en algunos de los problemas más importantes que enfrentan los gobiernos en la actualidad, incluido el calentamiento global y el rechazo de las vacunas. Pero, ¿cómo se pueden justificar las decisiones basadas en tales modelos? O, visto de otra manera: ¿cómo se puede confiar en tales modelos?

Metodologías abiertas para auditoría algorítmica

La cuestión de la confianza, tras el fatídico tuit de Ferguson, era urgente. Los oponentes ideológicos de las medidas de bloqueo que se estaban contemplando se apresuraron a plantear dudas sobre la calidad del código; un diputado experto en tecnología declaró que la situación era potencialmente "escandalosa".

Dada la dificultad de auditar los modelos de simulación, la única forma de contrarrestar la creciente ola de críticas era la transparencia: las personas ajenas al gobierno necesitaban poder revisar el código, los datos y los resultados del MRC y evaluar sus conclusiones.

Afortunadamente, gracias al trabajo de académicos, grupos de defensa e ingenieros de software durante las últimas dos décadas, ahora existen metodologías claras para hacerlo. Estos enfoques tienen diferentes nombres y tienen diferentes énfasis, pero lo que comparten en común es un énfasis en la apertura: acceso abierto ; datos abiertos ; ciencia abierta ; software de código abierto.

Todos estos enfoques "abiertos" tenían un papel que desempeñar en la reivindicación del trabajo del MRC. Una vez que los adoptó, el progreso fue rápido. El 22 de abril, Ferguson y su equipo lanzaron una versión simplificada y refactorizada de su código como software de código abierto . Tres días después, arreglaron un error identificado por un equipo externo. Y finalmente, el 1 de junio de 2020, una auditoría independiente pudo replicar los resultados que el MRC había publicado anteriormente bajo una licencia de acceso abierto, confirmando que ni la refactorización ni el error habían alterado los resultados del código.

Diez semanas después del tímido tuit de Ferguson, se confirmó la validez del trabajo del MRC. Pero esas diez semanas fueron un problema: diez semanas de ruptura de la confianza entre el público; diez semanas de distracción para el equipo y diez semanas de incertidumbre para los servidores públicos que no saben si pueden confiar en la información que se les está dando.

En la parte 2 de este artículo, veremos cómo evitar este tipo de demoras catastróficas y nos aseguraremos de que las metodologías abiertas, cuando corresponda, estén integradas en sus proyectos desde el principio : Tim Hill

Queremos escuchar su opinión sobre este artículo. Envíenos un artículo o envíenos sus comentarios a hello@apolitical.co

(Crédito de la foto: UnSplash)