Este artículo está escrito por Anna Thomas, cofundadora y directora del Institute for the Future of Work en el Reino Unido y miembro independiente del CDEI Bias Review Steering Group.

A principios de agosto, los jóvenes de todo el Reino Unido tuvieron un rudo despertar cuando recibieron sus calificaciones de A-level. Debido a la pandemia de Covid-19 y la cancelación de exámenes, Ofqual diseñó un algoritmo que generó predicciones de nivel A utilizando los datos históricos de rendimiento de cada escuela, un rango proporcionado por los maestros y el logro previo de cada grupo. Este proceso de estandarización se aplicó para escuelas con más de cinco alumnos por asignatura, lo que significó que las escuelas “pequeñas” escaparon a la moderación de Ofqual.

Pero cuando se anunciaron las calificaciones, casi el 40% de los estudiantes habían sido ajustados o " rebajados ", lo que significa que una alta proporción de calificaciones finales fueron más bajas que las calificaciones pronosticadas evaluadas por sus maestros. Además, la degradación de Ofqual no se distribuyó de manera uniforme: las escuelas públicas desfavorecidas tenían más probabilidades de ver variaciones de año a año en las calificaciones y menos probabilidades de utilizar la advertencia de "escuela pequeña". Esto significa que las escuelas públicas tenían más probabilidades de verse perjudicadas por un modelo que prestaba muy poca atención a las características individuales de cada estudiante. Se produjo una protesta pública, ya que maestros, padres y estudiantes protestaron por la injusticia del sistema.

Para contrarrestar la incómoda verdad de que la estandarización automatizada no prestará atención a la personalidad individual, los algoritmos no deben subcontratarse a tecnólogos: deben ser co-desarrollados

La protesta pública se trata de más que las perspectivas amenazadas de cientos y miles de aspirantes a puestos de trabajo en todo el país. También refleja la frustración por la ausencia de una responsabilidad humana significativa y una gobernanza sobre los sistemas automatizados que pueden proyectar, en masa, las desigualdades pasadas en el futuro.

El debate, hasta ahora, se ha centrado en la necesidad de una revisión técnica del proceso automatizado. Pero las soluciones tecnológicas no son suficientes y no pueden verse de forma aislada. Para evitar una forma de “tecnochovinismo”, es necesario plantearnos preguntas más amplias sobre las infraestructuras legales, sociales y políticas en las que podría producirse esta situación.

En otras palabras, es imperativo que los formuladores de políticas aprendan a implementar los principios del diseño y el uso de algoritmos justos, equitativos e inclusivos para evitar que se repita esta debacle, y asegurarse de que la tecnología funcione para promover el bien público. Entonces, ¿qué lecciones deberían aprender los formuladores de políticas de esto? Aunque no sustituye a la responsabilidad ministerial, aquí ofrezco tres conclusiones clave.

Un camino hacia una mejor tecnología

Primero, se necesitan con urgencia métodos más inclusivos de diseño y prueba de sistemas. La transparencia sobre los aspectos técnicos de un modelo es importante, pero no fue el principal problema en el caso de Ofqual. Para contrarrestar la incómoda verdad de que la estandarización automatizada no prestará atención a la personalidad individual, los algoritmos no deben subcontratarse a tecnólogos: deben desarrollarse conjuntamente.

Los responsables de la formulación de políticas deben estar preparados para pensar en grande y considerar propuestas de nuevas rutas para la responsabilidad algorítmica.

En el caso de Ofqual, los científicos sociales y los estudiantes habrían señalado los problemas de utilizar datos históricos y de clasificación; los abogados habrían señalado el deber de igualdad del sector público y los principios de equidad en la legislación administrativa y de protección de datos; expertos, como la Royal Statistical Society del Reino Unido, habrían señalado las limitaciones técnicas del modelo; Los sindicatos de maestros habrían identificado los resultados desiguales para los grupos demográficos y las escuelas.

El Instituto para el Futuro del Trabajo está desarrollando una metodología y una herramienta de política social inclusiva con líderes mundiales en sistemas y pensamiento de diseño que podría ayudar a respaldar el desarrollo conjunto de herramientas como el algoritmo Ofqual.

En segundo lugar, los responsables políticos de los departamentos deben reducir los silos y trabajar mucho más de cerca para alinear las políticas y la regulación. Socava el apoyo del Canciller a los jóvenes en su Plan de Empleo si los que ingresan al trabajo se ven injustamente privados de los límites de grado que necesitan para trabajar; o si el Departamento de Trabajo y Pensiones (DWP) requiere al mismo tiempo que este desafortunado grupo demuestre que está buscando trabajos que no existen, para evitar sanciones. Y socava el compromiso de la Oficina del Gabinete de abordar las desigualdades estructurales , que el DfE proceda con el algoritmo Ofqual, que no ha sido diseñado teniendo en cuenta la igualdad de trato entre grupos demográficos y entornos socioeconómicos, o si no se han realizado ajustes para mitigar los impactos desiguales. sido hecho.

Un trabajo más cercano entre departamentos también habría llamado la atención sobre obstáculos o conflictos obvios, como el doble papel del presidente de Ofqual, que dirige el Centro de Ética e Innovación de Datos.

Para ayudar a alinear el trabajo en diferentes esferas, la Comisión sobre el Futuro del Trabajo ha propuesto una estrategia de trabajo 5.0 entre departamentos que reorientaría la formulación de políticas hacia un objetivo político central y transversal.

Por último, los responsables de la formulación de políticas deben estar preparados para pensar en grande y considerar propuestas de nuevas rutas para la responsabilidad algorítmica. Ahora deberíamos estar criticando rigurosamente los marcos legales y otros marcos de responsabilidad relevantes para asegurarnos de que se ajusten a la era del sistema automatizado, y asegurarnos de que se llenen las brechas de responsabilidad expuestas durante la última semana. Podemos hacer algo mejor que exigir que las escuelas o los estudiantes individuales se opongan a una calificación injusta ex post facto.

Si podemos aprender algo de esto, es que la tecnología es tan buena como los humanos la desarrollen, apliquen y gobiernen; y los valores humanos que sustentan estas actividades

La política tecnológica debe requerir una evaluación y consideración anticipadas de los daños e impactos colectivos e individuales sobre la igualdad. Ahora hay un caso sólido para incluir la consideración de la desventaja socioeconómica, que en el Reino Unido no está actualmente protegido por la Ley de Igualdad (la Ley de Igualdad s1 solo está en vigor en Escocia ).

Y necesitaremos deberes proactivos y afirmativos tanto para el sector público como para el privado para monitorear, evaluar e informar sobre los impactos adversos en la igualdad para garantizar que no se proyecten audazmente nuevas formas de daño colectivo en el futuro.

Los ojos ahora se centrarán en la próxima revisión de sesgos del Centro de Ética e Innovación de Datos, que se espera que esté a la altura de estos nuevos desafíos.

Restaurando la confianza

Si podemos aprender algo de esto, es que la tecnología es tan buena como los humanos la desarrollen, apliquen y gobiernen; y los valores humanos que sustentan estas actividades. El sistema de estandarización algorítmica de Ofqual no tenía poderes misteriosos: era un sistema socio-técnico. Los seres humanos decidieron implementar el algoritmo y determinar su cometido y propósito: predecir la distribución de calificaciones para cada escuela, en lugar de predecir las calificaciones de estudiantes individuales.

Los humanos diseñaron el algoritmo; los humanos seleccionaron los puntos de datos, las variables y la ponderación; y los humanos decidieron cómo se deberían utilizar los datos históricos, que reflejan las desigualdades históricas; y que no se deben utilizar las calificaciones evaluadas por el maestro. Y a nivel político, los humanos también deciden cómo regular, gobernar y supervisar estas decisiones.

La tecnología es más necesaria que nunca para respaldar los desafíos de la pandemia. Debería utilizarse para unir a las personas y los responsables de la formulación de políticas, aprovechar las fortalezas humanas y mejorar el acceso al trabajo, el trabajo y el bienestar. Los responsables de la formulación de políticas ahora deben trabajar duro para lograrlo y recuperar la confianza del público en la tecnología.

La consulta del Instituto para el Futuro del Trabajo sobre evaluaciones de impacto en la igualdad está aquí ; se invita a los lectores a completarla antes del 27 de agosto. El Grupo de Trabajo sobre Igualdad de IFOW informará en octubre de 2020. Anna Thomas también es miembro independiente del Grupo Directivo de Revisión de Sesgos de CDEI.

(Crédito de la imagen: Unsplash)