Esta publicación está escrita por Paul Waller, miembro visitante de la Universidad de Bradford y director de investigación de Thorney Isle Research.

El problema: la investigación ha demostrado que el uso de métodos algorítmicos para predecir las circunstancias o el comportamiento de las personas tiene muchos problemas y puede conducir a malos resultados.

Por qué es importante: dichos métodos, a veces etiquetados como inteligencia artificial , algoritmos de aprendizaje automático, toma de decisiones automatizada, análisis predictivo, análisis de datos o similares, han sido promovidos y, a veces, probados por agencias gubernamentales. Se han utilizado en los campos de los servicios sociales, la justicia penal, la policía, el fraude de beneficios y otros.

La Solución: Los organismos del sector público deben seguir las reglas que existen y tener mucho cuidado. Este artículo es ficticio, pero la historia se basa en los hallazgos informados por los investigadores para actuar como una advertencia sobre lo que podría suceder. Vea también un video extendido de la historia.

Lo más probable es que la presión institucional y la aversión al riesgo personal por parte de los trabajadores de primera línea conduzcan, con el tiempo, a que se actúe sobre la predicción del sistema sin más consideración.

Fondo

Entre 2017 y 2019, varias autoridades locales de Inglaterra probaron el uso de análisis predictivos en la atención social, para adultos y niños . Muchos de los pilotos fueron detenidos antes de ser puestos en operación en vivo. Los académicos han estudiado algunos y han encontrado numerosos problemas y falta de información detallada sobre los resultados; otros han señalado muchos riesgos .

Una de las cuestiones planteadas fue cómo los trabajadores sociales tratarían el resultado de un sistema predictivo en conflicto con su juicio profesional. Lo más probable es que la presión institucional y la aversión al riesgo personal por parte de los trabajadores de primera línea conduzcan, con el tiempo, a que se actúe sobre la predicción del sistema sin más consideración.

Este problema conduciría casi inevitablemente tanto a intervenciones innecesarias que interrumpen la vida de las familias y desperdician recursos, como a la falta de intervenciones en casos críticos donde luego ocurre el daño. Esta última situación podría considerarse como negligencia: si el riesgo fuera conocido y alguien falleciera como consecuencia, podría considerarse Negligencia Grave como Homicidio .

La historia que sigue es ficticia. No hay ninguna sugerencia de que tal evento haya ocurrido o que algún funcionario de la autoridad local se haya comportado de esa manera. Sin embargo, si estos sistemas de análisis predictivo se hubieran adoptado ampliamente, es muy posible que tal escenario se hubiera desarrollado. Así que esta historia está escrita para enfatizar los peligros de este tipo de sistemas en la atención social, y por extensión en cualquier toma de decisiones en los servicios públicos.

A juicio: los que toman las decisiones, no el algoritmo

El Director de Servicios para Niños y el Director de Tecnología (CTO) de una autoridad local están siendo juzgados por homicidio por negligencia grave luego de la muerte en 2018 del Niño D como resultado del abuso infantil en una familia en el radar del equipo de Atención Social de la autoridad. . El caso judicial fue iniciado por la fiscalía, pero luego se suspendió debido a la pandemia de Covid-19. En 2017, la autoridad había comprado y puesto en funcionamiento un sistema que utiliza análisis predictivos para identificar familias en las que existía el riesgo de que se produjeran problemas graves que pusieran en riesgo a los niños. El sistema no había señalado a la familia del Niño D al equipo de Atención Social.

En su defensa, la Directora de Servicios para Niños dijo que una vez que estuvo en su lugar, se hizo evidente que, política y personalmente, sería desastroso si se ignoraba una predicción de tal sistema y sucedía algo malo. Entonces dio instrucciones para que el equipo de Atención Social se centre en los casos señalados por él por encima de todos los demás. Esto significaba que todo su esfuerzo se gastaba solo en ellos. Ella creía que era probable que, sin el sistema, su equipo hubiera intervenido con la familia del niño D y, por lo tanto, probablemente se hubiera evitado la muerte.

El CTO ahora es llamado al estrado.

La fiscalía cuestiona al CTO

Fiscalía: ¿Por qué se introdujo este sistema de análisis predictivo? ¿Qué motivó su adopción?

Acusado: Lo introdujimos debido a la recomendación y el financiamiento del programa de familias en problemas del gobierno, los mensajes generalizados sobre la capacidad de dichos sistemas, la necesidad de ahorrar, las presiones para hacerlo mejor con menos en la atención social familiar, y marcó la casilla de transformación digital . .

PC: ¿Cómo seleccionó el sistema?

D: Vimos lo que estaban usando otras autoridades. Analizamos el material publicado en el gobierno local y en otros lugares, y los estudios de casos de los consultores y proveedores. Luego llevamos a cabo un proceso de adquisición, ligero ya que era un piloto.

PC: Se sabe que este tipo de sistemas dependen mucho de la calidad de los datos con los que se entrenan y que se proporcionan como entrada. ¿Buscó asesoramiento profesional de expertos en análisis de datos sobre los datos y los riesgos de posibles sesgos dentro de ellos?

D: No es mi campo de especialización y no contratamos a nadie con las calificaciones para analizarlo. Los consultores nos aseguraron que el sistema había sido ampliamente utilizado y entrenado con datos similares a los nuestros.

PC: ¿Qué evaluaciones de impacto se realizaron?

D: Sólo en materia de protección de datos. Se lo planteamos a nuestro equipo de RGPD (Reglamento General de Protección de Datos) y sus abogados. Siguiendo su consejo, se colocó una declaración de privacidad en el sitio web para explicar la base del RGPD para el procesamiento de datos.

PC: ¿Qué consulta se hizo con las familias que estarían cubiertas por el sistema?

D: Ninguno. Se nos informó que si sabían que podrían comenzar a jugar con el sistema, o tratar de optar por no participar, lo que anularía el objetivo.

PC: ¿Estaría de acuerdo, por lo tanto, en que aquellos sujetos a este algoritmo de predicción no tenían conocimiento, no comprendían y no dieron su consentimiento para su uso?

D: Sí, tengo que aceptar eso.

PC: Si fuera un piloto, ¿cómo sabría si el sistema funciona bien? ¿Se estableció una evaluación para detectar cualquier impacto positivo o negativo?

D: No, no teníamos una línea de base contra la cual realizar una comparación. Obtendríamos comentarios del equipo de Social Care sobre los efectos en él y en la comunidad.

PC: ¿Qué razonamiento dispuso el equipo de Atención Social del sistema sobre cómo llegó a sus conclusiones? ¿Fue su funcionamiento transparente?

D: El resultado proporcionó un perfil de cada familia y una breve razón por la que se marcó el caso, pero no detalles sobre el proceso analítico. Los vendedores insistieron en que su metodología era comercialmente confidencial. No estoy seguro de que lo hubiéramos entendido de todos modos.

PC: Escuchamos que el desempeño del equipo estaba siendo juzgado por cuántos de los casos de “alto riesgo” presentados por el sistema cada mes fueron seguidos. ¿Sabía cuántos de ellos parecían, cuando los investigó el equipo de Atención Social, no ser un problema, pero dado que el sistema los había señalado, tenían que continuar invirtiendo recursos en ellos?

D: No sé los números, pero los escuché quejarse de perder el tiempo visitando familias que parecían estar bien.

PC: Escuchamos que el equipo estaba instintivamente preocupado por la familia de Child D, pero el sistema nunca la identificó como de alto riesgo. ¿Les estaba dando un sistema sin comprender la posibilidad de que hiciera una predicción incorrecta de una forma u otra?

D: Supongo que sí, pero estas cosas las defienden muchas personas que supongo saben más que yo.

PC: ¿Está de acuerdo en que la falta de explicación del sistema sobre cómo llegó a sus conclusiones hizo que fuera mucho más difícil para el equipo de Atención Social aplicar su juicio profesional con confianza, en lugar de tener que aceptar los resultados a ciegas?

D: Supongo que sí.

PC: Para resumir, presento al tribunal que la imposición de un sistema analítico predictivo de esta naturaleza, sin comprensión de su eficacia, funcionamiento o impactos, junto con cambios de procedimiento basados en la suposición errónea del 100% de precisión, impidió el equipo de Atención Social ejerza su juicio profesional e intervenga con la familia del Niño D, lo que llevó trágicamente a la muerte del Niño D. Podemos entender cómo los incentivos externos, la exageración generalizada, las afirmaciones exageradas de los proveedores y consultores y las presiones financieras llevaron a la autoridad considerando el uso de análisis predictivo. Sin embargo, hemos visto cómo una cadena de eventos, liderada activamente y fuertemente defendida por el Director de Tecnología, mostró un nivel catastrófico de negligencia que estuvo muy por debajo de cualquier interpretación de los términos "profesional" o "ético". Sostengo que este nivel de negligencia, que contribuyó con una probabilidad significativa a la muerte del niño D, es suficiente para ser grave y, por lo tanto, criminal, y una condena por homicidio negligente grave está plenamente justificada.

PC: Su Señoría, eso es todo de la fiscalía.

Juez: Se levanta la sesión del tribunal.

¿Cuál es su veredicto: culpable o no culpable?

👋 ¡Puedes crear una publicación como esta! Comparta sus pensamientos con una comunidad de servidores públicos. Aprende más

(Crédito de la imagen: Unsplash)