Hay mucho en juego cuando se trata de utilizar el aprendizaje automático en el gobierno. Las acusaciones de errores éticos resultantes de la toma de decisiones automatizada incluyen acusaciones de deudas falsas y sentencias de prisión supuestamente sesgadas por motivos raciales .

Pero existen pautas para ayudarlo a evitar sesgos, ser transparente y generar impactos positivos para la sociedad.

A partir de conversaciones con expertos y directrices del Ethical AI Institute , el Gobierno del Reino Unido y el Alan Turing Institute , incorporar estas tres consideraciones clave en su trabajo debería ayudarlo a evitar que su proyecto cause daños no deseados.

1. Considere los impactos de su sistema

Antes incluso de comenzar un proyecto, debe dar un paso atrás y preguntarse si la decisión de automatizar el proceso es la opción correcta, según Andrew Harding, asesor senior de tecnología y políticas en el Centro de Ética e Innovación de Datos. “Asegúrese de que el momento de la automatización sea de reflexión y pausa”, dijo Harding.

Cuando automatiza un proceso, explicó, puede resultar más difícil inspeccionar, observar y probar. Esto significa que la automatización no siempre es la mejor opción, especialmente para sistemas que no comprende bien o casos en los que el entorno de políticas no está claro.

La Guía del gobierno del Reino Unido para el uso de la IA en el sector público sugiere que “considere los impactos que [su proyecto] puede tener en el bienestar de las partes interesadas y las comunidades afectadas”. Tomarse el tiempo para hacer esto antes de implementar su sistema es una buena manera de predecir y evitar efectos dañinos.

Sébastien Krier, coautor de la guía y exasesor de la Oficina de Inteligencia Artificial del Gobierno del Reino Unido, dijo que recomienda utilizar el Principio de No Daño Discriminatorio . Esto puede ayudarlo a garantizar que su sistema no tenga “impactos discriminatorios o inequitativos” en las vidas de las personas a las que afecta, o que involucre características protegidas , incluida la orientación sexual, la religión y las discapacidades, donde no debería.

Recomienda trabajar en estrecha colaboración con los usuarios finales, la sociedad civil y los expertos para comprender estos efectos.

También es posible que desee echar un vistazo al marco de derechos humanos , dijo Harding. Pregúntese: ¿Su sistema afecta el derecho a la vida privada de alguien? ¿Hace más difícil que la gente disfrute del sistema democrático?

Kate Carruthers, directora de datos de la Universidad de Gales del Sur y miembro de Ethical AI Network, utilizó el ejemplo de un proveedor que propuso una solución de aprendizaje automático para las admisiones universitarias que predeciría las características de los estudiantes con mejor rendimiento. Explicó que, cuando la universidad consideró el impacto de este software, existía el riesgo de que alentaría a las universidades a admitir hombres blancos ricos, en lugar de impulsar la diversidad.

2. Identificar y mitigar sesgos

“Tenga siempre en cuenta que estas tecnologías, por neutrales que parezcan, están diseñadas y producidas por seres humanos, que están sujetos a las limitaciones de sus contextos y prejuicios”, advierte el Dr. David Leslie del Instituto Alan Turing en su capítulo sobre comprender la ética y la seguridad de la IA .

Los seres humanos pueden inyectar su sesgo en los sistemas en cualquier etapa del proceso, desde la recopilación de datos hasta la implementación, mientras que los conjuntos de datos ya pueden contener sesgos culturales y discriminación.

Por ejemplo, Krier argumentó que al usar conjuntos de datos sobre arrestos históricos, los sistemas policiales predictivos no predicen el crimen sino las decisiones policiales de arresto. Acusados de estar construidos con “ datos sucios ” que ya reflejan sesgos sistémicos, los sistemas supuestamente amplifican las prácticas policiales corruptas, ilegales y poco éticas en medio de un legado de discriminación.

El sesgo no es necesariamente intencional ni evidente de inmediato

El sesgo también puede moldear los procesos de desarrollo de tecnologías. Un estudio del MIT mostró que el software de reconocimiento facial logra tasas de precisión más bajas en rostros femeninos más oscuros que en hombres más claros. Sugirió que esto se debe a que muchas empresas no prueban el rendimiento de los sistemas en diferentes subgrupos, y los conjuntos de datos de referencia tienden a sobrerrepresentar a individuos más livianos, especialmente hombres.

"Los datos no son neutrales", dijo Carruthers, "tan pronto como decida utilizar un dato y no otro, ya se está produciendo un sesgo".

El sesgo no es necesariamente intencional ni evidente de inmediato. Entonces, ¿cómo podemos detectarlo y mitigarlo?

En primer lugar, tenga cuidado de no depender demasiado de la tecnología. “Se llama IA porque las tecnologías pueden ser inteligentes y tomar decisiones. Pero no tienen contexto, conciencia y sentido de la justicia y, en última instancia, no tienen juicio ”, dijo Harding. Asegúrese de que los humanos estén verificando las predicciones y haciendo una última llamada.

Ethical AI Network recomienda agregar "procesos de revisión humanos en el circuito" para evitar malas predicciones.

Pero primero, asegúrese de que su equipo tenga la formación necesaria. El Principio de No Daño Discriminatorio aconseja garantizar que los sistemas sean implementados por personas que tengan la capacitación suficiente para implementarlos de manera responsable y sin prejuicios. A veces hay una tendencia a confiar en la salida de un algoritmo sin cuestionar adecuadamente los resultados, explicó Krier. Por lo tanto, es importante asegurarse de que las personas estén adecuadamente capacitadas para trabajar con IA.

Y recuerde pensar en quién está involucrado en su proyecto: es imprescindible una variedad de perspectivas. Es realmente importante tener equipos diversos, dijo Krier, y en algunos casos involucrar a académicos y expertos en políticas, ya que el conocimiento del dominio puede mejorar significativamente la forma en que se diseñan los algoritmos.

Quizás desee consultar a una ONG que esté activa en su campo, sugirió Harding. Por ejemplo, si su sistema afectaba a las personas LGBT + en el Reino Unido, puede consultar a una organización como Consortium .

Existe mucha experiencia para ayudarlo a mitigar el sesgo. Los marcos , los libros de trabajo y las plantillas de organizaciones como el gobierno del Reino Unido , AI Now y el Open Data Institute pueden ayudarlo a detectar y mitigar los sesgos en sus datos, mientras que los reguladores como la Autoridad de Conducta Financiera pueden ser llamados para revisar sus procesos.

Krier recomendó el informe Toward Trustworthy AI Development de la Universidad de Cornell. Mientras tanto, la organización de Harding, el CDEI, está realizando una revisión del sesgo en la toma de decisiones algorítmicas .

3. Sea transparente

Para desarrollar un sistema de aprendizaje automático transparente, debe poder explicar la razón fundamental detrás de sus decisiones y comportamientos y justificar los procesos de diseño e implementación.

Tomemos el ejemplo de Krier de sistemas policiales predictivos adoptados por las agencias de aplicación de la ley para pronosticar delitos. Explicó que, en algunos casos, la opacidad de cómo se desarrollan los modelos significaba que los algoritmos no podían ser completamente entendidos y examinados por las fuerzas del orden.

El Instituto de IA recomienda que los legisladores hagan público su uso de sistemas automatizados e informen a los ciudadanos afectados por las decisiones que toman, mientras que Nesta aconseja que el público esté al tanto de todas las entradas que rigen cómo el sistema toma una decisión o recomendación.

Si los legisladores no logran ganarse la confianza, corren el riesgo de dañar gravemente las relaciones entre el gobierno y los ciudadanos.

La mejor manera de garantizar la transparencia es comenzar a pensar en ello temprano, no solo después de haber desarrollado su modelo. A menudo, el aprendizaje automático se basa en supuestos estadísticos. Si desarrolla su modelo de una manera científica y estadísticamente sólida, y es honesto acerca de esas suposiciones, será más fácil explicarlo después, dijo Harding.

También es importante que los ciudadanos tengan una "agencia significativa", agregó: interactúe con las personas a las que afecta su sistema para asegurarse de que puedan participar en el proceso que está diseñando.

Pero, ¿cómo pueden los servidores públicos hacer que los ciudadanos se unan? Para demostrar que su sistema es digno de la confianza del público, los responsables políticos deben garantizar tanto como sea posible su "seguridad, precisión, confiabilidad, seguridad y solidez", explica la guía de inteligencia artificial del sector público del Reino Unido. Por ejemplo, garantizando la privacidad de los datos de los ciudadanos .

Si los legisladores no logran ganarse la confianza, corren el riesgo de dañar gravemente las relaciones entre el gobierno y los ciudadanos. El gobierno australiano fue acusado de " encubrimiento ", después de que su programa Robodebt , un sistema automatizado para notificar a los ciudadanos de las deudas que deben al gobierno, supuestamente tuviera una tasa de error del 20% .

"Existe una capacidad genuina para ofrecer peores resultados a los ciudadanos a gran escala mediante el uso de tecnologías como el aprendizaje automático", advirtió Carruthers.

Pero las nuevas tecnologías tienen un gran potencial. Al inculcar buenos juicios éticos en nuestras máquinas, explicó Harding, podemos permitirles tomar decisiones menos sesgadas y críticas que las personas, ya sea por falta de tiempo, presión o recurriendo a prejuicios culturales. - Anna Goulden

(Crédito de la imagen: Unsplash)