Permitir a los gobiernos tomar decisiones significativas sobre la IA

_Este artículo fue escrito por Melodena Stephens, profesora de Gobernanza de Innovación y Tecnología en la Escuela de Gobierno Mohammed Bin Rashid. _

• El problema: los gobiernos han sido históricamente los principales inversores y los principales adoptantes de la IA, pero su supervisión no ha estado a la altura de la imaginación pública y los avances tecnológicos.
• Por qué es importante: La IA es una herramienta y es importante cómo se construye, utiliza, implementa y retira, especialmente cuando la población general y muchos tomadores de decisiones pueden no tener los conocimientos necesarios para comprender las consecuencias.
• La solución: al comprender el contexto de la toma de decisiones, las autoridades pueden hacerlo mejor.

La IA es una herramienta que puede aportar enormes beneficios o daños dependiendo de cómo se diseñe, gestione, utilice o retire. El gobierno no sólo es un gran usuario de IA , sino también un facilitador y regulador, lo que hace que su papel en la gobernanza sea muy complejo. Los gobiernos tienen un contrato social para entregar valor público. Y esto las coloca en un nivel de responsabilidad más alto que otras organizaciones. Ofrecer valor público no es opcional; es una necesidad. Además, como el gobierno es administrador de los recursos estatales y custodio del talento y los recursos planetarios, es responsable ante la generación actual y las sucesivas.

Los gobiernos han estado invirtiendo en IA durante décadas desde la Primera Guerra Mundial. Gran parte de la investigación fundamental y aplicada tempranamente en IA sigue siendo financiada por el gobierno (por ejemplo, EE.UU. ). Por lo tanto, las “nuevas tecnologías” que vemos, como la IA generativa, en realidad han tardado décadas en desarrollarse, pero sólo unos días en captar la imaginación del público. Sin supervisión, estas tecnologías están muy por delante de la curva regulatoria. Con el aumento de las asociaciones público-privadas, la supervisión se vuelve más confusa. El autogobierno en el sector privado lucha con 1) la rentabilidad y las presiones de los accionistas y 2) la demanda del mercado y ser el primero (ya que a menudo la IA sólo puede ser rentable a escala). Para los gobiernos, a medida que la carrera por la IA parece calentarse como una guerra fría indirecta, las inversiones en IA se están utilizando para justificar: 1) la nación primero, 2) la seguridad y 3) una mejor gestión de los recursos.

¿Qué está faltando? Necesitamos más formuladores de políticas que comprendan la IA en el contexto de la toma de decisiones .

1. Propósito centrado en el ser humano

Recuerde el propósito de su gobierno y departamento. La IA debe ser inclusiva y beneficiar a todos los humanos (idealmente por igual). Dado que se sabe tan poco sobre la caja negra de la IA, resulta tentador para los responsables políticos captar los _beneficios de la IA_ y no actuar con la debida diligencia sobre cómo la IA llega a sus conclusiones y a los posibles daños. Es esencial conocer la tasa de error y capacitar constantemente el sistema cuando se implementa a escala o cuando cambian los datos o la tecnología subyacente. Es necesario que haya una persona responsable. En el sector público, a menudo medimos variables cualitativas humanas como la calidad de vida y les damos medidas objetivas que pueden no capturar la información adecuadamente. Tomemos el ejemplo de la puntuación NarxCare (algoritmo de IA) de EE. UU. asignada por una empresa privada (Appriss, el nombre cambió recientemente, después del artículo de Wired), financiada en parte por el Departamento de Justicia de EE. UU., que utiliza la base de datos estatal a través de su monitoreo de medicamentos recetados. programas (PDMP). Cuando los hospitales adoptaron el sistema, a los pacientes se les asignó automáticamente una puntuación de riesgo de sobredosis, que indica abuso de prescripción de opioides. Influyó en el manejo y tratamiento del dolor. Los médicos se volvieron reacios a recetar medicamentos a pacientes con puntuaciones altas, ya que prescribir medicamentos a un conocido consumidor de opioides afectaba al médico. Sólo la empresa sabe cómo se calcula el algoritmo (es una caja negra). Si bien la intención del sistema de IA era buena, los médicos y los pacientes no tenían capacidad de acción y el sistema también podía causar un gran daño. Actualmente, un sistema de este tipo no necesita supervisión regulatoria.

💬 Déjale saber al autor lo que piensas sobre el papel de los gobiernos en la gobernanza y la rendición de cuentas de la IA dejando un comentario a continuación.

Es difícil responsabilizar a la IA generativa, ya que puede realizar miles de millones de cálculos por segundo. ¿Cómo verificarías y comprobarías esto como humano? Se necesitan hasta 215 días para encontrar una vulnerabilidad de software. Para alimentar al monstruo generativo de la IA, se necesitan datos:¿de dónde los conseguiremos y respaldaremos su calidad? ¿Dónde está la fuente de energía para estas máquinas de IA que consumen mucha energía ?

La IA es una herramienta que idealmente debería aumentar la toma de decisiones humana, no siempre reemplazarla.

Esta baja diligencia ha llevado a la adopción de sistemas que han despedido injustamente a personas ( Distrito Escolar Independiente de Houston por desempeño docente; MiDAS del estado de Michigan), acusado a personas de fraude o delitos ( escándalo de la oficina de correos del Reino Unido con el Fujitsu Horizon System; pruebas de ADN y algoritmos emparejamiento por delitos ), les negaron beneficios ( sistemas de bienestar infantil ; visas ), infringieron derechos legales ( derechos de autor e IA generativa , código abierto ) o les dieron consejos incorrectos ( chatbots de salud mental ). Para estar centrados en las personas, deberíamos hacernos preguntas como: " ¿El servicio seguirá siendo inclusivo ?" " Si una IA desplaza el trabajo de alguien, ¿cuánto tiempo le toma a la persona conseguir otro trabajo? ¿Ganará ingresos o tendrá que elegir un trabajo peor remunerado ?" “ Si hay un problema, ¿quién es la persona a la que pueden contactar y que tiene la autoridad para resolver la discrepancia ?” “¿ Cuáles son las compensaciones ?”

2. Transparencia en la toma de decisiones entre humanos y IA

La IA es una **herramienta ** que idealmente debería aumentar la toma de decisiones humana, no siempre reemplazarla. Saber cuándo sustituir una habilidad humana no es fácil. La transparencia es permitir que los usuarios y empleados sepan cuándo se utilizará la IA, cómo se utilizará y quién es responsable de las fallas. La toma de decisiones requiere datos y, aunque existen muchas regulaciones sobre datos , la privacidad de los datos sigue siendo un desafío, ya que es difícil identificar cuándo se ha producido una violación, contenerla, procesar y obtener justicia. Es problemático que las regulaciones sean inconsistentes en todas las jurisdicciones, que los acuerdos comerciales de datos estén aumentando y que la intermediación de datos siga siendo un negocio lucrativo.

Las leyes también luchan por decidir a quién penalizar cuando hay una falla en la IA. Un ser humano suele ser tratado con mayor severidad, digamos por la pérdida de una vida, que una tecnología o sus propietarios, lo que plantea la cuestión de la justicia. Por lo tanto, es posible que las leyes deban tener en cuenta esto. Se requieren más programas de capacitación sobre la formación de equipos entre humanos e IA y el papel de la IA o los humanos.

Para lograr transparencia, necesitamos saber cuándo hay una falla y también cómo se puede escalar el problema en la cadena de mando. Los gobiernos son organizaciones complejas, a menudo con silos y poca experiencia interna (gracias a la subcontratación). Este fallo en la cadena de mando en la toma de decisiones complejas se ve en casos como las aprobaciones del MCAS de Boeing , la recopilación de datos y la elaboración de perfiles de los ciudadanos ( China ), o la edición de Cambridge Analytica-Facebook de 2016) o la cuestión del control de opioides de NarxCare .

3. Creación, compra y planificación para la gobernanza de la IA .

La contratación pública representa el 12% del PIB en los países de la OCDE y, según el Banco Mundial, puede llegar al 20% . A continuación se presentan algunas reglas clave a tener en cuenta al diseñar mejores políticas en torno a la contratación pública para el diseño y la implementación o subcontratación de sistemas de IA:

• Esté atento a lo que está sucediendo: consulte la base de datos de incidentes de IA . Podemos construir y desplegar mejores sistemas de IA si sabemos qué errores evitar. RAND recomienda previsión para pensar en lo que podría salir mal. Hackéate a ti mismo, como el AI Cyber ​​Challenge : esta es una buena manera de probar tus sistemas (por supuesto, se supone que tienes capacidades internas).
• Invite a diversas partes interesadas a la mesa para comprender las implicaciones de la adopción de la IA.
• IEEE recomienda auditar la IA. Mire especialmente las API y todos los proveedores. Gartner Inc. dijo : _ “ Muchas violaciones de API tienen una cosa en común: la organización afectada no supo de su API no segura hasta que fue demasiado tarde. El primer paso en la seguridad de las API es descubrir las API que la organización entrega o consume de terceros".
• Planifique para la obsolescencia: las actualizaciones tecnológicas (software y hardware) pueden costar entre el 10% y el 40% de los presupuestos de TI y están aumentando. Gestionar la obsolescencia de los datos y la formación costará más.
• Planificar y capacitarse para la obsolescencia de habilidades. Con una mayor dependencia de la alta tecnología, existe el desafío de que las habilidades convencionales que hemos adquirido tal vez no sean necesarias hasta que ocurra una falla crítica de la IA, y entonces es posible que no tengamos la capacidad.
• Evite el dilema de "demasiado grande para quebrar". Es tentador ignorar al elefante en la habitación y seguir invirtiendo mucho dinero en un sistema defectuoso.
• Reducir la escalada de la carrera de la guerra fría por la IA, que tiene más arsenal con menos supervisión que la guerra fría nuclear con alrededor de 70.000+ armas.

Contrariamente a la percepción pública, el gobierno puede y debe trabajar con sus partes interesadas para gestionar mejor la gobernanza, la alfabetización y el propósito de la IA. Ponerse al día termina generando más costos regulatorios para las empresas y más lobby (lo que favorece desproporcionadamente a las grandes empresas tecnológicas).

¿Terminaste de leer? Asegúrate de compartir tus propios pensamientos sobre la importancia de la transparencia y la toma de decisiones de IA centrada en el ser humano dejando un comentario a continuación ⬇️

(Crédito de la imagen: Unsplash )