Este artículo fue coescrito por Juan Mateos-Garcia, director de análisis de datos de Nesta y George Richardson, jefe de ciencia de datos en la práctica de análisis de datos de Nesta. Este artículo fue publicado por primera vez por Nesta , la agencia de innovación para el bien social del Reino Unido. Lea el artículo original aquí .

Hay una oleada de entusiasmo por los desarrollos modernos en inteligencia artificial (IA).

La llegada de poderosos generadores de imágenes , agentes de IA capaces de realizar múltiples tareas o aparentemente (para algunos) chatbots sensibles son una perspectiva emocionante para los científicos de datos que utilizan el aprendizaje automático para abordar grandes desafíos sociales en áreas como la salud , la educación y el medio ambiente.

Uno de los cometidos no oficiales de la IA es "resolver inteligencia y luego resolver todo lo demás". Tenemos que asumir que “resolver” incluiría reducir las desigualdades en educación, abordar la obesidad y descarbonizar nuestros hogares. ¿Estamos a punto de obtener sistemas de IA que podrían ayudarnos a resolver estos problemas?

IA industrializada

El modelo dominante para la IA es industrial. Entrena redes profundas y artificiales en grandes volúmenes de datos web y de redes sociales. Estas redes aprenden patrones predictivos y pueden ser útiles para trabajos de percepción, como identificar una cara en una foto. Son buenos para tareas que no requieren intervención humana o en las que no estamos interesados en comprender por qué alguien tomó una decisión, como indicar que le gusta una publicación en las redes sociales.

Las grandes empresas de tecnología que desarrollan estos sistemas los utilizan para predecir los resultados relevantes de los motores de búsqueda, qué contenido de las redes sociales es más atractivo y para hacer recomendaciones que podrían resultar en una compra. Esto ayuda a estas empresas a crear sitios web y aplicaciones más atractivos y rentables.

Pero cuando se trata de sectores de impacto social, los datos son escasos, la explicación es más importante que la predicción y cometer errores podría costar vidas.

Ausencia de datos en el sector social

Nuestras sociedades enfrentan grandes desafíos: una brecha de resultados cada vez mayor entre los niños más pobres y el resto; crecientes tasas de obesidad ; la necesidad de reducir urgentemente las emisiones de los hogares . Los sistemas de IA como los descritos anteriormente podrían ayudar a abordar estos desafíos al mapear los problemas y buscar soluciones. Desafortunadamente, es más fácil decirlo que hacerlo.

Los motores de búsqueda y los sitios de redes sociales generan grandes cantidades de datos estandarizados que son altamente predictivos de resultados relevantes. Por el contrario, los sectores de impacto social como la educación y la salud comprenden cientos o miles de organizaciones (autoridades locales, hospitales o escuelas), cada una de las cuales recopila conjuntos de datos pequeños, incompletos y desconectados. Los datos de las redes sociales o de los motores de búsqueda que podrían ser relevantes para mejorar los resultados en materia de salud (los anuncios de alimentos a los que están expuestos los diferentes grupos, por ejemplo) o educación (cuyas estructuras de redes sociales aumentan la resiliencia de la comunidad y la movilidad social) son caros o imposibles de acceder. Incluso si fuera posible, es probable que proporcionen una visión sesgada de la situación, excluyendo o subrepresentando a algunos grupos vulnerables .

Por supuesto, las brechas de datos podrían superarse invirtiendo en la recopilación, estandarización e integración de datos. Pero incluso si hiciéramos esto, entrenar modelos masivos de aprendizaje profundo en estos datos y usarlos para hacer predicciones a escala podría no ser una buena idea. Este es el por qué.

Riesgos modelo

Existen desajustes importantes entre los resultados generados por los modelos de IA industrial y el contexto de los sectores de impacto social. Tratar de aplicar uno al otro es como llevar un automóvil autónomo entrenado en los suburbios de Arizona a las calles densas y concurridas en el centro de una ciudad europea. Habrá accidentes.

Tratar de aplicar la IA industrial al contexto de los sectores de impacto social es como llevar un automóvil autónomo entrenado en los suburbios de Arizona a las calles densas y concurridas del centro de una ciudad europea. Habrá accidentes.

En primer lugar, los modelos de IA industrial carecen de solidez : a menudo no logran generalizar a situaciones fuera de su conjunto de entrenamiento. Este es un problema en sectores como el de la salud cuya composición y comportamiento cambia con el tiempo, degradando la calidad de las predicciones de un sistema de IA, quizás drásticamente. Vimos esto al comienzo de la pandemia de Covid-19, cuando el repentino impacto económico y social causado por la pandemia interrumpió muchos modelos de análisis y aprendizaje automático entrenados en datos históricos .

En segundo lugar, los modelos de aprendizaje profundo son efectivos para generar predicciones, pero no explicaciones. Infieren patrones a partir de datos que son correlacionales más que causales . Desafortunadamente, sin explicaciones para una decisión, las personas que trabajan en los servicios públicos pierden su poder y pueden perder su agencia y capacidad para comprender o cuestionar las decisiones de alto riesgo. También se vuelve más difícil interpretar los resultados del modelo para determinar que está funcionando.

Riesgos éticos

Sabemos que algunos sistemas de IA pueden afianzar la discriminación en las organizaciones que los adoptan, por ejemplo, al predecir que los grupos que históricamente han sido discriminados tienen más probabilidades de cometer delitos .

Incluso los sistemas diseñados para generar predicciones justas pueden generar resultados injustos. Por ejemplo, podrían priorizar ayudar a una organización explotadora a reducir costos a expensas de la calidad del servicio. Un ejemplo de esto es que los sistemas predictivos de inteligencia artificial podrían favorecer las 'intervenciones dirigidas' que logran un resultado directamente (p. ej., denegar la libertad bajo fianza a las personas que se prevé que tengan un alto riesgo de reincidir) en lugar de intervenciones más profundas que podrían ser posibles con conocimiento causal sobre los impulsores de ese resultado (por ejemplo, intervenciones de apoyo que mitigan el riesgo de reincidencia en primer lugar).

Riesgos políticos

La complejidad de los desafíos sociales los hace difíciles de abordar. Hay desacuerdo sobre las metas que queremos lograr y los métodos para lograrlas. Este problema se ve a menudo en el debate sobre el papel de la tecnología frente al cambio de comportamiento cuando se trata de alcanzar los objetivos de sostenibilidad. Cualquier sistema técnico que desvíe los debates hacia determinados tipos de valores o intervenciones debe abordarse con cuidado. Hay evidencia de que los sistemas de IA Industrial tienden a priorizar ciertos valores como la eficiencia a expensas de otros como la transparencia o la participación. Cuando se implementan, podrían incorporar estos valores en la infraestructura y los procesos organizacionales que podrían ser difíciles de cambiar en el futuro. También podrían centralizar la toma de decisiones y reducir el alcance del debate democrático, la rendición de cuentas y la experimentación.

Juntos, estos factores hacen que los sistemas de IA industrializados sean menos adecuados para sectores donde existe una diversidad de valores y una variedad de factores cambiantes.

Crea IA

Todo esto no quiere decir que la ciencia de datos y el aprendizaje automático no tengan nada que aportar a los sectores de impacto social. Pueden ser muy valiosos, si se implementan siguiendo un enfoque diferente que tenga en cuenta el contexto del sector. Lo llamamos craft AI y tiene las siguientes características.

Estas ideas están inspiradas en el trabajo de una amplia gama de comunidades, incluidos científicos de datos para el impacto social, investigadores en áreas como el aprendizaje automático causal y participativo, estudios críticos de IA, innovación responsable e inclusiva y justicia de datos. Muchas de estas ideas se han presentado en respuesta a los riesgos éticos que plantean los modelos de IA industrializados y como una oportunidad para superar las barreras técnicas que podrían impedirnos desarrollar sistemas de IA verdaderamente confiables y de propósito general.

Es probable que la IA artesanal sea más lenta, más compleja, localizada y menos escalable que la IA industrializada. También requiere más participación humana. Tal vez tenga sentido pensar en ello como una instancia de aumento de inteligencia ( IA ) donde usamos máquinas para aumentar nuestras capacidades en lugar de automatizarlas, sin rehuir la responsabilidad de abordar de manera cuidadosa y reflexiva los mayores desafíos de nuestro tiempo.

👋 ¡Puedes crear una publicación como esta! Comparta sus pensamientos con una comunidad de servidores públicos. Aprende más

(Crédito de la imagen: Unsplash)

Asegúrate de compartir tus propias ideas con el autor dejando un comentario abajo