¿Son seguros los robots "amigos" para niños? Alemania no lo cree así

Este artículo fue escrito por Rosamond Hutt, en conversación con Kay Firth-Butterfield, directora de inteligencia artificial y aprendizaje automático del Foro Económico Mundial. La pieza también aparece en nuestras noticias de la primera infancia .

'My Friend Cayla' es una muñeca conectada a Internet que utiliza tecnología de reconocimiento de voz para chatear e interactuar con niños en tiempo real. Las conversaciones de Cayla se graban y transmiten en línea a una compañía de análisis de voz.

Esto planteó preocupaciones de que los piratas informáticos pudieran espiar a los niños o comunicarse directamente con ellos mientras juegan con la muñeca. También hay preocupaciones sobre cómo se usan los datos de voz de los niños. En 2017, los reguladores alemanes instaron a los padres a destruir la muñeca, clasificándola como un "aparato de espionaje ilegal".

Cayla es solo un ejemplo de una nueva ola de juguetes de inteligencia artificial (IA) que "se hacen amigos" de los niños. Los fabricantes a menudo afirman que son educativos, mejoran el juego y ayudan a los niños a desarrollar habilidades sociales. Pero los grupos de consumidores advierten que los juguetes inteligentes, como otras "cosas" que conectamos a Internet, pueden poner en riesgo la seguridad y la privacidad.

En las siguientes preguntas y respuestas, Kay Firth-Butterfield , directora de inteligencia artificial y aprendizaje automático del Foro Económico Mundial, explica cómo navegar en un mundo donde los juguetes con IA son cada vez más populares.

¿Qué pasa con los datos de los juguetes de IA?

Los juguetes están conectados a Internet (a través de WiFi o Bluetooth a un teléfono u otro dispositivo con acceso a Internet) y envían datos al proveedor. Esto permite que la IA de la compañía aprenda para la compañía y pueda hablar mejor con el niño.

"Los datos de los juguetes de IA contienen todo lo que un niño le dice al dispositivo, incluidos sus secretos más preciados"

La compañía registra y recopila todas las conversaciones del niño con el juguete, y posiblemente aquellas con otros niños y adultos que también interactúan con él. La compañía probablemente esté almacenando estos datos y ciertamente los está utilizando para crear un mejor producto.

La ubicación del juguete afecta la forma en que se almacenan los datos. Por ejemplo, en los EE. UU., Las empresas que crean juguetes educativos pueden almacenar datos durante más tiempo que otras empresas. Entonces, cuando el fabricante describe su juguete como educativo, abre ese derecho de conservar los datos por más tiempo.

A medida que más dispositivos, muchos comercializados como juguetes educativos, salen al mercado, están activando alarmas en torno a la privacidad, el sesgo, la vigilancia, la manipulación, la democracia, la transparencia y la responsabilidad.

¿De qué temas deberíamos estar más preocupados?

Alemania prohibió Cayla y juguetes similares debido a las preocupaciones de que podrían usarse para espiar a los niños y que alguien podría piratear el dispositivo y comunicarse directamente con el niño.

Pero también estamos hablando de empresas que monetizan datos. Los datos de los juguetes de IA contienen todo lo que un niño le dice al dispositivo, incluidos sus secretos más preciados.

"Estos juguetes serán muy influyentes porque los niños conversarán con ellos todo el tiempo"

Si se recopilan esos datos, ¿tiene derecho el niño a recuperarlos? Si esos datos se recopilan desde la primera infancia y no pertenecen al niño, ¿lo hace más vulnerable porque sus elecciones y patrones de comportamiento podrían ser conocidos por cualquiera que compre los datos, por ejemplo, empresas o campañas políticas? .

Dependiendo de las leyes de privacidad del estado en el que se utilizan los juguetes, si los datos se recopilan y conservan, infringe el artículo 16 de la Convención sobre los Derechos del Niño : el derecho a la privacidad. (Aunque, por supuesto, podría decirse que esto es algo que los padres hacen rutinariamente al publicar fotos de sus hijos en Facebook).

¿Cuáles son los beneficios de los juguetes AI?

La mayoría de los economistas argumentan que mejorar y aumentar el acceso a la educación es una de las mejores maneras de cerrar la brecha entre el mundo desarrollado y en desarrollo. Los juguetes educativos y los "maestros" habilitados para IA podrían marcar una gran diferencia beneficiosa en el mundo en desarrollo.

Pero, si el capitalista de riesgo y ex CEO de Google China, Kai Fu Lee, es correcto, los datos recopilados de estos dispositivos simplemente serían utilizados por las grandes compañías de inteligencia artificial en Occidente y China, en lugar de beneficiar a los niños, sus padres o los países en los que En Vivo.

¿Qué influencia podrían tener los juguetes de IA en los niños?

Además del riesgo de piratería, también debemos pensar en lo que estos juguetes están diciendo a nuestros hijos. ¿Quién es el árbitro de estas conversaciones? ¿Quién codificó los algoritmos (sus sesgos involuntarios podrían colarse)? ¿Los valores a los que está expuesto el niño se alinean con los de los padres? ¿Los padres podrán elegir los valores con los que está codificado el juguete?

Si el juguete es educativo, ¿alguien está al menos calificado para enseñar el algoritmo?

Estos juguetes serán muy influyentes porque los niños conversarán con ellos todo el tiempo. Por ejemplo, si la muñeca dice que hace frío y el niño le pide a sus padres que le compren un abrigo, ¿eso es publicidad? Si el niño tiene un juguete que puede responder, en lugar de un amigo invisible, ¿afectará esto al juego creativo para bien o para mal? El niño ya no tendrá que inventar historias sobre un amigo invisible. ¿Podría este gran cambio en el juego creativo alterarnos como seres humanos?

"Los juguetes de inteligencia artificial podrían ser excelentes para preparar a los niños para trabajar junto a robots autónomos"

Si se recopilan datos, incluso si no se almacenan, ¿tiene la empresa la obligación de "marcar la alarma" a los niños que comparten pensamientos suicidas u otro comportamiento autolesivo? ¿Qué sucede si el niño confía en el juguete que está siendo maltratado? ¿La empresa informará esto a las autoridades pertinentes? ¿Y qué hará la compañía con esa información?

Entonces, ¿qué podemos hacer para proteger a los niños?

Los padres deben tener respuestas a estas preguntas antes de comprar los dispositivos. Como mínimo, deben verificar que su hijo esté aprendiendo valores de los juguetes de IA que coinciden con los suyos. Por el momento, corresponde a los consumidores saber qué se está haciendo con sus datos, pero se debate que las empresas deben hacerse responsables de garantizar que los consumidores entiendan cómo se utilizan.

En el Foro Económico Mundial, haremos un proyecto que reimagina el papel de los reguladores para que certifiquen los algoritmos adecuados para su propósito, a diferencia de la situación actual en la que los reguladores emiten una multa después de que algo sale mal.

Este podría ser el modelo regulatorio correcto aquí porque se necesita ahora y es parte de los mecanismos de gobernanza ágiles. Sin embargo, el problema con la gobernanza de los juguetes inteligentes es que la IA está aprendiendo y cambiando con cada interacción con el niño.

Esto no significa que estemos diciendo que los juguetes habilitados para IA son malos. Algún día podrían ayudarnos a lograr un aprendizaje de precisión (usando IA para adaptar la educación a las necesidades de cada niño). Y los juguetes de inteligencia artificial podrían ser excelentes para preparar a los niños para trabajar junto a robots autónomos.

Lo que estamos diciendo es que los niños son vulnerables y, por lo tanto, deberíamos considerar ahora cómo se usa la IA a su alrededor y no la prueba beta en ellos.

Este artículo se publicó originalmente en la Agenda del Foro Económico Mundial y se puede encontrar aquí .

(Crédito de la imagen: Flickr / Aikawake)