Les robots "amis" des enfants sont-ils sûrs? L'Allemagne ne le pense pas

Cet article a été écrit par Rosamond Hutt, en conversation avec Kay Firth-Butterfield, responsable de l'intelligence artificielle et de l'apprentissage automatique au Forum économique mondial. La pièce apparaît également dans notre fil d'actualité sur la petite enfance .

«My Friend Cayla» est une poupée connectée à Internet qui utilise la technologie de reconnaissance vocale pour discuter et interagir avec les enfants en temps réel. Les conversations de Cayla sont enregistrées et transmises en ligne à une société d'analyse vocale.

Cela a soulevé des inquiétudes quant au fait que les pirates pourraient espionner les enfants ou communiquer directement avec eux lorsqu'ils jouent avec la poupée. Il existe également des préoccupations quant à l'utilisation des données vocales des enfants. En 2017, les régulateurs allemands ont exhorté les parents à détruire la poupée, la classant comme un "appareil d'espionnage illégal".

Cayla n'est qu'un exemple d'une nouvelle vague de jouets d'intelligence artificielle (IA) qui «se lient d'amitié» avec les enfants. Les fabricants affirment souvent qu'ils sont éducatifs, améliorent le jeu et aident les enfants à développer des compétences sociales. Mais les groupes de consommateurs avertissent que les jouets intelligents, comme d'autres «choses» que nous connectons à Internet, pourraient mettre en danger la sécurité et la confidentialité.

Dans les questions-réponses suivantes, Kay Firth-Butterfield , responsable de l'intelligence artificielle et de l'apprentissage automatique au Forum économique mondial, explique comment naviguer dans un monde où les jouets IA sont de plus en plus populaires.

Qu'advient-il des données des jouets AI?

Les jouets sont connectés à Internet (via WiFi ou Bluetooth à un téléphone ou un autre appareil avec accès Internet) et envoient des données au fournisseur. Cela permet à l'IA de l'entreprise d'apprendre pour l'entreprise et d'être mieux en mesure de parler à l'enfant.

"Les données des jouets AI contiennent tout ce qu'un enfant dit à l'appareil, y compris leurs secrets les plus précieux"

La société enregistre et recueille toutes les conversations de l'enfant avec le jouet, et éventuellement celles avec d'autres enfants et adultes qui interagissent également avec lui. L'entreprise stocke probablement ces données et les utilise certainement pour créer un meilleur produit.

L'emplacement du jouet affecte la façon dont les données sont stockées. Aux États-Unis, par exemple, les entreprises qui créent des jouets éducatifs peuvent stocker des données plus longtemps que les autres entreprises. Ainsi, lorsque le fabricant décrit son jouet comme éducatif, il ouvre ce droit de conserver les données plus longtemps.

À mesure que de nouveaux appareils - dont beaucoup sont commercialisés sous forme de jouets éducatifs - arrivent sur le marché, ils déclenchent des alarmes concernant la confidentialité, les préjugés, la surveillance, la manipulation, la démocratie, la transparence et la responsabilité.

Quels sont les problèmes qui devraient nous préoccuper le plus?

L'Allemagne a interdit Cayla et les jouets similaires parce qu'ils craignaient qu'ils soient utilisés pour espionner les enfants et que quelqu'un puisse pirater l'appareil et communiquer directement avec l'enfant.

Mais nous parlons également des entreprises qui monétisent les données. Les données des jouets AI contiennent tout ce qu'un enfant dit à l'appareil, y compris ses secrets les plus précieux.

"Ces jouets auront une grande influence car les enfants converseront avec eux tout le temps"

Si ces données sont collectées, l'enfant a-t-il le droit de les récupérer? Si ces données sont collectées dès la petite enfance et n'appartiennent pas à l'enfant, cela rend-il l'enfant encore plus vulnérable parce que ses choix et ses comportements pourraient être connus de quiconque achète les données, par exemple, des entreprises ou des campagnes politiques .

Selon les lois sur la vie privée de l'État dans lequel les jouets sont utilisés, si les données sont collectées et conservées, elles violent l' article 16 de la Convention relative aux droits de l'enfant - le droit à la vie privée. (Bien sûr, c'est sans doute quelque chose que les parents font régulièrement en affichant des photos de leurs enfants sur Facebook).

Quels sont les avantages des jouets IA?

La plupart des économistes soutiennent que l'amélioration et l'augmentation de l'accès à l'éducation est l'un des meilleurs moyens de combler l'écart entre le monde en développement et le monde développé. Les jouets éducatifs et les «enseignants» basés sur l'IA pourraient faire une différence extrêmement bénéfique dans le monde en développement.

Mais, si le capital-risqueur et ancien PDG de Google Chine, Kai Fu Lee, a raison, les données collectées à partir de ces appareils seraient simplement utilisées par les grandes sociétés d'IA en Occident et en Chine, plutôt que de bénéficier aux enfants, à leurs parents ou aux pays dans lesquels ils vivre.

Quelle influence les jouets IA pourraient-ils avoir sur les enfants?

En plus du risque de piratage, nous devons également réfléchir à ce que ces jouets disent à nos enfants. Qui est l'arbitre de ces conversations? Qui a codé les algorithmes (leurs biais involontaires pourraient s'introduire)? Les valeurs auxquelles l'enfant est exposé correspondent-elles à celles des parents? Les parents pourront-ils choisir les valeurs avec lesquelles le jouet est codé?

Si le jouet est éducatif, l'algorithme est-il vérifié par quelqu'un qui est au moins qualifié pour enseigner?

Ces jouets auront une grande influence car les enfants converseront avec eux tout le temps. Par exemple, si la poupée dit qu'il fait froid et que l'enfant demande à ses parents de lui acheter un manteau, est-ce de la publicité? Si l'enfant a un jouet qui peut parler, au lieu d'un ami invisible, cela affectera-t-il le jeu créatif pour le meilleur ou pour le pire? L'enfant n'aura plus à inventer d'histoires sur un ami invisible. Cet énorme changement dans le jeu créatif pourrait-il nous changer en tant qu'êtres humains?

"Les jouets IA pourraient être excellents pour préparer les enfants à travailler aux côtés de robots autonomes"

Si des données sont collectées, même si elles ne sont pas stockées, l'entreprise a-t-elle le devoir de «signaler les enfants» qui partagent des pensées suicidaires ou d'autres comportements d'automutilation? Que se passe-t-il si l'enfant confie au jouet qu'il est maltraité, l'entreprise le signalera-t-elle aux autorités compétentes? Et que va faire l'entreprise avec ces informations?

Alors, que pouvons-nous faire pour protéger les enfants?

Les parents doivent avoir des réponses à ces questions avant d'acheter les appareils. À tout le moins, ils devraient vérifier que leur enfant apprend des valeurs de jouets IA qui concordent avec les leurs. À l'heure actuelle, il incombe aux consommateurs de savoir ce qui est fait de leurs données, mais il est question que les entreprises devraient être tenues de veiller à ce que les consommateurs comprennent comment elles sont utilisées.

Au Forum économique mondial, nous réaliserons un projet qui réinvente le rôle des régulateurs afin qu'ils certifient des algorithmes adaptés à leur objectif, par opposition à la situation actuelle où les régulateurs émettent une amende en cas de problème.

Cela pourrait être le bon modèle réglementaire ici, car il est nécessaire maintenant et fait partie des mécanismes de gouvernance agiles. Le problème, cependant, avec la gouvernance des jouets intelligents est que l'IA apprend et change à chaque interaction avec l'enfant.

Cela ne signifie pas que nous disons que les jouets compatibles avec l'IA sont mauvais. Ils pourraient un jour nous aider à réaliser un apprentissage de précision (en utilisant l'IA pour adapter l'éducation aux besoins de chaque enfant). Et les jouets IA pourraient être excellents pour préparer les enfants à travailler aux côtés de robots autonomes.

Ce que nous disons, c'est que les enfants sont vulnérables et nous devons donc considérer maintenant comment l'IA est utilisée autour d'eux et non pas la tester bêta sur eux.

Cet article a été initialement publié sur l' agenda du Forum économique mondial et peut être consulté ici .

(Crédit photo: Flickr / Aikawake)