Os "amigos" dos robôs são seguros para as crianças? Alemanha não pensa assim

Este artigo foi escrito por Rosamond Hutt, em conversa com Kay Firth-Butterfield, chefe de Inteligência Artificial e Aprendizado de Máquina do Fórum Econômico Mundial. A peça também aparece em nosso feed de notícias primeira infância .

‘My Friend Cayla’ é uma boneca conectada à Internet que usa tecnologia de reconhecimento de voz para conversar e interagir com as crianças em tempo real. As conversas de Cayla são gravadas e transmitidas online para uma empresa de análise de voz.

Isso levantou a preocupação de que os hackers pudessem espionar crianças ou se comunicar diretamente com elas enquanto brincavam com a boneca. Também existem preocupações sobre como os dados de voz das crianças são usados. Em 2017, os reguladores alemães instaram os pais a destruir a boneca, classificando-a como um “aparelho de espionagem ilegal”.

Cayla é apenas um exemplo de uma nova onda de brinquedos de inteligência artificial (IA) que “fazem amizade” com crianças. Os fabricantes freqüentemente afirmam que são educacionais, melhorando a brincadeira e ajudando as crianças a desenvolver habilidades sociais. Mas grupos de consumidores alertam que brinquedos inteligentes, como outras “coisas” que conectamos à Internet, podem colocar a segurança e a privacidade em risco.

Nas perguntas e respostas a seguir, Kay Firth-Butterfield, o chefe de Inteligência Artificial e Aprendizado de Máquina do Fórum Econômico Mundial explica como navegar um mundo onde os brinquedos de IA são cada vez mais populares.

O que acontece com os dados dos brinquedos de IA?

Os brinquedos são conectados à internet (via WiFi ou Bluetooth para um telefone ou outro dispositivo com acesso à internet) e enviam dados para o fornecedor. Isso permite que a IA da empresa aprenda para a empresa e seja mais capaz de falar com a criança.

"Os dados dos brinquedos IA contêm tudo o que uma criança diz ao dispositivo, incluindo seus segredos mais preciosos"

A empresa registra e coleta todas as conversas da criança com o brinquedo e, possivelmente, aquelas com outras crianças e adultos que também interagem com ele. A empresa provavelmente está armazenando esses dados e certamente os usando para criar um produto melhor.

A localização do brinquedo afeta como os dados são armazenados. Por exemplo, nos Estados Unidos, as empresas que criam brinquedos educativos podem armazenar dados por mais tempo do que outras empresas. Portanto, quando o fabricante descreve seu brinquedo como educacional, ele abre o direito de manter os dados por mais tempo.

À medida que mais dispositivos - muitos comercializados como brinquedos educativos - chegam ao mercado, eles estão disparando alarmes sobre privacidade, preconceito, vigilância, manipulação, democracia, transparência e responsabilidade.

Com quais questões devemos nos preocupar mais?

A Alemanha proibiu o Cayla e brinquedos semelhantes por causa do receio de que eles pudessem ser usados para espionar crianças e de que alguém pudesse hackear o dispositivo e se comunicar diretamente com a criança.

Mas também estamos falando sobre empresas monetizando dados. Os dados dos brinquedos de IA contêm tudo que uma criança diz ao dispositivo, incluindo seus segredos mais preciosos.

"Esses brinquedos serão muito influentes porque as crianças estarão conversando com eles o tempo todo"

Se esses dados forem coletados, a criança tem o direito de recuperá-los? Se esses dados forem coletados desde a primeira infância e não pertencerem à criança, isso a torna extremamente vulnerável porque suas escolhas e padrões de comportamento podem ser conhecidos por qualquer pessoa que adquira os dados, por exemplo, empresas ou campanhas políticas .

Dependendo das leis de privacidade do estado em que os brinquedos estão sendo usados, se os dados forem coletados e mantidos, isso viola [Artigo 16 da Convenção sobre os Direitos da Criança](http://www.ohchr.org/ EN / ProfessionalInterest / Pages / CRC.aspx) - o direito à privacidade. (Embora, é claro, isso seja algo que os pais fazem rotineiramente postando fotos de seus filhos no Facebook).

Quais são os benefícios dos brinquedos IA?

A maioria dos economistas argumentaria que melhorar e aumentar o acesso à educação é uma das melhores maneiras de fechar a lacuna entre o mundo em desenvolvimento e o desenvolvido. Brinquedos educacionais habilitados para IA e “professores” podem fazer uma diferença extremamente benéfica no mundo em desenvolvimento.

Mas, se o capitalista de risco e ex-CEO do Google China Kai Fu Lee estiver correto, os dados coletados desses dispositivos seriam simplesmente usados pelas grandes empresas de IA no Ocidente e na China, em vez de beneficiar as crianças, seus pais ou os países nos quais viver.

Que influência os brinquedos IA podem ter nas crianças?

Além do risco de hackear, também precisamos pensar no que esses brinquedos estão dizendo aos nossos filhos. Quem é o árbitro dessas conversas? Quem codificou os algoritmos (seus desvios não intencionais podem se infiltrar)? Os valores aos quais a criança está sendo exposta se alinham aos dos pais? Os pais poderão escolher os valores com os quais o brinquedo é codificado?

Se o brinquedo for educacional, o algoritmo está sendo verificado por alguém que seja pelo menos qualificado para ensinar?

Esses brinquedos terão uma grande influência porque as crianças estarão conversando com eles o tempo todo. Por exemplo, se a boneca disser que está frio e a criança pedir aos pais que comprem um casaco para ela, isso é propaganda? Se a criança tem um brinquedo que pode responder, em vez de um amigo invisível, isso afetará o jogo criativo para o bem ou para o mal? A criança não terá mais que inventar histórias sobre um amigo invisível. Será que essa grande mudança no jogo criativo pode nos alterar como seres humanos?

"Brinquedos de IA podem ser excelentes para preparar crianças para trabalhar ao lado de robôs autônomos"

Se os dados estão sendo coletados, mesmo que não estejam sendo armazenados, a empresa tem o dever de “sinalizar” as crianças que compartilham pensamentos suicidas ou outro comportamento que a prejudica? E se a criança confidenciar no brinquedo que está sofrendo abuso, a empresa informará as autoridades competentes? E então o que a empresa fará com essa informação?

Então, o que podemos fazer para proteger as crianças?

Os pais precisam ter respostas a essas perguntas antes de comprar os dispositivos. No mínimo, eles devem verificar se seus filhos estão aprendendo valores com os brinquedos de IA que coincidem com os seus próprios. No momento, a responsabilidade recai sobre os consumidores em saber o que está sendo feito com seus dados, mas há uma discussão de que as empresas devem ser responsabilizadas por garantir que os consumidores entendam como eles estão sendo usados.

No Fórum Econômico Mundial, estaremos fazendo um projeto que repensa o papel dos reguladores para que eles certifiquem algoritmos adequados ao propósito, ao contrário da situação atual em que os reguladores emitem uma multa depois que algo dá errado.

Este pode ser o modelo regulatório certo aqui, porque é necessário agora e faz parte dos mecanismos de governança ágil. O problema, porém, com a governança de brinquedos inteligentes é que a IA está aprendendo e mudando a cada interação com a criança.

Isso não significa que estejamos dizendo que brinquedos habilitados para IA são ruins. Eles podem um dia nos ajudar a alcançar o aprendizado de precisão (usando IA para adaptar a educação às necessidades de cada criança). E os brinquedos de IA podem ser excelentes para preparar as crianças para trabalhar ao lado de robôs autônomos.

O que estamos dizendo é que as crianças são vulneráveis e, portanto, devemos considerar agora como a IA é usada em torno delas e não fazer um teste beta com elas.

Este artigo foi publicado originalmente na Agenda do Fórum Econômico Mundial, e pode ser encontrado [aqui](https://www.weforum.org/agenda/2018/05 /generation-ai-what-happens-when-your-childs-invisible-friend-is-an-ai-toy-that-talks-back/).

(Crédito da imagem: Flickr / Aikawake)