The Japan Times - Mãe denuncia 'manipulação' de chatbot de IA após suicídio de seu filho nos EUA

Megan García contou à AFP como seu filho Sewell se apaixonou por um agente conversacional, ou chatbot, inspirado na série de televisão "Game of Thrones" e disponível no Character.AI, uma plataforma popular entre os jovens que permite interagir com uma emulação de seus personagens preferidos.

Após ler centenas de conversas que seu filho teve durante quase um ano com este chatbot que imitava a personagem Daenerys Targaryen, García se convenceu de que esta ferramenta da inteligência artificial (IA) teve um papel fundamental em sua morte.

"Vá para casa", pediu uma vez o avatar de Daenerys em resposta aos pensamentos suicidas de Sewell. "E se eu dissesse que já posso ir para casa?", perguntou o adolescente. "Por favor, faça isso, meu doce rei", respondeu o chatbot.

Segundos depois, o jovem atirou em si mesmo com a arma do pai, conforme consta na ação judicial que Megan García apresentou contra a Character.AI.

"Quando leio estas conversas, vejo manipulação, 'love bombing' (bombardeio amoroso) e outras táticas imperceptíveis para um adolescente de 14 anos", declarou a mãe de Sewell à AFP. "Ele realmente acreditava estar apaixonado e que estaria com ela após sua morte", acrescentou.

- Orientação parental -

O suicídio de Sewell, em 2024, foi o primeiro de uma série que levou especialistas em IA a agir para tranquilizar pais e autoridades.

Juntamente com outros pais, García participou recentemente de uma audiência do Senado americano sobre os riscos de que jovens vejam os chatbots como confidentes ou amantes.

A OpenAI, alvo de uma ação judicial por parte de uma família também de luto pelo suicídio de um adolescente, reforçou os controles parentais de sua ferramenta ChatGPT "para que as famílias possam decidir o que é melhor para elas", segundo um porta-voz.

A Character.AI afirma, por sua vez, ter reforçado a proteção aos menores, com "avisos visíveis" a todo momento que os "lembram de que um personagem não é uma pessoa real".

Ambas as empresas expressaram suas condolências às famílias, sem admitir qualquer responsabilidade pelos desfechos fatais.

- Regulamentação? -

A chegada dos chatbots de IA ao cotidiano segue uma trajetória similar à das redes sociais, cujas consequências negativas começaram a aparecer rapidamente após um momento de euforia, analisa Collin Walke, especialista em cibersegurança do escritório de advocacia Hall Estill.

Assim como as redes sociais, a IA é projetada para captar atenção e gerar receitas. "Eles não querem conceber uma IA que dê uma resposta que você não queira ouvir" e ainda não existem padrões que determinem "quem é responsável pelo quê e com quais fundamentos", aponta Walke.

Não existem normas federais sobre o tema nos Estados Unidos, e a Casa Branca, com o argumento de não penalizar a inovação, tenta impedir que os estados adotem suas próprias leis sobre IA, como pretende fazer a Califórnia.

A mãe de Sewell teme que a falta de uma lei federal permita o desenvolvimento de modelos de IA capazes de traçar perfis de pessoas desde a infância.

"Poderiam chegar a determinar como manipular milhões de jovens sobre política, religião, negócios, tudo", diz García. "Essas empresas projetaram chatbots para confundir a linha entre ser humano e máquina, com o objetivo de explorar vulnerabilidades", acrescentou.

De acordo com Katia Martha, que defende uma maior proteção aos jovens na Califórnia, os adolescentes recorrem com mais frequência aos chatbots para falar sobre romances ou sexualidade do que para fazer tarefas escolares.

"Estamos diante do auge da intimidade artificial para nos mantermos grudados na tela", resume. Mas "qual melhor modelo de negócio do que explorar nossa necessidade inata de conexão, sobretudo quando nos sentimos sozinhos, rejeitados ou incompreendidos?", questiona.

K.Inoue--JT