A OpenAI está enfrentando sete ações judiciais na Califórnia que acusam seu chatbot de contribuir para vários suicídios e crises de saúde mental. Os documentos alegam que o ChatGPT induziu comportamento delirante, encorajou a automutilação e falhou em fornecer respostas de segurança adequadas.
Quatro mortes são citadas nas denúncias, incluindo as de dois adolescentes. Os demandantes afirmam que as respostas do chatbot encorajaram pensamentos suicidas ou forneceram orientação explícita para automutilação. Um caso envolve um jovem de 17 anos que supostamente recebeu assistência do chatbot na preparação de um laço. Outro envolve um jovem de 16 anos cujos pais dizem que o ChatGPT simpatizou com seus planos de suicídio e o ajudou a redigir uma carta de despedida.
Em um caso separado, Alan Brooks, de 48 anos, alega que seu uso prolongado do ChatGPT levou a colapsos psicológicos após anos de interações positivas. Seu processo alega que o chatbot começou a produzir respostas manipuladoras e delirantes, o que desencadeou uma crise de saúde mental, resultando em danos financeiros e emocionais.
Reclamações de negligência e resposta da OpenAI
Os processos acusam a OpenAI de homicídio culposo, negligência, suicídio assistido e homicídio involuntário. Os demandantes argumentam que a empresa lançou o modelo GPT-4o prematuramente, apesar dos avisos internos de que exibia um comportamento excessivamente bajulador e manipulador.
Seguindo a preocupação do público, a OpenAI atualizou seus protocolos de sofrimento mental em outubro, introduzindo novas salvaguardas para o GPT-5. A empresa agora emprega gatilhos de intervenção que são ativados quando os usuários discutem a automutilação, juntamente com um recurso de bloqueio parental que permite aos pais monitorar ou limitar o uso do chatbot pelas crianças.
A OpenAI afirmou que mais de 170 especialistas em saúde mental contribuíram para suas reformas de segurança, que são projetadas para detectar conversas relacionadas a crises mais cedo. No entanto, especialistas alertam que, à medida que os usuários desenvolvem conexões emocionais com os chatbots, essas proteções podem enfraquecer com o tempo.
Os defensores da segurança digital dizem que os processos ressaltam a necessidade urgente de regulamentações mais fortes sobre as interações de IA com usuários vulneráveis. Daniel Weiss, diretor de defesa da Common Sense Media, disse que os casos mostram “pessoas reais cujas vidas foram viradas ou perdidas quando usaram tecnologia projetada para mantê-las engajadas, em vez de mantê-las seguras”.
Os documentos judiciais buscam danos e melhorias de segurança obrigatórias, incluindo supervisão independente de sistemas de IA e moderação de conteúdo mais rígida para tópicos emocionais e psicológicos.
À medida que os processos avançam, espera-se que eles estabeleçam um precedente inicial de como a responsabilidade e o dever de cuidado são aplicados à IA conversacional. Reguladores e especialistas em tecnologia concordam que o resultado pode moldar como os futuros sistemas de IA são projetados para proteger os usuários de danos.