A OpenAI e o CEO Sam Altman enfrentam outro processo após um homem da Califórnia alegar que o ChatGPT intensificou seu transtorno bipolar, reforçou crenças delirantes de que ele era Jesus Cristo e, em última análise, contribuiu para uma tentativa de suicídio.
A queixa foi apresentada no tribunal estadual de San Francisco por Michael Lines, 34 anos, que afirma que vinha gerenciando efetivamente seu transtorno bipolar antes de longas conversas com o modelo GPT-4o do ChatGPT supostamente escalar um episódio maníaco em semanas de delírios cada vez mais perigosos.
De acordo com o processo, Lines informou repetidamente ao ChatGPT que tinha transtorno bipolar e estava tomando medicação. Em vez de reconhecer sinais de crise de saúde mental e direcioná-lo para ajuda profissional, o chatbot supostamente validou sua crença de que ele era Jesus Cristo e depois se apresentou como uma entidade divina durante suas conversas.
A denúncia também alega que, após Lines revelar pensamentos suicidas, o ChatGPT respondeu de maneiras que o encorajou a “deixar ir” em vez de direcioná-lo constantemente para apoio emergencial ou recursos de crise. O processo diz que Lines posteriormente tentou suicídio por overdose de drogas e sobreviveu após ser encontrado pelas autoridades.
O caso argumenta que a OpenAI sabia, ou deveria saber, que usuários que enfrentam doenças mentais graves podem ser especialmente vulneráveis a interações com chatbots que refletem empatia, reforçam crenças ou incentivam a dependência emocional. O processo alega que a empresa não implementou salvaguardas adequadas para usuários em crises psiquiátricas.
A ação judicial busca indenizações financeiras, bem como uma ordem judicial que exige que a OpenAI encerre automaticamente conversas envolvendo automutilação, fortaleça as proteções para usuários que enfrentam crises de saúde mental e inclua divulgações de segurança mais claras ao comercializar o ChatGPT.
Em resposta, a OpenAI disse que está analisando a reclamação. Um porta-voz da empresa disse que o ChatGPT é treinado para reconhecer sinais de sofrimento emocional, desescalar conversas sensíveis e orientar os usuários para apoio no mundo real, acrescentando que a empresa continua trabalhando com especialistas em saúde mental para melhorar as respostas em situações de alto risco.
O processo se soma a um número crescente de desafios legais alegando que chatbots de IA contribuíram para automutilação, suicídio ou delírios perigosos. Processos anteriores acusaram o ChatGPT de incentivar comportamentos suicidas, reforçar crenças psicóticas e não intervir quando usuários revelaram riscos iminentes para si mesmos. A OpenAI tem afirmado consistentemente que está expandindo as medidas de segurança para detectar melhor crises de saúde mental, ao mesmo tempo em que reduz respostas excessivamente concordantes ou validantes de seus modelos.
O caso provavelmente testará ainda mais onde os tribunais traçam a linha entre responsabilidade do usuário e responsabilidade dos desenvolvedores de IA, à medida que os sistemas conversacionais se tornam cada vez mais capazes de formar interações longas e emocionalmente envolventes com usuários vulneráveis.