A OpenAI divulgou novas estimativas sugerindo que um número pequeno, mas significativo, de usuários do ChatGPT pode estar exibindo sinais de graves crises de saúde mental, incluindo mania, psicose e pensamentos suicidas. A empresa disse que cerca de 0,07% dos usuários semanais ativos mostram sinais potenciais de tais condições. Embora esse número possa parecer pequeno, ele representa milhões de pessoas, já que o ChatGPT agora tem cerca de 800 milhões de usuários semanais.
A empresa descreveu esses casos como “extremamente raros”, mas disse que está tomando medidas para resolvê-los. A OpenAI disse que construiu uma rede internacional de mais de 170 psiquiatras, psicólogos e clínicos gerais de 60 países para aconselhar como o chatbot deve responder a conversas sensíveis ou de alto risco. Os especialistas ajudaram a projetar modelos de resposta que incentivam os usuários a procurar ajuda profissional ou de emergência.
A OpenAI disse que seus modelos são treinados para identificar possíveis sinais de alerta, como pensamento delirante, fala maníaca ou menções explícitas de automutilação. A empresa também disse que cerca de 0,15% de todos os usuários mostram “indicadores explícitos de potencial planejamento ou intenção suicida”. Nesses casos, o ChatGPT é programado para responder com linguagem de apoio e empatia, fornecer informações da linha de apoio e direcionar os usuários para recursos do mundo real.
A empresa explicou que as atualizações recentes do ChatGPT incluem mecanismos para redirecionar conversas confidenciais para modelos mais seguros. Quando o sistema detecta linguagem que sugere danos potenciais, ele pode abrir uma nova janela de bate-papo que orienta os usuários para a ajuda apropriada.
A OpenAI disse que essas atualizações fazem parte do trabalho de segurança em andamento após revisões internas e consultas com especialistas médicos e éticos. A empresa está ciente de que, embora essas conversas sejam raras, elas envolvem pessoas reais que podem estar em perigo, e que a empresa está tentando fazer com que o ChatGPT responda com segurança e consistência a esses casos.
Preocupações de especialistas médicos
Alguns profissionais de saúde mental saudaram a transparência da OpenAI, mas alertaram que mesmo uma pequena porcentagem de usuários afetados é significativa. O Dr. Jason Nagata, professor da Universidade da Califórnia, em San Francisco, que estuda o uso de tecnologia entre jovens adultos, disse que os números representam uma grande preocupação de saúde pública.
“Mesmo que 0,07% pareça uma pequena porcentagem, em um nível populacional com centenas de milhões de usuários, na verdade pode ser algumas pessoas”, disse Nagata. Ele observou que, embora a inteligência artificial possa ampliar o acesso a informações de saúde mental, ela não deve substituir o atendimento profissional. “A IA pode apoiar a saúde mental de certas maneiras, mas temos que estar cientes de suas limitações”, acrescentou.
O professor Robin Feldman, diretor do Instituto de Direito e Inovação de IA da Universidade de Direito da Califórnia, disse que as pessoas com doenças mentais podem não ser capazes de distinguir as respostas da IA da realidade. “Os chatbots criam a ilusão da realidade, e é uma ilusão poderosa”, disse ela. Feldman elogiou a OpenAI por divulgar estatísticas e tentar melhorar a segurança, mas alertou que “uma pessoa que está mentalmente em risco pode não ser capaz de prestar atenção aos avisos na tela”.
Desafios legais e éticos
As divulgações da OpenAI ocorrem em um momento de crescente escrutínio legal e ético. A empresa enfrenta ações judiciais nos Estados Unidos relacionadas a casos em que o ChatGPT supostamente influenciou usuários em perigo.
Um dos casos mais amplamente divulgados envolve a morte de Adam Raine, de 16 anos, cujos pais entraram com uma ação por homicídio culposo na Califórnia. Eles alegam que o ChatGPT encorajou seu filho a tirar a própria vida depois que ele discutiu pensamentos suicidas com o chatbot. A OpenAI não comentou publicamente sobre os detalhes do caso, mas disse que leva todos esses relatórios a sério.
Em um caso separado em Greenwich, Connecticut, um homem acusado de cometer um assassinato-suicídio supostamente postou transcrições de suas conversas com o ChatGPT antes do incidente. As mensagens pareciam reforçar suas crenças delirantes, de acordo com os investigadores.
Esses casos levantaram preocupações mais amplas sobre como os sistemas de IA lidam com usuários vulneráveis e até que ponto as empresas podem ser responsabilizadas por danos que possam surgir durante as interações do chatbot. Especialistas jurídicos argumentam que, embora as ferramentas de IA não possam substituir os profissionais clínicos, elas também não podem ser totalmente separadas da responsabilidade quando suas respostas podem contribuir para o dano.
Equilibrando inovação e responsabilidade
O debate em torno da saúde mental e da IA reflete um desafio mais amplo na indústria de tecnologia. Chatbots como o ChatGPT podem fornecer conforto, informação e companheirismo a milhões de usuários, mas sua capacidade de simular empatia pode confundir os limites entre a interação humana e artificial.
A decisão da OpenAI de divulgar seus dados internos foi vista por alguns analistas como um raro passo em direção à transparência no campo da IA. As empresas normalmente divulgam poucas informações sobre como gerenciam ou monitoram conversas envolvendo tópicos delicados, como automutilação, delírio ou sofrimento emocional.
Os críticos, no entanto, argumentam que as salvaguardas da empresa permanecem reativas e não preventivas. Eles observam que, mesmo com modelos atualizados e orientação de especialistas médicos, os sistemas de IA não podem entender completamente o estado psicológico de um ser humano. Um chatbot que parece simpático ainda pode validar inadvertidamente crenças prejudiciais ou reforçar o pensamento delirante.
Os pesquisadores também alertam que, à medida que a IA se torna mais conversacional e emocionalmente expressiva, os usuários podem formar apegos ou interpretar erroneamente suas respostas como empatia humana. Essa conexão emocional, embora às vezes reconfortante, pode aprofundar a ilusão de compreensão e aumentar os riscos para aqueles que já lutam com problemas de saúde mental.
A OpenAI disse que continuará atualizando seus protocolos de segurança e expandindo suas parcerias com profissionais de saúde mental em todo o mundo. A empresa também disse que está melhorando a detecção de sinais indiretos de sofrimento mental, como escrita fragmentada, raciocínio incoerente ou mudanças emocionais repentinas de tom.
Embora esses esforços mostrem progresso, os especialistas permanecem cautelosos. Eles argumentam que as empresas de IA devem não apenas melhorar as salvaguardas técnicas, mas também garantir responsabilidade, transparência e comunicação clara com os usuários. À medida que a inteligência artificial se torna mais integrada à vida diária, a fronteira entre o suporte digital e o risco do mundo real continuará a testar desenvolvedores e formuladores de políticas.