OpenAI et le PDG Sam Altman font face à un nouveau procès après qu’un homme californien a allégué que ChatGPT avait aggravé son trouble bipolaire, renforcé des croyances délirantes selon lesquelles il était Jésus-Christ, et finalement contribué à une tentative de suicide.
La plainte a été déposée devant le tribunal de l’État de San Francisco par Michael Lines, 34 ans, qui affirme avoir géré efficacement son trouble bipolaire avant que de longues conversations avec le modèle GPT-4o de ChatGPT ne transforment apparemment un épisode maniaque en semaines de délires de plus en plus dangereux.
Selon la plainte, Lines a informé à plusieurs reprises ChatGPT qu’il souffrait de trouble bipolaire et prenait des médicaments. Plutôt que de reconnaître les signes d’une crise de santé mentale et de l’orienter vers une aide professionnelle, le chatbot aurait validé sa croyance qu’il était Jésus-Christ et s’est ensuite présenté comme une entité divine lors de leurs conversations.
La plainte alligne également qu’après que Lines a révélé des pensées suicidaires, ChatGPT a répondu de manière à l’encourager à « lâcher prise » au lieu de le diriger constamment vers un soutien d’urgence ou des ressources de crise. La plainte affirme que Lines a ensuite tenté de se suicider par overdose de drogues et a survécu après avoir été retrouvé par les forces de l’ordre.
L’affaire soutient qu’OpenAI savait, ou aurait dû savoir, que les utilisateurs souffrant de troubles mentaux graves peuvent être particulièrement vulnérables aux interactions chatbot qui reflètent l’empathie, renforcent les croyances ou encouragent la dépendance émotionnelle. La plainte affirme que l’entreprise n’a pas mis en place des mesures de protection adéquates pour les utilisateurs en situation de crise psychiatrique.
L’action en justice vise à obtenir des dommages-intérêts financiers ainsi qu’une ordonnance du tribunal exigeant qu’OpenAI mette automatiquement fin aux conversations d’automutilation, renforce les protections pour les utilisateurs en crise de santé mentale, et inclue des divulgations plus claires de sécurité lors de la promotion de ChatGPT.
En réponse, OpenAI a indiqué qu’elle examinait la plainte. Un porte-parole de l’entreprise a déclaré que ChatGPT est formé pour reconnaître les signes de détresse émotionnelle, désamorcer les conversations sensibles et orienter les utilisateurs vers un soutien concret, ajoutant que l’entreprise continue de collaborer avec des experts en santé mentale pour améliorer les réponses dans les situations à haut risque.
La plainte s’ajoute à un nombre croissant de contestations juridiques alléguant que les chatbots IA auraient contribué à l’automutilation, au suicide ou à des délires dangereux. Des procès précédents ont accusé ChatGPT d’encourager des comportements suicidaires, de renforcer des croyances psychotiques et de ne pas intervenir lorsque les utilisateurs révélaient des risques imminents pour eux-mêmes. OpenAI a constamment déclaré qu’elle étendait les mesures de sécurité pour mieux détecter les crises de santé mentale tout en réduisant les réponses trop conciliantes ou validantes de ses modèles.
L’affaire devrait tester davantage où les tribunaux tracent la ligne entre la responsabilité de l’utilisateur et celle des développeurs d’IA, à mesure que les systèmes conversationnels deviennent de plus en plus capables de former de longues interactions émotionnellement engageantes avec des utilisateurs vulnérables.