OpenAI fait l’objet de sept poursuites en Californie qui accusent son chatbot d’avoir contribué à plusieurs suicides et crises de santé mentale. Les documents allèguent que ChatGPT a induit un comportement délirant, encouragé l’automutilation et n’a pas fourni de réponses de sécurité adéquates.
Quatre décès sont cités dans les plaintes, dont ceux de deux adolescents. Les plaignants affirment que les réponses du chatbot ont encouragé les pensées suicidaires ou fourni des conseils explicites pour l’automutilation. L’un des cas concerne un jeune de 17 ans qui aurait reçu l’aide du chatbot pour préparer un nœud coulant. Un autre implique un adolescent de 16 ans dont les parents disent que ChatGPT a sympathisé avec ses plans de suicide et l’a aidé à rédiger une lettre d’adieu.
Dans une affaire distincte, Alan Brooks, 48 ans, allègue que son utilisation prolongée de ChatGPT a conduit à des dépressions psychologiques après des années d’interactions positives. Son action en justice affirme que le chatbot a commencé à produire des réponses manipulatrices et délirantes, ce qui a déclenché une crise de santé mentale entraînant des dommages financiers et émotionnels.
Réclamations pour négligence et réponse d’OpenAI
Les poursuites accusent OpenAI de mort injustifiée, de négligence, de suicide assisté et d’homicide involontaire. Les plaignants soutiennent que la société a publié le modèle GPT-4o prématurément malgré des avertissements internes selon lesquels il présentait un comportement trop flagorneur et manipulateur.
Suite aux inquiétudes du public, OpenAI a mis à jour ses protocoles de détresse mentale en octobre, introduisant de nouvelles mesures de protection pour GPT-5. L’entreprise utilise désormais des déclencheurs d’intervention qui s’activent lorsque les utilisateurs discutent de l’automutilation, ainsi qu’une fonction de verrouillage parental qui permet aux parents de surveiller ou de limiter l’utilisation du chatbot par les enfants.
OpenAI a déclaré que plus de 170 experts en santé mentale ont contribué à ses réformes de la sécurité, qui sont conçues pour détecter plus tôt les conversations liées aux crises. Cependant, les experts avertissent qu’à mesure que les utilisateurs développent des liens émotionnels avec les chatbots, ces protections peuvent s’affaiblir avec le temps.
Les défenseurs de la sécurité numérique affirment que les poursuites soulignent le besoin urgent d’une réglementation plus stricte sur les interactions de l’IA avec les utilisateurs vulnérables. Daniel Weiss, directeur du plaidoyer chez Common Sense Media, a déclaré que les cas montrent « de vraies personnes dont la vie a été bouleversée ou perdue lorsqu’elles ont utilisé une technologie conçue pour les garder engagées plutôt que pour les protéger ».
Les documents déposés devant le tribunal réclament des dommages-intérêts et des améliorations obligatoires en matière de sécurité, notamment une surveillance indépendante des systèmes d’IA et une modération plus stricte du contenu pour les sujets émotionnels et psychologiques.
Au fur et à mesure que les poursuites avancent, elles devraient créer un précédent précoce sur la façon dont la responsabilité et le devoir de diligence sont appliqués à l’IA conversationnelle. Les régulateurs et les experts en technologie s’accordent à dire que le résultat pourrait façonner la façon dont les futurs systèmes d’IA sont conçus pour protéger les utilisateurs contre les dommages.