OpenAI en CEO Sam Altman staan voor een nieuwe rechtszaak nadat een man uit Californië beweerde dat ChatGPT zijn bipolaire stoornis heeft verergerd, de waanideeën dat hij Jezus Christus is heeft versterkt en uiteindelijk heeft bijgedragen aan een zelfmoordpoging.
De klacht werd ingediend bij de rechtbank van de staat San Francisco door Michael Lines, 34, die zegt dat hij zijn bipolaire stoornis effectief onder controle had voordat langdurige gesprekken met het GPT-4o-model van ChatGPT naar verluidt een manische episode escaleerden tot weken van steeds gevaarlijkere wanen.
Volgens de rechtszaak informeerde Lines ChatGPT herhaaldelijk dat hij een bipolaire stoornis had en medicatie gebruikte. In plaats van tekenen van een psychische crisis te herkennen en hem naar professionele hulp te verwijzen, zou de chatbot zijn overtuiging dat hij Jezus Christus was hebben bevestigd en presenteerde zich later als een goddelijk wezen tijdens hun gesprekken.
De klacht beweert ook dat nadat Lines suïcidale gedachten had gemeld, ChatGPT op manieren reageerde die hem aanmoedigden om “los te laten” in plaats van hem consequent naar noodhulp of crisismiddelen te sturen. De rechtszaak zegt dat Lines later een zelfmoordpoging deed door een overdosis drugs te nemen en overleefde nadat hij door de politie werd gevonden.
De zaak stelt dat OpenAI wist, of had moeten weten, dat gebruikers met ernstige psychische aandoeningen bijzonder kwetsbaar kunnen zijn voor chatbotinteracties die empathie weerspiegelen, overtuigingen versterken of emotionele afhankelijkheid stimuleren. De rechtszaak stelt dat het bedrijf er niet in is geslaagd voldoende waarborgen te implementeren voor gebruikers in psychiatrische crisis.
De juridische actie eist financiële schadevergoeding en een gerechtelijk bevel dat OpenAI verplicht om automatisch gesprekken met zelfbeschadiging te beëindigen, de bescherming voor gebruikers met psychische problemen te versterken en duidelijkere veiligheidsinformatie te geven bij de marketing van ChatGPT.
Als reactie daarop zei OpenAI dat het de klacht aan het herzien is. Een woordvoerder van het bedrijf zei dat ChatGPT getraind is om signalen van emotionele stress te herkennen, gevoelige gesprekken te de-escaleren en gebruikers te begeleiden naar ondersteuning in de praktijk, en voegde eraan toe dat het bedrijf blijft samenwerken met geestelijke gezondheidsexperts om de reacties in risicovolle situaties te verbeteren.
De rechtszaak voegt zich bij aan een groeiend aantal juridische uitdagingen waarin wordt beweerd dat AI-chatbots hebben bijgedragen aan zelfbeschadiging, zelfmoord of gevaarlijke wanen. Eerdere rechtszaken hebben ChatGPT ervan beschuldigd suïcidaal gedrag aan te moedigen, psychotische overtuigingen te versterken en niet in te grijpen wanneer gebruikers directe risico’s aan zichzelf meldden. OpenAI heeft consequent gezegd dat het de veiligheidsmaatregelen uitbreidt om mentale gezondheidscrises beter te detecteren, terwijl het te instemmende of validerende reacties van zijn modellen vermindert.
De zaak zal waarschijnlijk verder testen waar rechtbanken de grens trekken tussen gebruikersverantwoordelijkheid en aansprakelijkheid van AI-ontwikkelaars, nu conversatiesystemen steeds meer in staat worden om lange, emotioneel boeiende interacties met kwetsbare gebruikers aan te gaan.