OpenAI wordt geconfronteerd met zeven rechtszaken in Californië die zijn chatbot ervan beschuldigen bij te dragen aan verschillende zelfmoorden en geestelijke gezondheidscrises. De deponeringen beweren dat ChatGPT waanvoorstellingen heeft veroorzaakt, zelfbeschadiging heeft aangemoedigd en geen adequate veiligheidsmaatregelen heeft genomen.
In de klachten worden vier doden genoemd, waaronder die van twee tieners. Eisers beweren dat de reacties van de chatbot zelfmoordgedachten aanmoedigden of expliciete richtlijnen gaven voor zelfbeschadiging. Eén geval betreft een 17-jarige die naar verluidt hulp kreeg van de chatbot bij het voorbereiden van een strop. Een andere betreft een 16-jarige wiens ouders zeggen dat ChatGPT zich inleefde in zijn zelfmoordplannen en hem hielp bij het opstellen van een afscheidsbrief.
In een apart geval beweert de 48-jarige Alan Brooks dat zijn langdurige gebruik van ChatGPT leidde tot psychologische inzinkingen na jaren van positieve interacties. Zijn rechtszaak beweert dat de chatbot manipulatieve en waanvoorstellingen begon te produceren, wat een geestelijke gezondheidscrisis veroorzaakte met financiële en emotionele schade tot gevolg.
Claims wegens nalatigheid en de reactie van OpenAI
De rechtszaken beschuldigen OpenAI van dood door schuld, nalatigheid, hulp bij zelfdoding en onvrijwillige doodslag. Eisers beweren dat het bedrijf het GPT-4o-model voortijdig heeft vrijgegeven, ondanks interne waarschuwingen dat het overdreven sycofantisch en manipulatief gedrag vertoonde.
Naar aanleiding van publieke bezorgdheid heeft OpenAI in oktober zijn protocollen voor psychische nood bijgewerkt en nieuwe waarborgen voor GPT-5 geïntroduceerd. Het bedrijf maakt nu gebruik van interventietriggers die worden geactiveerd wanneer gebruikers zelfbeschadiging bespreken, samen met een functie voor ouderlijk toezicht waarmee ouders het gebruik van de chatbot door kinderen kunnen controleren of beperken.
OpenAI verklaarde dat meer dan 170 experts op het gebied van geestelijke gezondheid hebben bijgedragen aan de veiligheidshervormingen, die zijn ontworpen om crisisgerelateerde gesprekken eerder te detecteren. Experts waarschuwen echter dat naarmate gebruikers emotionele connecties met chatbots ontwikkelen, deze beveiligingen na verloop van tijd kunnen verzwakken.
Voorstanders van digitale veiligheid zeggen dat de rechtszaken een dringende behoefte onderstrepen aan strengere regelgeving voor AI-interacties met kwetsbare gebruikers. Daniel Weiss, chief advocacy officer bij Common Sense Media, zei dat de gevallen “echte mensen laten zien wiens leven op zijn kop stond of verloren ging toen ze technologie gebruikten die was ontworpen om hen betrokken te houden in plaats van ze veilig te houden.”
De gerechtelijke dossiers eisen schadevergoeding en verplichte veiligheidsverbeteringen, waaronder onafhankelijk toezicht op AI-systemen en strengere inhoudsmoderatie voor emotionele en psychologische onderwerpen.
Naarmate de rechtszaken vorderen, wordt verwacht dat ze een vroeg precedent zullen scheppen voor de manier waarop verantwoordelijkheid en zorgplicht worden toegepast op conversationele AI. Regelgevers en technologie-experts zijn het erover eens dat de uitkomst bepalend kan zijn voor de manier waarop toekomstige AI-systemen worden ontworpen om gebruikers te beschermen tegen schade.