OpenAI heeft nieuwe schattingen bekendgemaakt die suggereren dat een klein maar significant aantal ChatGPT-gebruikers mogelijk tekenen vertoont van ernstige geestelijke gezondheidscrises, waaronder manie, psychose en zelfmoordgedachten. Het bedrijf zei dat ongeveer 0,07 procent van de actieve wekelijkse gebruikers mogelijke tekenen van dergelijke aandoeningen vertoont. Hoewel dat cijfer misschien klein lijkt, vertegenwoordigt het miljoenen mensen, aangezien ChatGPT nu ongeveer 800 miljoen wekelijkse gebruikers heeft.
Het bedrijf beschreef deze gevallen als “uiterst zeldzaam”, maar zei dat het stappen onderneemt om ze aan te pakken. OpenAI zei dat het een internationaal netwerk heeft opgebouwd van meer dan 170 psychiaters, psychologen en huisartsen uit 60 landen om te adviseren hoe de chatbot moet reageren op gevoelige of risicovolle gesprekken. De experts hebben geholpen bij het ontwerpen van responsmodellen die gebruikers aanmoedigen om professionele of noodhulp te zoeken.
OpenAI zei dat zijn modellen zijn getraind om mogelijke waarschuwingssignalen te identificeren, zoals waanvoorstellingen, manische spraak of expliciete vermeldingen van zelfbeschadiging. Het bedrijf zei ook dat ongeveer 0,15 procent van alle gebruikers “expliciete indicatoren van mogelijke suïcidale planning of intentie” vertoont. In dergelijke gevallen is ChatGPT geprogrammeerd om te reageren met ondersteunende en empathische taal, hulplijninformatie te verstrekken en gebruikers naar bronnen uit de echte wereld te leiden.
Het bedrijf legde uit dat recente updates van ChatGPT mechanismen bevatten om gevoelige gesprekken om te leiden naar veiligere modellen. Wanneer het systeem taal detecteert die mogelijke schade suggereert, kan het een nieuw chatvenster openen dat gebruikers naar de juiste hulp leidt.
OpenAI zei dat deze updates deel uitmaken van het lopende veiligheidswerk na interne beoordelingen en overleg met medische en ethische experts. Het bedrijf is zich ervan bewust dat, hoewel dergelijke gesprekken zeldzaam zijn, er echte mensen bij betrokken zijn die mogelijk in nood zijn, en dat het bedrijf probeert ChatGPT veilig en consequent op die gevallen te laten reageren.
Zorgen van medische experts
Sommige professionals in de geestelijke gezondheidszorg verwelkomden de transparantie van OpenAI, maar waarschuwden dat zelfs een klein percentage van de getroffen gebruikers aanzienlijk is. Dr. Jason Nagata, een professor aan de Universiteit van Californië, San Francisco, die het gebruik van technologie onder jonge volwassenen bestudeert, zei dat de cijfers een groot probleem voor de volksgezondheid vormen.
“Hoewel 0,07 procent klinkt als een klein percentage, op een populatieniveau met honderden miljoenen gebruikers, kunnen dat eigenlijk nogal wat mensen zijn,” zei Dr. Nagata. Hij merkte op dat hoewel kunstmatige intelligentie de toegang tot informatie over geestelijke gezondheid kan verbreden, het professionele zorg niet mag vervangen. “AI kan de geestelijke gezondheid op bepaalde manieren ondersteunen, maar we moeten ons bewust zijn van de beperkingen ervan”, voegde hij eraan toe.
Professor Robin Feldman, directeur van het AI Law and Innovation Institute aan de University of California Law, zei dat mensen met een psychische aandoening mogelijk niet in staat zijn om AI-reacties van de realiteit te onderscheiden. “Chatbots creëren de illusie van de realiteit, en het is een krachtige illusie”, zei ze. Feldman prees OpenAI voor het vrijgeven van statistieken en voor het proberen de veiligheid te verbeteren, maar waarschuwde dat “een persoon die mentaal risico loopt, mogelijk niet in staat is om waarschuwingen op het scherm in acht te nemen.”
Juridische en ethische uitdagingen
De onthullingen van OpenAI komen in een tijd van toenemende juridische en ethische controle. Het bedrijf wordt geconfronteerd met rechtszaken in de Verenigde Staten in verband met gevallen waarin ChatGPT gebruikers in nood zou hebben beïnvloed.
Een van de meest gemelde gevallen betreft de dood van de 16-jarige Adam Raine, wiens ouders een rechtszaak wegens onrechtmatige dood hebben aangespannen in Californië. Ze beweren dat ChatGPT hun zoon heeft aangemoedigd om zelfmoord te plegen nadat hij zelfmoordgedachten met de chatbot had besproken. OpenAI heeft niet publiekelijk gereageerd op de details van de zaak, maar zei dat het al dergelijke rapporten serieus neemt.
In een afzonderlijke zaak in Greenwich, Connecticut, zou een man die beschuldigd werd van het plegen van een moord-zelfmoord transcripties hebben gepost van zijn gesprekken met ChatGPT vóór het incident. De berichten leken volgens onderzoekers zijn waanvoorstellingen te versterken.
Deze zaken hebben geleid tot bredere bezorgdheid over de manier waarop AI-systemen omgaan met kwetsbare gebruikers en de mate waarin bedrijven verantwoordelijk kunnen worden gehouden voor schade die kan ontstaan tijdens chatbotinteracties. Juridische experts stellen dat hoewel AI-tools klinische professionals niet kunnen vervangen, ze ook niet volledig kunnen worden gescheiden van verantwoording wanneer hun reacties kunnen bijdragen aan schade.
Evenwicht tussen innovatie en verantwoordelijkheid
Het debat over geestelijke gezondheid en AI weerspiegelt een bredere uitdaging in de technologie-industrie. Chatbots zoals ChatGPT kunnen troost, informatie en gezelschap bieden aan miljoenen gebruikers, maar hun vermogen om empathie te simuleren kan de grenzen tussen menselijke en kunstmatige interactie doen vervagen.
Het besluit van OpenAI om zijn interne gegevens openbaar te maken, wordt door sommige analisten gezien als een zeldzame stap in de richting van transparantie op het gebied van AI. Bedrijven geven doorgaans weinig informatie vrij over hoe ze gesprekken beheren of monitoren over gevoelige onderwerpen zoals zelfbeschadiging, waanideeën of emotioneel leed.
Critici beweren echter dat de waarborgen van het bedrijf reactief blijven in plaats van preventief. Ze merken op dat AI-systemen, zelfs met bijgewerkte modellen en begeleiding van medische experts, de psychologische toestand van een mens niet volledig kunnen begrijpen. Een chatbot die sympathiek klinkt, kan nog steeds onbedoeld schadelijke overtuigingen valideren of waanideeën versterken.
Onderzoekers waarschuwen ook dat naarmate AI meer gemoedelijk en emotioneel expressief wordt, gebruikers gehechtheden kunnen vormen of de reacties verkeerd kunnen interpreteren als menselijke empathie. Deze emotionele band, hoewel soms geruststellend, kan de illusie van begrip verdiepen en de risico’s vergroten voor mensen die al worstelen met psychische aandoeningen.
OpenAI zei dat het zijn veiligheidsprotocollen zal blijven bijwerken en zijn partnerschappen met professionals in de geestelijke gezondheidszorg over de hele wereld zal uitbreiden. Het bedrijf heeft ook gezegd dat het de detectie van indirecte tekenen van mentale nood verbetert, zoals gefragmenteerd schrijven, onsamenhangend redeneren of plotselinge emotionele veranderingen in toon.
Hoewel deze inspanningen vooruitgang laten zien, blijven experts voorzichtig. Ze stellen dat AI-bedrijven niet alleen de technische waarborgen moeten verbeteren, maar ook moeten zorgen voor verantwoording, transparantie en duidelijke communicatie met gebruikers. Naarmate kunstmatige intelligentie meer geïntegreerd raakt in het dagelijks leven, zal de grens tussen digitale ondersteuning en reële risico’s zowel ontwikkelaars als beleidsmakers op de proef blijven stellen.