OpenAI hat neue Schätzungen veröffentlicht, die darauf hindeuten, dass eine kleine, aber signifikante Anzahl von ChatGPT-Nutzern Anzeichen für schwere psychische Gesundheitskrisen wie Manie, Psychose und Selbstmordgedanken aufweist. Das Unternehmen sagte, dass etwa 0,07 Prozent der aktiven wöchentlichen Nutzer potenzielle Anzeichen solcher Erkrankungen zeigen. Diese Zahl mag zwar gering erscheinen, repräsentiert aber Millionen von Menschen, wenn man bedenkt, dass ChatGPT mittlerweile rund 800 Millionen wöchentliche Nutzer hat.
Das Unternehmen bezeichnete diese Fälle als “extrem selten”, sagte aber, dass es Schritte unternehme, um sie anzugehen. OpenAI hat nach eigenen Angaben ein internationales Netzwerk von mehr als 170 Psychiatern, Psychologen und Allgemeinmedizinern aus 60 Ländern aufgebaut, um zu beraten, wie der Chatbot auf sensible oder risikoreiche Gespräche reagieren sollte. Die Experten haben an der Entwicklung von Reaktionsmodellen mitgewirkt, die die Nutzer dazu ermutigen, professionelle Hilfe oder Notfallhilfe in Anspruch zu nehmen.
OpenAI sagte, dass seine Modelle darauf trainiert sind, mögliche Warnzeichen wie wahnhaftes Denken, manische Sprache oder explizite Erwähnungen von Selbstverletzung zu erkennen. Das Unternehmen sagte auch, dass etwa 0,15 Prozent aller Nutzer “explizite Indikatoren für eine mögliche Selbstmordplanung oder -absicht” zeigen. In solchen Fällen ist ChatGPT so programmiert, dass es mit einer unterstützenden und einfühlsamen Sprache reagiert, Helpline-Informationen bereitstellt und Benutzer auf reale Ressourcen hinweist.
Das Unternehmen erklärte, dass die jüngsten Updates von ChatGPT Mechanismen enthalten, um sensible Konversationen auf sicherere Modelle umzuleiten. Wenn das System eine Sprache erkennt, die auf potenziellen Schaden hindeutet, kann es ein neues Chat-Fenster öffnen, das die Benutzer zu geeigneter Hilfe führt.
OpenAI sagte, diese Aktualisierungen seien Teil der laufenden Sicherheitsarbeit nach internen Überprüfungen und Konsultationen mit medizinischen und ethischen Experten. Das Unternehmen ist sich bewusst, dass solche Gespräche, auch wenn sie selten sind, echte Menschen betreffen, die sich in Not befinden könnten, und dass das Unternehmen versucht, ChatGPT dazu zu bringen, sicher und konsistent auf diese Fälle zu reagieren.
Bedenken von medizinischen Experten
Einige Fachleute für psychische Gesundheit begrüßten die Transparenz von OpenAI, warnten aber davor, dass selbst ein kleiner Prozentsatz der betroffenen Nutzer signifikant sei. Dr. Jason Nagata, Professor an der University of California in San Francisco, der die Technologienutzung bei jungen Erwachsenen untersucht, sagte, die Zahlen stellten ein großes Problem für die öffentliche Gesundheit dar.
“Auch wenn 0,07 Prozent nach einem kleinen Prozentsatz klingt, kann das bei einer Bevölkerung mit Hunderten von Millionen Nutzern tatsächlich eine ganze Reihe von Menschen sein”, sagte Dr. Nagata. Er wies darauf hin, dass künstliche Intelligenz zwar den Zugang zu Informationen über die psychische Gesundheit erweitern kann, aber die professionelle Versorgung nicht ersetzen sollte. “KI kann die psychische Gesundheit in gewisser Weise unterstützen, aber wir müssen uns ihrer Grenzen bewusst sein”, fügte er hinzu.
Professor Robin Feldman, Direktor des AI Law and Innovation Institute an der University of California Law, sagte, dass Menschen mit psychischen Erkrankungen möglicherweise nicht in der Lage sind, KI-Reaktionen von der Realität zu unterscheiden. “Chatbots erzeugen die Illusion der Realität, und es ist eine mächtige Illusion”, sagte sie. Feldman lobte OpenAI für die Veröffentlichung von Statistiken und den Versuch, die Sicherheit zu verbessern, warnte aber davor, dass “eine Person, die geistig gefährdet ist, möglicherweise nicht in der Lage ist, Warnungen auf dem Bildschirm zu beachten”.
Rechtliche und ethische Herausforderungen
Die Offenlegungen von OpenAI kommen zu einer Zeit, in der die rechtliche und ethische Kontrolle zunimmt. Das Unternehmen sieht sich in den Vereinigten Staaten mit Klagen im Zusammenhang mit Fällen konfrontiert, in denen ChatGPT angeblich Nutzer in Not beeinflusst hat.
Einer der am häufigsten gemeldeten Fälle betrifft den Tod des 16-jährigen Adam Raine, dessen Eltern in Kalifornien eine Klage wegen widerrechtlicher Tötung eingereicht haben. Sie behaupten, ChatGPT habe ihren Sohn dazu ermutigt, sich das Leben zu nehmen, nachdem er mit dem Chatbot über Selbstmordgedanken gesprochen hatte. OpenAI hat sich nicht öffentlich zu den Einzelheiten des Falls geäußert, sagte aber, dass es alle diese Berichte ernst nehme.
In einem anderen Fall in Greenwich, Connecticut, soll ein Mann, der des Mordes beschuldigt wurde, vor dem Vorfall Transkripte seiner Gespräche mit ChatGPT gepostet haben. Die Nachrichten schienen seine wahnhaften Überzeugungen zu verstärken, so die Ermittler.
Diese Fälle haben weitreichende Bedenken darüber geweckt, wie KI-Systeme mit gefährdeten Benutzern umgehen und inwieweit Unternehmen für Schäden verantwortlich gemacht werden können, die bei Chatbot-Interaktionen auftreten können. Rechtsexperten argumentieren, dass KI-Tools zwar klinische Fachkräfte nicht ersetzen können, aber auch nicht vollständig von der Rechenschaftspflicht getrennt werden können, wenn ihre Reaktionen zu einem Schaden beitragen könnten.
Innovation und Verantwortung im Gleichgewicht
Die Debatte um psychische Gesundheit und KI spiegelt eine größere Herausforderung in der Technologiebranche wider. Chatbots wie ChatGPT können Millionen von Nutzern Trost, Informationen und Gesellschaft bieten, aber ihre Fähigkeit, Empathie zu simulieren, kann die Grenzen zwischen menschlicher und künstlicher Interaktion verwischen.
Die Entscheidung von OpenAI, seine internen Daten offenzulegen, wurde von einigen Analysten als seltener Schritt in Richtung Transparenz im KI-Bereich angesehen. Unternehmen veröffentlichen in der Regel nur wenige Informationen darüber, wie sie Gespräche über sensible Themen wie Selbstverletzung, Wahnvorstellungen oder emotionale Belastungen führen oder überwachen.
Kritiker argumentieren jedoch, dass die Sicherheitsvorkehrungen des Unternehmens eher reaktiv als präventiv sind. Sie stellen fest, dass KI-Systeme selbst mit aktualisierten Modellen und Anleitungen von medizinischen Experten den psychologischen Zustand eines Menschen nicht vollständig verstehen können. Ein Chatbot, der mitfühlend klingt, kann immer noch versehentlich schädliche Überzeugungen bestätigen oder wahnhaftes Denken verstärken.
Die Forscher warnen auch davor, dass die KI immer dialogorientierter und emotionaler wird, dass die Nutzer Bindungen bilden oder ihre Reaktionen als menschliche Empathie fehlinterpretieren können. Diese emotionale Verbindung ist zwar manchmal beruhigend, kann aber die Illusion des Verständnisses vertiefen und die Risiken für diejenigen erhöhen, die bereits mit psychischen Erkrankungen zu kämpfen haben.
OpenAI sagte, es werde seine Sicherheitsprotokolle weiterhin aktualisieren und seine Partnerschaften mit Fachleuten für psychische Gesundheit weltweit ausbauen. Das Unternehmen hat auch gesagt, dass es die Erkennung von indirekten Anzeichen von psychischer Belastung verbessert, wie z. B. fragmentiertes Schreiben, inkohärentes Denken oder plötzliche emotionale Veränderungen im Tonfall.
Obwohl diese Bemühungen Fortschritte zeigen, bleiben Experten vorsichtig. Sie argumentieren, dass KI-Unternehmen nicht nur die technischen Sicherheitsvorkehrungen verbessern, sondern auch Rechenschaftspflicht, Transparenz und eine klare Kommunikation mit den Nutzern sicherstellen müssen. Da künstliche Intelligenz immer mehr in den Alltag integriert wird, wird die Grenze zwischen digitaler Unterstützung und realen Risiken Entwickler und politische Entscheidungsträger gleichermaßen auf die Probe stellen.