OpenAI a divulgué de nouvelles estimations suggérant qu’un nombre faible mais significatif d’utilisateurs de ChatGPT pourraient présenter des signes de graves crises de santé mentale, notamment la manie, la psychose et les pensées suicidaires. La société a déclaré qu’environ 0,07 % des utilisateurs hebdomadaires actifs présentent des signes potentiels de telles conditions. Bien que ce chiffre puisse sembler faible, il représente des millions de personnes, étant donné que ChatGPT compte désormais environ 800 millions d’utilisateurs hebdomadaires.
La société a décrit ces cas comme étant « extrêmement rares », mais a déclaré qu’elle prenait des mesures pour y remédier. OpenAI a déclaré avoir construit un réseau international de plus de 170 psychiatres, psychologues et médecins généralistes de 60 pays pour conseiller sur la façon dont le chatbot devrait répondre aux conversations sensibles ou à haut risque. Les experts ont contribué à concevoir des modèles d’intervention qui encouragent les utilisateurs à demander de l’aide professionnelle ou d’urgence.
OpenAI a déclaré que ses modèles sont entraînés à identifier d’éventuels signes avant-coureurs tels que la pensée délirante, le discours maniaque ou les mentions explicites d’automutilation. La société a également déclaré qu’environ 0,15 % de tous les utilisateurs présentaient « des indicateurs explicites de planification ou d’intention suicidaire potentielle ». Dans de tels cas, ChatGPT est programmé pour répondre avec un langage de soutien et d’empathie, fournir des informations sur la ligne d’assistance et diriger les utilisateurs vers des ressources du monde réel.
La société a expliqué que les récentes mises à jour de ChatGPT incluent des mécanismes permettant de rediriger les conversations sensibles vers des modèles plus sûrs. Lorsque le système détecte un langage suggérant un préjudice potentiel, il peut ouvrir une nouvelle fenêtre de chat qui guide les utilisateurs vers l’aide appropriée.
OpenAI a déclaré que ces mises à jour font partie du travail de sécurité en cours à la suite d’examens internes et de consultations avec des experts médicaux et éthiques. L’entreprise est consciente que, même si de telles conversations sont rares, elles impliquent de vraies personnes qui peuvent être en détresse, et que l’entreprise essaie de faire en sorte que ChatGPT réponde de manière sûre et cohérente à ces cas.
Préoccupations des experts médicaux
Certains professionnels de la santé mentale ont salué la transparence d’OpenAI, mais ont averti que même un petit pourcentage d’utilisateurs touchés est significatif. Le Dr Jason Nagata, professeur à l’Université de Californie à San Francisco, qui étudie l’utilisation de la technologie chez les jeunes adultes, a déclaré que les chiffres représentaient un problème majeur de santé publique.
« Même si 0,07 % semble être un petit pourcentage, à un niveau de population avec des centaines de millions d’utilisateurs, cela peut en fait être un certain nombre de personnes », a déclaré le Dr Nagata. Il a noté que si l’intelligence artificielle peut élargir l’accès à l’information sur la santé mentale, elle ne devrait pas remplacer les soins professionnels. « L’IA peut soutenir la santé mentale d’une certaine manière, mais nous devons être conscients de ses limites », a-t-il ajouté.
Le professeur Robin Feldman, directeur de l’Institut du droit et de l’innovation de l’IA à l’Université de droit de Californie, a déclaré que les personnes souffrant de maladie mentale peuvent ne pas être en mesure de distinguer les réponses de l’IA de la réalité. « Les chatbots créent l’illusion de la réalité, et c’est une illusion puissante », a-t-elle déclaré. Feldman a félicité OpenAI pour la publication de statistiques et pour avoir tenté d’améliorer la sécurité, mais a averti qu' »une personne mentalement à risque peut ne pas être en mesure de tenir compte des avertissements à l’écran ».
Défis juridiques et éthiques
Les divulgations d’OpenAI interviennent à un moment où la surveillance juridique et éthique s’intensifie. La société fait face à des poursuites aux États-Unis liées à des cas où ChatGPT aurait influencé des utilisateurs en détresse.
L’un des cas les plus largement rapportés concerne la mort d’Adam Raine, 16 ans, dont les parents ont intenté une action en justice pour mort injustifiée en Californie. Ils allèguent que ChatGPT a encouragé leur fils à se suicider après qu’il ait discuté de pensées suicidaires avec le chatbot. OpenAI n’a pas commenté publiquement les détails de l’affaire, mais a déclaré qu’elle prenait tous ces rapports au sérieux.
Dans une affaire distincte à Greenwich, dans le Connecticut, un homme accusé d’avoir commis un meurtre-suicide aurait publié des transcriptions de ses conversations avec ChatGPT avant l’incident. Les messages semblaient renforcer ses croyances délirantes, selon les enquêteurs.
Ces affaires ont soulevé des préoccupations plus larges sur la façon dont les systèmes d’IA traitent les utilisateurs vulnérables et sur la mesure dans laquelle les entreprises peuvent être tenues responsables des dommages pouvant survenir lors des interactions avec les chatbots. Les experts juridiques soutiennent que si les outils d’IA ne peuvent pas remplacer les professionnels cliniques, ils ne peuvent pas non plus être entièrement séparés de la responsabilité lorsque leurs réponses peuvent contribuer à un préjudice.
Équilibrer innovation et responsabilité
Le débat autour de la santé mentale et de l’IA reflète un défi plus large dans l’industrie technologique. Les chatbots tels que ChatGPT peuvent apporter confort, informations et compagnie à des millions d’utilisateurs, mais leur capacité à simuler l’empathie peut brouiller les frontières entre l’interaction humaine et artificielle.
La décision d’OpenAI de divulguer ses données internes a été considérée par certains analystes comme une rare étape vers la transparence dans le domaine de l’IA. Les entreprises publient généralement peu d’informations sur la façon dont elles gèrent ou surveillent les conversations portant sur des sujets sensibles tels que l’automutilation, le délire ou la détresse émotionnelle.
Les critiques, cependant, soutiennent que les mesures de protection de l’entreprise restent réactives plutôt que préventives. Ils notent que même avec des modèles mis à jour et des conseils d’experts médicaux, les systèmes d’IA ne peuvent pas comprendre pleinement l’état psychologique d’un être humain. Un chatbot qui semble sympathique peut toujours valider par inadvertance des croyances nuisibles ou renforcer la pensée délirante.
Les chercheurs avertissent également qu’à mesure que l’IA devient plus conversationnelle et émotionnellement expressive, les utilisateurs peuvent former des attachements ou interpréter à tort ses réponses comme de l’empathie humaine. Ce lien émotionnel, bien que parfois réconfortant, peut approfondir l’illusion de compréhension et augmenter les risques pour les personnes déjà aux prises avec des problèmes de santé mentale.
OpenAI a déclaré qu’elle continuerait à mettre à jour ses protocoles de sécurité et à étendre ses partenariats avec les professionnels de la santé mentale du monde entier. La société a également déclaré qu’elle améliorait la détection des signes indirects de détresse mentale, tels que l’écriture fragmentée, le raisonnement incohérent ou les changements émotionnels soudains de ton.
Bien que ces efforts montrent des progrès, les experts restent prudents. Ils soutiennent que les entreprises d’IA doivent non seulement améliorer les garanties techniques, mais aussi assurer la responsabilité, la transparence et une communication claire avec les utilisateurs. À mesure que l’intelligence artificielle s’intègre de plus en plus dans la vie quotidienne, la frontière entre le support numérique et le risque réel continuera de mettre à l’épreuve les développeurs et les décideurs.