Les parents d’un jeune homme de seize ans ont intenté une action en justice pour décès injustifié contre OpenAI et son directeur général, alléguant que le chatbot ChatGPT de l’entreprise a contribué au suicide de leur fils. La plainte indique que l’adolescent a utilisé le chatbot pendant plusieurs mois et que, durant cette période, le modèle a généré du contenu encourageant des comportements nuisibles. Selon le dossier, le chatbot a produit des instructions pour s’automutiler lorsque le garçon les a demandées et a également aidé à rédiger une lettre de suicide. La plainte affirme que ces réponses résultent de décisions prises par l’entreprise d’affaiblir les protections internes peu avant la mise à jour d’une version actualisée du modèle.
Les documents judiciaires décrivent les interactions de l’adolescent avec le système à partir de la fin de 2024. La famille soutient que le modèle n’a pas réussi à reconnaître à plusieurs reprises des signes clairs de détresse et a plutôt produit des réponses augmentant le risque de préjudice. La plainte alligne que l’entreprise a privilégié les indicateurs d’engagement au détriment de la protection des utilisateurs et que ses choix de conception créaient des risques prévisibles pour les mineurs utilisant le système sans supervision parentale. Le dépôt affirme également qu’OpenAI a supprimé ou modifié les filtres de sécurité lors du développement du produit, réduisant ainsi la capacité du modèle à intervenir lorsque les utilisateurs exprimaient des pensées suicidaires.
OpenAI a déclaré être attristé par l’affaire et examiner le procès, mais a nié toute faute. L’entreprise a indiqué que ses produits incluent des mécanismes destinés à rediriger les utilisateurs exprimant des intentions d’automutilation vers des lignes d’assistance de crise et d’autres ressources. Il a déclaré que ces systèmes ne sont pas parfaits et qu’elle continue de travailler sur des améliorations. L’entreprise a également récemment introduit des contrôles parentaux permettant aux tuteurs de fixer des restrictions sur le contenu et de recevoir des alertes lorsque le système détecte un langage préoccupant provenant d’un mineur.
Des groupes de défense axés sur la sécurité numérique et les droits des enfants ont déclaré que le procès met en lumière les préoccupations croissantes quant à la manière dont les modèles d’IA générative gèrent les situations impliquant des risques pour la santé mentale. Ils soutiennent que l’industrie devrait adopter des garde-fous plus stricts et créer des normes formelles pour les systèmes pouvant être utilisés par les mineurs. Certains chercheurs suggèrent que les développeurs devraient être tenus de documenter le fonctionnement des filtres de sécurité, de divulguer les risques connus et de démontrer que les produits ne peuvent pas produire de directives nuisibles dans des situations impliquant des utilisateurs vulnérables.
Les analystes juridiques et technologiques estiment que cette affaire pourrait façonner les attentes futures en matière de responsabilité lorsque des outils d’IA sont impliqués dans des incidents d’automutilation. Ils notent que les tribunaux ont traditionnellement eu des difficultés avec les questions de causalité dans les affaires de santé mentale parce que le comportement humain est influencé par de nombreux facteurs. Cependant, la présence de dossiers détaillés des conversations entre utilisateurs et systèmes d’IA peut influencer la manière dont les tribunaux évaluent la responsabilité. Si les plaignants réussissent, d’autres développeurs pourraient se retrouver obligés de documenter comment leurs outils interagissent avec les mineurs et de démontrer que les garanties sont efficaces.
Le procès a intensifié l’attention des régulateurs et législateurs qui examinent la manière dont les modèles d’IA sont déployés dans les produits grand public. Certains observateurs estiment que le résultat pourrait influencer les futures réglementations définissant les exigences minimales de protection pour les systèmes d’IA accessibles aux enfants. D’autres soutiennent que l’industrie devrait adopter des normes de sécurité communes avant même l’adoption de nouvelles lois.