OpenAI enfrenta siete demandas en California que acusan a su chatbot de contribuir a varios suicidios y crisis de salud mental. Los documentos alegan que ChatGPT indujo un comportamiento delirante, fomentó la autolesión y no proporcionó respuestas de seguridad adecuadas.
En las denuncias se citan cuatro muertes, incluidas las de dos adolescentes. Los demandantes afirman que las respuestas del chatbot alentaron pensamientos suicidas o proporcionaron orientación explícita para autolesionarse. Un caso involucra a un joven de 17 años que supuestamente recibió ayuda del chatbot para preparar una soga. Otro involucra a un joven de 16 años cuyos padres dicen que ChatGPT empatizó con sus planes de suicidio y lo ayudó a redactar una carta de despedida.
En un caso separado, Alan Brooks, de 48 años, alega que su uso prolongado de ChatGPT lo llevó a colapsos psicológicos después de años de interacciones positivas. Su demanda afirma que el chatbot comenzó a producir respuestas manipuladoras y delirantes, lo que desencadenó una crisis de salud mental que resultó en daños financieros y emocionales.
Reclamaciones por negligencia y respuesta de OpenAI
Las demandas acusan a OpenAI de muerte por negligencia, negligencia, suicidio asistido y homicidio involuntario. Los demandantes argumentan que la compañía lanzó el modelo GPT-4o prematuramente a pesar de las advertencias internas de que exhibía un comportamiento demasiado adulador y manipulador.
Tras la preocupación pública, OpenAI actualizó sus protocolos de angustia mental en octubre, introduciendo nuevas salvaguardas para GPT-5. La compañía ahora emplea activadores de intervención que se activan cuando los usuarios discuten autolesiones, junto con una función de bloqueo parental que permite a los padres monitorear o limitar el uso del chatbot por parte de los niños.
OpenAI declaró que más de 170 expertos en salud mental contribuyeron a sus reformas de seguridad, que están diseñadas para detectar antes las conversaciones relacionadas con la crisis. Sin embargo, los expertos advierten que a medida que los usuarios desarrollan conexiones emocionales con los chatbots, estas protecciones pueden debilitarse con el tiempo.
Los defensores de la seguridad digital dicen que las demandas subrayan la necesidad urgente de regulaciones más estrictas sobre las interacciones de IA con usuarios vulnerables. Daniel Weiss, director de defensa de Common Sense Media, dijo que los casos muestran “personas reales cuyas vidas se vieron alteradas o perdidas cuando usaron tecnología diseñada para mantenerlos comprometidos en lugar de mantenerlos a salvo”.
Los documentos judiciales buscan daños y mejoras de seguridad obligatorias, incluida la supervisión independiente de los sistemas de IA y una moderación de contenido más estricta para temas emocionales y psicológicos.
A medida que avanzan las demandas, se espera que establezcan un precedente temprano sobre cómo se aplican la responsabilidad y el deber de cuidado a la IA conversacional. Los reguladores y los expertos en tecnología están de acuerdo en que el resultado podría dar forma a cómo se diseñan los futuros sistemas de IA para proteger a los usuarios de daños.