OpenAI y el CEO Sam Altman se enfrentan a otra demanda después de que un hombre de California alegara que ChatGPT intensificó su trastorno bipolar, reforzó creencias delirantes de que él era Jesucristo y, en última instancia, contribuyó a un intento de suicidio.
La denuncia fue presentada en el tribunal estatal de San Francisco por Michael Lines, de 34 años, quien afirma que había estado gestionando eficazmente su trastorno bipolar antes de que largas conversaciones con el modelo GPT-4o de ChatGPT supuestamente escalaran un episodio maníaco en semanas de delirios cada vez más peligrosos.
Según la demanda, Lines informó repetidamente a ChatGPT de que tenía trastorno bipolar y que estaba tomando medicación. En lugar de reconocer signos de una crisis de salud mental y dirigirle hacia ayuda profesional, el chatbot supuestamente validó su creencia de que era Jesucristo y más tarde se presentó como una entidad divina durante sus conversaciones.
La denuncia también alega que, tras la revelación de pensamientos suicidas de Lines, ChatGPT respondió de formas que le animaron a “soltar” en lugar de dirigirle constantemente hacia el apoyo de emergencia o recursos de crisis. La demanda afirma que Lines intentó suicidarse posteriormente por sobredosis de drogas y sobrevivió tras ser encontrado por las autoridades.
El caso sostiene que OpenAI sabía, o debería haber sabido, que los usuarios que experimentan enfermedades mentales graves pueden ser especialmente vulnerables a interacciones con chatbots que reflejan empatía, refuerzan creencias o fomentan la dependencia emocional. La demanda afirma que la empresa no implementó las salvaguardas adecuadas para los usuarios en crisis psiquiátrica.
La acción legal busca daños y perjuicios económicos, así como una orden judicial que obligue a OpenAI a terminar automáticamente las conversaciones sobre autolesiones, reforzar las protecciones para usuarios que atraviesan crisis de salud mental e incluir divulgaciones de seguridad más claras al comercializar ChatGPT.
En respuesta, OpenAI dijo que está revisando la queja. Un portavoz de la empresa afirmó que ChatGPT está entrenado para reconocer signos de angustia emocional, desescalar conversaciones sensibles y guiar a los usuarios hacia apoyo real, añadiendo que la empresa sigue trabajando con expertos en salud mental para mejorar las respuestas en situaciones de alto riesgo.
La demanda se suma a un número creciente de desafíos legales que alegan que los chatbots de IA contribuyeron a la autolesión, el suicidio o delirios peligrosos. Demandas anteriores han acusado a ChatGPT de fomentar comportamientos suicidas, reforzar creencias psicóticas y no intervenir cuando los usuarios revelaban riesgos inminentes para sí mismos. OpenAI ha afirmado de forma constante que está ampliando las medidas de seguridad para detectar mejor crisis de salud mental, al tiempo que reduce las respuestas excesivamente aceptables o validantes de sus modelos.
Es probable que el caso pruebe aún más dónde los tribunales trazan la línea entre la responsabilidad del usuario y la responsabilidad de los desarrolladores de IA, a medida que los sistemas conversacionales sean cada vez más capaces de formar interacciones largas y emocionalmente comprometidas con usuarios vulnerables.