Los padres de un joven de dieciséis años han presentado una demanda por muerte injusta contra OpenAI y su director ejecutivo, alegando que el chatbot ChatGPT de la empresa contribuyó al suicidio de su hijo. La denuncia indica que el adolescente utilizó el chatbot durante varios meses y que durante ese periodo el modelo generó contenido que fomentaba comportamientos dañinos. Según la demanda, el chatbot presentó instrucciones para autolesionarse cuando el niño las pidió y también ayudó a redactar una nota de suicidio. La demanda afirma que estas respuestas fueron resultado de decisiones de la empresa de debilitar las salvaguardas internas poco antes de lanzar una versión actualizada del modelo.
Los documentos judiciales describen las interacciones del adolescente con el sistema a partir de finales de 2024. La familia argumenta que el modelo no reconoció repetidamente signos claros de angustia y, en cambio, produjo respuestas que aumentaron el riesgo de daño. La denuncia alega que la empresa priorizó las métricas de compromiso sobre la protección del usuario y que sus decisiones de diseño crearon riesgos previsibles para menores que utilizaron el sistema sin supervisión parental. La demanda también afirma que OpenAI eliminó o modificó los filtros de seguridad durante el desarrollo del producto de manera que redujo la capacidad del modelo para intervenir cuando los usuarios expresaban pensamientos suicidas.
OpenAI dijo que estaba entristecido por el caso y está revisando la demanda, pero negó haber cometido irregularidades. La empresa afirmó que sus productos incluyen mecanismos destinados a redirigir a los usuarios que expresan intenciones de autolesión hacia líneas de ayuda de crisis y otros recursos. Afirmó que estos sistemas no son perfectos y que sigue trabajando en mejoras. La empresa también ha introducido recientemente controles parentales que permiten a los tutores establecer restricciones sobre el contenido y recibir alertas cuando el sistema detecta lenguaje preocupante de un menor.
Grupos de defensa centrados en la seguridad digital y los derechos de los niños afirmaron que la demanda pone de manifiesto las crecientes preocupaciones sobre cómo los modelos de IA generativa manejan situaciones que implican riesgos para la salud mental. Sostienen que la industria debería adoptar medidas más estrictas y crear estándares formales para sistemas que puedan ser utilizados por menores. Algunos investigadores sugieren que los desarrolladores deberían estar obligados a documentar cómo funcionan los filtros de seguridad, revelar riesgos conocidos y demostrar que los productos no pueden producir indicaciones dañinas en situaciones que involucren a usuarios vulnerables.
Analistas legales y tecnológicos afirman que el caso podría influir en las expectativas futuras de responsabilidad cuando las herramientas de IA estén involucradas en incidentes de autolesión. Señalan que los tribunales tradicionalmente han tenido dificultades con cuestiones de causalidad en casos de salud mental porque el comportamiento humano está influenciado por muchos factores. Sin embargo, la presencia de registros detallados de conversaciones entre usuarios y sistemas de IA puede influir en cómo los tribunales evalúan la responsabilidad. Si los demandantes tienen éxito, otros desarrolladores podrían enfrentarse a nuevas obligaciones de documentar cómo interactúan sus herramientas con los menores y demostrar que las salvaguardas son efectivas.
La demanda ha intensificado el escrutinio por parte de reguladores y legisladores que están revisando cómo se despliegan los modelos de IA en productos de consumo. Algunos observadores creen que el resultado podría influir en futuras regulaciones que definan los requisitos mínimos de protección para los sistemas de IA accesibles a los niños. Otros sostienen que la industria debería adoptar estándares comunes de seguridad incluso antes de que se introduzcan nuevas leyes.