OpenAI ha revelado nuevas estimaciones que sugieren que un número pequeño pero significativo de usuarios de ChatGPT pueden estar mostrando signos de graves crisis de salud mental, como manía, psicosis y pensamientos suicidas. La compañía dijo que alrededor del 0,07 por ciento de los usuarios semanales activos muestran signos potenciales de tales condiciones. Si bien esa cifra puede parecer pequeña, representa a millones de personas, dado que ChatGPT ahora tiene aproximadamente 800 millones de usuarios semanales.
La compañía describió estos casos como “extremadamente raros”, pero dijo que está tomando medidas para abordarlos. OpenAI dijo que ha construido una red internacional de más de 170 psiquiatras, psicólogos y médicos generales de 60 países para asesorar cómo debe responder el chatbot a conversaciones sensibles o de alto riesgo. Los expertos han ayudado a diseñar modelos de respuesta que alientan a los usuarios a buscar ayuda profesional o de emergencia.
OpenAI dijo que sus modelos están entrenados para identificar posibles señales de advertencia, como el pensamiento delirante, el habla maníaca o las menciones explícitas de autolesiones. La compañía también dijo que alrededor del 0,15 por ciento de todos los usuarios muestran “indicadores explícitos de posible planificación o intención suicida”. En tales casos, ChatGPT está programado para responder con un lenguaje de apoyo y empático, proporcionar información de la línea de ayuda y dirigir a los usuarios a recursos del mundo real.
La compañía explicó que las actualizaciones recientes de ChatGPT incluyen mecanismos para redirigir conversaciones confidenciales a modelos más seguros. Cuando el sistema detecta lenguaje que sugiere un daño potencial, puede abrir una nueva ventana de chat que guía a los usuarios a la ayuda adecuada.
OpenAI dijo que estas actualizaciones son parte del trabajo de seguridad en curso luego de revisiones internas y consultas con expertos médicos y éticos. La compañía es consciente de que, aunque tales conversaciones son raras, involucran a personas reales que pueden estar en peligro, y que la compañía está tratando de hacer que ChatGPT responda de manera segura y consistente a esos casos.
Preocupaciones de los expertos médicos
Algunos profesionales de la salud mental acogieron con satisfacción la transparencia de OpenAI, pero advirtieron que incluso un pequeño porcentaje de usuarios afectados es significativo. El Dr. Jason Nagata, profesor de la Universidad de California en San Francisco, que estudia el uso de la tecnología entre los adultos jóvenes, dijo que las cifras representan un importante problema de salud pública.
“Aunque el 0,07 por ciento suena como un porcentaje pequeño, a nivel de población con cientos de millones de usuarios, en realidad pueden ser bastantes personas”, dijo el Dr. Nagata. Señaló que si bien la inteligencia artificial puede ampliar el acceso a la información de salud mental, no debe reemplazar la atención profesional. “La IA puede apoyar la salud mental de ciertas maneras, pero tenemos que ser conscientes de sus limitaciones”, agregó.
El profesor Robin Feldman, director del Instituto de Derecho e Innovación de la IA de la Universidad de California, dijo que las personas que experimentan enfermedades mentales pueden no ser capaces de distinguir las respuestas de la IA de la realidad. “Los chatbots crean la ilusión de la realidad, y es una ilusión poderosa”, dijo. Feldman elogió a OpenAI por publicar estadísticas y por intentar mejorar la seguridad, pero advirtió que “una persona que está mentalmente en riesgo puede no ser capaz de prestar atención a las advertencias en la pantalla”.
Desafíos legales y éticos
Las revelaciones de OpenAI llegan en un momento de creciente escrutinio legal y ético. La compañía enfrenta demandas en los Estados Unidos relacionadas con casos en los que ChatGPT supuestamente influyó en usuarios en apuros.
Uno de los casos más reportados involucra la muerte de Adam Raine, de 16 años, cuyos padres han presentado una demanda por homicidio culposo en California. Alegan que ChatGPT alentó a su hijo a quitarse la vida después de que discutiera pensamientos suicidas con el chatbot. OpenAI no ha comentado públicamente sobre los detalles del caso, pero dijo que se toma en serio todos esos informes.
En un caso separado en Greenwich, Connecticut, un hombre acusado de cometer un asesinato-suicidio supuestamente publicó transcripciones de sus conversaciones con ChatGPT antes del incidente. Los mensajes parecían reforzar sus creencias delirantes, según los investigadores.
Estos casos han planteado preocupaciones más amplias sobre cómo los sistemas de IA manejan a los usuarios vulnerables y hasta qué punto las empresas pueden ser responsables de los daños que pueden surgir durante las interacciones de chatbot. Los expertos legales argumentan que, si bien las herramientas de IA no pueden reemplazar a los profesionales clínicos, tampoco pueden separarse por completo de la responsabilidad cuando sus respuestas pueden contribuir al daño.
Equilibrio entre innovación y responsabilidad
El debate en torno a la salud mental y la IA refleja un desafío más amplio en la industria de la tecnología. Los chatbots como ChatGPT pueden brindar comodidad, información y compañía a millones de usuarios, pero su capacidad para simular empatía puede difuminar los límites entre la interacción humana y artificial.
La decisión de OpenAI de revelar sus datos internos ha sido vista por algunos analistas como un paso poco común hacia la transparencia en el campo de la IA. Las empresas suelen divulgar poca información sobre cómo manejan o monitorean las conversaciones que involucran temas delicados como autolesiones, delirios o angustia emocional.
Los críticos, sin embargo, argumentan que las salvaguardas de la compañía siguen siendo reactivas en lugar de preventivas. Señalan que incluso con modelos actualizados y orientación de expertos médicos, los sistemas de IA no pueden comprender completamente el estado psicológico de un ser humano. Un chatbot que suena comprensivo aún puede validar inadvertidamente creencias dañinas o reforzar el pensamiento delirante.
Los investigadores también advierten que a medida que la IA se vuelve más conversacional y emocionalmente expresiva, los usuarios pueden formar vínculos o malinterpretar sus respuestas como empatía humana. Esta conexión emocional, aunque a veces es reconfortante, puede profundizar la ilusión de comprensión y aumentar los riesgos para quienes ya luchan contra las condiciones de salud mental.
OpenAI dijo que continuará actualizando sus protocolos de seguridad y expandiendo sus asociaciones con profesionales de la salud mental en todo el mundo. La compañía también ha dicho que está mejorando la detección de signos indirectos de angustia mental, como escritura fragmentada, razonamiento incoherente o cambios emocionales repentinos en el tono.
Si bien estos esfuerzos muestran progresos, los expertos siguen siendo cautelosos. Argumentan que las empresas de IA no solo deben mejorar las salvaguardias técnicas, sino también garantizar la rendición de cuentas, la transparencia y la comunicación clara con los usuarios. A medida que la inteligencia artificial se integra más en la vida diaria, el límite entre el soporte digital y el riesgo del mundo real continuará poniendo a prueba tanto a los desarrolladores como a los responsables políticos.