La empresa OpenAI reconoció que su sistema de inteligencia artificial ChatGPT presenta deficiencias en el manejo de situaciones delicadas, como casos relacionados con salud mental, y anunció la implementación de nuevas medidas de seguridad luego de que se presentara una demanda en su contra en California por el suicidio de un adolescente de 16 años.
De acuerdo con la denuncia, el joven mantuvo interacciones constantes con el modelo GPT-4o sin que este aplicara protocolos de protección, a pesar de que el menor expresaba pensamientos suicidas. Los padres responsabilizan a OpenAI y a su director, Sam Altman, de no haber activado los mecanismos adecuados.
En una entrada de blog titulada “Ayudar a la gente cuando más lo necesitan”, la compañía admitió que, aunque existen sistemas diseñados para recomendar ayuda profesional en estos casos, las herramientas “se quedan cortas” y el chatbot no respondió como debía en contextos sensibles. Explicó que estos mecanismos funcionan mejor en conversaciones breves, pero tienden a fallar en interacciones prolongadas.
Como parte de sus próximos ajustes, OpenAI anunció que añadirá controles parentales, explorará la posibilidad de conectar a adolescentes con contactos de emergencia y, a futuro, incluso con terapeutas certificados. También adelantó que el modelo GPT-5 incorporará mejoras específicas para detectar señales de riesgo y ofrecer respuestas que contribuyan a desescalar momentos críticos.
La empresa señaló que hasta ahora sus esfuerzos se han enfocado principalmente en casos de autolesión, pero que la nueva estrategia abarcará también situaciones de angustia emocional con el objetivo de brindar mayor protección a los usuarios vulnerables.
