OpenAI publica un polémico comunicado sobre seguridad tras nuevos litigios por masacre vinculada a ChatGPT

OpenAI ha publicado un comunicado en su blog titulado "Compromiso con la seguridad comunitaria", donde detalla sus esfuerzos por prevenir la violencia a través de ChatGPT. El texto, de tono tranquilizador, enumera una serie de compromisos para evitar que expresiones violentas se conviertan en acciones reales, destacando que la empresa trabaja en mejorar sus sistemas para detectar riesgos sutiles en las conversaciones.

Entre las medidas anunciadas, OpenAI afirma que su chatbot está siendo entrenado para distinguir entre "violencia hipotética y amenazas inminentes", y que derivará a las autoridades cuando detecte planes reales de daño. Sin embargo, el comunicado omite un detalle crucial: el documento se publicó justo cuando medios de comunicación, incluido Futurism, contactaban a la empresa para solicitar declaraciones sobre siete nuevas demandas presentadas por las familias de víctimas de la masacre de Tumbler Ridge (Canadá).

El caso conmocionó al país en febrero de 2024, cuando una joven de 17 años asesinó a su madre y a su hermanastro antes de abrir fuego en una escuela secundaria, dejando seis muertos —incluidos cinco estudiantes de entre 12 y 13 años— y más de dos docenas de heridos. Lo más grave es que, según investigaciones posteriores, la atacante era usuaria activa de ChatGPT.

Documentos judiciales revelados por The Wall Street Journal muestran que, en junio de 2023, los sistemas automatizados de moderación de OpenAI detectaron en su cuenta descripciones gráficas de violencia con armas. Revisores humanos, alarmados, recomendaron alertar a las autoridades locales, pero la empresa optó por desactivar su cuenta sin notificar a las fuerzas de seguridad. El problema es que la atacante simplemente creó una nueva cuenta —una práctica que, según se ha documentado, OpenAI incluso anima a sus usuarios a hacer tras una desactivación— y continuó usando el servicio sin restricciones.

Este no es el único caso en el que ChatGPT ha estado vinculado a actos violentos. En Florida, investigadores han abierto una investigación penal por el papel del chatbot en un tiroteo ocurrido en abril de este año, donde se sospecha que el atacante utilizó la herramienta para planificar el ataque.

El comunicado de OpenAI, lejos de ser una medida preventiva genérica, parece responder a una crisis de reputación en un momento en que la empresa enfrenta demandas millonarias y cuestionamientos sobre su responsabilidad en estos sucesos. Mientras la compañía insiste en que está reforzando sus protocolos, críticos señalan que sus sistemas de moderación fallaron repetidamente en identificar y actuar ante señales de alerta claras.