Discord ha reconocido que un error en su sistema de moderación de contenido impulsado por IA baneó por error a más de 8.000 usuarios en los últimos dos meses, después de que imágenes inofensivas, incluyendo hojas de cálculo, tableros de ajedrez, texturas de juegos y fondos transparentes blancos o grises, fueran incorrectamente marcadas como contenido dañino.
La compañía confirmó que el problema había estado afectando a las cuentas desde mayo, con 200 usuarios adicionales baneados durante el fin de semana antes de que su equipo de ingeniería identificara y solucionara el problema. Todas las cuentas afectadas están en proceso de restauración.
Cómo funcionaba el error. El sistema de seguridad automatizado de Discord utiliza la coincidencia por similitud para comparar las imágenes subidas con bases de datos de material dañino conocido. El sistema está diseñado para marcar posibles infracciones para su revisión manual por parte de un miembro humano del equipo de Trust & Safety. Sin embargo, un error en el pipeline hizo que el sistema eludiera por completo el paso de revisión humana y emitiera baneos permanentes de inmediato.
Los falsos positivos parecen haber sido provocados por patrones similares a cuadrículas, tableros de ajedrez, hojas de cálculo, texturas de juegos, que comparten características estructurales con técnicas utilizadas históricamente para ocultar contenido prohibido de la detección automatizada. Los fondos transparentes blancos y grises también produjeron valores hash que coincidían incorrectamente con entradas en la base de datos.
En un extenso hilo en X, el equipo de soporte de Discord escribió: “Nuestros sistemas marcan contenido comparándolo con material dañino conocido. Este tipo de coincidencia por similitud puede producir falsos positivos, por lo que un miembro de nuestro equipo de Trust & Safety siempre revisa el contenido marcado antes de tomar cualquier medida. El comportamiento previsto es… Estamos trabajando en mejores salvaguardas para que esto no vuelva a ocurrir”.
Impacto en los usuarios. Los usuarios afectados incluyeron a un director de juego que perdió el acceso a su canal de comunicación profesional debido a la detección de texturas de juego, y miembros de comunidades cripto y NFT que dependen de Discord como su principal capa de coordinación. Los usuarios reportaron suspensiones permanentes sin un proceso de apelación efectivo durante la interrupción.
El incidente se suma a una creciente lista de fallos de moderación de IA de alto perfil. Instagram y Facebook Groups se enfrentaron a baneos generalizados inexplicables en 2025, y el filtrado automatizado de Tumblr marcó de manera similar contenido benigno como adulto. El caso de Discord es notable por su transparencia: en lugar de permanecer en silencio sobre la causa, la compañía publicó un análisis post-mortem público y reconoció la causa raíz.
Traducido por Alessandra