Discord a reconnu qu’un bug dans son système de modération de contenu alimenté par l’IA a banni par erreur plus de 8 000 utilisateurs au cours des deux derniers mois, après que des images inoffensives, notamment des feuilles de calcul, des échiquiers, des textures de jeux et des fonds transparents blancs ou gris, ont été incorrectement signalées comme contenus nuisibles.
La société a confirmé que le problème affectait les comptes depuis mai, avec 200 utilisateurs supplémentaires bannis ce week-end avant que son équipe d’ingénierie n’identifie et ne corrige le problème. Tous les comptes concernés sont en cours de restauration.
Comment le bug fonctionnait. Le système de sécurité automatisé de Discord utilise la correspondance par similarité pour comparer les images téléchargées à des bases de données de contenus connus comme nuisibles. Le système est conçu pour signaler les violations potentielles à un examen manuel par un membre humain de l’équipe Trust & Safety. Cependant, un bug dans le pipeline a fait contourner entièrement l’étape de révision humaine au système et a émis des bannissements permanents immédiatement.
Les faux positifs semblent avoir été déclenchés par des motifs en forme de grille, des échiquiers, des feuilles de calcul, des textures de jeux, qui partagent des caractéristiques structurelles avec des techniques historiquement utilisées pour obscurcir des contenus interdits de la détection automatisée. Les fonds transparents blancs et gris ont également produit des valeurs de hachage qui correspondaient incorrectement à des entrées de la base de données.
Dans un long fil sur X, l’équipe d’assistance de Discord a écrit : « Nos systèmes signalent le contenu en le comparant à des matériels connus comme nuisibles. Ce type de correspondance par similarité peut produire des faux positifs, c’est pourquoi un membre de notre équipe Trust & Safety examine toujours le contenu signalé avant qu’une action ne soit prise. Le comportement prévu est de… Nous travaillons sur de meilleures garanties pour que cela ne se reproduise pas. »
Impact sur les utilisateurs. Les utilisateurs concernés incluaient un directeur de jeu qui a perdu l’accès à son canal de communication professionnel en raison de textures de jeu signalées, et des membres de communautés crypto et NFT qui utilisent Discord comme leur principal outil de coordination. Les utilisateurs ont signalé des suspensions permanentes sans recours efficace pendant l’incident.
Cet incident s’ajoute à une liste croissante d’échecs très médiatisés de la modération IA. Instagram et Facebook Groups ont connu des bannissements généralisés inexpliqués en 2025, et le filtrage automatisé de Tumblr a également signalé du contenu bénin comme adulte. Le cas de Discord est notable pour sa transparence : plutôt que de garder le silence sur la cause, la société a publié un post-mortem public et reconnu la cause racine.
Traduit par Lydie