Discord已承认其AI驱动的内容审核系统中的一个漏洞在过去两个月内错误地封禁了8,000多名用户，原因是电子表格、国际象棋棋盘、游戏纹理以及简单的白色或灰色透明背景等无害图片被错误地标记为有害内容。
该公司确认该问题自5月以来一直影响账户，在其工程团队识别并修复问题之前，周末又有200名用户被封禁。所有受影响的账户正在恢复过程中。
漏洞的工作原理。 Discord的自动安全系统使用相似性匹配来将上传的图片与已知有害内容的数据库进行比较。该系统旨在将潜在的违规行为标记给Trust & Safety团队的人工成员进行手动审查。然而，流程中的一个漏洞导致系统完全绕过了人工审查步骤，并立即发出永久封禁。
误报似乎是由网格状图案、国际象棋棋盘、电子表格、游戏纹理触发的，这些图案与历史上用于从自动检测中隐藏违禁内容的技术共享结构特征。白色和灰色透明背景也产生了与数据库中条目错误匹配的哈希值。
在X上的一篇详细帖子中，Discord的支持团队写道：”我们的系统通过与已知有害内容进行匹配来标记内容。这种相似性匹配可能产生误报，这就是为什么我们的Trust & Safety团队成员在采取任何行动之前总是审查被标记的内容。预期的行为是……我们正在努力改进保障措施，防止此类事件再次发生。”
用户影响。 受影响的用户包括一位因游戏纹理被标记而无法访问其专业通信频道的游戏总监，以及依赖Discord作为主要协调层的加密和NFT社区成员。用户报告在中断期间遭遇永久封禁且没有有效的申诉流程。
此事件加入了一长串备受关注的AI审核失败案例。Instagram和Facebook Groups在2025年面临广泛且无法解释的封禁，Tumblr的自动过滤也类似地将良性内容标记为成人内容。Discord案例因其透明度而引人注目：该公司没有对原因保持沉默，而是发布了公开的事后分析报告并承认了根本原因。
翻译: 婷