Discordは、AI搭載のコンテンツモデレーションシステムのバグにより、スプレッドシート、チェス盤、ゲームテクスチャ、単純な白や灰色の透明背景などの無害な画像が誤って有害コンテンツとしてフラグされ、過去2か月間で8,000人以上のユーザーが誤ってBANされたことを認めた。
同社は、この問題が5月からアカウントに影響を与えており、エンジニアリングチームが問題を特定して修正する前に、週末にさらに200人のユーザーがBANされたことを確認した。影響を受けたすべてのアカウントは復元作業中である。
バグの仕組み。 Discordの自動安全システムは、類似性マッチングを使用して、アップロードされた画像を既知の有害コンテンツのデータベースと比較する。このシステムは、潜在的な違反をTrust & Safetyチームの人間メンバーによる手動レビューにフラグするように設計されている。しかし、パイプラインのバグにより、システムが人間のレビューステップを完全にバイパスし、直ちに永久BANを発行する原因となった。
偽陽性は、格子状のパターン、チェス盤、スプレッドシート、ゲームテクスチャによって引き起こされたようであり、これらは自動検出から禁止コンテンツを隠すために歴史的に使用されてきた手法と構造的特徴を共有している。白と灰色の透明背景も、データベース内のエントリと誤って一致するハッシュ値を生成した。
Xでの詳細なスレッドで、Discordのサポートチームは次のように書いた：「当社のシステムは、既知の有害コンテンツと照合してコンテンツにフラグを立てます。この種の類似性マッチングは偽陽性を生じる可能性があるため、Trust & Safetyチームのメンバーが常にフラグされたコンテンツをレビューしてから措置を講じます。意図された動作は… これが二度と起こらないよう、より良い保護策に取り組んでいます。」
ユーザーへの影響。 影響を受けたユーザーには、ゲームテクスチャがフラグされたためにプロフェッショナルなコミュニケーションチャンネルへのアクセスを失ったゲームディレクターや、Discordを主要な調整レイヤーとして利用している暗号資産およびNFTコミュニティのメンバーが含まれていた。ユーザーらは、障害発生中に効果的な異議申し立てプロセスがない永久停止を報告した。
このインシデントは、注目を集めるAIモデレーションの失敗の増加リストに加わる。InstagramとFacebook Groupsは2025年に広範な不可解なBANに直面し、Tumblrの自動フィルタリングも同様に無害なコンテンツを成人向けとしてフラグした。Discordのケースはその透明性で注目に値する：原因について沈黙を守るのではなく、同社は公のポストモーテムを公開し、根本原因を認めた。
翻訳者: 雅子