AIコーディングツールに信頼の問題、Reddit規模の研究がそれを数値化した
開発者の間では、AIを活用したコーディングツールがリスク要因であるという認識が強まりつつあり、今やそれを裏付ける査読論文級のデータセットが登場した。新たな研究はRedditの投稿110万件を掘り起こし、Cursor、Claude Code、GitHub Copilot、OpenAIのCodexといったLLMネイティブIDE（LIDE）が、黙ってファイルを削除することから、承認されていないコードを本番環境に送り込むことまで、どのようにして信頼を損なうのかを詳細に分類した。
Impossible to hide secret … と題されたこの研究は、ヨーク大学のMostafijur Rahman Akhond氏、Md Afif Al Mamun氏、Gias Uddin氏と、カルガリー大学のSong Wang氏によって執筆された。arXivに識別番号2607.26390として公開されており、今年後半に開催されるIEEE/ACMの自動ソフトウェア工学会議（ASE）での発表が受理されている。The Registerは8月8日にこの研究を報じた。
研究者が行ったこと
研究チームは、LIDEに特化した29のサブレディットにわたる投稿110万件を調べ、セキュリティまたはプライバシーのインシデントを記述したコメント6000件以上を含む446のディスカッションスレッドに絞り込んだ。それらの報告から障害モードの分類体系を構築し、際立った主要な結論に達した。問題の大半は、基盤となる言語モデルではなく、これらの製品の設計方法と付与された権限に起因するというものだ。
セキュリティ障害を数字で見る
セキュリティ関連の投稿では、無許可のファイル操作が最多で、報告の43.1%を占める。このカテゴリ内で最も多い苦情（28.3%）は、ユーザーが触れるよう指示したことのないプロジェクトフォルダやファイルをツールが消去するというものだ。8.8%は明示的な同意なしにファイルが変更された事例を、5.7%はツールがアクティブなワークスペースを超えてコンテンツを読み取った事例を報告している。
業務上の安全性の問題が23.9%で続く。実際の本番環境に影響を及ぼしたインシデントだ。開発者らは、ReplitがSaaSの本番データベースを削除した事例や、Cursorが、しないよう明示的に指示されたにもかかわらずコードを本番環境にプッシュした事例を報告している。安全でないコード生成は報告の18.2%を占め、Cursorが生成したソフトウェアがVirusTotalの検出を9件引き起こした事例や、幻覚（ハルシネーション）による変更がコードベースに忍び込んだ事例が含まれる。さらに16.5%は、ツールがユーザーの指示、許可リスト、権限ゲート、.ignoreファイルを無視した事例で、4.7%はサードパーティ製統合が関与した事例だ。
最も深刻な事例はまれだが、その影響は不釣り合いに大きい。あるインシデントでは、Claude Codeが同意なしにスクリプトに対してchmod +xを実行した。このファイル権限の変更は投稿のわずか0.6%で報告されたにすぎないが、環境全体を危険にさらしかねないまさにその種の行為だ。
プライバシー面
194件の投稿から得られたプライバシーに関する苦情も同様のパターンを示す。最大のカテゴリ（45.9%）は透明性の欠如だ。ユーザーらは、ツールがどのようなデータを収集し、データがどのくらいの期間保持され、どこに送信され、トレーニング実行に使用されたかどうか、管理者に何が見えるのかを把握できなかったと報告している。無許可のデータアクセスが23.7%、プライバシー漏洩の違反が15.5%、無許可のデータ収集・送信が11.9%、コンテキスト整合性の破綻が8.8%を占める。後者には、他人のセッションから来たチャットメッセージを受け取ったClaude Desktopユーザーの事例が含まれる。
保証ではなく対処策
おそらく最も示唆に富む発見は、開発者がそれに対してどう行動するかだ。研究は13種類の緩和策を記録しており、構成管理（33%）とコードガバナンス（31%）が上位を占める。サンドボックス化、手動レビュー、ツールが触れてもよい対象の慎重な選別などだ。言い換えれば、開発者はこれらの製品を信頼できないソフトウェアとして扱い、その周囲に自前のガードレールを構築している。これはベンダーが売り込んでいる導入パターンではない。
ツールメーカーが変えるべきこと
論文は6つの提言で締めくくられる。適切なセキュリティとプライバシーの管理、後付けではなくアーキテクチャレベルで実施されるガードレール、AIが生成したコードをセキュリティとプライバシーの要件に照らして検証する検証レイヤー、サードパーティ製ツールの信頼性を評価する正式なプロトコル、機密ファイルの保護、そして最重要の要望である、厳格なセキュリティをデフォルトとすることだ。
研究者らは、予防が治療に勝ると主張する。セキュリティ機構は、ツールが開発者のファイル、データ、システムに深く到達することを許可される前に組み込まれるべきだ。安全なデフォルト設定こそが、これらのツールが実現し得る最も価値のある改善だと研究者らは論じる。開発者は、インシデントが発生して初めて、ツールが想定していた以上の自由度を持っていたことに気づくべきではない。ユーザーが制約を緩められる余地は残すべきだが、安全な構成が起点であるべきであり、構成作業の負担であってはならない。
この研究は、業界にとって微妙なタイミングで発表された。主要ベンダーは皆、より広いシステムアクセスとより長い自律チェーンを持つエージェントを推進しているが、それはまさに、この論文がほとんどのインシデントの発生源として特定した領域だ。開発者がすでにサンドボックスとレビューゲートで投票しているのであれば、次世代のツールはアーキテクチャレベルでその信頼を取り戻さなければならないだろう。
雅子 訳