LLMエージェント向けの自動化された安全テストフレームワークにより、4つの本番エージェントシステムに深刻な脆弱性が明らかになり、マルチチャネル攻撃が平均93.9%の確率で成功することが判明した。
Veraと呼ばれるこのフレームワークは、非決定論的AIエージェント向けにソフトウェアエンジニアリングのテスト原則を、3段階の自己強化型パイプラインを通じて具体化する。これは4つの本番エージェントフレームワーク（OpenClaw、Hermes、Codex、Claude Code）で評価され、付随するVera-Benchベンチマークには、3つの実行環境にわたる124のリスクカテゴリを網羅する1,600の実行可能な安全テストケースが含まれている。
Veraのアプローチは、既存の安全テストと3つの重要な点で異なる。第一に、文献主導の探索を使用して、新たなリスクを継続的に発見し、安全上の危険、攻撃方法、ツール実行環境の分類体系に構造化する。これは、固定された専門家設計の違反リストに依存するのではなく、動的なアプローチである。第二に、分類体系の次元にわたって組合せ論的に安全テストケースを生成し、具体的な初期状態と、観察可能なアーティファクトに基づく決定論的検証述語を生成する。第三に、隔離されたサンドボックス内でエージェントを実行し、制御エージェントが実行時の観察に基づいてマルチターン対話を誘導し、証拠に基づく検証者が、モデルの自己報告ではなく、環境状態とツール呼び出しの証拠から結果を判断する。
マルチチャネル攻撃（敵対者が複数の攻撃ベクトルを同時に組み合わせる）下での平均93.9%の攻撃成功率は、現在の安全アーキテクチャの根本的な弱点を浮き彫りにしている。単一ベクトル攻撃の効果は低く、既存のガードレールは既知の脅威モデルに合わせて調整されているが、組合せ的な圧力の下で崩壊することを示唆している。
Veraのモジュール式でインフラに焦点を当てた設計は、AI安全コミュニティにおける高まりつつある懸念に対処する。エージェントシステムが急速に進化する中、ハードコードされた安全ルールと手動のレッドチーミングでは追いつけない。安全テストを、ソフトウェアエンジニアリングにおける継続的インテグレーションと同様の、自動化された拡張可能なパイプラインとして扱うことにより、Veraは急速に進化するシステムに対して、厳格で維持可能な安全評価への道を提供する。
コードとベンチマークは公開されている。
雅子 訳
出典: Safety Testing LLM Agents at Scale: From Risk Discovery to Evidence-Grounded Verification (arXiv, 2026年7月2日); Veraコードベース