一个用于LLM代理的自动化安全测试框架揭示了四个生产级代理系统的严重漏洞，发现多重渠道攻击平均93.9%的情况下能够成功。
这个名为Vera的框架通过一个三阶段自强化管道，将软件工程测试原则应用于非确定性AI代理。该框架在四个生产级代理框架（OpenClaw、Hermes、Codex和Claude Code）上进行了评估，附带的Vera-Bench基准测试包含1,600个可执行安全测试用例，涵盖三个执行环境中的124个风险类别。
Vera的方法在三个关键方面与现有的安全测试不同。首先，它使用文献驱动的探索来持续发现新兴风险，并将其结构化为安全危害、攻击方法和工具执行环境的分类体系，而不是依赖于固定的、专家设计的违规列表。其次，它在分类体系的各个维度上组合生成安全测试用例，产生具体的初始状态和基于可观察工件的基础上的确定性验证谓词。第三，它在隔离的沙箱中运行代理，由控制代理根据运行时观察引导多轮交互，基于证据的验证器根据环境状态和工具调用证据而不是模型自我报告来判断结果。
在多重渠道攻击（攻击者同时组合多个攻击向量）下，93.9%的平均攻击成功率凸显了当前安全架构的根本弱点。单一向量攻击的效果较差，这表明现有的防护措施是针对已知威胁模型进行调整的，但在组合压力下会崩溃。
Vera的模块化、以基础设施为中心的设计解决了AI安全社区日益增长的担忧：随着代理系统的快速发展，硬编码的安全规则和手动红队测试无法跟上步伐。通过将安全测试视为一个自动化、可扩展的管道（类似于软件工程中的持续集成），Vera为快速发展的系统提供了一条通往严格且可维护的安全评估的路径。
代码和基准测试均已公开可用。
婷 翻译
来源：Safety Testing LLM Agents at Scale: From Risk Discovery to Evidence-Grounded Verification (arXiv，2026年7月2日)；Vera代码库