Un cadre automatisé de test de sécurité pour les agents LLM a révélé de graves vulnérabilités dans quatre systèmes d’agents de production, constatant que les attaques multicanal réussissent en moyenne 93,9 % du temps.
Le cadre, appelé Vera, applique des principes de test du génie logiciel aux agents d’IA non déterministes à travers un pipeline auto-renforcé en trois étapes. Il a été évalué sur quatre frameworks d’agents de production, OpenClaw, Hermes, Codex et Claude Code, et le benchmark Vera-Bench qui l’accompagne comprend 1 600 cas de sécurité exécutables couvrant 124 catégories de risques dans trois environnements d’exécution.
L’approche de Vera diffère des tests de sécurité existants de trois manières essentielles. Premièrement, elle utilise une exploration guidée par la littérature pour découvrir et structurer en continu les risques émergents en taxonomies de dangers de sécurité, méthodes d’attaque et environnements d’exécution d’outils, plutôt que de s’appuyer sur une liste fixe de violations conçue par des experts. Deuxièmement, elle génère des cas de sécurité de manière combinatoire à travers les dimensions de la taxonomie, produisant des états initiaux concrets et des prédicats de vérification déterministes fondés sur des artefacts observables. Troisièmement, elle exécute les agents dans des bacs à sable isolés où un agent de contrôle pilote l’interaction multi-tour en fonction des observations d’exécution, et des vérificateurs fondés sur des preuves jugent les résultats à partir de l’état de l’environnement et des preuves d’appels d’outils, plutôt que par auto-évaluation du modèle.
Le taux de réussite moyen de 93,9 % des attaques multicanal, où un adversaire combine simultanément plusieurs vecteurs d’attaque, souligne une faiblesse fondamentale des architectures de sécurité actuelles. Les attaques à vecteur unique étaient moins efficaces, ce qui suggère que les garde-fous existants sont conçus pour des modèles de menace connus mais s’effondrent sous la pression combinatoire.
La conception modulaire et axée sur l’infrastructure de Vera répond à une préoccupation croissante de la communauté de la sécurité de l’IA : alors que les systèmes agents évoluent rapidement, les règles de sécurité codées en dur et les tests manuels ne peuvent pas suivre le rythme. En traitant les tests de sécurité comme un pipeline automatisé et extensible, similaire à l’intégration continue en génie logiciel, Vera offre une voie vers une évaluation de sécurité rigoureuse et maintenable pour des systèmes en évolution rapide.
Le code et le benchmark sont disponibles publiquement.
Traduit par Lydie
Sources : Safety Testing LLM Agents at Scale: From Risk Discovery to Evidence-Grounded Verification (arXiv, 2 juillet 2026) ; Code source de Vera