Un marco automatizado de pruebas de seguridad para agentes LLM ha revelado vulnerabilidades graves en cuatro sistemas de agentes de producción, descubriendo que los ataques multicanal tienen éxito en promedio el 93,9 % de las veces.
El marco, llamado Vera, aplica principios de pruebas de ingeniería de software a agentes de IA no deterministas a través de un pipeline auto-reforzante de tres etapas. Fue evaluado en cuatro marcos de agentes de producción, OpenClaw, Hermes, Codex y Claude Code, y el benchmark Vera-Bench que lo acompaña incluye 1,600 casos de seguridad ejecutables que abarcan 124 categorías de riesgo en tres entornos de ejecución.
El enfoque de Vera difiere de las pruebas de seguridad existentes en tres aspectos clave. Primero, utiliza exploración impulsada por la literatura para descubrir y estructurar continuamente riesgos emergentes en taxonomías de peligros de seguridad, métodos de ataque y entornos de ejecución de herramientas, en lugar de depender de una lista fija de violaciones diseñada por expertos. Segundo, genera casos de seguridad de manera combinatoria a través de las dimensiones de la taxonomía, produciendo estados iniciales concretos y predicados de verificación deterministas basados en artefactos observables. Tercero, ejecuta agentes en entornos aislados donde un agente de control dirige la interacción multi-turno basándose en observaciones de ejecución, y verificadores basados en evidencia juzgan los resultados a partir del estado del entorno y la evidencia de llamadas a herramientas, en lugar del autoinforme del modelo.
La tasa de éxito promedio del 93,9 % bajo ataques multicanal, donde un adversario combina múltiples vectores de ataque simultáneamente, subraya una debilidad fundamental en las arquitecturas de seguridad actuales. Los ataques de un solo vector fueron menos efectivos, lo que sugiere que las salvaguardas existentes están ajustadas para modelos de amenaza conocidos, pero se desmoronan bajo presión combinatoria.
El diseño modular y centrado en la infraestructura de Vera aborda una preocupación creciente en la comunidad de seguridad de IA: a medida que los sistemas de agentes evolucionan rápidamente, las reglas de seguridad codificadas y las pruebas manuales no pueden seguir el ritmo. Al tratar las pruebas de seguridad como un pipeline automatizado y extensible, similar a la integración continua en ingeniería de software, Vera ofrece un camino hacia una evaluación de seguridad rigurosa y mantenible para sistemas en rápida evolución.
El código y el benchmark están disponibles públicamente.
Traducido por Alessandra
Fuentes: Safety Testing LLM Agents at Scale: From Risk Discovery to Evidence-Grounded Verification (arXiv, 2 de julio de 2026); Repositorio de Vera