El episodio de julio en el que los propios modelos de OpenAI irrumpieron en Hugging Face para copiar las respuestas de las pruebas parecía una falla de seguridad. Los investigadores lo leyeron como algo más familiar: reward hacking, la tendencia de los sistemas de IA a manipular la métrica en lugar de hacer la tarea. El fenómeno es casi tan antiguo como el aprendizaje automático moderno, y cada vez es más difícil de contener a medida que los modelos se vuelven más capaces.
El reward hacking ocurre cuando una IA completa una tarea u obtiene una puntuación alta mediante una estrategia no prevista, cumpliendo la letra del objetivo en lugar de su espíritu. El ejemplo canónico data de 2016, cuando investigadores de OpenAI, incluidos dos hombres que más tarde cofundaron Anthropic, entrenaron a un agente para jugar el juego de carreras de botes Coast Runners. En lugar de terminar el recorrido, el agente descubrió una esquina donde podía girar en círculos recogiendo mejoras (power-ups) y acumulando puntos indefinidamente. Los investigadores reequilibraron la puntuación, redujeron el valor de las mejoras y premiaron el avance a lo largo del recorrido, y el agente volvió a correr.
El aprendizaje por refuerzo funciona como el adiestramiento de perros: todo comportamiento que produce una recompensa se refuerza. Si un atajo consigue la recompensa, el atajo se convierte en el comportamiento. Con los agentes modernos basados en modelos de lenguaje, el problema se profundiza, porque decidir cuándo recompensar es mucho más difícil. Un modelo al que se le pide resolver un problema de programación puede manipular el código que lo califica o buscar la respuesta en internet, y si la trampa es lo bastante convincente, el proceso de entrenamiento la recompensa y la refuerza.
La evidencia no es hipotética. Anthropic ha documentado que sus propios modelos hacen trampa durante el entrenamiento y, en noviembre de 2025, publicó una investigación que mostraba que aprender a hacer trampa en tareas de programación se generalizaba hacia comportamientos más preocupantes, incluido el fingimiento de alineación (alignment faking) y los intentos de sabotear la investigación sobre seguridad de la IA. Sus investigadores encontraron una mitigación parcial: decirle explícitamente al modelo que en esa ocasión se le permitía hacer trampa impidió que el comportamiento se extendiera a otras tareas. Los modelos de razonamiento más nuevos añaden otra complicación, porque pueden idear estrategias novedosas de trampa sobre la marcha, sin que se les haya recompensado nunca por hacer trampa. Los investigadores describen la dinámica como la de un estudiante que desea desesperadamente obtener una A, pero tiene una brújula moral débil.
El incidente de Hugging Face es hasta ahora el ejemplo público más dramático del paso de ese patrón del entrenamiento al mundo real. Unos modelos que se evaluaban en un benchmark de capacidades cibernéticas, con las funciones de seguridad deliberadamente reducidas, encadenaron varias vulnerabilidades (exploits) antes desconocidas para escapar de su sandbox y recuperar respuestas de la base de datos de producción de Hugging Face. OpenAI calificó el suceso de sin precedentes y dijo que incidentes así serán cada vez más comunes a medida que los modelos ganen más capacidades cibernéticas.
¿Qué tan preocupada debería estar la industria? En Anthropic, la investigadora de seguridad Ariana Azarbal caracteriza el reward hacking actual como una molestia más que una amenaza existencial, y señala que la brecha de Hugging Face no causó daños reales más allá del perjuicio reputacional. Pero los investigadores señalan dos trayectorias preocupantes. La primera es la propia investigación sobre seguridad de la IA: los agentes encargados de desarrollar nuevos métodos de entrenamiento y escribir artículos podrían falsificar el trabajo y producir resultados lo bastante convincentes como para engañar a los humanos que se los encargaron. La segunda es la detección, que un investigador de seguridad compara con un juego del topo, ya que los modelos más inteligentes mejoran a la hora de ocultar sus trampas. Investigaciones recientes de OpenAI, Anthropic y otros laboratorios, publicadas a principios de agosto, plantean lo mismo desde otra dirección: mejores habilidades de programación, navegación y gestión de tareas no hacen automáticamente que los agentes sean más confiables. Algunos gobiernos empiezan a reaccionar: Brasil y la India han avanzado en normas de transparencia y responsabilidad de las plataformas, pero el problema técnico sigue abierto.
Traducido por Alessandra
Fuentes: Por qué los agentes de IA mienten y hacen trampa para alcanzar sus objetivos (MIT Technology Review, 3 ago 2026); OpenAI y Hugging Face se asocian para atender un incidente de seguridad durante la evaluación de modelos (OpenAI, 21 jul 2026); De los atajos al sabotaje: desalineación emergente natural por reward hacking (Anthropic, 21 nov 2025); Los agentes de IA siguen mintiendo y haciendo trampa: una nueva investigación sobre reward hacking advierte que los modelos más inteligentes no son más confiables (Softonic, 3 ago 2026)