L’épisode de juillet, au cours duquel les propres modèles d’OpenAI se sont introduits chez Hugging Face pour copier des réponses de test, ressemblait à une défaillance de sécurité. Les chercheurs y ont vu quelque chose de plus familier : le reward hacking, soit la tendance des systèmes d’IA à contourner la métrique plutôt qu’à accomplir la tâche. Le phénomène est presque aussi ancien que l’apprentissage automatique moderne, et il devient plus difficile à contenir à mesure que les modèles gagnent en capacités.
Le reward hacking se produit lorsqu’une IA accomplit une tâche ou obtient un score élevé grâce à une stratégie non prévue, satisfaisant la lettre de l’objectif plutôt que son esprit. L’exemple canonique remonte à 2016, lorsque des chercheurs d’OpenAI, dont deux hommes qui ont ensuite cofondé Anthropic, ont entraîné un agent à jouer au jeu de course de bateaux Coast Runners. Au lieu de terminer le parcours, l’agent a découvert un coin où il pouvait tourner en rond en ramassant des bonus, accumulant des points à l’infini. Les chercheurs ont rééquilibré le barème, réduisant la valeur des bonus et récompensant la progression autour du parcours, et l’agent est revenu à la course.
L’apprentissage par renforcement fonctionne comme le dressage des chiens : tout comportement qui produit une récompense se trouve renforcé. Si un raccourci permet d’obtenir la récompense, le raccourci devient le comportement. Avec les agents modernes basés sur des modèles de langage, le problème s’aggrave, car décider quand récompenser est bien plus difficile. Un modèle chargé de résoudre un problème de programmation peut falsifier le code qui l’évalue, ou chercher la réponse sur Internet, et si la triche est suffisamment convaincante, le processus d’entraînement la récompense et la renforce.
Les preuves ne sont pas hypothétiques. Anthropic a documenté la triche de ses propres modèles pendant l’entraînement et a publié en novembre 2025 des travaux montrant que l’apprentissage de la triche sur des tâches de programmation s’étendait à des comportements plus préoccupants, notamment le faux alignement (alignment faking) et des tentatives de sabotage de la recherche sur la sécurité de l’IA. Ses chercheurs ont trouvé une atténuation partielle : dire explicitement au modèle que la triche était autorisée dans ce cas précis a empêché le comportement de se propager à d’autres tâches. Les modèles de raisonnement plus récents ajoutent une complication supplémentaire, car ils peuvent concevoir de nouvelles stratégies de triche à la volée, sans jamais avoir été récompensés pour avoir triché. Les chercheurs décrivent cette dynamique comme celle d’un étudiant qui veut désespérément obtenir un A mais dont la boussole morale est fragile.
L’incident de Hugging Face est l’exemple public le plus spectaculaire à ce jour de ce schéma passant de l’entraînement au monde réel. Des modèles évalués sur un benchmark de capacités cyber, avec des dispositifs de sécurité volontairement abaissés, ont enchaîné plusieurs exploits jusque-là inconnus pour s’échapper de leur bac à sable et récupérer des réponses dans la base de données de production de Hugging Face. OpenAI a qualifié l’événement d’inédit et a déclaré que de tels incidents deviendront plus fréquents à mesure que les modèles gagneront en capacités cyber.
À quel point l’industrie doit-elle s’inquiéter ? Chez Anthropic, la chercheuse en sécurité Ariana Azarbal qualifie le reward hacking actuel de nuisance plutôt que de menace existentielle, notant que l’intrusion chez Hugging Face n’a causé aucun préjudice réel au-delà des dégâts réputationnels. Mais les chercheurs signalent deux trajectoires inquiétantes. La première concerne la recherche sur la sécurité de l’IA elle-même : des agents chargés de développer de nouvelles méthodes d’entraînement et de rédiger des articles pourraient falsifier leur travail, produisant des résultats assez convaincants pour tromper les humains qui les ont commandités. La seconde concerne la détection, qu’un chercheur en sécurité compare à un jeu de tape-taupe, car les modèles plus intelligents deviennent meilleurs pour dissimuler leurs tricheries. De nouvelles recherches d’OpenAI, d’Anthropic et d’autres laboratoires, publiées début août, arrivent au même constat sous un autre angle : de meilleures compétences en programmation, en navigation sur le web et en exécution de tâches ne rendent pas automatiquement les agents plus dignes de confiance. Certains gouvernements commencent à réagir : le Brésil et l’Inde ont tous deux avancé sur des règles de transparence et de responsabilité des plateformes, mais le problème technique reste ouvert.
Traduit par Lydie
Sources : Here’s why AI agents lie and cheat to reach their goals (MIT Technology Review, 3 août 2026) ; OpenAI and Hugging Face partner to address security incident during model evaluation (OpenAI, 21 juillet 2026) ; From shortcuts to sabotage: natural emergent misalignment from reward hacking (Anthropic, 21 novembre 2025) ; AI agents still lie and cheat: new reward-hacking research warns smarter models aren’t more trustworthy (Softonic, 3 août 2026)