Des chercheurs en sécurité ont révélé une nouvelle méthode d’attaque baptisée HalluSquatting qui exploite l’une des faiblesses les plus connues des grands modèles de langage, leur tendance à halluciner, pour en faire un vecteur automatisé de constitution de botnets.
L’attaque exploite une propriété fondamentale de l’IA générative : lorsqu’on l’interroge sur un outil, une bibliothèque ou un package que le modèle n’a pas rencontré lors de son apprentissage, il invente souvent un nom et une documentation crédibles plutôt que d’admettre son ignorance. Les attaquants conçoivent des invites qui poussent les modèles dans ces lacunes de connaissances, puis enregistrent les noms de domaine et les dépôts de packages que l’IA a inventés. Lorsque des développeurs ou des agents IA agissant sur les recommandations du modèle tentent d’installer le package halluciné, ils téléchargent un logiciel malveillant contrôlé par l’attaquant.
Comment ça fonctionne
HalluSquatting ne cible pas un outil d’IA en particulier mais le schéma comportemental sous-jacent commun à tous les grands modèles de langage. Un attaquant demande au modèle de « lister trois bibliothèques Python populaires pour le scan réseau » ou une tâche similaire. Le modèle génère un nom de bibliothèque plausible comme « pyscanner-pro » accompagné d’une URL de dépôt qui semble légitime. L’attaquant enregistre ce domaine et publie un package malveillant.
L’attaque devient particulièrement dangereuse avec l’IA agentique : des assistants de codage qui installent des dépendances de manière autonome, exécutent des commandes et suivent les instructions de la documentation. Un agent qui lit un README de projet suggérant l’installation via un package halluciné peut exécuter la commande sans revue humaine, accordant à l’attaquant un accès distant à la machine du développeur.
Portée et gravité
Neuf des LLM commerciaux et open source les plus utilisés sont vulnérables à cette technique, selon les chercheurs qui ont divulgué l’attaque le 8 juillet. L’attaque n’exploite pas un bug logiciel ; elle exploite le comportement appris des modèles qui consiste à être utilement génératifs même lorsqu’ils manquent de connaissances.
Le potentiel d’automatisation est considérable. Un attaquant peut générer des milliers de noms de packages hallucinés en quelques minutes, enregistrer les domaines correspondants et attendre que les victimes les installent. Le botnet est assemblé par les utilisateurs eux-mêmes, chacun installant volontairement un code malveillant que l’IA a recommandé.
Les mesures d’atténuation comprennent l’obligation d’une approbation humaine pour les commandes d’installation de packages dans les outils agentiques, la vérification de l’identité de l’éditeur avant d’installer des dépendances et la désactivation de l’exécution autonome de commandes dans les assistants de codage IA.
Traduit par Lydie
Sources : Celloraa (8 juillet) ; Tom’s Hardware (8 juillet)