Des chercheurs ont propose une nouvelle defense contre le mesusage des generateurs d’images par IA, integrant directement des backdoors protectrices dans les modeles de diffusion pour les empecher d’etre personnalises afin de generer des portraits non autorises ou de reproduire des styles artistiques.
L’article, intitule PersGuard et publie sur arXiv, presente ce que ses auteurs decrivent comme le premier cadre base sur les backdoors pour empecher la personnalisation malveillante des modeles de diffusion texte-vers-image (T2I). Les defenses existantes reposent principalement sur l’ajout de perturbations adverses aux images de reference avant leur utilisation pour le fine-tuning, une approche qui suppose que toutes les images d’entrainement sont pre-perturbees et echoue lorsque les ensembles de donnees contiennent des images propres ou subissent des transformations mineures.
PersGuard adopte une approche fondamentalement differente: au lieu de perturber les images d’entree, il integre une backdoor protectrice dans le modele lui-meme avant sa publication. Si un utilisateur en aval effectue un fine-tuning du modele sur des images protegees, la backdoor reste active et le modele genere des sorties protectrices predefinies, des images effectivement inutilisables. Si le modele est fine-tune sur des images non protegees et legitimes, la backdoor est automatiquement supprimee pendant l’entrainement et le modele conserve son utilite normale.
Le cadre formule l’injection de backdoor comme un probleme d’optimisation unifie avec trois objectifs: une perte de comportement backdoor qui active la protection, une perte de preservation prealable qui maintient la generation standard pour les entrees propres, et une nouvelle perte de retention qui reflete la perte de personnalisation pour garantir que la backdoor survive au fine-tuning en aval.
Les chercheurs ont teste PersGuard dans des scenarios grey-box (ou l’attaquant sait qu’une defense existe mais ignore les specificites de la backdoor) et black-box (aucune connaissance de la defense), ainsi que sur la protection multi-objets (empecher la personnalisation de plusieurs sujets) et la protection de l’identite faciale. La methode a demontre une meilleure robustesse que les methodes de perturbation adverse, en particulier lorsque les ensembles de donnees incluaient des images propres.
L’article a ete ecrit par Xinwei Liu, Xiaojun Jia, Yuan Xun, Hua Zhang et Xiaochun Cao, et a ete revise le 15 juillet 2026, ayant ete soumis initialement en fevrier 2025.
Cette approche repond a une preoccupation croissante alors que les modeles T2I deviennent plus puissants et accessibles. Des services tels que Midjourney, DALL-E et les modeles a poids ouverts comme Stable Diffusion ont rendu extremement facile la generation d’images a l’effigie d’une personne specifique ou dans le style d’un artiste particulier, soulevant des questions urgentes de confidentialite et de droits d’auteur que les cadres juridiques existants ont du mal a traiter.
Source: arXiv
Traduit par Lydie