IA médicale et vie privée : quand la protection moyenne ne protège personne
Moritz Knolle, doctorant à l’Université technique de Munich, s’est posé une question qui a mené à une découverte troublante : « Je me suis demandé : contribuerais-je mes données pour entraîner un modèle d’IA médicale ? »
Pour y répondre, lui et ses collègues ont mené un test systématique. Ils ont attaqué sept ensembles de données médicales réelles, comprenant 21 799 électrocardiogrammes et 377 110 radiographies thoraciques, avec des attaques par inférence d’appartenance (MIA), une technique qui détermine si les données d’une personne spécifique ont été utilisées pour entraîner un modèle d’IA donné. L’hypothèse admise dans le domaine était que le risque MIA est suffisamment faible pour que, moyenné sur tous les patients, il ne représente aucune menace réelle.
Cette hypothèse, rapportent les auteurs dans Nature (DOI : 10.1038/s41586-026-10688-0), est dangereusement trompeuse. Le risque n’est pas réparti uniformément, et pour certains patients, il est extrême.
Comment fonctionne une attaque par inférence d’appartenance
Les modèles d’IA médicale sont généralement entraînés sur de grands ensembles de données de dossiers patients, d’images ou de signaux physiologiques. Pour que le modèle performe bien, il doit apprendre les motifs présents dans les données. Mais apprendre ces motifs signifie également ajuster ses paramètres internes d’une manière qui le rend légèrement plus confiant concernant les points de données spécifiques qu’il a vus.
Une MIA exploite ce mécanisme. L’attaquant, qui a accès au modèle entraîné, lui soumet un point de données et enregistre le score de confiance du modèle. Si la confiance est significativement plus élevée que ce qu’un modèle équivalent produirait sans ce point de données, l’attaquant peut déduire que ce point faisait partie de l’ensemble d’entraînement.
Pour les données médicales, cette inférence est dangereuse. Savoir que les données d’une personne spécifique ont été utilisées pour entraîner un modèle, par exemple pour un traitement rare contre le cancer, révèle à un assureur ou à un employeur quelque chose que cette personne souhaiterait peut-être garder privé.
La distribution du risque
Les études précédentes rapportaient le risque MIA comme une moyenne sur tous les patients, généralement un nombre à un seul chiffre. Un modèle avec un risque moyen de 1 % semble sûr. Mais Knolle et ses collaborateurs, dont Daniel Ruckert à TUM et Georg Kaissis au Hasso Plattner Institute, ont découvert que la moyenne cache une distribution profondément inégale.
Les patients issus de groupes minoritaires sous-représentés dans les données d’entraînement sont fortement surreprésentés dans le 99e percentile du risque de violation de la vie privée. Pour ces individus, le taux de succès des MIA peut être considérablement plus élevé que la moyenne, atteignant dans certains cas la certitude pour les patients les plus inhabituels.
La raison est statistique. Un modèle apprend bien les motifs courants, de sorte que la confiance qu’il attribue aux patients typiques est similaire qu’ils fassent partie ou non de l’ensemble d’entraînement. Mais pour un patient rare, disons quelqu’un avec une combinaison inhabituelle de conditions, la confiance du modèle est un signal d’appartenance beaucoup plus fort. Le modèle a vu si peu d’exemples similaires à ce patient que, si ce dernier figurait dans les données d’entraînement, son influence sur les paramètres du modèle est disproportionnée.
Un paradoxe d’échelle
Le problème est amplifié par la tendance même qui rend l’IA médicale utile. À mesure que les modèles deviennent plus grands et plus sophistiqués, ils analysent les données plus en profondeur, créant des changements plus petits et plus détectables dans la probabilité prédictive. Paradoxalement, les grands modèles pourraient être moins respectueux de la vie privée.
De même, plus une cohorte d’entraînement est spécifique, par exemple des patients recevant un traitement particulier contre le cancer, plus le risque pour la vie privée de chaque membre est élevé. La spécificité même qui rend un ensemble de données précieux pour répondre à une question clinique rend également ses membres plus identifiables.
La confidentialité différentielle comme solution
La solution existe. La confidentialité différentielle (DP) ajoute une petite quantité de bruit aléatoire calibré pendant l’entraînement, limitant mathématiquement la quantité d’informations que le modèle peut divulguer sur un individu. Dans les tests de l’équipe, la DP a réduit l’efficacité des MIA tout en maintenant la précision diagnostique.
Mais la DP n’a pas été largement adoptée. La plupart des hôpitaux et cliniques qui développent des modèles d’IA ne l’implémentent pas, soit parce qu’ils ignorent le risque, soit parce qu’ils jugent l’effort d’implémentation inutile.
« L’objectif est de fournir aux individus une garantie statistique qu’aucun préjudice ne leur serait causé en faisant partie d’un ensemble de données », a déclaré Knolle à Physics World. Lui et ses collègues étendent désormais ces travaux aux modèles d’IA générative dans le domaine de la santé, où les risques pour la vie privée pourraient être encore plus grands.
La leçon centrale de l’étude est mathématique, non technique. En matière de vie privée, comme en médecine, les moyennes peuvent induire en erreur. Un risque faible pour le patient moyen n’apporte aucun réconfort au patient pour lequel il est élevé, et tant que les équipes d’IA médicale n’évalueront pas le risque au niveau individuel avant de déployer les modèles, les patients qui ont le plus à gagner de l’IA pourraient aussi avoir le plus à perdre.
Reference: Knolle et al., Nature (2026). DOI: 10.1038/s41586-026-10688-0. Reported by Physics World, July 21, 2026.
Traduit par Lydie