Un nouveau modèle de fondation en neuroimagerie appelé NeuroVFM a démontré que l’apprentissage auto-supervisé sur des données hospitalières non triées, sans rapports de radiologues, étiquettes de maladies ni curation manuelle, peut surpasser les modèles supervisés par le langage sur 156 tâches diagnostiques, y compris le triage prospectif. Les travaux sont publiés dans Nature Medicine, avec le code et les poids du modèle disponibles sur GitHub.
NeuroVFM est construit sur Vol-JEPA, un algorithme auto-supervisé qui étend l’architecture JEPA (Joint-Embedding Predictive Architecture) de Meta des images 2D aux volumes médicaux 3D. Au lieu de reconstruire des voxels individuels, l’équivalent 3D des pixels, Vol-JEPA apprend en prédisant des représentations latentes manquantes. Le modèle est entraîné sur des portions masquées de chaque volume, en utilisant des patches de contexte visibles pour prédire le contenu de régions cibles masquées plus grandes. Cette approche ne nécessite ni étiquettes, ni texte radiologique, ni décodeur de voxels.
L’ensemble de données d’entraînement, appelé UM-NeuroImages, comprend 5,24 millions de volumes d’IRM et de tomodensitométrie cliniques provenant de 566 915 études collectées sur plus de 20 ans à Michigan Medicine. Les données ne sont pas triées, elles incluent des scanners cliniques de routine de qualité variable, provenant de plusieurs fabricants et protocoles, ce qui les rend représentatives des données hospitalières réelles plutôt que d’un corpus de recherche nettoyé.
Les résultats sont remarquables à la fois en termes de performance et d’efficacité. Sur le critère principal de l’AUROC macro-moyennée sur 156 tâches diagnostiques, 74 IRM et 82 tomodensitométries, NeuroVFM a obtenu 92,49 en IRM et 92,68 en tomodensitométrie. Il a surpassé les modèles entraînés avec supervision linguistique (HLIP, PRIMA), reconstruction de voxels (NeuroMAE) et approches auto-supervisées 2D (DINOv3, BiomedCLIP) par des marges de 1 à 4 points. L’entraînement a nécessité moins de 1 000 heures GPU, soit plus de sept fois plus rapide qu’une base de référence auto-supervisée 3D comparable.
Les représentations visuelles figées de NeuroVFM peuvent être réutilisées pour plusieurs tâches en aval sans ajustement. Une tête de diagnostic prédit 156 conditions à partir des embeddings. Une variante vision-langage appelée NeuroVFM-LLaVA, associant l’encodeur figé à un modèle de langage Qwen3-14B, génère des résultats structurés de type radiologique.
Une étude prospective silencieuse d’une semaine dans un système de santé, portant sur 1 155 études, a évalué NeuroVFM-LLaVA pour le triage clinique. Elle a atteint une précision de triage équilibrée de 92,6 %, nettement supérieure à GPT-5 avec 71,2 %, et a manqué 21 sur 155 résultats critiques, soit un taux d’échec de 13,5 % contre 50,3 % pour GPT-5. Les auteurs présentent le système comme une aide à la décision plutôt qu’un dépistage autonome.
Le modèle démontre également une généralisation cross-modale : une sonde diagnostique entraînée uniquement sur des tomodensitométries et évaluée sur des IRM a subi une baisse de moins de 5 points d’AUROC, suggérant que le modèle apprend des représentations invariantes de la modalité de la neuroanatomie et de la pathologie.
Traduit par Lydie
Sources : Meet NeuroVFM: Neuroimaging Foundation Model with Vol-JEPA (MarkTechPost, 12 juil. 2026) ; NeuroVFM sur GitHub