一种名为NeuroVFM的新型神经影像基础模型证明，在未经整理的医院数据上进行自监督学习,,无需放射科报告、疾病标签或人工筛选,,可以在156项诊断任务（包括前瞻性分诊）中优于语言监督模型。该研究发表在《自然·医学》上，代码和模型权重已在GitHub上发布。
NeuroVFM基于Vol-JEPA构建，这是一种自监督算法，将Meta的JEPA（联合嵌入预测架构）从2D图像扩展到3D医学体积。Vol-JEPA不是重建单个体素（像素的3D等效物），而是通过预测缺失的潜在表示来学习。模型在每个体积的掩码部分上进行训练，利用可见的上下文补丁来预测更大的掩码目标区域的内容。这种方法不需要标签、放射学文本或体素解码器。
名为UM-NeuroImages的训练数据集包含524万份临床MRI和CT体积数据，来自密歇根医学院20多年来收集的566,915项研究。这些数据未经整理,,包括来自多个扫描仪制造商和协议的不同质量的常规临床扫描,,使其代表真实世界的医院数据，而非经过清洗的研究语料库。
结果在性能和效率方面都值得关注。在156项诊断任务（74项MRI和82项CT）的宏观平均AUROC主要终点上，NeuroVFM在MRI上达到92.49，在CT上达到92.68。它以1到4个百分点的优势超过了语言监督训练模型（HLIP、PRIMA）、体素重建模型（NeuroMAE）和2D自监督方法（DINOv3、BiomedCLIP）。训练所需GPU时间少于1,000小时，比可比的3D自监督基线快七倍以上。
NeuroVFM的冻结视觉表示可以重复用于多个下游任务，无需微调。一个诊断头从嵌入中预测156种状况。名为NeuroVFM-LLaVA的视觉语言变体将冻结编码器与Qwen3-14B语言模型配对，生成结构化的放射学风格报告。
一项为期一周、涉及1,155项研究的医疗系统前瞻性盲法研究评估了NeuroVFM-LLaVA的临床分诊能力。它达到了92.6%的平衡分诊准确率,,显著高于GPT-5的71.2%,,并漏掉了155个关键发现中的21个，漏检率为13.5%，而GPT-5为50.3%。作者将该系统定位为决策支持而非自主筛查。
该模型还展示了跨模态泛化能力：仅在CT体积上训练并在MRI上评估的诊断探针AUROC下降不到5个百分点，表明该模型学习了神经解剖学和病理学的模态不变表示。
婷 翻译
来源：Meet NeuroVFM: Neuroimaging Foundation Model with Vol-JEPA (MarkTechPost, 2026年7月12日)；NeuroVFM on GitHub