微软发布 GigaPath-Flash 与 GigaTIME-Flash：高效病理基础模型迈向群体级发现
GigaPath-Flash and GigaTIME-Flash: Toward population-scale discovery with efficient pathology foundation models
AI 导读
微软研究院推出 GigaPath-Flash 和 GigaTIME-Flash，以蒸馏自十亿参数 GigaPath 编码器的 22M 参数 ViT-S 骨干大幅降低病理分析算力需求。
正文· AI 翻译
概览
- Flash 系列在 GigaPath 和 GigaTIME 的基础上进行了扩展，效率大幅提升，使大规模病理研究更加可及、更具实用性。
- 经过蒸馏的病理基础模型骨干在保持性能的同时降低了计算需求，从而能够对更大规模的患者队列进行反复分析。
- 这些开放模型支持人群规模的发现，帮助研究人员在多样化的癌症数据集中探究疾病生物学、生物标志物和临床结局。
GigaPath（在新标签页中打开）和GigaTIME（在新标签页中打开）展示了基础模型如何利用常规采集的病理数据支持全切片分析和肿瘤微环境建模。GigaPath-Flash 和 GigaTIME-Flash 使这些能力显著更加高效，让研究人员能够分析更大的队列、运行更多实验，并朝着人群规模的发现迈进。 GigaPath-Flash 和 GigaTIME-Flash 是研究模型。它们并非为临床用途而设计或验证，包括诊断、预后、治疗选择或其他患者护理决策。性能可能因数据集、扫描仪、机构、人群和使用场景而异。
计算病理学中的规模机遇
组织病理学是癌症研究中信息最丰富、最广泛可用的来源之一。每一次组织活检都会产生一张全切片图像，以亚细胞分辨率捕捉细胞形态——而医院每年会产生数百万张这样的切片。这些数据包含与诊断、预后、治疗选择以及肿瘤微环境生物学相关的信息。
基础模型已开始大规模释放这些信息。但全切片图像体积庞大——通常超过十亿像素——即使对单张切片应用基础模型，也需要处理数千个图像块。当研究问题涉及数万名患者时，计算成本会迅速增长。而人群规模的发现并非一次模型运行：它需要在患者亚组、生物标志物和临床终点之间反复进行特征提取、统计分析、假设检验和验证。
计算成本限制了研究人员能够研究的患者数量、数据集、任务和假设。要充分发挥病理基础模型的潜力，我们需要能够在庞大患者群体中反复、经济地应用的模型。
从 GigaPath 和 GigaTIME 到 -Flash 系列
GigaPath（Nature，2024）（在新标签页中打开）是一个全切片基础模型，基于 Providence 的大规模真实世界组织病理学数据预训练。与仅在图像块层面运行的模型不同，GigaPath 学习整张切片的上下文化表示，同时捕捉局部细胞模式和全局组织结构。
GigaTIME（Cell，2026）（在新标签页中打开）将这一研究方向扩展到肿瘤微环境。GigaTIME 基于 4000 万个细胞、配对 H&E 与多重免疫荧光（mIF）数据进行训练，可将常规 H&E 图像转换为覆盖 21 个蛋白通道的虚拟空间蛋白质组图谱。将其应用于超过 14,000 名癌症患者后，它生成了一个虚拟人群，并揭示了免疫细胞状态与临床生物标志物之间超过 1,200 个具有统计学显著性的关联。
GigaPath 和 GigaTIME 解决了病理数据的规模和生物学发现的问题。而现在，Flash 系列模型解决了实验规模的问题。
推出 GigaPath-Flash 和 GigaTIME-Flash
Flash 系列共享一个核心设计目标：在保留有用的病理表征的同时，大幅降低生成和使用这些表征所需的计算资源。两个模型都构建在一个通用高效主干之上——一个从原始十亿参数 GigaPath 编码器蒸馏而来的紧凑 ViT-S 切片块编码器——并且都以 Apache 2.0 许可证发布。
GigaPath-Flash
GigaPath-Flash 是一个用于全切片表征学习的高效基础模型。它将一个 2200 万参数的 ViT-S 切片块编码器与一个 2100 万参数的 LongNet 全切片编码器相结合。切片块编码器从原始 GigaPath ViT-g 教师模型蒸馏而来，将十亿参数模型的表征能力迁移到一个规模小一个数量级的主干中。全切片编码器通过膨胀注意力为所有切片块嵌入提供上下文，其计算量随切片块数量线性扩展。
在全切片级分类基准（PANDA 前列腺分级和 EBRAINS 脑肿瘤亚型分类）上，GigaPath-Flash 在全切片预训练模型中实现了最低的推理成本，同时保持有竞争力的性能——在计算量约少 50 倍的情况下，得分与原始 GigaPath 相差在 3% 以内。
GigaTIME-Flash
GigaTIME-Flash 用 GigaPath-Flash ViT-S 编码器替代原始 GigaTIME 的 CNN 主干，并搭配一个轻量级卷积解码器进行 H&E 到 mIF 的转换。该模型使用 LoRA 适配器进行微调，预训练编码器权重基本保持冻结。
在涵盖脑癌、乳腺癌、结肠癌和肺癌的分布内与分布外队列上，GigaTIME-Flash 在空间蛋白预测质量上达到或优于原始 GigaTIME。这些提升在分布外数据上尤为显著，表明基础模型主干改善了对先前未见组织类型的泛化能力。
不放弃基础的高效率
Flash 模型的效率提升十分显著：
| 模型 | 类型 | 效率提升 |
|---|---|---|
| GigaPath-Flash | 全切片基础模型 | 与 GigaPath 相比，计算量减少约 50 倍，预测性能达到其 97% |
| GigaTIME-Flash | 空间蛋白质组学 | 与 GigaTIME 相比，速度提升约 6 倍，内存占用减少约 8 倍，预测性能更优 |
对于单张切片，这些差异降低了运行时间和硬件需求。而在数万张切片的规模上，它们可能决定一项实验是否可行。为说明这一点，我们估算了在单块 A100 GPU 上为不同规模队列生成虚拟 mIF 的实际耗时，假设每张切片约含 10,000 个图块：
| 模型 | 1,000 张切片 | 10 万张切片 | 100 万张切片 |
|---|---|---|---|
| GigaTIME-Flash | 约 2 GPU 小时 | 约 7 GPU 天 | 约 70 GPU 天 |
| GigaTIME | 约 7 GPU 小时 | 约 30 GPU 天 | 约 300 GPU 天 |
开放模型发布
GigaPath-Flash 和 GigaTIME-Flash 均以 Apache 2.0 许可证作为开放权重模型发布。模型权重和代码可在 HuggingFace 上获取：
- GigaPath-Flash（在新标签页中打开）
- GigaTIME-Flash（在新标签页中打开）
- GigaPath-Flash 和 GigaTIME-Flash：用于全切片和肿瘤微环境分析的高效病理基础模型
这是一次早期研究发布。我们目前的评估仅覆盖有限的基准和队列，仍需在更多任务、扫描仪和患者群体上进行更广泛的验证。我们预计这些模型最有价值的应用将包括超出我们初始实验范围的科学问题、队列和用例。我们欢迎社区评估，同样关注这些模型在哪些方面表现良好、在哪些方面存在不足的报告。
下游临床应用将需要额外的多机构验证和前瞻性验证。
效率作为发现的推动力
GigaPath 和 GigaTIME 展示了病理基础模型能够从全切片和肿瘤组织中学习到什么。GigaPath-Flash 和 GigaTIME-Flash 是朝着让这些能力可应用于更大规模人群、更多实验和更广泛研究社区迈出的一步。
通过让病理基础模型更加高效，我们希望扩大研究人员能够提出的科学问题的规模。
致谢
GigaPath-Flash 和 GigaTIME-Flash 是 Microsoft Research、华盛顿大学和 Providence 的联合工作。技术细节请参阅论文。
论文合著者：Naoto Usuyama, Jeya Maria Jose Valanarasu, Sicong Yao, Hanwen Xu, Jaspreet Bagga, Guanghui Qin, Robert E. Kramer, Cliff Wong, Soohee Lee, Hao Qiu, Theodore Zhengde Zhao, Racheli Ben Shimol, Angela Crabtree, Kevin Matlock, Eduardo Alejandro Lozano Garcia, Naiteek Sangani, Alberto Santamaria-Pang, Maximilian Rokuss, Yashna Hasija, Naisargi Manishkumar Patel, Jason Entenmann, Alexandra Q. Bartlett, Bill J. Wright, Bernard A. Fox, Brian Piening, Sheng Zhang, Sheng Wang, Tristan Naumann, Carlo Bifulco, Hoifung Poon
在新标签页中打开
文章GigaPath-Flash 和 GigaTIME-Flash：借助高效病理基础模型迈向群体规模发现首次发表于Microsoft Research。