Nature子刊最新多模态模型，仅靠618 例患者数据支撑，即可实现非小细胞肺癌患者DFS与OS的高精度预测

小罗碎碎念

这篇文章聚焦于非小细胞肺癌（NSCLC）预后预测，开发了整合全切片图像（WSIs）和密集临床数据的多模态AI模型AIM-LCpro，采用患者级弱监督学习方法，通过两阶段训练策略实现对DFS和OS的高精度预测。

在618例患者数据验证中，测试集预测进展和死亡的AUC分别达0.8084和0.8021，平衡准确率为0.7047和0.6884，且高风险与低风险组生存差异显著（HR分别为4.85和4.57，P<0.0001）。

文章进一步通过热图可视化和特征重要性分析，发现微乳头状腺癌、实体腺癌等组织学亚型及肿瘤微环境中的基质区域等新型数字生物标志物，临床数据中转移淋巴结数量、肿瘤位置等特征亦对预后预测有重要贡献。

该研究不仅为NSCLC术后决策提供了精准工具，其无需手动标注的弱监督学习框架也为医学AI在病理图像分析中的应用提供了新思路，不过研究仍存在未纳入后续治疗信息、样本量需扩大等局限性。

对于从事医学AI研究的人员而言，文章中多模态数据融合策略、弱监督学习在病理图像中的应用方法，以及数字生物标志物的挖掘思路，均具有重要的参考价值，有助于推动AI模型在肿瘤预后预测及临床决策支持领域的进一步发展。

交流群

欢迎大家加入【医学AI】交流群，本群设立的初衷是提供交流平台，方便大家后续课题合作。

目前小罗全平台关注量71,000+，交流群总成员1600+，大部分来自国内外顶尖院校/医院，期待您的加入！！

由于近期入群推销人员较多，已开启入群验证，扫码添加我的联系方式，备注姓名-单位-科室/专业，即可邀您入群。

了解/加入我们的团队

我们是一支以国内外硕博为主的学生团体，覆盖医学AI主流研究领域。

我们团队提供学术交流、科研合作、数据分析等一系列服务，欢迎医学AI领域的有志青年加入我们！

感兴趣的可以扫码或者点击链接访问我们团队的官网：https://www.lxltx.site/

一、文献概述

1-1：研究背景与目的

• 疾病负担：肺癌是癌症相关死亡的主要原因，非小细胞肺癌（NSCLC）占所有肺癌病例的85%。目前临床主要依靠TNM分期指导治疗，但同一分期患者的临床结局差异显著，仅基于TNM分期难以准确判断术后干预需求。
• 现有挑战：早期NSCLC患者术后仍有疾病进展或死亡风险，而需要术后干预的患者中也有部分无需治疗即可保持无病生存。因此，准确预测NSCLC患者的无病生存期（DFS）和总生存期（OS）对个性化治疗至关重要。
• 研究目标：开发一种多模态人工智能（AI）模型，整合全切片图像（WSIs）和密集临床数据，以高精度预测接受手术的NSCLC患者的DFS和OS，并识别与不良预后相关的新型数字生物标志物。

1-2：研究方法

• 研究队列：纳入2016年1月至2017年11月在北京胸科医院接受肺手术的618例NSCLC患者，分为训练集（428例）、验证集（62例）和测试集（125例）。
• 数据采集：获取患者的WSIs（HE染色，2629张）和临床数据（包括年龄、性别、吸烟史、TNM分期等）。
• 模型构建：采用患者级弱监督学习方法，开发多模态AI模型AIM-LCpro，整合WSIs和临床数据。模型分为图像编码器和临床编码器，通过两阶段训练策略（分类训练和回归训练）预测DFS和OS。
• 性能评估：使用ROC曲线、AUC、平衡准确率、Harrell’s C-index等指标评估模型性能，并通过Kaplan-Meier曲线和对数秩检验比较高风险和低风险组的生存差异。
• 特征分析：通过热图可视化病理特征，分析临床数据和病理图像的特征重要性，识别与预后相关的数字生物标志物。

1-3：研究结果

• 模型性能：在测试集中，预测5年疾病进展的AUC为0.8084，预测5年死亡的AUC为0.8021；平衡准确率分别为0.7047和0.6884，Harrell’s C-index分别为0.7748和0.7775。多模态模型性能显著优于单模态模型（临床数据或病理图像）。
• 风险分组：模型将患者分为高风险和低风险组，测试集中高风险组与低风险组的疾病进展和死亡风险比（HR）分别为4.85和4.57，均具有统计学显著性（P<0.0001）。在无需术后干预和需要术后干预的患者中，风险分组差异也具有统计学意义。
• 预测与实际生存一致性：模型预测的DFS和OS与实际生存数据一致，无统计学显著差异。
• 特征重要性：临床数据中，预测疾病进展的前三大特征为 Lepidic腺癌比例、第2和4组转移淋巴结数量、肿瘤位置；预测死亡的前三大特征为胸腔积液、家族史、淋巴结清扫。
• 数字生物标志物：通过热图分析，识别出与不良预后相关的病理特征，如微乳头状腺癌（MPA）、实体腺癌（SPA）、肿瘤细胞的异常核形态和有丝分裂象，以及肿瘤微环境中的基质区域（包括微血管、成纤维细胞和细胞外基质）。

1-4：讨论

• 模型优势：AIM-LCpro是首个整合WSIs和密集临床数据的多模态模型，无需手动标注WSIs，能够准确预测NSCLC患者的DFS和OS，并识别新型数字生物标志物，为术后决策提供精准工具。
• 临床意义：模型可帮助临床医生判断患者是否需要术后干预，避免过度治疗或治疗不足，实现个性化治疗。
• 局限性：未纳入进展后的后续治疗信息，模型的临床效益尚未验证，样本量相对较小，需要更大样本量的研究进一步验证。
• 未来方向：进一步验证数字生物标志物的临床有效性，探索模型在指导术后治疗策略中的应用，扩大样本量以提高模型的预测能力。

二、方法细节

2-1：研究人群与纳入/排除标准

本研究纳入了2016年1月至2017年11月期间在北京胸科医院接受肺手术的641例非小细胞肺癌（NSCLC）患者，排除23例后，最终纳入618例患者组成BCH研究队列。

纳入标准

• （1）接受根治性手术的NSCLC患者，或因肺功能差接受肺手术但未行淋巴结清扫的NSCLC患者；
• （2）同意随访的NSCLC患者，潜在纳入0至IIIB期患者。

排除标准

• （1）患有其他不可治愈恶性肿瘤的患者；
• （2）术后5年内进展前因其他疾病死亡的患者；
• （3）所有原发肿瘤组织在福尔马林固定前被冷冻的病例。

2-2：全切片图像（WSI）获取

选择所有原发肿瘤组织的苏木精-伊红（HE）染色切片，排除冰冻切片和冰冻石蜡切片。

本研究中所有WSI均为福尔马林固定石蜡包埋（FFPE）的原发肿瘤组织全切片H&E染色图像，为BCH研究队列获取了共2629张WSI，使用KFBio KF-PRO-400扫描仪扫描，并以×400、×200、×100和×50的放大倍数保存。

2-3：临床数据获取

临床变量从住院病历中收集，包括年龄、性别、吸烟史、家族史、TNM分期、淋巴结清扫和转移情况、肿瘤大小、CT数据、术后治疗及危险因素（补充表14）。

危险因素包括低分化肿瘤、血管浸润、楔形切除、脏层胸膜受累和未知淋巴结状态。

所有患者通过电话和门诊服务进行随访，所有患者的术后随访期超过5年。

TNM分期基于术后病理报告，根据第八版UICC/AJCC非小细胞肺癌TNM分期标准进行。

2-4：训练、验证和测试数据集划分

BCH研究队列分为用于预测5年进展的训练集（428例患者）、验证集（62例患者）和测试集（125例患者）（补充表15），以及用于预测5年死亡的训练集（426例患者）、验证集（62例患者）和测试集（125例患者）（补充表16）。

训练集、验证集和测试集具有可比性（补充表17和18）。

队列中有3例患者进展状态未知，8例患者生命状态未知，这些患者被纳入训练集并参与部分训练过程，仅在评估其参与的训练过程特定阶段时进行分析。

2-5：图像分割与特征提取

使用RGB通道像素方差计算过滤玻璃区域，提取组织区域并在×20放大倍数下切割成2048×2048像素的图像块，然后将每个图像块分成64个256×256像素的实例。

基于患者是否在5年内进展对CAMEL2进行预训练，同样基于患者是否在5年内死亡对CAMEL2进行预训练，这两个过程相互独立，获得两个预训练的CAMEL2模型。

对于图像特征，使用预训练的CAMEL2弱监督框架从训练集的图像块中提取特征，从CAMEL2中提取中间特征作为图像块的图像特征表示，该增强框架的核心是实例级分类器，为模型的可解释性和可视化奠定基础。

每个图像块有两个图像特征表示，分别用于进展和死亡。为获得患者级图像特征表示，根据CAMEL2输出的预测概率对所有图像块的图像特征表示进行降序排序，然后对前10%的图像块级特征取平均值，生成患者级图像特征表示。

2-6：临床数据标准化与归一化

临床数据包含离散变量和分类变量。

离散变量通过将值缩放到0到1之间进行归一化，而性别和疾病类型等分类变量则使用位置编码进行独热编码，其中一维向量表示二维信息。

2-7：多模态AI模型架构

研究采用两阶段训练策略：首先对预后指标（进展和死亡）进行分类训练，然后基于分类模型权重对时间预测（进展时间和死亡时间）进行回归训练。

2-8：训练过程与算法选择

训练集患者的预处理临床特征通过临床特征网络以获取临床特征表示，该网络由线性层、批量归一化层和ReLU层组成。

患者级图像和临床特征表示被连接并输入到分类头网络，输出进展或死亡的概率。分类头网络包含线性层、批量归一化层和ReLU层，在最后阶段有两个独立的线性层，网络使用交叉熵损失进行训练。

对于回归训练，临床特征网络权重被冻结，两个独立的时间预测头网络被训练以输出进展和死亡时间。时间预测头由线性层、批量归一化层、ReLU层和最终的Sigmoid层组成，输出乘以60以获得具体的进展或死亡月份，网络使用L1损失函数进行训练。

在推理过程中，网络同时输出分类结果和时间预测，对于分类为负样本的患者，相应时间设置为60个月，否则保留网络的原始预测输出。

线性层是神经网络中最基本的层之一，也称为全连接层或密集层，多个线性层的作用是通过线性变换捕捉数据中的复杂关系。

批量归一化通过沿批量维度提取均值和方差来标准化输入数据，减少内部协变量偏移，从而加速训练过程并增强模型稳定性。ReLU激活函数引入非线性，使神经网络能够学习和表示更复杂的函数关系，通过堆叠多个ReLU激活函数，神经网络可以构建高度非线性的映射，从而更好地拟合复杂的数据分布。

Sigmoid层是神经网络中常用的激活函数层，它将任何实数映射到区间(0,1)。

2-9：模型阈值选择与性能评估

模型为每位患者分配一个5年内进展或死亡的概率。

在训练和验证集中，基于敏感性、特异性、准确性和Youden指数选择阈值，并将这些阈值应用于测试集以评估模型性能。

对于无需术后治疗的患者，5年内进展和死亡的阈值分别选择为0.1461和0.2092；对于需要术后治疗的患者，使用的阈值为0.3123和0.3391，这些阈值均应用于测试集。

为确保训练、测试和验证期间模型评估的可靠性、可重复性和公平性，研究使用了标准化指标，重点是使用受试者工作特征（ROC）曲线及其相关指标分析性能。

ROC曲线下面积（AUC）量化了模型在所有分类阈值下的性能，AUC范围从0到1，值越接近1表示判别能力越强，该指标在不平衡数据集中特别稳健，因为它不受类分布偏斜的影响。

三、AIM-LCpro 概述

3-1：系统架构

AIM-LCpro 实现了五阶段流水线架构，通过特征提取、预处理、模型训练、阈值优化和生存预测的连续阶段处理多模态医疗数据。

• 层级（Layer）：Input Data Layer（输入数据层 ）、Feature Extraction Layer（特征提取层 ）、Model Training Layer（模型训练层 ）、Prediction Layer（预测层 ）、Output Results（输出结果 ）。
• 输入数据：Whole - Slide Images (WSIs)（全玻片图像 ）、Dense Clinical Data (CSV files)（密集临床数据，CSV文件形式 ）。
• 脚本及功能：
  • image_feature_extract.py：用ResNet50提取图像特征 ；
  • processing_features.py：预处理临床数据 ；
  • feature_train_mlp.py：MLP模型训练与ROC分析 ；
  • threshold.py：双阈值投票策略 ；
  • survival_prediction.py：最终生存预测 。
• 输出结果：DFS Predictions（无病生存期预测 ）、OS Predictions（总生存期预测 ）、ROC Curves & Metrics（ROC曲线及指标 ）。

3-2：核心流水线组件

AIM-LCpro 由五个主要可执行脚本组成，形成完整的预测流水线。每个脚本独立运行，同时保持数据流依赖关系。

脚本区分

3-3：多模态数据处理流程

双路径处理方法支持图像和临床数据的专门处理，同时保持多模态融合的集成点。系统使用单独的存储目录（five_live/、five_die/）按生存结局组织特征。

• 原始数据输入（Raw Data Inputs）：包含WSI Images（格式为.jpg、.png、.jpeg ）和Clinical Data（格式为train.csv、val.csv、test.csv ） 。
• 特征工程（Feature Engineering）：
  • 图像特征提取：用ResNet50_pretrained ImageNet weights处理WSI Images，得到Image Features（文件为five_live/.pt、five_die/.pt ） 。
  • 临床数据处理：通过OneHot + Normalization操作，生成Processed Clinical Concatenated features 。
• 模型组件（Model Components）：MoE Model（输入通道input_channel=2108 ），经mlp_five_live_die_cla_1024_cat_3进行多模态融合（Multimodal fusion ） 。
• 预测输出（Prediction Outputs）：输出Survival Predictions（DFS/OS probabilities，即无病生存/总生存概率 ）和Performance Metrics（ROC curves, AUC scores，即ROC曲线、AUC分数 ） 。

3-4：输入和输出规范

输入要求

• 图像数据：
  • 格式：全玻片组织病理图像（WSIs）
  • 支持格式：.jpg、.png、.jpeg
  • 处理：使用ResNet50基于图像块提取特征
• 临床数据：
  • 格式：包含密集临床变量的CSV文件
  • 组织：单独的训练/验证/测试集拆分
  • 处理：独热编码和归一化

输出结果

• 生存预测：
  • 无病生存期（DFS）概率
  • 总生存期（OS）概率
  • 患者级风险分层
• 性能指标：
  • ROC曲线和AUC分数
  • 双阈值投票结果
  • 模型评估报告
• 模型产物：
  • 训练好的模型检查点（.pt文件）
  • 特征提取输出
  • 优化结果

3-5：系统依赖与安装

先决条件

系统需要Python 3.x及以下核心依赖项：

• TensorFlow：深度学习框架
• Keras：高级神经网络API
• NumPy：数值计算
• Matplotlib：可视化和绘图
• Pandas：数据操作和分析

安装

pip install tensorflow keras numpy matplotlib pandas

执行模式

每个流水线组件可使用标准Python命令独立执行：

python image_feature_extract.py
python processing_features.py  
python feature_train_mlp.py
python threshold.py
python survival_prediction.py

结束语

本期推文的内容就到这里啦，如果需要获取医学AI领域的最新发展动态，请关注小罗的推送！如需进一步深入研究，获取相关科研服务，欢迎扫码前往我们团队的主页！