-
题名融合病理图像和基因组学多模态的癌症生存预测
- 1
-
-
作者
张雪芹
李悦欣
刘畅
周韵斓
-
机构
华东理工大学信息科学与工程学院
上海交通大学医学院附属新华医院临床检验实验室
-
出处
《华东理工大学学报(自然科学版)》
北大核心
2025年第4期505-513,共9页
-
基金
国家社会科学基金重大项目(23&ZD142)。
-
文摘
融合病理图像和基因组学多模态数据进行生存预测有助于提高癌症患者生存预测的准确性,从而为个性化医疗和精准治疗提供更加可靠的依据。为了提高生存预测的准确性,针对病理图像和基因组学两个模态数据,提出了一种基于中期特征融合的生存预测方法,从“全局-局部-全局”3个层面来挖掘多模态数据间的潜在关系。该方法采用多示例学习,基于ResNet50网络提取全尺寸病理图像示例级特征,采用自归一化网络提取基因组学特征;使用相似性度量方法学习模态间的全局相似语义信息,利用双向交叉注意力模块挖掘模态间的密集局部联系,通过最优传输方法捕获模态间的全局结构一致性,同时使用基于Transformer编码器和门控注意力池化层构建的聚合器聚合形成包级特征,最后采用估计危险函数预测得到癌症患者生存风险。在膀胱尿道上皮癌(BLCA)、肺腺癌(LUAD)和子宫体内膜癌(UCEC)这3个公共全尺寸病理图像数据集上的实验结果表明,本文所提方法优于其他对比方法,能够有效融合病理图像和基因组学数据,显著提高生存预测的准确性。
-
关键词
病理图像
基因组学
多模态数据融合
深度神经网络
生存预测
-
Keywords
pathology images
genomics
multimodal data fusion
deep neural network
survival prediction
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
