影像基因组学认为神经影像与基因之间存在着一定程度的相关性,利用遗传变异与影像数据进行疾病分析愈发受研究人员重视。在实践中,临床医生拥有的数据规模往往较小,但仍然希望使用深度学习来解决现实问题。考虑到不断扩大的数据规模与...影像基因组学认为神经影像与基因之间存在着一定程度的相关性,利用遗传变异与影像数据进行疾病分析愈发受研究人员重视。在实践中,临床医生拥有的数据规模往往较小,但仍然希望使用深度学习来解决现实问题。考虑到不断扩大的数据规模与昂贵的标注成本,构建能够利用多模态数据的无监督学习方法十分必要。为了满足上述需求,提出了一种基于影像与基因多模态表格数据对比学习的表征学习方法(multimodal tabular data with contrastive learning,MTCL),该模型利用了静息态功能磁共振成像(rs-fMRI)和单核苷酸多态性(single nucleotide polymorphisms,SNP)数据,无需数据的任何标签信息。为了增强可解释性,模型先通过特征提取模块将rs-fMRI和SNP数据转换为表格类型结构,再通过多模态表格数据对比学习模块对多模态数据进行融合,并获得融合后的数据表征。在重度抑郁症(major depression disorder,MDD)数据上,文中提出的方法能够有效提升MDD诊断性能。此外,MTCL方法结合了模型归因方法挖掘与MDD相关的影像和遗传生物标记物,提高了模型的可解释性,有助于研究人员对疾病发病机制的理解。展开更多
文摘影像基因组学认为神经影像与基因之间存在着一定程度的相关性,利用遗传变异与影像数据进行疾病分析愈发受研究人员重视。在实践中,临床医生拥有的数据规模往往较小,但仍然希望使用深度学习来解决现实问题。考虑到不断扩大的数据规模与昂贵的标注成本,构建能够利用多模态数据的无监督学习方法十分必要。为了满足上述需求,提出了一种基于影像与基因多模态表格数据对比学习的表征学习方法(multimodal tabular data with contrastive learning,MTCL),该模型利用了静息态功能磁共振成像(rs-fMRI)和单核苷酸多态性(single nucleotide polymorphisms,SNP)数据,无需数据的任何标签信息。为了增强可解释性,模型先通过特征提取模块将rs-fMRI和SNP数据转换为表格类型结构,再通过多模态表格数据对比学习模块对多模态数据进行融合,并获得融合后的数据表征。在重度抑郁症(major depression disorder,MDD)数据上,文中提出的方法能够有效提升MDD诊断性能。此外,MTCL方法结合了模型归因方法挖掘与MDD相关的影像和遗传生物标记物,提高了模型的可解释性,有助于研究人员对疾病发病机制的理解。
