目的借助深度学习技术辅助内镜医师对克罗恩病(Crohn’s disease,CD)、溃疡性结肠炎(ulcerative colitis,UC)与正常(Normal)图像肠镜进行准确诊断。方法收集2018年1月至2020年11月陆军军医大学大坪医院消化内科与浙江大学医学院附属邵...目的借助深度学习技术辅助内镜医师对克罗恩病(Crohn’s disease,CD)、溃疡性结肠炎(ulcerative colitis,UC)与正常(Normal)图像肠镜进行准确诊断。方法收集2018年1月至2020年11月陆军军医大学大坪医院消化内科与浙江大学医学院附属邵逸夫医院消化内科1309例受试者共24492幅肠镜图像,其中包括4729张CD图像(424例)、7074张UC图像(605例)与12689张正常(Normal)图像(280例)。每类按照7∶1∶2的比例将病例随机划分为训练集915例17136张图像,内部测试集131例2626张图像,外部验证集263例4730张图像,分别用于对模型进行训练、测试及验证。针对卷积神经网络(Convolutional Neural Network,CNN)与Transformer网络特征融合问题及肠镜图像畸变问题,本研究基于ResNeSt50与MViTv2构建环形特征融合网络(Ring-Feature Fusion Network,RFFNet)。该网络通过双向通道-空间注意力实现跨阶段特征融合,有效结合CNN局部特征提取与Transformer全局建模优势;引入环形特征融合机制,减轻肠镜图像桶形畸变与景深现象,提升模型对远端肠腔几何特性的适应能力。与现有5种深度学习模型进行对比,通过混淆矩阵展示各模型在外部验证集上的识别结果,利用准确率、灵敏度、特异度、F1值与曲线下面积(area under the curve,AUC)等各项指标验证RFFNet的性能优势;通过消融实验,在外部验证集上利用准确率与F1值等指标验证RFFNet中各改进点的有效性与必要性;通过梯度加权类激活映射(gradient-weighted class activation mapping,Grad-CAM)算法生成类激活映射图,直观地展示模型关注区域。结果RFFNet在外部验证集上总体准确率为95.68%(95%CI:94.14%~98.58%),总体AUC为0.987(95%CI:0.985~0.990)。CD、UC和正常三类别的AUC分别为0.982(95%CI:0.979~0.986)和0.981(95%CI:0.977~0.984)和0.997(95%CI:0.995~0.998);灵敏度分别为93.35%(95%CI:91.67%~94.71%)、94.00%(95%CI:92.60%~95.16%)和98.56%(95%CI:97.99%~98.97%);特异度分别为94.58%(95%CI:93.81%~95.27%)、94.20%(95%CI:93.36%~94.94%)和98.61%(95%CI:98.05%~99.01%);F1值分别为87.81%(95%CI:86.28%~89.25%)、90.05%(95%CI:89.00%~91.25%)和98.58%(95%CI:98.22%~98.92%),表明RFFNet实现了较高精度诊断,与单独使用CNN、Transformer模型相比,RFFNet的总体准确率提升显著,差异具有统计学意义(P<0.05)。消融实验证实,模型能够通过动态空间注意力机制,深度融合CNN的局部细粒度特征提取能力与Transformer的全局上下文建模优势,与只使用CNN模型相比,CNN-Transformer架构的总体准确率提升了0.11%;能够通过环形特征校正肠镜光学畸变与景深衰减,增强对远端肠腔几何结构的建模能力,使用环形特征后RFFNet总体准确率提升了0.57%。类激活映射图表明改进的模型具有自适应捕获肠镜结构特征的能力。结论RFFNet通过双骨干架构深度耦合CNN局部纹理感知与Transformer全局依赖建模,并以环形特征显式校正肠镜畸变,实现了CD、UC与正常黏膜的高精度实时分型,实现了CD、UC和正常图像的高精度实时诊断。展开更多
目的本研究提出了一种基于图注意力网络(graph attention network,GAT)与增强型灰狼优化算法(enhanced-grey wolf optimizer,EGWO)的多组学整合模型EGWO-GAT,实现对膀胱尿路上皮癌(bladder urothelial carcinoma,BLCA)肿瘤样本的分期预...目的本研究提出了一种基于图注意力网络(graph attention network,GAT)与增强型灰狼优化算法(enhanced-grey wolf optimizer,EGWO)的多组学整合模型EGWO-GAT,实现对膀胱尿路上皮癌(bladder urothelial carcinoma,BLCA)肿瘤样本的分期预测。方法基于在加州大学圣克鲁斯分校Xena功能基因组学探索器(University of California,Santa Cruz Xena,UCSC Xena)网站收集的404例癌症基因组图谱(The Cancer Genome Atlas,TCGA)BLCA样本,包含mRNA、DNA甲基化和微小RNA(microRNA,miRNA)数据,将3种组学数据分别进行预处理和差异分析之后得到其节点特征与边特征,以GAT为基础,引入EGWO进行超参数优化,采用多层感知机(multilayer perceptron,MLP)进行后续癌症分期预测。经5折交叉验证分析,将本研究创建的EGWO-GAT模型与多种经典机器学习分期模型的性能进行对比,并进行组学贡献分析和保留不同相似边条数的模型性能比较,采用准确率、精确率、召回率、F1分数及曲线下面积(area under the curve,AUC)作为性能评估的核心指标。结果差异特征筛选结果显示,mRNA组学获得534个差异基因,DNA甲基化组学获得3108个差异探针,miRNA组学获得114个差异miRNA。多模型对比结果表明,当整合所有组学数据类型且保留相似性排名前3的其他患者作为边时,EGWO-GAT模型性能最佳,其AUC值达到0.744,准确率达到0.711,精确率达到0.792,召回率达到0.782,F1分数达到0.785,其综合分类性能显著优于其余经典机器学习方法,且较GS-GAT模型在各项指标上均有明显提升。组学贡献分析显示,全组学(mRNA+DNA甲基化+miRNA)整合的性能显著优于其他6种组学组合方式。相似性边数性能比较结果表明,保留前3条相似边时模型的AUC、准确率、精确率及F1分数均高于保留前5条或7条边的情况,综合性能最优。结论本研究构建的EGWO-GAT多组学整合模型在BLCA分期中性能优异,可为精准分期提供技术支撑,解决因样本异质性引发的临床分期难题,对辅助个体化治疗及改善患者预后意义重大。展开更多
文摘目的借助深度学习技术辅助内镜医师对克罗恩病(Crohn’s disease,CD)、溃疡性结肠炎(ulcerative colitis,UC)与正常(Normal)图像肠镜进行准确诊断。方法收集2018年1月至2020年11月陆军军医大学大坪医院消化内科与浙江大学医学院附属邵逸夫医院消化内科1309例受试者共24492幅肠镜图像,其中包括4729张CD图像(424例)、7074张UC图像(605例)与12689张正常(Normal)图像(280例)。每类按照7∶1∶2的比例将病例随机划分为训练集915例17136张图像,内部测试集131例2626张图像,外部验证集263例4730张图像,分别用于对模型进行训练、测试及验证。针对卷积神经网络(Convolutional Neural Network,CNN)与Transformer网络特征融合问题及肠镜图像畸变问题,本研究基于ResNeSt50与MViTv2构建环形特征融合网络(Ring-Feature Fusion Network,RFFNet)。该网络通过双向通道-空间注意力实现跨阶段特征融合,有效结合CNN局部特征提取与Transformer全局建模优势;引入环形特征融合机制,减轻肠镜图像桶形畸变与景深现象,提升模型对远端肠腔几何特性的适应能力。与现有5种深度学习模型进行对比,通过混淆矩阵展示各模型在外部验证集上的识别结果,利用准确率、灵敏度、特异度、F1值与曲线下面积(area under the curve,AUC)等各项指标验证RFFNet的性能优势;通过消融实验,在外部验证集上利用准确率与F1值等指标验证RFFNet中各改进点的有效性与必要性;通过梯度加权类激活映射(gradient-weighted class activation mapping,Grad-CAM)算法生成类激活映射图,直观地展示模型关注区域。结果RFFNet在外部验证集上总体准确率为95.68%(95%CI:94.14%~98.58%),总体AUC为0.987(95%CI:0.985~0.990)。CD、UC和正常三类别的AUC分别为0.982(95%CI:0.979~0.986)和0.981(95%CI:0.977~0.984)和0.997(95%CI:0.995~0.998);灵敏度分别为93.35%(95%CI:91.67%~94.71%)、94.00%(95%CI:92.60%~95.16%)和98.56%(95%CI:97.99%~98.97%);特异度分别为94.58%(95%CI:93.81%~95.27%)、94.20%(95%CI:93.36%~94.94%)和98.61%(95%CI:98.05%~99.01%);F1值分别为87.81%(95%CI:86.28%~89.25%)、90.05%(95%CI:89.00%~91.25%)和98.58%(95%CI:98.22%~98.92%),表明RFFNet实现了较高精度诊断,与单独使用CNN、Transformer模型相比,RFFNet的总体准确率提升显著,差异具有统计学意义(P<0.05)。消融实验证实,模型能够通过动态空间注意力机制,深度融合CNN的局部细粒度特征提取能力与Transformer的全局上下文建模优势,与只使用CNN模型相比,CNN-Transformer架构的总体准确率提升了0.11%;能够通过环形特征校正肠镜光学畸变与景深衰减,增强对远端肠腔几何结构的建模能力,使用环形特征后RFFNet总体准确率提升了0.57%。类激活映射图表明改进的模型具有自适应捕获肠镜结构特征的能力。结论RFFNet通过双骨干架构深度耦合CNN局部纹理感知与Transformer全局依赖建模,并以环形特征显式校正肠镜畸变,实现了CD、UC与正常黏膜的高精度实时分型,实现了CD、UC和正常图像的高精度实时诊断。
文摘目的本研究提出了一种基于图注意力网络(graph attention network,GAT)与增强型灰狼优化算法(enhanced-grey wolf optimizer,EGWO)的多组学整合模型EGWO-GAT,实现对膀胱尿路上皮癌(bladder urothelial carcinoma,BLCA)肿瘤样本的分期预测。方法基于在加州大学圣克鲁斯分校Xena功能基因组学探索器(University of California,Santa Cruz Xena,UCSC Xena)网站收集的404例癌症基因组图谱(The Cancer Genome Atlas,TCGA)BLCA样本,包含mRNA、DNA甲基化和微小RNA(microRNA,miRNA)数据,将3种组学数据分别进行预处理和差异分析之后得到其节点特征与边特征,以GAT为基础,引入EGWO进行超参数优化,采用多层感知机(multilayer perceptron,MLP)进行后续癌症分期预测。经5折交叉验证分析,将本研究创建的EGWO-GAT模型与多种经典机器学习分期模型的性能进行对比,并进行组学贡献分析和保留不同相似边条数的模型性能比较,采用准确率、精确率、召回率、F1分数及曲线下面积(area under the curve,AUC)作为性能评估的核心指标。结果差异特征筛选结果显示,mRNA组学获得534个差异基因,DNA甲基化组学获得3108个差异探针,miRNA组学获得114个差异miRNA。多模型对比结果表明,当整合所有组学数据类型且保留相似性排名前3的其他患者作为边时,EGWO-GAT模型性能最佳,其AUC值达到0.744,准确率达到0.711,精确率达到0.792,召回率达到0.782,F1分数达到0.785,其综合分类性能显著优于其余经典机器学习方法,且较GS-GAT模型在各项指标上均有明显提升。组学贡献分析显示,全组学(mRNA+DNA甲基化+miRNA)整合的性能显著优于其他6种组学组合方式。相似性边数性能比较结果表明,保留前3条相似边时模型的AUC、准确率、精确率及F1分数均高于保留前5条或7条边的情况,综合性能最优。结论本研究构建的EGWO-GAT多组学整合模型在BLCA分期中性能优异,可为精准分期提供技术支撑,解决因样本异质性引发的临床分期难题,对辅助个体化治疗及改善患者预后意义重大。
