基于GAN和多尺度空间注意力的多模态医学图像融合 被引量：3

1

作者 林予松 李孟娅 +1 位作者 李英豪 赵哲 《郑州大学学报（工学版）》 CAS 北大核心 2025年第1期1-8,共8页

针对多模态医学图像融合过程中多尺度特征和纹理细节信息丢失的问题,提出一种基于生成对抗网络和多尺度空间注意力的图像融合算法。首先,生成器采用自编码器结构,分别利用编码器和解码器对输入图像进行特征提取、融合和重建,生成融合图... 针对多模态医学图像融合过程中多尺度特征和纹理细节信息丢失的问题,提出一种基于生成对抗网络和多尺度空间注意力的图像融合算法。首先,生成器采用自编码器结构,分别利用编码器和解码器对输入图像进行特征提取、融合和重建,生成融合图像;其次,整个对抗网络框架采用双鉴别器结构,使得生成器生成的融合图像同时保留多个模态图像的显著特征;最后,构建一种多尺度空间注意力作为编码器进行特征提取的基本模块,利用多尺度结构充分捕获并保留源图像的多尺度特征,并且引入空间注意力更好地保留源图像的结构和细节信息。全脑图谱数据库上的实验结果表明:所提算法生成的融合图像不仅纹理细节更为丰富,有助于人类视觉观察,而且在3种不同类型的医学图像融合任务上平均梯度、峰值信噪比、互信息、视觉信息保真度等客观评价指标的平均值分别达到0.3023、20.7207、1.4414、0.6498,与其他先进的算法相比具有一定的优势。 展开更多

关键词 图像融合 多模态医学图像 生成对抗网络 特征金字塔 注意力机制

在线阅读 下载PDF 职称材料

基于结构功能交叉神经网络的多模态医学图像融合 被引量：1

2

作者 邸敬 郭文庆 +2 位作者 任莉 杨燕 廉敬 《光学精密工程》 EI CAS CSCD 北大核心 2024年第2期252-267,共16页

针对多模态医学图像融合中存在纹理细节模糊和对比度低的问题,提出了一种结构功能交叉神经网络的多模态医学图像融合方法。首先,根据医学图像的结构信息和功能信息设计了结构功能交叉神经网络模型,不仅有效地提取解剖学和功能学医学图... 针对多模态医学图像融合中存在纹理细节模糊和对比度低的问题,提出了一种结构功能交叉神经网络的多模态医学图像融合方法。首先,根据医学图像的结构信息和功能信息设计了结构功能交叉神经网络模型,不仅有效地提取解剖学和功能学医学图像的结构信息和功能信息,而且能够实现这两种信息之间的交互,从而很好地提取医学图像的纹理细节信息。其次,利用交叉网络通道和空间特征变化构造了一种新的注意力机制,通过不断调整结构信息和功能信息权重来融合图像,提高了融合图像的对比度和轮廓信息。最后,设计了一个从融合图像到源图像的分解过程,由于分解图像的质量直接取决于融合结果,因此分解过程可以使融合图像包含更多的细节信息。通过与近年来提出的7种高水平方法相比,本文方法的AG,EN,SF,MI,QAB/F和CC客观评价指标分别平均提高了22.87%,19.64%,23.02%,12.70%,6.79%,30.35%,说明本文方法能够获得纹理细节更清晰、对比度更好的融合结果,在主观视觉和客观指标上都优于其他对比算法。 展开更多

关键词 多模态医学图像融合 结构功能信息交叉网络 注意力机制 分解网络

在线阅读 下载PDF 职称材料

基于高低频特征分解的深度多模态医学图像融合网络 被引量：6

3

作者 王欣雨 刘慧 +2 位作者 朱积成 盛玉瑞 张彩明 《图学学报》 CSCD 北大核心 2024年第1期65-77,共13页

多模态医学图像融合旨在利用跨模态图像的相关性和信息互补性,以增强医学图像在临床应用中的可读性和适用性。然而,现有手工设计的模型无法有效地提取关键目标特征,从而导致融合图像模糊、纹理细节丢失等问题。为此,提出了一种新的基于... 多模态医学图像融合旨在利用跨模态图像的相关性和信息互补性,以增强医学图像在临床应用中的可读性和适用性。然而,现有手工设计的模型无法有效地提取关键目标特征,从而导致融合图像模糊、纹理细节丢失等问题。为此,提出了一种新的基于高低频特征分解的深度多模态医学图像融合网络,将通道注意力和空间注意力机制引入融合过程,在保持全局结构的基础上保留了局部纹理细节信息,实现了更加细致的融合。首先,通过预训练模型VGG-19提取两种模态图像的高频特征,并通过下采样提取其低频特征,形成高低频中间特征图。其次,在特征融合模块嵌入残差注意力网络,依次从通道和空间维度推断注意力图,并将其用来指导输入特征图的自适应特征优化过程。最后,重构模块形成高质量特征表示并输出融合图像。实验结果表明,该算法在Harvard公开数据集和自建腹部数据集峰值信噪比提升8.29%,结构相似性提升85.07%,相关系数提升65.67%,特征互信息提升46.76%,视觉保真度提升80.89%。 展开更多

关键词 多模态医学图像融合 预训练模型 深度学习 高低频特征提取 残差注意力网络

在线阅读 下载PDF 职称材料

利用高维互信息的多模态医学图像配准 被引量：4

4

作者 胡永祥 汤井田 蒋鸿 《计算机工程与应用》 CSCD 北大核心 2007年第24期242-245,共4页

互信息相似性测度在多模态医学图像配准中获得了广泛的应用,然而其不足之处在于没用充分利用图像固有的空间信息。针对这一不足,提出了利用图像邻域信息的高维互信息配准方法。首先用图像像素及其邻域构成高维向量的集合,然后利用基于... 互信息相似性测度在多模态医学图像配准中获得了广泛的应用,然而其不足之处在于没用充分利用图像固有的空间信息。针对这一不足,提出了利用图像邻域信息的高维互信息配准方法。首先用图像像素及其邻域构成高维向量的集合,然后利用基于最近邻的熵估计法来估计集合的高维熵,并采用近似最近邻搜索算法来加快高维熵的计算。实验结果验证了新的相似性测度的有效性。 展开更多

关键词 高维互信息多模态医学图像图像配准

在线阅读 下载PDF 职称材料

用改进的粒子群算法实现多模态刚性医学图像的配准 被引量：11

5

作者 冯林 张名举 +1 位作者 贺明峰 戚正君 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2004年第9期1269-1274,共6页

多模态医学图像的配准在医学诊断和治疗计划中起着重要的作用 提出了一种基于轮廓特征点和改进的粒子群优化算法 ((ParticleSwarmOptimization ,PSO) )求解的配准方法 该方法首先用Canny算子提取图像的边缘 ,用ISODATA算法进行聚类分... 多模态医学图像的配准在医学诊断和治疗计划中起着重要的作用 提出了一种基于轮廓特征点和改进的粒子群优化算法 ((ParticleSwarmOptimization ,PSO) )求解的配准方法 该方法首先用Canny算子提取图像的边缘 ,用ISODATA算法进行聚类分析提取出轮廓特征点 ,然后用两轮廓匹配点对的欧几里德距离平均值的极小值作为两个特征点对配准准则 ,并用改进的PSO算法求解配准所需的空间变换参数 实验证明 ;该方法配准精度能够达到亚像素级 ,能够避免陷入局部极小值而且速度得到明显改善 。 展开更多

关键词 多模态医学图像 粒子群算法 图像配准 轮廓特征点 形状特征 像素相似性

在线阅读 下载PDF 职称材料

医学图像融合技术及其应用 被引量：25

6

作者 李伟 朱学峰 《中国医学影像技术》 CSCD 北大核心 2005年第7期1126-1129,共4页

医学图像融合技术在临床诊断和治疗、计算机辅助诊断、远程医疗、放射治疗及制定手术计划等方面有着广泛的应用前景,本文详细介绍了医学图像融合的意义、融合技术的内涵、分类、主要方法和步骤以及应用发展概况,并在此基础上分析了医学... 医学图像融合技术在临床诊断和治疗、计算机辅助诊断、远程医疗、放射治疗及制定手术计划等方面有着广泛的应用前景,本文详细介绍了医学图像融合的意义、融合技术的内涵、分类、主要方法和步骤以及应用发展概况,并在此基础上分析了医学图像融合的技术难点和目前亟需解决的问题,最后对医学图像融合技术的发展前景作了展望。 展开更多

关键词 多模态医学图像 医学图像融合 图像配准

在线阅读 下载PDF 职称材料

基于引导滤波与稀疏表示的医学图像融合 被引量：3

7

作者 王兆滨 马一鲲 崔子婧 《电子科技大学学报》 EI CAS CSCD 北大核心 2022年第2期264-273,共10页

为提升融合图像清晰度,提出一种基于引导滤波器与自适应稀疏表示的多模态医学图像融合算法。该算法利用高斯滤波器将输入图像分解为细节层和基础层;基于显著性特征和引导滤波器求得基础层权值图,根据该权值图结合加权平均融合规则对基... 为提升融合图像清晰度,提出一种基于引导滤波器与自适应稀疏表示的多模态医学图像融合算法。该算法利用高斯滤波器将输入图像分解为细节层和基础层;基于显著性特征和引导滤波器求得基础层权值图,根据该权值图结合加权平均融合规则对基础层进行融合;同时,采用自适应稀疏表示算法融合细节层;最后,将融合的细节层和基础层相加得到融合图像。在指标评价和视觉分析上比较了该算法和其他6种经典算法的融合结果;此外,还比较了该算法与两种基于稀疏表示算法的时间复杂度。结果表明,该算法在纹理和边缘信息保存上优于其他算法,其时间复杂度优于基于稀疏表示的算法。 展开更多

关键词 自适应稀疏表示 引导滤波器 图像融合 多模态医学图像

在线阅读 下载PDF 职称材料

基于多模态牙科图像的牙体硬组织自动配准

8

作者 汪伟 程斌 《计算机应用研究》 CSCD 北大核心 2019年第4期1241-1246,1269,共7页

牙科图像由于成像模式、图像质量、不同病人之间存在差异性,导致临床应用中牙体硬组织的精确配准成为难点。针对这些问题,根据相关研究工作提出了一种更适用于多模态牙科图像的牙体硬组织自动配准方法,该方法基于改进的ICP算法,对多模... 牙科图像由于成像模式、图像质量、不同病人之间存在差异性,导致临床应用中牙体硬组织的精确配准成为难点。针对这些问题,根据相关研究工作提出了一种更适用于多模态牙科图像的牙体硬组织自动配准方法,该方法基于改进的ICP算法,对多模态的牙科荧光图像和自然光图像进行分析。首先,根据多模态牙科图像的特点,算法对图像进行了预处理;其次,研究了鲁棒的特征点提取方法,即将牙体硬组织边缘选取为特征点,并同时根据口腔病理学先验知识,提取多模态图像中的病损组织区域,进一步优化了配准点集;最后,利用改进的ICP算法对齿科图像进行了配准,配准过程中对ICP的迭代策略和鲁棒损失函数进行了分析和优化。实验结果表明,该方法能更快速地收敛,且具有更好的鲁棒性和准确性。 展开更多

关键词 齿科图像 多模态医学图像配准 改进ICP算法 鲁棒损失函数

在线阅读 下载PDF 职称材料

用于肺部肿瘤图像分割的跨模态多编码混合注意力U-Net 被引量：11

9

作者 周涛 董雅丽 +4 位作者 刘珊 陆惠玲 马宗军 侯森宝 邱实 《光子学报》 EI CAS CSCD 北大核心 2022年第4期368-384,共17页

针对医学图像的肺部肿瘤分割中病灶和周围组织的对比度低、边缘模糊、肿瘤和正常组织粘连、病灶和背景分布不均衡等问题,提出跨模态多编码混合注意力机制模型分割肺部病灶,用多种模态医学图像辅助分割病灶。首先设计了三编码器提取多模... 针对医学图像的肺部肿瘤分割中病灶和周围组织的对比度低、边缘模糊、肿瘤和正常组织粘连、病灶和背景分布不均衡等问题,提出跨模态多编码混合注意力机制模型分割肺部病灶,用多种模态医学图像辅助分割病灶。首先设计了三编码器提取多模态医学图像的病灶特征,解决单模态医学影像的病灶特征提取能力不足的问题;然后针对网络通道维度冗余和对复杂病灶的空间感知能力不高的问题,在网络跳跃连接中加入混合注意力机制;最后对网络解码路径不同的尺度特征使用多尺度特征聚合块充分利用各个尺度特征。在临床多模态医学图像数据集上验证算法的有效性,对比实验结果表明所提模型对于肺部病灶分割的戴斯相似系数、召回率、体积重叠误差和相对体积差异分别为96.4%、97.27%、93.0%、93.06%。对于病灶形状复杂,病灶和正常组织粘连的情况,分割精度得到有效提升。 展开更多

关键词 深度学习 医学图像分割 多模态医学图像 U-Net 肺癌

在线阅读 下载PDF 职称材料

基于深度学习的医学图像配准技术研究进展 被引量：3

10

作者 郭艳芬 崔喆 +2 位作者 杨智鹏 彭静 胡金蓉 《计算机工程与应用》 CSCD 北大核心 2021年第15期1-8,共8页

医学图像配准技术对于病灶检测、临床诊断、手术规划,疗效评估等有着广泛的应用价值。系统性地总结了基于深度学习的配准算法,从深度迭代、全监督、弱监督到无监督学习的研究发展趋势,分析了各种方法的优势与局限。总体来看,无论是对数... 医学图像配准技术对于病灶检测、临床诊断、手术规划,疗效评估等有着广泛的应用价值。系统性地总结了基于深度学习的配准算法,从深度迭代、全监督、弱监督到无监督学习的研究发展趋势,分析了各种方法的优势与局限。总体来看,无论是对数据的要求、配准精度,还是计算效率,无监督学习因其不依赖金标准和解剖标签,采用端到端的网络配准框架就可以自动执行需要的任务等优势成为研究的主流方向。然而,基于无监督学习的医学图像配准方法在医学图像领域的可解释性、跨模态多样性和可重复可扩展性方面同样面临着一些研究难点和挑战,这为将来实现更精准的医学图像配准方法指明了研究方向。 展开更多

关键词 医学图像配准 深度学习 无监督学习 多模态医学图像

在线阅读 下载PDF 职称材料

预训练模型特征提取的双对抗磁共振图像融合网络研究 被引量：4

11

作者 刘慧 李珊珊 +3 位作者 高珊珊 邓凯 徐岗 张彩明 《软件学报》 EI CSCD 北大核心 2023年第5期2134-2151,共18页

随着多模态医学图像在临床诊疗工作中的普及,建立在时空相关性特性基础上的融合技术得到快速发展,融合后的医学图像不仅可以保留各模态源图像的独有特征,而且能够强化互补信息、便于医生阅片.目前大多数方法采用人工定义约束的策略来实... 随着多模态医学图像在临床诊疗工作中的普及,建立在时空相关性特性基础上的融合技术得到快速发展,融合后的医学图像不仅可以保留各模态源图像的独有特征,而且能够强化互补信息、便于医生阅片.目前大多数方法采用人工定义约束的策略来实现特征提取和特征融合,这容易导致融合图像中部分有用信息丢失和细节不清晰等问题.为此,提出一种基于预训练模型特征提取的双对抗融合网络实现MR-T1/MR-T2图像的融合.该网络由一个特征提取模块、一个特征融合模块和两个鉴别网络模块组成.由于已配准的多模态医学图像数据集规模较小,无法对特征提取网络进行充分的训练,又因预训练模型具有强大的数据表征能力,故将预先训练的卷积神经网络模型嵌入到特征提取模块以生成特征图.然后,特征融合网络负责融合深度特征并输出融合图像.两个鉴别网络通过对源图像与融合图像进行准确分类,分别与特征融合网络建立对抗关系,最终激励其学习出最优的融合参数.实验结果证明了预训练技术在所提方法中的有效性,同时与现有的6种典型融合方法相比,所提方法融合结果在视觉效果和量化指标方面均取得最优表现. 展开更多

关键词 多模态医学图像 图像融合 预训练模型 双鉴别网络 对抗学习

在线阅读 下载PDF 职称材料

基于约束随机游走的肿瘤图像分割方法 被引量：1

12

作者 刘庆烽 刘哲 +1 位作者 宋余庆 朱彦 《计算机科学》 CSCD 北大核心 2018年第7期243-247,258,共6页

精确的肺部肿瘤区域分割对于放射治疗和手术计划的制定至关重要。针对目前基于单模态图像的肺部肿瘤区域分割的精度较低等问题,综合PET和CT图像的优缺点,提出一种全新的多模态肺部肿瘤图像分割方法。首先,使用区域生长法和数学形态学法... 精确的肺部肿瘤区域分割对于放射治疗和手术计划的制定至关重要。针对目前基于单模态图像的肺部肿瘤区域分割的精度较低等问题,综合PET和CT图像的优缺点,提出一种全新的多模态肺部肿瘤图像分割方法。首先,使用区域生长法和数学形态学法对PET图像进行预分割以获取初始轮廓,初始轮廓用于获取PET图像和CT图像上随机游走所需的种子点,同时作为约束加入到CT图像的随机游走过程中;依据CT图像解剖特征较强的特点,利用CT解剖特征改进PET图像上随机游走的权值;最终将PET图像和CT图像上随机游走所获得的相似度矩阵进行加权,在PET图像和CT图像上获得一个相同的分割轮廓。实验表明,相较于其他传统分割算法,所提方法在肺部肿瘤区域分割上具有更高的精确度和更好的稳定性。 展开更多

关键词 多模态医学图像 图像分割 PET-CT 随机游走

在线阅读 下载PDF 职称材料