期刊文献+
共找到2篇文章
< 1 >
每页显示 20 50 100
基于跨模态特征交互和多尺度重建的红外与可见光图像融合
1
作者 姚睿 王凯 +2 位作者 郭浩帆 胡文涛 田祥瑞 《红外与激光工程》 2025年第8期259-270,共12页
针对弱光环境下红外与可见光图像融合存在的纹理细节丢失、视觉效果和实时性差等问题,提出了一种基于跨模态特征交互和多尺度重建(Cross-modal Feature Interaction and Multi-scale Reconstruction,CFIMR)的红外与可见光图像融合算法CF... 针对弱光环境下红外与可见光图像融合存在的纹理细节丢失、视觉效果和实时性差等问题,提出了一种基于跨模态特征交互和多尺度重建(Cross-modal Feature Interaction and Multi-scale Reconstruction,CFIMR)的红外与可见光图像融合算法CFIMRFusion。该算法构建了包括卷积注意力增强模块、编码器网络、跨模态特征交互融合模块和基于多尺度重建的解码器网络的四阶段融合框架。首先,设计卷积注意力增强模块提升弱可见光图像的对比度和纹理可见性,并利用编码器网络从红外图像和增强后的可见光图像中提取深层多尺度特征。然后,提出基于通道-空间注意力的跨模态特征交互融合模块,对红外显著特征和可见光细节特征进行互补融合。最后,为解决使用普通解码器重建图像时出现特征消失等问题,将融合得到的多尺度特征以跳跃连接的方式输入到解码器各级,重建高保真的融合图像。实验结果表明,CFIMRFusion融合图像的细节特征和整体视觉效果优于对比算法;且与最优对比算法相比,融合图像在TNO数据集中平均梯度、边缘强度分别提升了15.8%、18.2%,在LLVIP数据集中互信息、标准差分别提升了11.5%、9.5%,在MSRS数据集中边缘强度提升了10.1%;三个数据集上的融合速度分别为最快对比算法的24.1%、23.86%和25.2%。 展开更多
关键词 图像融合 图像增强 注意力机制 自编码网络 跨模态特征交互
在线阅读 下载PDF
基于三维跨模态ConvFormer的肺部肿瘤识别
2
作者 周涛 叶鑫宇 +1 位作者 刘凤珍 陆惠玲 《计算机辅助设计与图形学学报》 CSCD 北大核心 2024年第12期1978-1985,共8页
针对三维医学影像因肺部肿瘤形状不规则、差异性大,导致特征提取不充分和识别不准确的问题,提出一种基于CNN和Transformer的三维跨模态肺部肿瘤识别模型3D-CConvFormer.首先,利用三分支网络学习三维PET,CT和PET/CT影像中病灶的特征;其次... 针对三维医学影像因肺部肿瘤形状不规则、差异性大,导致特征提取不充分和识别不准确的问题,提出一种基于CNN和Transformer的三维跨模态肺部肿瘤识别模型3D-CConvFormer.首先,利用三分支网络学习三维PET,CT和PET/CT影像中病灶的特征;其次,设计全局特征与浅层局部特征融合的高效ConvFormer模块,并利用自校正卷积对感受野进行有效扩展,提高每个模态中对病灶信息的提取能力;最后,设计双分支不同分辨率的跨模态特征交互块,利用2个全局注意力机制交叉学习不同模态、全局和局部信息,交互式地增强跨模态特征提取能力.实验采用的肺部肿瘤3D多模态数据集,该数据集共有3173例患者,3D-CConvFormer模型在参数量和运行时间较优的前提下,获得了89.25%的准确率和88.74%的AUC值的最优性能,为三维多模态肺部肿瘤疾病诊断提供可靠的计算机辅助. 展开更多
关键词 肺部肿瘤 ConvFormer 跨模态特征交互 三维PET/CT多模态影像
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部