摘要
动态场景下的图像去模糊具有高度的不适定性,相机与被拍摄目标之间的相对运动使模糊呈现非均匀性.现有深度学习方法大多集中于空间域而忽略频域对于结构及细节恢复的潜在贡献,导致去模糊效果欠佳.为了解决此问题,文中重新审视频域信息在图像去模糊中的作用,提出深度融合频域和空间域特征的多粒度动态场景图像去模糊网络.首先,提出频域门控的频空特征深度融合模块,充分挖掘空间域和频域信息间的相关性,减少融合后特征的冗余,增强两域之间的互补.然后,构建多粒度去模糊网络,充分利用空间域和频域中的不同粒度信息进行从粗到细的图像去模糊.最后,针对训练和测试时输入特征图尺寸不同导致的频域特征图分辨率不匹配问题,采用频域分辨率自适应的测试策略,保持频率变化的一致性.在合成数据集GoPro、HIDE和真实数据集RealBlur上的实验表明文中网络在重建清晰图像方面表现较优,同时参数量及效率具有一定的竞争力.
Dynamic scene image deblurring is highly ill-posed,and the relative motion between the camera and the photographed target makes the blur non-uniform.Most existing deep learning methods focus on the spatial domain processing and neglect the potential contribution of the frequency domain to structural and detail recovery,leading to poor deblurring results.To solve the problems,the role of frequency domain information in image deblurring is rethought,and multi-granularity dynamic scene image deblurring network based on deep fusion of frequency domain and spatial domain features is proposed.Firstly,a frequency domain gated frequency-spatial feature deep fusion module is proposed to fully explore the correlation between spatial domain and frequency domain information.The redundancy of the fused features is reduced and the complementarity between the two domains is enhanced.Secondly,
作者
陈姿含
张红云
苗夺谦
蔡克参
CHEN Zihan;ZHANG Hongyun;MIAO Duoqian;CAI Kecan(College of Electronic and Information Engineering,Tongji University,Shanghai 201804;Key Laboratory of Embedded Systems and Service Computing of Ministry of Education,Tongji University,Shanghai 201804)
出处
《模式识别与人工智能》
EI
CSCD
北大核心
2024年第6期557-569,共13页
Pattern Recognition and Artificial Intelligence
基金
国家重点研发计划项目(No.2022YFB3104700)
国家自然科学基金项目(No.62076182,62376198)
上海市自然科学基金项目(No.22ZR1466700)资助。
关键词
动态场景图像去模糊
多粒度去模糊网络
频域门控
频空特征深度融合
自适应测试
Dynamic Scene Image Deblurring
Multi-granularity Deblurring Network
Frequency Domain Gating
Deep Fusion of Frequency and Space Features
Adaptive Testing
作者简介
陈姿含,硕士研究生,主要研究方向为计算机视觉、粒计算.E-mail:2230789@tongji.edu.cn;通信作者:张红云,博士,副教授,主要研究方向为主曲线算法、粒计算、计算机视觉.E-mail:zhanghongyun@tongji.edu.cn;苗夺谦,博士,教授,主要研究方向为机器学习、数据挖掘、粒计算、人工智能、文本图像处理.E-mail:dqmiao@tongji.edu.cn;蔡克参,博士研究生,主要研究方向为计算机视觉、粒计算.E-mail:kecan@tonji.edu.cn.
