-
题名基于Mamba-2的视频快照压缩成像重构方法
- 1
-
-
作者
石敦攀
徐伟
朴永杰
方应红
籍浩林
李鹏飞
-
机构
中国科学院长春光学精密机械与物理研究所
中国科学院大学
中国科学院天基动态快速光学成像技术重点实验室
吉林省航天先进光学成像技术重点实验室
-
出处
《液晶与显示》
北大核心
2025年第6期881-894,共14页
-
基金
国家重点研发计划(No.2022YFB3705702)。
-
文摘
视频快照压缩成像(SCI)是一种新型的成像技术,通过在单个曝光时间内使用一个二维探测器捕获三维视频数据,然后采用合适的算法重建原始的视频数据。尽管目前的许多算法在视频SCI的重建任务中有着非常出色的表现,但它们重建质量的提升往往需要以牺牲重建速度为代价,使算法的实时性大幅降低。为兼顾重建质量与重建速度,本文提出了一种基于Mamba-2的端到端深度视频SCI重构方法——M2BA-SCI。M2BA-SCI网络由预处理模块、token生成块、Mamba注意力块和视频重建块组成,其中Mamba注意力块主要由Mamba-2线性注意力块和前馈神经网络构成。在模拟和真实视频数据集上的大量实验表明,M2BA-SCI与先前算法相比取得了更为均衡的效果,在提高重建质量的同时仍保持较快的重建速度。在基准灰度视频数据集中,平均PSNR为34.85,平均SSIM为0.966,运行时间为0.23 s。在基准彩色视频数据集上的平均PSNR为36.21,平均SSIM为0.963,运行时间为1.03 s。M2BA-SCI为视频SCI重建带来了新的思路,为基于Mamba模型设计出更高重建质量的算法提供了参考。
-
关键词
视频快照压缩成像
压缩感知
Mamba-2
深度学习
-
Keywords
video snapshot compressive imaging
compressive sensing
Mamba-2
deep learning
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名深度学习视频快照压缩成像恢复效果影响因素研究
被引量：1
- 2
-
-
作者
曹城华
王小勇
魏久哲
赵海博
蔡浩
王芸
-
机构
北京空间机电研究所
-
出处
《航天返回与遥感》
CSCD
北大核心
2023年第6期109-118,共10页
-
文摘
针对视频快照压缩成像掩模板编码模式对实际拍摄压缩图像解码恢复效果的影响机理研究较为欠缺以及真实图像恢复效果很难量化评估的现状,文章基于遥感卫星视频序列得到的仿真数据和视频快照压缩成像系统采集到的真实场景数据,使用两种深度学习算法——集成学习先验深度展开算法和基于3D卷积的快照压缩成像(SCI)算法,结合峰值信噪比(PSNR)和结构相似度(SSIM)以及重构时间等量化指标进行重构效果评估,对掩模板的随机方式、掩模板的重复精度、掩模板的移动速度、景物的运动速度、背景的复杂程度等因素进行仿真试验分析。主要试验结论有:1)高斯随机编码具有较好的重构效果,但伯努利随机中当成功概率p取0.59或0.58时(随机变量取1),重构PSNR值较高斯随机平均提升超过0.5dB,SSIM值提升0.004;2)当步长较小时,移动编码方式重构效果不如随机编码方式,当步长较大时(超过9像素),效果和随机编码相当;3)掩模板的重复精度方面,当探测器像元和数字微镜器件(DMD)仅沿着一个方向发生偏移时(相对偏移量小于0.3像素),对重构效果影响较小,当同时沿两个方向发生偏移时,影响较大(两个方向均为0.1像素,PSNR下降超过3d B);4)当目标相对图片尺寸较小且背景较为复杂时,运动速度对重构效果影响较大,较快的运动速度会对重构精度产生较大的影响。以上研究成果可以指导视频快照压缩成像系统的设计,可潜在提升视频快照压缩成像重构效果。
-
关键词
视频快照压缩成像
深度学习
计算成像
压缩感知
遥感图像处理
-
Keywords
video snapshot compressive imaging
deep learning
computational imaging
compressed sensing
remote sensing image processing
-
分类号
TP399
[自动化与计算机技术—计算机应用技术]
-
