期刊文献+
共找到2篇文章
< 1 >
每页显示 20 50 100
基于彩色图像高频信息引导的深度图超分辨率重建算法研究 被引量:2
1
作者 李嘉莹 梁宇栋 +2 位作者 李少吉 张昆鹏 张超 《计算机科学》 CSCD 北大核心 2024年第7期197-205,共9页
深度图像信息是三维场景信息的重要组成部分,然而,由于采集设备的局限性和成像环境的多样性,深度传感器获取的深度图像往往分辨率较低、高频信息较少,限制了其在各种计算机视觉任务中的进一步应用。深度图超分辨率试图提高深度图的分辨... 深度图像信息是三维场景信息的重要组成部分,然而,由于采集设备的局限性和成像环境的多样性,深度传感器获取的深度图像往往分辨率较低、高频信息较少,限制了其在各种计算机视觉任务中的进一步应用。深度图超分辨率试图提高深度图的分辨率,是一项实用而有价值的任务。同一场景下的RGB图像分辨率高,纹理信息丰富,部分深度图超分辨率算法通过引入来自同一场景下的RGB图像提供指导信息,实现了算法性能的显著提升。然而,由于RGB图像和深度图之间的模态不一致,如何充分、有效地利用RGB信息辅助深度图像进行图像超分辨率重建仍然极具挑战。为此,提出了一种基于彩色图像高频信息引导的深度图超分辨率重建算法。具体地,设计了一个高频特征提取模块来自适应地学习彩色图像中的高频信息,以指导深度图边缘的重建。另外,设计了一个特征自注意力模块来获取特征之间的全局依赖,同时提取更深层次的特征,以帮助深度图细节信息的恢复。经过跨模态融合,重组深度图像特征和彩色图像引导特征,并使用多尺度特征融合模块融合不同尺度特征之间的空间结构信息,获取包含多级感受野的重建信息。最后,通过深度重建模块,恢复相应的高分辨率深度图。公开数据集上的实验结果表明所提方法在定量和定性两方面均优于对比方法,验证了所提方法的有效性。 展开更多
关键词 深度图超分重建 深度学习 跨模态特征融合 高频信息 自注意力机制
在线阅读 下载PDF
彩色图像引导高低频特征调制融合的深度图像超分辨率算法研究
2
作者 徐晗智 李嘉莹 +1 位作者 梁宇栋 魏巍 《计算机科学》 2025年第6期228-238,共11页
深度图像能够有效描述三维场景的信息,然而由于采集设备的局限性和不理想的成像环境,深度传感器获取的深度图像往往分辨率较低、高频信息较少,提高深度图像的分辨率具有重要意义。部分深度图超分辨率算法通过引入同一场景下的RGB图像为... 深度图像能够有效描述三维场景的信息,然而由于采集设备的局限性和不理想的成像环境,深度传感器获取的深度图像往往分辨率较低、高频信息较少,提高深度图像的分辨率具有重要意义。部分深度图超分辨率算法通过引入同一场景下的RGB图像为深度图超分辨率过程提供指导信息,显著提升了算法性能。如何充分、有效地利用RGB信息,改善深度图和RGB图像的模态不一致性,引导深度图超分辨率重建过程极具挑战。已有方法多关注于高频信息,忽略了低频全局的信息,影响了算法性能的提升。对此,提出了彩色图像引导的、高低频特征调制融合的深度图像超分辨率重建算法。具体地,设计了一个双分支特征提取模块,分别针对彩色图像和深度图像进行高低频特征提取,在各个分支采用CNN和Transformer分别提取局部高频和全局低频信息,通过构造双向调制模块,实现对彩色和深度图像高频信息之间和低频信息之间的双向转换与融合。模型经过不同模态不同频率内的双向调制及后续高低频信息的融合,充分挖掘深度图像与彩色图像之间的互补信息,使得基于彩色图像引导的深度超分辨率算法能够取得更好的重建效果。另外,利用可逆神经网络INN进行无损信息压缩,以更好地提取高频细节信息,采用四叉树注意力机制有效降低了Transformer提取全局信息的计算复杂度,提高了算法效率。在公开数据集上进行了实验,结果表明,所提方法在定量和定性两方面均优于对比方法,取得了较好的主观视觉效果。 展开更多
关键词 深度图超分重建 混合特征 双向调制 四叉树注意力机制
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部