-
题名基于双向时空特征学习的人体深度图像估计
- 1
-
-
作者
朱子斌
李千林
张小燕
韩双双
-
机构
深圳大学计算机与软件学院
北京科技大学计算机与通信工程学院
-
出处
《计算机工程》
北大核心
2025年第10期258-269,共12页
-
基金
广东省基础与应用基础研究基金(2020B1515120047)
广东省自然科学基金(2021A1515011632,2021A1515012014)。
-
文摘
为了更准确地预测人体的深度图像,提出一种基于视频的人体深度图像估计方法BiSTNet。为了从视频中充分挖掘三维(3D)信息,提出双向时空特征学习模型,分别从过去帧和未来帧2个序列方向学习双向时空特征,并利用双向时空特征注意力模型来强化有效帧的影响。同时,引入多尺度特征融合预测模块,在有效融合双向时空特征和空间特征的基础上,预测精确的、具有丰富局部几何细节的深度图像,使得由预测深度图像重建的3D模型更加逼真。在模型训练过程中,使用人体关节相对顺序关系约束和双向序列自监督学习策略,在提高预测精度的同时降低对有监督数据的依赖性。实验结果表明,BiSTNet方法不仅能有效降低预测深度图像的误差,而且所预测的深度图像细节丰富。
-
关键词
双向时空特征
多尺度特征融合
双向自监督
深度图像估计
人体关节相对顺序关系约束
-
Keywords
bidirectional spatio-temporal feature
multi-scale feature fusion
bidirectional self-supervision
depth map estimation
relative human joints order constraints
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
