-
题名基于变分自编码器掩蔽重建的骨骼点动作识别方法
- 1
-
-
作者
王雪婷
郭新
汪松
陈恩庆
-
机构
郑州大学电气与信息工程学院
-
出处
《图学学报》
北大核心
2025年第2期270-278,共9页
-
基金
国家自然科学基金青年科学基金(62301497,62101503),河南省科技研发计划联合基金(235200810050)。
-
文摘
掩蔽自编码器(MAE)由于其强大的自监督学习能力被用于不同领域,特别是在数据被遮蔽或可用训练数据较少的任务中获得了较好的效果。但在诸如动作识别等视觉分类任务中,由于自编码器结构中编码器学习特征的能力有限,因此分类效果欠佳。为了实现用少量标注数据对模型进行训练,并提高自编码器在骨骼点动作识别任务上的特征提取能力,提出一种基于变分自编码器(VAE)的时空掩蔽重建模型(SkeletonMVAE)用于骨骼点动作识别。该模型在传统掩蔽重建模型的编码器后引入VAE的隐空间,使得编码器学习到数据的潜在结构和更丰富的信息,并通过参数β调控重建质量,对骨骼点数据进行掩蔽重建的预训练。预训练好的编码器被用作下游分类任务的特征提取器时,其输出的特征表示更紧凑、更具判别能力和鲁棒性,从而有助于提高模型分类精度和泛化能力,提升仅有少量标注数据训练情况下的模型性能。在NTU-60和NTU-120数据集上的实验结果表明了该方法在骨骼点动作识别任务上的有效性。
-
关键词
人体骨骼点动作识别
自监督学习
时空掩蔽重建
变分自动编码器
隐空间聚合
-
Keywords
human skeleton action recognition
self-supervised learning
spatial-temporal masked reconstruction
variational autoencoder
potential spatial aggregation
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
