-
题名骨架数据增强和双重最近邻检索自监督动作识别
被引量：3
- 1
-
-
作者
吴雨珊
徐增敏
张雪莲
王涛
-
机构
桂林电子科技大学数学与计算科学学院广西高校数据分析与计算重点实验室
广西应用数学中心(桂林电子科技大学)
桂林电子科技大学建筑与交通工程学院广西智慧交通重点实验室
-
出处
《计算机科学》
CSCD
北大核心
2023年第11期97-106,共10页
-
基金
国家自然科学基金(61862015,52262047)
广西科技基地和人才专项(AD23023002,AD21220114,AD20159035)
广西重点研发计划项目(AB17195025)。
-
文摘
传统基于骨架数据的自监督方法常将某一样本的不同增强作为正例,将其余样本均视为负例,这使得正负样本的比例严重失衡,限制了相同语义信息的样本发挥作用。针对上述问题,提出了一种正样本不受数据增强限制的双重最近邻检索动作识别算法DNNCLR。首先,基于人体关节的物理连接设计了一个新的关节级空间数据增强,即Bodypart增强,对输入的骨架序列用正态分布数组随机替换,以获得高级语义嵌入;其次,为避免正样本受数据增强的限制,提出了一种更合理的双重最近邻检索(DNN)正样本扩充策略,进一步提出了双重最近邻检索对比损失DNN Loss。具体为利用支撑集进行全局检索,将正样本集的寻找范围扩展到普通数据增强无法覆盖的新数据点;而负样本集中存在被误判的正样本,其是来自不同视频但语义信息相同的骨架样本。为此,再一次利用最近邻检索,从负样本集中寻找这种潜在的正例,二次扩展正样本集,并进一步提出双重最近邻检索对比损失,迫使模型学习更多的一般特征表示,使得模型优化更加合理。最后,将DNNCLR算法应用在AimCLR模型上,得到AimDNNCLR模型,并在NTU-RGB+D数据集上对该模型进行了线性评估,与前沿模型相比,所提方法在精度上平均提升了3.6%。
-
关键词
对比学习
最近邻检索
数据增强
动作识别
人体骨架
-
Keywords
Contrastive learning
Nearest neighbor retrieval
Data augmentation
Action recognition
Human skeleton
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
TP183
[自动化与计算机技术—控制理论与控制工程]
-
