基于扩展时间和时空特征融合图卷积网络的骨架行为识别

1

作者 徐永刚 孙琦烜 +2 位作者 李凡甲 程健维 戴佳俊 《计算机工程》 北大核心 2025年第4期281-292,共12页

在基于骨架的人体行为识别领域,图卷积网络(GCN)在近年来取得了很大的进展,但现有GCN大多将时间卷积和空间卷积简单串联,导致时空特征融合效果不佳。另外,现有模型还存在无法高效提取时间特征的问题。为此,提出扩展时间和时空特征融合... 在基于骨架的人体行为识别领域,图卷积网络(GCN)在近年来取得了很大的进展,但现有GCN大多将时间卷积和空间卷积简单串联,导致时空特征融合效果不佳。另外,现有模型还存在无法高效提取时间特征的问题。为此,提出扩展时间和时空特征融合图卷积网络(ETFF-GCN)。该网络采用通道聚合的方法对动态空间拓扑和时序特征进行一次融合,然后运用注意力机制进行二次融合,进一步增强融合效果。在此基础上,为了全面提取时序特征,采用多个不同大小的卷积核构建时域图卷积,以提取多尺度和多粒度的时间特征,并引入有效压缩激励模块进行特征增强,提升特征表达能力。在3个大型数据集上对所提出的方法进行评估,实验结果表明,该方法的性能优于现有的方法。 展开更多

关键词 人体骨架行为识别 图卷积网络 时空特征融合 注意力机制 扩展时间

在线阅读 下载PDF 职称材料

基于多尺度图卷积网络的骨架行为识别方法

2

作者 安文志 冯宇平 +2 位作者 李云文 赵军 董金宇 《高技术通讯》 北大核心 2025年第1期37-46,共10页

针对现有基于骨架行为识别的方法缺乏对远距离节点之间关系的建模从而导致识别准确率低和泛化能力差的问题,提出一种基于多尺度图卷积网络(multi-scale graph convolutional metwork,MS-GCN)的行为识别方法。首先,通过多跳邻接矩阵实现... 针对现有基于骨架行为识别的方法缺乏对远距离节点之间关系的建模从而导致识别准确率低和泛化能力差的问题,提出一种基于多尺度图卷积网络(multi-scale graph convolutional metwork,MS-GCN)的行为识别方法。首先,通过多跳邻接矩阵实现扩张图卷积的构建,并结合不同跳数的扩张图卷积构建多尺度空间图卷积;其次,提出空间通道注意力(spatial channel attention,SCA)以激发空间敏感通道进一步增强空间特征;最后,采用均匀采样的数据增强方式生成多样化的训练样本,增强模型的鲁棒性和泛化能力。所提方法在数据集NTU-RGB+D 60、NTU-RGB+D 120和Northwestern-UCLA上准确率分别达到了97.24%(X-View)、90.43%(X-Set)和96.34%,验证了该方法的有效性。 展开更多

关键词 骨架行为识别 多尺度 图卷积 空间通道注意力

在线阅读 下载PDF 职称材料

融合时空领域知识与数据驱动的骨架行为识别 被引量：1

3

作者 梁成武 胡伟 +2 位作者 杨杰 蒋松琪 侯宁 《计算机工程与应用》 北大核心 2025年第5期165-176,共12页

基于骨架数据的行为识别由于其数据紧凑性和抗背景干扰性,逐渐引起研究者的关注。现有数据驱动方法对融合骨架行为的时空领域知识尚未充分研究。基于此,提出一种融合人体行为时空领域先验知识与CNN改进网络结构的骨架行为识别方法。基... 基于骨架数据的行为识别由于其数据紧凑性和抗背景干扰性,逐渐引起研究者的关注。现有数据驱动方法对融合骨架行为的时空领域知识尚未充分研究。基于此,提出一种融合人体行为时空领域先验知识与CNN改进网络结构的骨架行为识别方法。基于关键时空特征领域知识提出时通聚焦模块,通过产生聚集系数矩阵引导模型关注鉴别性特征表达。融合长时空跨度领域知识提出多尺度卷积融合模块,沿通道采用分组残差连接方式灵活扩大卷积的时间感受野,在不引入大量参数情况下可获得长时空跨度特征表达能力。该方法在NTU RGB+D、NTU RGB+D 120及FineGYM三个大型数据集上进行性能评估与验证,分别取得96.6%、89.6%、94.1%的识别准确率。实验结果表明,融合时空领域知识与数据驱动可充分挖掘骨架行为时空特征,能够提升骨架行为识别性能并具有跨数据集泛化性。 展开更多

关键词 时空领域知识 数据驱动 骨架行为识别 卷积神经网络 长时空建模

在线阅读 下载PDF 职称材料

利用可选择多尺度图卷积网络的骨架行为识别

4

作者 曹毅 李杰 +2 位作者 叶培涛 王彦雯 吕贤海 《电子与信息学报》 北大核心 2025年第3期839-849,共11页

针对目前骨架行为识别方法忽视骨架关节点多尺度依赖关系和无法合理利用卷积核进行时间建模的问题,该文提出了一种可选择多尺度图卷积网络(SMS-GCN)的行为识别模型。首先,介绍了人体骨架图的构建原理和通道拓扑细化图卷积网络的结构;其... 针对目前骨架行为识别方法忽视骨架关节点多尺度依赖关系和无法合理利用卷积核进行时间建模的问题,该文提出了一种可选择多尺度图卷积网络(SMS-GCN)的行为识别模型。首先,介绍了人体骨架图的构建原理和通道拓扑细化图卷积网络的结构;其次,构建成对关节邻接矩阵和多关节邻接矩阵以生成多尺度通道拓扑细化邻接矩阵,并引入图卷积网络,进一步提出多尺度图卷积(MS-GC)模块,以期实现对骨架关节点的多尺度依赖关系的建模;然后,基于多尺度时序卷积和可选择大核网络,提出可选择多尺度时序卷积(SMS-TC)模块,以期实现对有用的时间上下文特征的充分提取,同时结合MS-GC和SMS-TC模块,进而提出可选择多尺度图卷积网络模型并在多支流数据输入下进行训练;最后,在NTU-RGB+D和NTU-RGB+D 120数据集上进行大量实验,实验结果表明,该模型能够捕获更多的关节特征和学习有用的时间信息,具有优异的准确率和泛化能力。 展开更多

关键词 骨架行为识别 图卷积网络 多尺度通道拓扑细化邻接矩阵 可选择多尺度时序卷积 可选择多尺度图卷积网络

在线阅读 下载PDF 职称材料

基于时空注意力深度网络的视角无关性骨架行为识别 被引量：4

5

作者 丰艳 李鸽 +1 位作者 原春锋 王传旭 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2018年第12期2271-2277,共7页

针对单视角骨架数据包含噪声且其特征完全依赖于该视角的问题,提出一种基于时空注意力的深度网络模型进行角度无关性骨架行为识别,该模型主要由特定视角子网和公共子网串联组成.首先通过特定视角子网学习每个视角序列的判别性特征,同时... 针对单视角骨架数据包含噪声且其特征完全依赖于该视角的问题,提出一种基于时空注意力的深度网络模型进行角度无关性骨架行为识别,该模型主要由特定视角子网和公共子网串联组成.首先通过特定视角子网学习每个视角序列的判别性特征,同时利用空域注意力和时域注意力模块分别重点关注关键关节点和关键帧;然后特定视角子网的输出特征作为公共子网的输入,通过公共子网进一步学习角度无关性特征;最后输出行为分类结果.为了保证网络的有效训练,提出一个正则化交叉熵损失函数来推动网络多模块共同学习.实验结果表明,该模型在目前最大的骨架数据集NTU数据集上识别准确率为76.3%. 展开更多

关键词 深度网络 时空注意力 角度无关性 骨架行为识别

在线阅读 下载PDF 职称材料

面向骨架行为识别的角空间对抗攻击方法

6

作者 曹男 刁云峰 +3 位作者 黄垠钦 杜润 李怀仙 程天健 《计算机工程与应用》 CSCD 北大核心 2023年第14期260-267,共8页

深度学习模型在基于骨架数据的行为识别任务中取得了较好的性能。然而,骨架行为识别模型的鲁棒性最近受到了质疑,因为它们很容易受到对抗攻击的威胁。目前现有的行为识别白盒攻击方法无法对对抗骨架动作样本的独特空间结构进行严格约束... 深度学习模型在基于骨架数据的行为识别任务中取得了较好的性能。然而,骨架行为识别模型的鲁棒性最近受到了质疑,因为它们很容易受到对抗攻击的威胁。目前现有的行为识别白盒攻击方法无法对对抗骨架动作样本的独特空间结构进行严格约束,其生成的对抗骨架动作样本为非流形对抗样本,即对抗分布远离了原有的数据分布,使得骨架动作不自然,很容易被人眼察觉。提出了一种利用球坐标系表示骨架结构的角空间对抗攻击方法,球坐标攻击(spherical coordinate attack,SCA)。在公开数据集上的实验结果表明,SCA可以发现大部分存在流形空间上的对抗样本,而目前已有的行为识别白盒攻击方法只能寻找到非流形空间上的对抗样本。 展开更多

关键词 对抗攻击 骨架行为识别 深度学习 球坐标 流形对抗样本

在线阅读 下载PDF 职称材料

多流卷积神经网络的骨架行为识别 被引量：4

7

作者 华钢 曹青峰 +3 位作者 朱艾春 张赛 唐士宇 崔冉 《小型微型计算机系统》 CSCD 北大核心 2020年第6期1286-1290,共5页

近年来基于骨架数据集的行为识别已成为行为识别领域研究热点.以往基于骨架信息的行为识别研究,是从原始骨架数据中直接提取一系列行为特征信息,作为行为识别网络模型的输入,这种方法忽略了行为中骨架间存在的时空依赖关系,不利于提高... 近年来基于骨架数据集的行为识别已成为行为识别领域研究热点.以往基于骨架信息的行为识别研究,是从原始骨架数据中直接提取一系列行为特征信息,作为行为识别网络模型的输入,这种方法忽略了行为中骨架间存在的时空依赖关系,不利于提高行为识别准确度.本文直接利用骨架数据作为网络模型的输入,提出一种基于骨架数据的多流卷积神经网络的行为识别方法.该方法首先进行骨架动作建模;然后利用多流的卷积网络框架提取骨架行为时空特征信息,最后进行行为特征融合和识别.在NTU_RGB+D数据集上进行行为识别,实验结果表明此方法能够提高识别准确率. 展开更多

关键词 卷积神经网络 骨架行为识别 骨架动作建模 时空特征信息 特征融合

在线阅读 下载PDF 职称材料

骨架人体行为识别研究回顾、现状及展望 被引量：5

8

作者 边存灵 吕伟刚 冯伟 《计算机工程与应用》 CSCD 北大核心 2024年第20期1-29,共29页

人体行为识别在视频监控、人机交互、医疗看护、体育赛事分析等领域具备重要的应用前景。近年来,随着传感器技术和人体姿态估计算法的迅猛发展,基于骨架的人体行为识别受到研究者越来越多的重视。相较于传统的视频图像数据,骨架数据以... 人体行为识别在视频监控、人机交互、医疗看护、体育赛事分析等领域具备重要的应用前景。近年来,随着传感器技术和人体姿态估计算法的迅猛发展,基于骨架的人体行为识别受到研究者越来越多的重视。相较于传统的视频图像数据,骨架数据以行为人为中心,具有高度抽象的运动信息和低数据维度等特点,为行为信息建模提供了新的视角。以骨架人体行为识别为研究对象,对相关工作进行了全面系统的回顾和分析。通过文献计量分析法对已发表的相关文献进行了梳理,系统总结了基于骨架的行为识别的发展脉络。在此基础上,分别回顾了基于手工特征的传统识别方法和基于深度学习的识别方法,重点介绍了基于卷积神经网络、循环神经网络、图卷积神经网络以及Transformer方法的基本原理、改进策略和代表性工作,并简要论述了网络模型学习算法的研究现状。总结了基于运动捕捉系统、Kinect相机和RGB图像的三类公开数据集,并详细探讨了它们的特点和应用。最后,结合国内外研究现状及思考分析,梳理了基于骨架的人体行为识别中的关键难题与挑战,并展望了未来的发展方向,旨在为研究人员建立一个较完整的领域研究视图,为相关领域的工作提供参考和借鉴。 展开更多

关键词 骨架行为识别 文献计量分析 时空特征表征 深度学习 神经网络

在线阅读 下载PDF 职称材料

基于时空注意力图卷积网络模型的人体骨架动作识别算法 被引量：20

9

作者 李扬志 袁家政 刘宏哲 《计算机应用》 CSCD 北大核心 2021年第7期1915-1921,共7页

针对现有的人体骨架动作识别算法不能充分发掘运动的时空特征问题,提出一种基于时空注意力图卷积网络(STA-GCN)模型的人体骨架动作识别算法。该模型包含空间注意力机制和时间注意力机制:空间注意力机制一方面利用光流特征中的瞬时运动... 针对现有的人体骨架动作识别算法不能充分发掘运动的时空特征问题,提出一种基于时空注意力图卷积网络(STA-GCN)模型的人体骨架动作识别算法。该模型包含空间注意力机制和时间注意力机制:空间注意力机制一方面利用光流特征中的瞬时运动信息定位运动显著的空间区域,另一方面在训练过程中引入全局平均池化及辅助分类损失使得该模型可以关注到具有判别力的非运动区域;时间注意力机制则自动地从长时复杂视频中挖掘出具有判别力的时域片段。将这二者融合到统一的图卷积网络(GCN)框架中,实现了端到端的训练。在Kinetics和NTU RGB+D两个公开数据集的对比实验结果表明,基于STA-GCN模型的人体骨架动作识别算法具有很强的鲁棒性与稳定性,与基于时空图卷积网络(ST-GCN)模型的识别算法相比,在Kinetics数据集上的Top-1和Top-5分别提升5.0和4.5个百分点,在NTURGB+D数据集的CS和CV上的Top-1分别提升6.2和6.7个百分点;也优于当前行为识别领域最先进(SOA)方法,如Res-TCN、STA-LSTM和动作-结构图卷积网络(AS-GCN)。结果表示,所提算法可以更好地满足人体行为识别的实际应用需求。 展开更多

关键词 图卷积网络 人体骨架行为识别 注意力机制 人体关节点 视频行为理解

在线阅读 下载PDF 职称材料

分层残差结构的时空图网络多目标在线康复动作识别

10

作者 吴冬梅 白凡 宋婉莹 《计算机应用与软件》 北大核心 2024年第11期199-205,共7页

时空图卷积网络(ST-GCN)可以自动学习骨架数据的空间和时间特征,不受外界复杂环境的干扰。针对原有模型存在的骨架信息特征提取不充分、局部信息建模不强等问题,提出一种分层残差结构的骨架识别模型(Res2-STGCN)。构造分层残差结构的时... 时空图卷积网络(ST-GCN)可以自动学习骨架数据的空间和时间特征,不受外界复杂环境的干扰。针对原有模型存在的骨架信息特征提取不充分、局部信息建模不强等问题,提出一种分层残差结构的骨架识别模型(Res2-STGCN)。构造分层残差结构的时空图卷积模块结合原模块组成新的网络模型。通过改变模块的尺度来进一步扩大感受野。调整学习率间隔等参数解决过拟合问题。将Res2-STGCN与检测、姿态估计与跟踪算法结合实现多目标康复动作识别。在NTU-RGB+D和自建数据集上设计实验,对比基准算法ST-GCN,改进后最优模型的识别准确率在两种不同的数据划分标准下分别提升了5.61百分点和6.03百分点,在自建数据集上的平均识别准确率为99.5%,对复杂动作的识别具有较强的鲁棒性。 展开更多

关键词 时空图卷积 骨架行为识别 分层残差 多尺度特征

在线阅读 下载PDF 职称材料

基于运动感知和时间增强的人体跌倒检测方法

11

作者 闵晨宇 罗小龙 +1 位作者 相龙伟 彭真 《传感器与微系统》 2025年第11期38-41,46,共5页

跌倒是全球意外死亡的重要原因之一,尤其对老年人构成严重威胁。提出了一种基于视频的人体姿态跌倒检测方法,旨在解决现有技术跨场景鲁棒性及实时性方面的不足。主要创新点包括:设计了行为特征提取(BFE)模块,能够有效地捕捉相邻骨骼节... 跌倒是全球意外死亡的重要原因之一,尤其对老年人构成严重威胁。提出了一种基于视频的人体姿态跌倒检测方法,旨在解决现有技术跨场景鲁棒性及实时性方面的不足。主要创新点包括:设计了行为特征提取(BFE)模块,能够有效地捕捉相邻骨骼节点的动态变化和关系;并改进了时空图卷积网络(ST-GCN)框架,引入了动态图卷积网络(D-GCN)模块和多尺度时序卷积网络(MS-TCN)模块,能够有效地利用骨架特征捕捉运动信息和时间维度上长距离依赖。实验表明,该方法在多个公开数据集上均能保持高准确率(最高达99.45%),并展现出良好的跨场景泛化能力。此外,模型在非GPU平台上达到了56 fps的实时性能,在GPU平台上达到92 fps的实时性能。 展开更多

关键词 人体跌倒检测 图神经网络 基于骨架的行为识别

在线阅读 下载PDF 职称材料