基于通道注意力机制增强DGNN的外骨骼机器人步态相位预测 被引量：1

1

作者 颜建军 许赢家 +2 位作者 林越 金理 江金林 《华东理工大学学报(自然科学版)》 北大核心 2025年第1期110-118,共9页

利用一种基于通道注意力机制增强的有向图神经网络(Channel Attention Enhanced Directed Graph Neural Network,CA-DGNN)的外骨骼机器人步态相位预测方法,提高了步态相位预测的准确性和可靠性。首先,研制了人体下肢姿态信息采集装置,... 利用一种基于通道注意力机制增强的有向图神经网络(Channel Attention Enhanced Directed Graph Neural Network,CA-DGNN)的外骨骼机器人步态相位预测方法,提高了步态相位预测的准确性和可靠性。首先,研制了人体下肢姿态信息采集装置,采集人体下肢的行走步态数据并构建人体下肢的骨架模型;之后,建立了基于CA-DGNN步态相位的预测模型,提取人体步态相位的运动特征,并基于当前时刻数据预测未来时刻的步态相位;最后,探讨了滑动窗口大小对算法性能的影响。本文提高了外骨骼机器人步态相位预测的准确性和鲁棒性,为此方向研究提供了一种新的思路和方法。 展开更多

关键词 步态相位预测 惯性传感器 骨架 时空图卷积网络 通道注意力机制

在线阅读 下载PDF 职称材料

基于多尺度图卷积网络的骨架行为识别方法

2

作者 安文志 冯宇平 +2 位作者 李云文 赵军 董金宇 《高技术通讯》 北大核心 2025年第1期37-46,共10页

针对现有基于骨架行为识别的方法缺乏对远距离节点之间关系的建模从而导致识别准确率低和泛化能力差的问题,提出一种基于多尺度图卷积网络(multi-scale graph convolutional metwork,MS-GCN)的行为识别方法。首先,通过多跳邻接矩阵实现... 针对现有基于骨架行为识别的方法缺乏对远距离节点之间关系的建模从而导致识别准确率低和泛化能力差的问题,提出一种基于多尺度图卷积网络(multi-scale graph convolutional metwork,MS-GCN)的行为识别方法。首先,通过多跳邻接矩阵实现扩张图卷积的构建,并结合不同跳数的扩张图卷积构建多尺度空间图卷积;其次,提出空间通道注意力(spatial channel attention,SCA)以激发空间敏感通道进一步增强空间特征;最后,采用均匀采样的数据增强方式生成多样化的训练样本,增强模型的鲁棒性和泛化能力。所提方法在数据集NTU-RGB+D 60、NTU-RGB+D 120和Northwestern-UCLA上准确率分别达到了97.24%(X-View)、90.43%(X-Set)和96.34%,验证了该方法的有效性。 展开更多

关键词 骨架行为识别 多尺度 图卷积 空间通道注意力

在线阅读 下载PDF 职称材料

基于骨架识别的城轨车站监控视频乘客行为特征辨识研究

3

作者 管洋 贾利民 +1 位作者 陶思涵 豆飞 《都市快轨交通》 北大核心 2025年第1期106-111,共6页

城市轨道交通领域传统监控分析方法对视频监控图像(如摔倒、晕倒和打斗等异常行为识别)漏识率高、参数调整复杂,且难以高效地应用于现实城轨车站监控场景,针对此问题,采用基于骨架模式识别的人体姿态特征辨识框架,引入基于人体骨架的姿... 城市轨道交通领域传统监控分析方法对视频监控图像(如摔倒、晕倒和打斗等异常行为识别)漏识率高、参数调整复杂,且难以高效地应用于现实城轨车站监控场景,针对此问题,采用基于骨架模式识别的人体姿态特征辨识框架,引入基于人体骨架的姿态估计技术,采用Alpha Pose模型对乘客姿态进行精确估计,并结合时空图卷积网络(spatial temporal graph convolutional networks,ST-GCN)模型的方法,实现对城轨车站监控场景中异常行为的辨识。在COCO数据集和MPII数据集上分别达到了72.3 mAP和82.1 mAP的效果,相比较于Open Pose模型提升高达17%,验证了模型的有效性和实用性。结果表明,本文所提出的方法不仅提高了乘客行为的识别速度,同时具备对复杂场景的适应能力,为城轨安全监控提供一种新的技术方案。 展开更多

关键词 轨道交通 骨架识别 模式识别 城轨车站安全 乘客行为特征辨识 ST-GCN

在线阅读 下载PDF 职称材料

基于多尺度骨架图和局部视觉上下文融合的驾驶员行为识别方法

4

作者 胡宏宇 黎烨宸 +3 位作者 张争光 曲优 何磊 高镇海 《汽车工程》 EI CSCD 北大核心 2024年第1期1-8,28,共9页

识别非驾驶行为是提高驾驶安全性的重要手段之一。目前基于骨架序列和图像的融合识别方法具有计算量大和特征融合困难的问题。针对上述问题,本文提出一种基于多尺度骨架图和局部视觉上下文融合的驾驶员行为识别模型(skeleton-image base... 识别非驾驶行为是提高驾驶安全性的重要手段之一。目前基于骨架序列和图像的融合识别方法具有计算量大和特征融合困难的问题。针对上述问题,本文提出一种基于多尺度骨架图和局部视觉上下文融合的驾驶员行为识别模型(skeleton-image based behavior recognition network,SIBBR-Net)。SIBBR-Net通过基于多尺度图的图卷积网络和基于局部视觉及注意力机制的卷积神经网络,充分提取运动和外观特征,较好地平衡了模型表征能力和计算量间的关系。基于手部运动的特征双向引导学习策略、自适应特征融合模块和静态特征空间上的辅助损失,使运动和外观特征间互相引导更新并实现自适应融合。最终在Drive&Act数据集进行算法测试,SIBBR-Net在动态标签和静态标签条件下的平均正确率分别为61.78%和80.42%,每秒浮点运算次数为25.92G,较最优方法降低了76.96%。 展开更多

关键词 驾驶员行为识别 多尺度骨架图 局部视觉上下文 多模态数据自适应融合

在线阅读 下载PDF 职称材料

基于多维动态拓扑学习图卷积的骨架动作识别 被引量：1

5

作者 罗会兰 曹立京 《电子学报》 EI CAS CSCD 北大核心 2024年第3期991-1001,共11页

图卷积由于其对图数据的强大表示能力被广泛应用于基于骨架的动作识别任务中.但是现有的图卷积方法在所有帧或通道上都使用共享的图拓扑进行特征聚合,这极大限制了图卷积网络的表示能力.为了解决这些问题,本文提出多维动态拓扑学习图卷... 图卷积由于其对图数据的强大表示能力被广泛应用于基于骨架的动作识别任务中.但是现有的图卷积方法在所有帧或通道上都使用共享的图拓扑进行特征聚合,这极大限制了图卷积网络的表示能力.为了解决这些问题,本文提出多维动态拓扑学习图卷积用于动态建模具有时序与通道特异性的拓扑结构.多维动态拓扑学习图卷积主要包含三个组成部分:纯粹节点拓扑学习图卷积(pure Joint topology learning Graph Convolution,J-GC)、动态时序特异性拓扑学习图卷积(Dynamic Temporal-Wise topology learning Graph Convolution,DTW-GC)和通道特异性拓扑学习图卷积(Channel-Wise topology learning Graph Convolution,CW-GC).特别地,在DTW-GC中使用了动态骨架拓扑建模方法(Dynamic Skeleton Topology Learning,DSTL),以高效地建模富含全局时空拓扑特征的动态骨架拓扑.将多维动态拓扑学习图卷积与多尺度时间卷积(Multi-Scale Temporal Convolution,MS-TC)相结合,本文构建了具有强大建模能力的图卷积网络.此外,为了对骨架数据的空间信息进行补充,本文额外引入了相对节点数据和相对骨骼数据进行多流网络的融合.本文所提出的方法在NTU-RGB+D与NTU-RGB+D 120数据集上分别取得了92.64%和89.29%的准确率,超过了当前最先进方法. 展开更多

关键词 动作识别 深度学习 图卷积 动态骨架拓扑 数据融合

在线阅读 下载PDF 职称材料

基于双流自适应时空增强图卷积网络的手语识别

6

作者 金彦亮 吴筱溦 《应用科学学报》 CAS CSCD 北大核心 2024年第2期189-199,共11页

针对提取手语特征过程中出现的信息表征能力差、信息不完整问题,设计了一种双流自适应时空增强图卷积网络(two-stream adaptive enhanced spatial temporal graph convolutional network,TAEST-GCN)实现基于孤立词的手语识别。该网络使... 针对提取手语特征过程中出现的信息表征能力差、信息不完整问题,设计了一种双流自适应时空增强图卷积网络(two-stream adaptive enhanced spatial temporal graph convolutional network,TAEST-GCN)实现基于孤立词的手语识别。该网络使用人体身体、手部和面部节点作为输入,构造基于人体关节和骨骼的双流结构。通过自适应时空图卷积模块生成不同部位之间的连接,并充分利用其中的位置和方向信息。同时采用残差连接方式设计自适应多尺度时空注意力模块,进一步增强该网络在空域和时域的卷积能力。将双流网络提取到的有效特征进行加权融合,可以分类输出手语词汇。最后在公开的中文手语孤立词数据集上进行实验,在100类词汇和500类词汇分类任务中准确率达到了95.57%和89.62%。 展开更多

关键词 骨架数据 双流结构 自适应时空图卷积模块 自适应多尺度时空注意力模块 特征融合

在线阅读 下载PDF 职称材料

基于STGCN算法的视频图像人体动作轮廓动态识别

7

作者 张宗 石林 《现代电子技术》 北大核心 2024年第18期144-148,共5页

人体动作轮廓在视频中的呈现具有多样性和连续性。人体动作不仅涉及到时间上的变化,还包括空间上的位置关系,受其姿势、速度、方向等影响。人体动作时空信息之间的关联难以充分捕捉,导致动作轮廓识别精度较低。为此,引入时空图卷积网络(... 人体动作轮廓在视频中的呈现具有多样性和连续性。人体动作不仅涉及到时间上的变化,还包括空间上的位置关系,受其姿势、速度、方向等影响。人体动作时空信息之间的关联难以充分捕捉,导致动作轮廓识别精度较低。为此,引入时空图卷积网络(STGCN)算法,提出一种视频图像人体动作轮廓动态识别方法。文中采用OpenPose模型从视频图像中提取描述关节点位置的置信图和描述人体关节间连接情况的二维矢量场,构建人体动作骨架图。结合视频帧时间序列组建人体动作骨架时空图,将其作为STGCN模型的输入,通过时空图卷积操作充分捕捉人体动作的时空特征后,采用Softmax层获取动态识别到的视频图像人体动作轮廓;并在STGCN模型中引入两种注意力模块,强化网络特征提取能力,提高动作轮廓识别精度。实验结果表明,所提方法可以有效实现视频图像人体动作轮廓的动态识别,引入的两种注意力模块对STGCN模型进行改进,可提升其动作轮廓识别效果。 展开更多

关键词 时空图卷积网络算法 视频图像 人体动作轮廓 动态识别 注意力机制 骨架图 人体关节点

在线阅读 下载PDF 职称材料

轻量化姿态估计时空增强图卷积模型下的矿工行为识别

8

作者 王建芳 段思源 +1 位作者 潘红光 景宁波 《工矿自动化》 CSCD 北大核心 2024年第11期34-42,共9页

基于骨架序列的行为识别模型具有速度快、算力要求低、模型简单等特点,图卷积神经网络在处理骨架序列数据时具有优势,而现有基于图卷积的矿工行为识别模型在高精度和低计算复杂度之间难以兼顾。针对该问题,提出了一种基于轻量化姿态估... 基于骨架序列的行为识别模型具有速度快、算力要求低、模型简单等特点,图卷积神经网络在处理骨架序列数据时具有优势,而现有基于图卷积的矿工行为识别模型在高精度和低计算复杂度之间难以兼顾。针对该问题,提出了一种基于轻量化姿态估计网络(Lite-HRNet)和多维特征增强时空图卷积网络(MEST-GCN)的矿工行为识别模型。Lite-HRNet通过目标检测器进行人体检测,利用卷积神经网络提取图像特征,并通过区域提议网络生成锚框,对每个锚框进行分类以判断是否包含目标;区域提议网络对被判定为目标的锚框进行边界框回归,输出人体边界框,并通过非极大值抑制筛选出最优检测结果;将每个检测到的人体区域裁剪出来并输入到Lite-HRNet,生成人体关键点骨架序列。MEST-GCN在时空图卷积神经网络(ST-GCN)的基础上进行改进:去除ST-GCN中的冗余层以简化模型结构,减少模型参数量;引入多维特征融合注意力模块M2FA。生成的骨架序列经MEST-GCN的BN层批量标准化处理后,由多维特征增强图卷积模块提取矿工行为特征,经全局平均池化层和Softmax层得到行为的置信度,获得矿工行为预测结果。实验结果表明:①MEST-GCN的参数量降低至1.87 Mib;②在以交叉主体和交叉视角为评价标准的公开数据集NTU60上,采用Lite-HRNet提取2D人体关键点坐标,基于Lite-HRNet和MEST-GCN的矿工行为识别模型的准确率分别达88.0%和92.6%;③在构建的矿工行为数据集上,基于Lite-HRNet和MEST-GCN的矿工行为识别模型的准确率达88.5%,视频处理速度达18.26帧/s,可以准确且快速地识别矿工的动作类别。 展开更多

关键词 矿工行为识别 人体关键点提取 骨架序列 图卷积 轻量化姿态估计网络 特征融合 多维特征融合注意力模块

在线阅读 下载PDF 职称材料

基于双流多关系GCNs的骨架动作识别方法 被引量：8

9

作者 刘芳 乔建忠 +1 位作者 代钦 石祥滨 《东北大学学报（自然科学版）》 EI CAS CSCD 北大核心 2021年第6期768-774,共7页

基于图卷积网络(graph convolutional networks,GCNs)的骨架动作识别方法只能对关节点间的单一关系进行建模,缺少描述多种关系的能力.借鉴知识图谱描述实体之间不同关系的思想,提出一种基于关节点流和肢体流的双流多关系GCNs人体骨架动... 基于图卷积网络(graph convolutional networks,GCNs)的骨架动作识别方法只能对关节点间的单一关系进行建模,缺少描述多种关系的能力.借鉴知识图谱描述实体之间不同关系的思想,提出一种基于关节点流和肢体流的双流多关系GCNs人体骨架动作识别方法,对图结点间的自然连接关系、对称关系和全局关系进行建模,各种特征在网络中同步传输并有效融合.运动的全身协作过程中,每个部位的交互范围有限且依赖于具体动作,提出基于Non-local机制的top K全局邻接关系自适应计算方法,为每个结点动态选择交互强度较大的前K个结点作为全局关系邻接点.实验结果表明,所提出的双流多关系网络在Kinetics和NTU-RGB+D数据集上取得了较好的动作识别效果. 展开更多

关键词 动作识别 骨架 图卷积网络 多关系 top K

在线阅读 下载PDF 职称材料

基于HGCN的序列手势骨架生成方法研究

10

作者 张海翔 曾瑞 +2 位作者 马汉杰 蒋明峰 冯杰 《无线电工程》 北大核心 2023年第4期983-992,共10页

手势是交流互动中一种重要的非语言媒介,手势序列生成作为手势表达行为建模的重要任务,在手势分类、手势识别和虚拟人手语驱动等场景有大量应用需求。针对序列手势骨架生成问题,提出了基于Hand-Gesture Graph Convolution Neural Networ... 手势是交流互动中一种重要的非语言媒介,手势序列生成作为手势表达行为建模的重要任务,在手势分类、手势识别和虚拟人手语驱动等场景有大量应用需求。针对序列手势骨架生成问题,提出了基于Hand-Gesture Graph Convolution Neural Network(HGCN)的手势骨架序列生成方法,采用生成对抗训练框架,在图卷积骨架序列生成方法基础上针对手势骨架序列数据特点,提出图卷积的手部特征增强和基于时空位置编码的自注意力结构的改进方法。实验结果表明,提出的HGCN方法相比基准图卷积骨架生成方法在手势骨架序列生成问题中有更好的结果。 展开更多

关键词 深度学习 序列手势骨架生成 生成式对抗网络 图卷积神经网络

在线阅读 下载PDF 职称材料

多封闭区间三维模型的骨架提取与检索

11

作者 霍磊 吕学强 张凯 《微电子学与计算机》 CSCD 北大核心 2015年第1期85-90,共6页

提出了动态邻接封闭区间连接方法以及基于球面特征的检索方法.依据模型封闭区间的位置关系以及所占比重对原模型的多个封闭区间进行连接,将原模型合并成一个封闭区间,计算模型各点的#值,即测地线距离函数值,分裂区间,聚合成骨架点,去除... 提出了动态邻接封闭区间连接方法以及基于球面特征的检索方法.依据模型封闭区间的位置关系以及所占比重对原模型的多个封闭区间进行连接,将原模型合并成一个封闭区间,计算模型各点的#值,即测地线距离函数值,分裂区间,聚合成骨架点,去除冗余点得到连通的骨架;以#值最小的骨架点为球心,在骨架上建立N个球面,提取球面相交的特征用于检索.实验结果表明,本文算法能有效提取多封闭区间三维模型骨架,提高三维模型的查准率. 展开更多

关键词 三维模型 骨架 REEB图 动态邻接封闭区间连接 球面特征

在线阅读 下载PDF 职称材料

基于图卷积的3D骨架数据的双人交互行为识别

12

作者 张静亭 曹江涛 姬晓飞 《辽宁石油化工大学学报》 CAS 2023年第3期86-90,共5页

针对图卷积神经网络的双人交互行为识别方法存在交互语义信息表达不充分的问题,提出了一种新的双人交互时空图卷积神经网络(DHI-STGCN)用于行为识别的方法。该网络包含空间子网络模块和时间子网络模块。将基于交互动作视频获取的3D骨架... 针对图卷积神经网络的双人交互行为识别方法存在交互语义信息表达不充分的问题,提出了一种新的双人交互时空图卷积神经网络(DHI-STGCN)用于行为识别的方法。该网络包含空间子网络模块和时间子网络模块。将基于交互动作视频获取的3D骨架数据生成一种双人交互动作的空间动作图用于空间信息的表示,图中根据关节点位置信息对双人之间的连接边赋予不同的权重。时间信息处理中,在构造的邻接矩阵中增加了上下文时间信息的联系,图中关节点与其一定时间范围内的节点增加连接。将生成的时空图数据送入空间图卷积网络模块,结合时间图卷积网络模块增强帧间运动特征连续性进行时序建模。该模型充分考虑了双人交互动作的紧密关系,具有较强的鲁棒性,获得了比现有模型更好的交互动作识别效果。 展开更多

关键词 时空图卷积 骨架数据 双人交互 行为识别

在线阅读 下载PDF 职称材料

基于骨骼关键点的人体行为识别算法 被引量：1

13

作者 梁国权 《电视技术》 2023年第2期15-19,共5页

当前,人体行为识别在视频监控等多领域得到了重要的应用。针对传统的算法检测所呈现出的不足之处如准确性差、易受环境背景影响等问题,采用基于骨骼与关键点的方式进行行为识别。首先,使用人体姿态估计算法Openpose获取视频中人体各个... 当前,人体行为识别在视频监控等多领域得到了重要的应用。针对传统的算法检测所呈现出的不足之处如准确性差、易受环境背景影响等问题,采用基于骨骼与关键点的方式进行行为识别。首先,使用人体姿态估计算法Openpose获取视频中人体各个关节点的坐标信息,然后通过时空图卷积神经网络(Spatial-Temporal Graph Convolution Networks,ST-GCN)进行人体行为识别。为了提高识别精度,在原有算法上加入通道注意力机制。实验结果表明,所提的算法在NTU-RGB+D数据集上,C-SUB和C-VIEW的top-1分别取得83.62%与90.86%的精度,相比ST-GCN分别提升了2.12%和2.56%。在自建数据集上,所提算法得到了78.33%的精度,相比ST-GCN的71.67%,提高了6.66%。 展开更多

关键词 行为识别 时空图卷积神经网络 人体骨架序列 注意力机制

在线阅读 下载PDF 职称材料

利用可选择多尺度图卷积网络的骨架行为识别

14

作者 曹毅 李杰 +2 位作者 叶培涛 王彦雯 吕贤海 《电子与信息学报》 2025年第3期839-849,共11页

针对目前骨架行为识别方法忽视骨架关节点多尺度依赖关系和无法合理利用卷积核进行时间建模的问题,该文提出了一种可选择多尺度图卷积网络(SMS-GCN)的行为识别模型。首先,介绍了人体骨架图的构建原理和通道拓扑细化图卷积网络的结构;其... 针对目前骨架行为识别方法忽视骨架关节点多尺度依赖关系和无法合理利用卷积核进行时间建模的问题,该文提出了一种可选择多尺度图卷积网络(SMS-GCN)的行为识别模型。首先,介绍了人体骨架图的构建原理和通道拓扑细化图卷积网络的结构;其次,构建成对关节邻接矩阵和多关节邻接矩阵以生成多尺度通道拓扑细化邻接矩阵,并引入图卷积网络,进一步提出多尺度图卷积(MS-GC)模块,以期实现对骨架关节点的多尺度依赖关系的建模;然后,基于多尺度时序卷积和可选择大核网络,提出可选择多尺度时序卷积(SMS-TC)模块,以期实现对有用的时间上下文特征的充分提取,同时结合MS-GC和SMS-TC模块,进而提出可选择多尺度图卷积网络模型并在多支流数据输入下进行训练;最后,在NTU-RGB+D和NTU-RGB+D 120数据集上进行大量实验,实验结果表明,该模型能够捕获更多的关节特征和学习有用的时间信息,具有优异的准确率和泛化能力。 展开更多

关键词 骨架行为识别 图卷积网络 多尺度通道拓扑细化邻接矩阵 可选择多尺度时序卷积 可选择多尺度图卷积网络

在线阅读 下载PDF 职称材料