基于3D骨架相似性的自适应移位图卷积神经网络人体行为识别算法 被引量：3

1

作者 闫文杰 尹艺颖 《计算机科学》 CSCD 北大核心 2024年第4期236-242,共7页

图卷积神经网络(Graph Convolutional Neural network,GCN)在基于3D骨架的人体行为识别领域取得了良好效果。然而,现有的大多数GCN方法对行为动作图的构建都是基于人体物理结构的手动设置,训练阶段各个图节点只能根据手动设置建立联系,... 图卷积神经网络(Graph Convolutional Neural network,GCN)在基于3D骨架的人体行为识别领域取得了良好效果。然而,现有的大多数GCN方法对行为动作图的构建都是基于人体物理结构的手动设置,训练阶段各个图节点只能根据手动设置建立联系,无法感知动作行为过程中骨骼节点之间产生的新联系,导致图拓扑结构不合理和不灵活。移位图卷积网络通过改变图网络结构使得感受野更加灵活,并且在全局移位角度取得了良好效果。因此,提出了一种基于自适应移位图卷积神经网络(Adaptive Shift Graph Convolutional Neural network,AS-GCN)的人体行为识别算法来弥补前述GCN方法的不足。AS-GCN借鉴了移位图卷积网络的思想,提出用每个人体动作的本身特点来指导图神经网络进行移位操作,以尽可能准确地选定需要扩大感受野的节点。在基于骨架的通用动作识别数据集NTU-RGBD上,所提算法在骨骼有无物理关系约束的前提条件下均进行了实验验证。与现有的先进算法相比,AS-GCN算法的动作识别准确率在有骨骼物理约束的条件下的CV和CS角度上平均提高了12%和4.84%;在无骨骼物理约束的条件下的CV和CS角度上平均提高了20%和14.49%。 展开更多

关键词 骨架动作分类 图卷积神经网络 行为识别 自适应移位

在线阅读 下载PDF 职称材料

强背景噪声条件下自适应图卷积神经网络的航空发动机附件机匣故障诊断方法 被引量：31

2

作者 余晓霞 汤宝平 +1 位作者 魏静 邓蕾 《仪器仪表学报》 EI CAS CSCD 北大核心 2021年第8期78-86,共9页

针对强背景噪声条件下航空发动机附件机匣故障难以诊断的问题,提出了自适应图卷神经网络(AGCNet)航空发动机附件机匣故障诊断方法。将航空发动机附件机匣振动信号通过小波包进行分解,并将小波包系数矩阵定义为包含节点与边的图。在图卷... 针对强背景噪声条件下航空发动机附件机匣故障难以诊断的问题,提出了自适应图卷神经网络(AGCNet)航空发动机附件机匣故障诊断方法。将航空发动机附件机匣振动信号通过小波包进行分解,并将小波包系数矩阵定义为包含节点与边的图。在图卷积神经网络中构建自适应图卷积核,基于切比雪夫多项式设计了一种自适应图卷积操作,通过自适应图卷积核对图中节点与边进行特征提取,增强模型在强噪声条件下的泛化性。最后利用全连接层进行特征抽取,进而实现航空发动机附件机匣故障。应用案例表明所提自适应图卷积神经网络模型(AGCNet);在强背景噪声条件下对航空发动机附件机匣故障平均诊断精度为86.42%,均高于LeNet、ResNet以及GCNet模型。能够有效识别故障,可应用于航空发动机附件机匣故障诊断。 展开更多

关键词 航空发动机附件机匣 自适应图卷积神经网络 强背景噪声 故障诊断

在线阅读 下载PDF 职称材料

基于时空自适应图卷积神经网络的脑电信号情绪识别 被引量：18

3

作者 高越 傅湘玲 +2 位作者 欧阳天雄 陈松龄 闫晨巍 《计算机科学》 CSCD 北大核心 2022年第4期30-36,共7页

随着人机交互在计算机辅助领域的快速发展,脑电信号已成为情绪识别的主要手段。与此同时,图网络因其对拓扑结构数据的优秀表征能力,逐渐受到研究者们的广泛关注。为进一步提升图网络对多通道脑电信号的表征性能,文中结合脑电信号的稀疏... 随着人机交互在计算机辅助领域的快速发展,脑电信号已成为情绪识别的主要手段。与此同时,图网络因其对拓扑结构数据的优秀表征能力,逐渐受到研究者们的广泛关注。为进一步提升图网络对多通道脑电信号的表征性能,文中结合脑电信号的稀疏性、不频繁性等多种特性,提出了一种基于时空自适应图卷积神经网络的脑电情绪识别方法(Self-Adaptive Brain Graph Convolutional Network with Spatiotemporal Attention,SABGCN-ST)。该方法通过引入时空注意力机制解决了情绪的稀疏性问题,并根据自适应学习的脑网络拓扑邻接矩阵,挖掘不同位置的电极通道之间的功能连接关系。最终模型基于图卷积操作进行图结构的特征学习,以实现对脑电信号的情绪预测。在DEAP和SEED两个脑电信号公开数据集上开展了大量实验,实验结果证明,SABGCN-ST相比基线模型在准确率上具有显著的优势,平均情绪识别准确率达到84.91%。 展开更多

关键词 脑电信号 情绪识别 图卷积神经网络 时空注意力机制 自适应邻接矩阵 深度学习

在线阅读 下载PDF 职称材料

轻量级多信息图卷积神经网络动作识别方法 被引量：8

4

作者 井望 李汪根 +1 位作者 沈公仆 范宝珠 《计算机应用研究》 CSCD 北大核心 2022年第4期1247-1252,共6页

针对如何在保持低参数量和低计算量前提下构建高性能模型的问题,提出一种轻量级多信息图卷积神经网络(LMI-GCN)。LMI-GCN通过将关节坐标、关节速度、骨骼边、骨骼边速度四种不同信息编码至高维空间的方式进行信息融合,并引入可以聚合重... 针对如何在保持低参数量和低计算量前提下构建高性能模型的问题,提出一种轻量级多信息图卷积神经网络(LMI-GCN)。LMI-GCN通过将关节坐标、关节速度、骨骼边、骨骼边速度四种不同信息编码至高维空间的方式进行信息融合,并引入可以聚合重要特征的多通道自适应图和分流时间卷积块以减少模型参数量。同时,提出一种随机池数据预处理方法。在NTU-RGB+D120数据集上与基线方法SGN(语义引导神经网络)相比,在两种评估设置cross-subject和cross-setup上提高5.4%和4.7%。实验结果表明,LMI-GCN性能高于SGN。 展开更多

关键词 轻量级 图卷积神经网络 动作识别 多通道自适应图 随机池数据预处理

在线阅读 下载PDF 职称材料

基于图卷积的自适应特征融合MRI脑肿瘤分割方法

5

作者 张野 张睦卿 +1 位作者 袁学刚 牛大田 《河北科技大学学报》 北大核心 2025年第4期395-404,共10页

针对U-Net模型在MRI脑肿瘤分割上存在的全局信息捕获不足和深层语义信息融合不充分等问题,提出一种新的基于图卷积的自适应特征融合网络(adaptive spatial and graph-convolutional U-Net, ASGU-Net)。以三维U-Net为基础,通过构建图卷... 针对U-Net模型在MRI脑肿瘤分割上存在的全局信息捕获不足和深层语义信息融合不充分等问题,提出一种新的基于图卷积的自适应特征融合网络(adaptive spatial and graph-convolutional U-Net, ASGU-Net)。以三维U-Net为基础,通过构建图卷积推理模块,捕获额外的远程上下文特征;在编解码器中引入动态蛇形卷积(dynamic snake convolution, DSConv)能更精准地契合肿瘤形态各异的特点,提高边缘特征提取能力,从而有效提升分割精度;在解码器中引入自适应空间特征融合(adaptive spatial feature fusion, ASFF)模块,通过整合多个编码器块捕获的语义信息提升特征融合效果。在公开的BraTS 2019—2021数据集上的评估表明,整个肿瘤、肿瘤核心和增强肿瘤的Dice值分别为90.70%/90.70%/91.00%、84.90%/84.00%/88.80%和77.30%/77.40%/82.50%,证明了ASGU-Net在脑肿瘤分割任务中的有效性。ASGU-Net可有效解决全局信息捕获不足和特征融合不充分的问题,为脑肿瘤高精度自动化分割提供了参考。 展开更多

关键词 计算机神经网络 脑肿瘤分割 三维U-Net 图卷积推理瓶颈层 动态蛇形卷积 自适应空间特征融合

在线阅读 下载PDF 职称材料

基于图卷积网络的糖尿病视网膜病变分级模型 被引量：4

6

作者 杨雨帆 袁立明 +4 位作者 王珂 李弘毅 李奕璇 姚雨佳 王婧祎 《计算机科学》 CSCD 北大核心 2024年第S02期451-455,共5页

糖尿病视网膜病变是一种高风险的致盲性疾病,若能及早发现病变情况,则可对症治疗,减缓或阻止患者进一步的视力丧失。目前已经有一些利用深度学习进行糖尿病视网膜疾病检测的成功案例。然而,这些方法通常只考虑了图像中像素之间的空间关... 糖尿病视网膜病变是一种高风险的致盲性疾病,若能及早发现病变情况,则可对症治疗,减缓或阻止患者进一步的视力丧失。目前已经有一些利用深度学习进行糖尿病视网膜疾病检测的成功案例。然而,这些方法通常只考虑了图像中像素之间的空间关系,而没有考虑到图像深层特征之间的关系。为此,提出了一种基于图卷积网络的糖尿病视网膜病变分级模型,旨在帮助医生和研究人员在临床实践和科研工作中更好地进行糖尿病视网膜病变图像的分级和诊断。本模型主要通过图卷积网络去捕捉图像深层特征间所蕴含的重要的分级信息,获得具有更强语义信息的特征,并在此基础上构建一个双路分支网络。此外,为了更好地进行特征融合,采用自适应权重机制来进一步提高分级性能。实验结果表明,所提出的方法利用图卷积网络可以充分学习到图像深层特征间的关系,从而提高分级性能,其分类准确率在APTOS2019数据集上达到约84.8%,在Messidor-2数据集上达到约68%。 展开更多

关键词 糖尿病视网膜病变分级 卷积神经网络 图卷积网络 双路分支网络 自适应权重机制

在线阅读 下载PDF 职称材料

基于自适应图卷积注意力神经协同推荐算法 被引量：5

7

作者 杜雨晅 王巍 +3 位作者 张闯 郑小丽 苏嘉涛 王杨洋 《计算机应用研究》 CSCD 北大核心 2022年第6期1760-1766,共7页

随着互联网的快速发展,推荐系统可以用来处理信息过载的问题。由于传统推荐系统的诸多问题导致其无法处理发掘隐藏信息,提出一种自适应图卷积注意力神经协同推荐算法(ANGCACF)。首先获取用户和项目交互图,通过图卷积神经网络自适应的聚... 随着互联网的快速发展,推荐系统可以用来处理信息过载的问题。由于传统推荐系统的诸多问题导致其无法处理发掘隐藏信息,提出一种自适应图卷积注意力神经协同推荐算法(ANGCACF)。首先获取用户和项目交互图,通过图卷积神经网络自适应的聚合用户和项目特征信息;其次对用户和项目特征信息添加自适应扩充数据,以解决数据稀疏性,利用注意力机制对用户和项目特征信息及添加的自适应扩充数据重新分配权重;最后将得到的用户和项目特征表示使用基于矩阵分解的协同过滤的算法框架得出最终推荐结果。在MovieLens-1M、MovieLens-100K和Amazon-baby三个公开数据集上的实验表明,该算法在推荐准确率、召回率、Mrr、命中率和NDCG五个指标上均优于基线方法。 展开更多

关键词 推荐系统 自适应 图卷积神经网络 注意力机制 协同过滤

在线阅读 下载PDF 职称材料

融合自注意力和图卷积的多视图群组推荐 被引量：1

8

作者 王永贵 王芯茹 《计算机工程与应用》 CSCD 北大核心 2024年第8期287-295,共9页

为了解决大多数现有的群组推荐仅仅从群组和用户的单一交互中学习群组表示,以及固定融合策略难以动态调整权重的问题。提出了一种融合自注意力和图卷积的多视图群组推荐模型(MVGR),设计了成员级、项目级和组级三个不同的视图,来捕捉群... 为了解决大多数现有的群组推荐仅仅从群组和用户的单一交互中学习群组表示,以及固定融合策略难以动态调整权重的问题。提出了一种融合自注意力和图卷积的多视图群组推荐模型(MVGR),设计了成员级、项目级和组级三个不同的视图,来捕捉群组、用户和项目三者之间的高阶交互信息,缓解数据稀疏问题,增强群组表示建模过程;对于项目级视图,利用基于二分图的图卷积神经网络来学习群组偏好向量以及项目嵌入;进一步提出了自适应融合组件来动态调整不同视图权重,得到最终的群组偏好向量。在两个真实数据集上的实验结果表明,与基线模型相比,MVGR模型的命中率(HR)和归一化折损累计增益(NDCG)在Mafengwo数据集上平均提高了8.89个百分点和1.56个百分点,在CAMRa2011数据集上平均提高了2.79个百分点和2.7个百分点。 展开更多

关键词 群组推荐 自注意力机制 图卷积神经网络 自适应融合

在线阅读 下载PDF 职称材料

应用区域关联自适应图卷积的动作识别方法 被引量：6

9

作者 马利 郑诗雨 牛斌 《计算机科学与探索》 CSCD 北大核心 2022年第4期898-908,共11页

基于骨架数据的动作识别方法由于其对动态环境和复杂背景的强适应性而受到广泛的关注和研究,应用图卷积网络描述人体骨架实现人体动作识别可以取得很好的识别效果,但实现过程中图的拓扑结构通常是手动设置的,且在所有层和输入样本上的... 基于骨架数据的动作识别方法由于其对动态环境和复杂背景的强适应性而受到广泛的关注和研究,应用图卷积网络描述人体骨架实现人体动作识别可以取得很好的识别效果,但实现过程中图的拓扑结构通常是手动设置的,且在所有层和输入样本上的结构固定,只能捕获关节之间的局部物理关系,会遗漏非物理连接的关节相关性。提出了一种新的基于区域关联自适应图卷积网络的骨架动作识别,通过自适应图卷积使参数化的全局图和单个数据图的结构与模型卷积参数在不同的层中分别进行训练和更新,增加了模型中图形构造的灵活性与模型对于各种数据样本的通用性。同时引入区域关联图卷积,通过在关节特征与连接特征之间交替信息传递来捕获数据帧间各关节的非物理连接相关性。并加入骨骼的二阶数据对原有关节数据进行信息补充,融合两者构成双流网络提升识别网络的性能。在NTU-RGBD大规模数据集上的实验表明,该模型在动作识别的准确率上有了一定的提升。 展开更多

关键词 自适应 区域关联 双流网络 图卷积

在线阅读 下载PDF 职称材料

基于骨架的自适应图卷积和LSTM行为识别 被引量：6

10

作者 冒鑫鑫 吴胜昔 +1 位作者 咸博龙 顾幸生 《华东理工大学学报（自然科学版）》 CAS CSCD 北大核心 2022年第6期816-825,共10页

针对骨架行为识别任务的识别精确度问题,提出了一种自适应图卷积和长短时记忆相结合的模型(AAGC-LSTM)。该模型以捕获人体骨架运动的时空共现特征为出发点,提取运动特征时打破以人体自然骨架为固有图卷积邻接矩阵的束缚,利用自适应图卷... 针对骨架行为识别任务的识别精确度问题,提出了一种自适应图卷积和长短时记忆相结合的模型(AAGC-LSTM)。该模型以捕获人体骨架运动的时空共现特征为出发点,提取运动特征时打破以人体自然骨架为固有图卷积邻接矩阵的束缚,利用自适应图卷积与长短时记忆神经网络的结合进行时空共现特征的提取。为了捕获行为识别任务的关键节点信息,嵌入了空间注意力模块,将人体骨架信息以一种动态的方式进行结合,同时将骨骼关节点一级运动信息和骨骼边二级运动信息送入模型组成双流分支并进行融合以提高模型识别的准确率。该模型在NTU RGB+D数据集的Cross Subject和Cross View协议下分别取得了90.1%和95.6%的准确率,在North Western数据集上取得了93.6%的准确率,验证了该模型在提取骨架运动时空特征和行为识别任务上的优越性。 展开更多

关键词 行为识别 图卷积 长短时记忆神经网络 注意力机制 自适应结构

在线阅读 下载PDF 职称材料

基于双路先验自适应图神经常微分方程的交通流预测

11

作者 袁蓉 彭莉兰 +1 位作者 李天瑞 李崇寿 《计算机科学》 CSCD 北大核心 2024年第4期151-157,共7页

准确的交通流量预测是智能交通系统不可或缺的组成部分。近年来,图神经网络在交通流预测任务中取得了较好的预测结果。然而,图神经网络的信息传递是不连续的潜在状态传播,且随着网络层数的增加存在过平滑的问题,这限制了模型捕获远距离... 准确的交通流量预测是智能交通系统不可或缺的组成部分。近年来,图神经网络在交通流预测任务中取得了较好的预测结果。然而,图神经网络的信息传递是不连续的潜在状态传播,且随着网络层数的增加存在过平滑的问题,这限制了模型捕获远距离节点的空间依赖关系的能力。同时,在表示道路网络的空间关系时,现有方法大多仅使用先验知识构建的预定义图或仅使用路网状况构建的自适应图,忽略了两类图结合的方式。针对上述问题,提出了一种基于双路先验自适应图神经常微分方程的交通流预测模型。利用时间卷积网络捕获序列的时间相关性,使用先验自适应图融合模块表示道路网络的空间关系,并通过基于张量乘法的神经常微分方程以连续的方式传播复杂的时空特征。最后,在美国加利福尼亚州4个公开的高速公路流量数据集上进行对比实验,结果表明所提模型的预测效果优于现有的10种对比方法。 展开更多

关键词 交通预测 先验自适应图 图卷积神经网络 神经常微分方程 张量乘法

在线阅读 下载PDF 职称材料

基于图卷积网络改进的人体动作识别模型 被引量：3

12

作者 陶峰 李燕苹 王瑞 《电子测量技术》 北大核心 2023年第8期59-64,共6页

针对双流自适应图卷积动作识别网络2S-AGCN模型忽略了人体动作识别中特征的长距离信息以及通道之间的依赖的缺点,设计了一种双重注意力机制对2S-AGCN模型的图卷积模块进行改进,实现精度的提升。双重注意力机制包含了空间注意力机制以及... 针对双流自适应图卷积动作识别网络2S-AGCN模型忽略了人体动作识别中特征的长距离信息以及通道之间的依赖的缺点,设计了一种双重注意力机制对2S-AGCN模型的图卷积模块进行改进,实现精度的提升。双重注意力机制包含了空间注意力机制以及通道注意力机制,其中空间注意力机制有选择性地聚集上下文,通道注意力机制分为两个并行的模块,第1部分提高了特征的可辨性,第2部分在捕获特征远程依赖的同时,保留了精准的位置信息。结果表明,以双流自适应图卷积动作识别网络2S-AGCN模型为基础网络,融入了双重注意力机制模块的模型在Kinetics数据集上的Top-1和Top-5分别提升了0.6%和1.3%,在NTURGB+D120数据集的CS和CV上的Top-1分别提升了1.2%和0.5%,在NTURGB+D数据集的CS和CV上的Top-1分别提了0.2%和0.1%。 展开更多

关键词 动作识别 双流自适应图卷积网络 双重注意力机制 深度学习

在线阅读 下载PDF 职称材料

基于领域对抗图注意力网络的轴承跨域故障诊断

13

作者 安冬 韩鹏举 +2 位作者 李宇鹏 李旺 邵萌 《沈阳建筑大学学报(自然科学版)》 北大核心 2025年第2期280-288,共9页

针对轴承跨域故障诊断任务中因转速跨度大而导致故障特征差异显著,难以有效建模和对齐复杂数据特征的问题,提出一种基于领域对抗图注意力网络(DA-GAT)的模型以提高故障诊断准确率。首先将轴承振动信号数据经基于GC模块的特征提取网络处... 针对轴承跨域故障诊断任务中因转速跨度大而导致故障特征差异显著,难以有效建模和对齐复杂数据特征的问题,提出一种基于领域对抗图注意力网络(DA-GAT)的模型以提高故障诊断准确率。首先将轴承振动信号数据经基于GC模块的特征提取网络处理,然后将提取到的数据特征输入自适应边缘生成模块并构建实例图,再通过图注意力网络进行多尺度卷积建模;采用分类器和域鉴别器分别对信号特征的类别信息和领域信息进行建模,利用最大均值差异(MMD)度量不同域实例图的数据结构差异,并最大化源域和目标域之间的特征一致性实现源域和目标域的对齐。宽转速跨度诊断实验的结果表明,DA-GAT的诊断准确率显著优于JAN、MKMMD、CORAL和DANN等方法,其平均准确率达到76.8%,排除低转速故障特征不明显的工况,准确率达94.4%以上。DA-GAT模型能够充分提取数据结构信息,更有效地捕捉和对齐源域和目标域的特征差异,提高了轴承跨域故障诊断的准确性和鲁棒性。 展开更多

关键词 故障诊断 迁移学习 滚动轴承 图卷积神经网络 无监督领域自适应

在线阅读 下载PDF 职称材料

利用混合深度学习算法的时空风速预测 被引量：1

14

作者 贵向泉 孟攀龙 +2 位作者 孙林花 秦三杰 刘靖红 《太阳能学报》 北大核心 2025年第3期668-678,共11页

风速预测的准确性始终不理想,为解决风速复杂的时空相关性和非线性问题,提出一种新颖的混合深度学习模型。首先,采用二次分解法将输入序列分解为具有不同频率振动模式的模态分量(IMF);使用图卷积神经网络(GCN)和双向长短期记忆网络(BiLS... 风速预测的准确性始终不理想,为解决风速复杂的时空相关性和非线性问题,提出一种新颖的混合深度学习模型。首先,采用二次分解法将输入序列分解为具有不同频率振动模式的模态分量(IMF);使用图卷积神经网络(GCN)和双向长短期记忆网络(BiLSTM)来预测高频分量;使用自适应图时空Transformer网络(ASTTN)来预测低频分量,以充分考虑输入序列的时空相关性。最后将高频分量和低频分量合并叠加,得到最终的预测结果。将该模型应用于甘肃省某风电场进行风速预测,实验结果表明,所提出混合深度学习模型能有效提高风速预测的准确性。 展开更多

关键词 风速 预测 深度学习 图卷积神经网络 双向长短期记忆网络 自适应图时空Transformer

在线阅读 下载PDF 职称材料

基于特征交互与自适应融合的骨骼动作识别 被引量：1

15

作者 李豆豆 李汪根 +2 位作者 夏义春 束阳 高坤 《计算机应用》 CSCD 北大核心 2023年第8期2581-2587,共7页

当前骨骼动作识别任务中仍存在数据预处理不合理、模型参数量大、识别精度低的缺点。为解决以上问题,提出了一种基于特征交互与自适应融合的骨骼动作识别方法 AFFGCN。首先,提出一种自适应分池数据预处理算法,以解决数据帧分布不均匀和... 当前骨骼动作识别任务中仍存在数据预处理不合理、模型参数量大、识别精度低的缺点。为解决以上问题,提出了一种基于特征交互与自适应融合的骨骼动作识别方法 AFFGCN。首先,提出一种自适应分池数据预处理算法,以解决数据帧分布不均匀和数据帧代表性差的问题;其次,引入一种多信息特征交互的方法来挖掘更深的特征,以提高模型的性能;最后,提出一种自适应特征融合(AFF)模块用于图卷积特征融合,以进一步提高模型性能。实验结果表明,该方法在NTU-RGB+D 60数据集上较基线方法轻量级多信息图卷积神经网络(LMI-GCN)在交叉主题(CS)与交叉视角(CV)两种评估设置上均提升了1.2个百分点,在NTU-RGB+D 120数据集上较基线方法 LMI-GCN在CS和交叉设置号(SS)评估设置上分别提升了1.5和1.4个百分点。而在单流和多流网络上的实验结果表明,相较于语义引导神经网络(SGN)等当前主流骨骼动作识别方法,所提方法的模型参数量更低、准确度更高,模型性能优势明显,更加适用于移动设备的部署。 展开更多

关键词 图卷积神经网络 自适应特征融合 人体骨骼动作识别 多信息融合 特征交互

在线阅读 下载PDF 职称材料

时空域融合的骨架动作识别与交互研究 被引量：9

16

作者 钟秋波 郑彩明 朴松昊 《智能系统学报》 CSCD 北大核心 2020年第3期601-608,共8页

在人体骨架结构动作识别方法中,很多研究工作在提取骨架结构上的空间信息和运动信息后进行融合,没有对具有复杂时空关系的人体动作进行高效表达。本文提出了基于姿态运动时空域融合的图卷积网络模型(PM-STFGCN)。对于在时域上存在大量... 在人体骨架结构动作识别方法中,很多研究工作在提取骨架结构上的空间信息和运动信息后进行融合,没有对具有复杂时空关系的人体动作进行高效表达。本文提出了基于姿态运动时空域融合的图卷积网络模型(PM-STFGCN)。对于在时域上存在大量的干扰信息,定义了一种基于局部姿态运动的时域关注度模块(LPM-TAM),用于抑制时域上的干扰并学习运动姿态的表征。设计了基于姿态运动的时空域融合模块(PMSTF),融合时域运动和空域姿态特征并进行自适应特征增强。通过实验验证,本文提出的方法是有效性的,与其他方法相比,在识别效果上具有很好的竞争力。设计的人体动作交互系统,验证了在实时性和准确率上优于语音交互系统。 展开更多

关键词 动作识别 时空关系 姿态运动 时空域融合 图卷积神经网络 时域关注度 自适应特征增强 人体动作交互

在线阅读 下载PDF 职称材料

面向复杂环境的人机协作装配意图识别方法

17

作者 何家威 张朝阳 +2 位作者 叶子健 史天佑 郑坤明 《西安交通大学学报》 2025年第12期44-57,共14页

针对复杂环境中人机协作装配系统存在的识别装配动作准确率较低、动作相似度高时无法准确感知装配者意图,以及由此导致的机器人配合操作者的装配效率较低的问题,从装配动作信息和装配零件信息之间的联系出发,建立了面向复杂环境的人机... 针对复杂环境中人机协作装配系统存在的识别装配动作准确率较低、动作相似度高时无法准确感知装配者意图,以及由此导致的机器人配合操作者的装配效率较低的问题,从装配动作信息和装配零件信息之间的联系出发,建立了面向复杂环境的人机协作装配意图识别融合模型。基于骨架特征,采用双流自适应图卷积神经网络(2S-AGCN)模型针对装配进行动作识别;提出改进的YOLOV8模型,以提高装配零件在无序和遮挡环境下的识别准确率;结合当前装配任务,设计了包含装配动作和装配零件信息的装配推理规则,规划装配顺序。在装配动作数据集以及装配泵体零件数据集上对所提方法进行了验证。实验结果表明:交并比为0.50~0.95时,YOLOV8模型对零件识别的平均准确率达到88.361%;所提出的融合模型对于操作者装配意图的识别准确率达到96.66%,验证了人机协作系统识别操作者装配意图的可行性和有效性。将装配动作信息与装配零件信息相结合,有助于在复杂的人机协作环境中准确地识别出操作者的装配意图。 展开更多

关键词 人机协作 动作识别 双流自适应图卷积神经网络 YOLOV8模型 意图识别融合模型

在线阅读 下载PDF 职称材料