基于骨架和3D热图的注意缺陷多动障碍患者动作识别算法

1

作者 石超 周昱昕 +3 位作者 扶倩 唐万宇 何凌 李元媛 《计算机应用》 北大核心 2025年第9期3036-3044,共9页

注意缺陷多动障碍(ADHD)是一种常见于儿童期的神经发育障碍,以注意力不集中、多动和冲动为主要特征,常表现出特定的动作模式。传统的动作识别算法在处理这些特定动作时存在识别准确率低和响应慢等问题。为解决这些问题,提出基于骨架和3... 注意缺陷多动障碍(ADHD)是一种常见于儿童期的神经发育障碍,以注意力不集中、多动和冲动为主要特征,常表现出特定的动作模式。传统的动作识别算法在处理这些特定动作时存在识别准确率低和响应慢等问题。为解决这些问题,提出基于骨架和3D热图的注意缺陷多动障碍患者动作识别算法,并通过高斯分布精确地表示关节点间的空间关系,以有效地保留时空信息。针对单一模态数据的限制,引入基于骨架和3D热图的多模态集成方法。同时,通过融合Short 3D-CNN(3D Convolutional Neural Network)和自适应图卷积网络(AGCN)的输出特征,充分利用两种模态数据的优势,从而提升动作识别性能。在四川大学华西医院心理卫生中心采集的ADHD患者数据集上的实验结果表明,对于8种不同类型的动作,所提算法的Top-1识别准确率为0.8604,Top-5识别准确率为0.9873。此外,提出基于动作类型的ADHD自动分型算法,该算法将ADHD分型为头面部体动型、躯干体动型和四肢体动型,它的识别准确率为75%,响应时间为5 s。与2s-AGCN(two-stream AGCN)和PoseConv3D相比,所提算法在复杂动作场景下具有更高的识别精度,为ADHD的个性化干预提供了新的技术手段。 展开更多

关键词 注意缺陷多动障碍 动作识别 骨架数据 图卷积网络 3D卷积神经网络

在线阅读 下载PDF 职称材料

融合时空领域知识与数据驱动的骨架行为识别 被引量：1

2

作者 梁成武 胡伟 +2 位作者 杨杰 蒋松琪 侯宁 《计算机工程与应用》 北大核心 2025年第5期165-176,共12页

基于骨架数据的行为识别由于其数据紧凑性和抗背景干扰性,逐渐引起研究者的关注。现有数据驱动方法对融合骨架行为的时空领域知识尚未充分研究。基于此,提出一种融合人体行为时空领域先验知识与CNN改进网络结构的骨架行为识别方法。基... 基于骨架数据的行为识别由于其数据紧凑性和抗背景干扰性,逐渐引起研究者的关注。现有数据驱动方法对融合骨架行为的时空领域知识尚未充分研究。基于此,提出一种融合人体行为时空领域先验知识与CNN改进网络结构的骨架行为识别方法。基于关键时空特征领域知识提出时通聚焦模块,通过产生聚集系数矩阵引导模型关注鉴别性特征表达。融合长时空跨度领域知识提出多尺度卷积融合模块,沿通道采用分组残差连接方式灵活扩大卷积的时间感受野,在不引入大量参数情况下可获得长时空跨度特征表达能力。该方法在NTU RGB+D、NTU RGB+D 120及FineGYM三个大型数据集上进行性能评估与验证,分别取得96.6%、89.6%、94.1%的识别准确率。实验结果表明,融合时空领域知识与数据驱动可充分挖掘骨架行为时空特征,能够提升骨架行为识别性能并具有跨数据集泛化性。 展开更多

关键词 时空领域知识 数据驱动 骨架行为识别 卷积神经网络 长时空建模

在线阅读 下载PDF 职称材料

多模跨视图对比记忆增强网络的自监督骨架动作识别

3

作者 白天 高月红 +1 位作者 谢正光 李洪均 《计算机工程与应用》 北大核心 2025年第21期225-233,共9页

近年来,人类骨架动作识别的自监督表示学习取得了显著进展。然而,大多数现有方法主要依赖于骨架关节、骨骼和运动三种模态数据,未能充分利用丰富的骨架信息。此外,大多数研究在骨架序列的深层次特征提取和多样性对比学习方面存在不足。... 近年来,人类骨架动作识别的自监督表示学习取得了显著进展。然而,大多数现有方法主要依赖于骨架关节、骨骼和运动三种模态数据,未能充分利用丰富的骨架信息。此外,大多数研究在骨架序列的深层次特征提取和多样性对比学习方面存在不足。为了解决这些问题,提出了多模跨视图对比记忆增强网络(multimodal cross-view contrastive memory-augmented network,MCCMN)模型。主要由三部分组成:在传统三模态基础上,引入加速度、旋转轴和角速度三种新数据模态,丰富骨架信息的表征。采用图卷积网络模型作为特征编码器,并通过非线性投影层映射高维数据特征,捕捉数据深层次模式与关联以提高模型鲁棒性。提出跨视图对比记忆增强机制,通过动态更新的负样本队列,丰富对比样本的多样性,并利用不同模态视图间的互补信息,增强特征的鲁棒性,实现多模态视图一致性的对比学习。基准数据集上的实验结果表明,MCCMN模型在各项指标上均优于现有方法,证明了其在自监督骨架动作识别任务中的有效性和广泛应用前景。 展开更多

关键词 骨架的动作识别 自监督学习 多模态数据 对比学习

在线阅读 下载PDF 职称材料

基于骨骼的人体行为识别方法研究综述 被引量：4

4

作者 黄倩 崔静雯 李畅 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2024年第2期173-194,共22页

人体行为识别在视频理解中发挥了重要作用.近年来,基于骨骼的行为识别方法因其对复杂环境的干扰更具鲁棒性而受到广泛关注.文中共整理了102种基于骨骼的人体行为识别方法,并在9个公开数据集上对其进行了对比分析.按照特征学习方式的不同... 人体行为识别在视频理解中发挥了重要作用.近年来,基于骨骼的行为识别方法因其对复杂环境的干扰更具鲁棒性而受到广泛关注.文中共整理了102种基于骨骼的人体行为识别方法,并在9个公开数据集上对其进行了对比分析.按照特征学习方式的不同,分别介绍了基于手工特征的方法和基于深度学习的方法.其中,基于手工特征的方法按特征描述符的不同分为几何描述符、动力学描述符、统计描述符3个子类;基于深度学习的方法按网络主体的不同分为循环神经网络、卷积神经网络、图卷积网络、Transformer和混合网络5个子类.通过以上分析,不仅阐述了基于骨骼的行为识别方法的发展历程,还剖析了现有方法存在的泛化能力不强、计算成本高等局限.最后,从网络结构设计、相似动作区分、领域数据集拓展、多人交互等方面对未来研究方向进行了展望. 展开更多

关键词 计算机视觉 行为识别 骨骼数据 手工特征 深度学习 神经网络

在线阅读 下载PDF 职称材料

基于运动特征的骨骼行为识别方法 被引量：3

5

作者 孙浩 何宏 +1 位作者 汪焰兵 朱子豪 《计算机工程与设计》 北大核心 2024年第6期1836-1842,共7页

针对现有的骨骼行为识别方法对人体行为的运动信息利用不足的问题,提出一种基于运动特征的时空注意力图卷积(STA-GCN)行为识别模型。对动作捕捉设备采集到的关节点运动轨迹和速度信息进行建模,在时间和空间构建注意力权重矩阵,结合图卷... 针对现有的骨骼行为识别方法对人体行为的运动信息利用不足的问题,提出一种基于运动特征的时空注意力图卷积(STA-GCN)行为识别模型。对动作捕捉设备采集到的关节点运动轨迹和速度信息进行建模,在时间和空间构建注意力权重矩阵,结合图卷积网络进行特征提取,能够关注到具有判别力的关节点和时间帧。通过在自建动作捕捉数据集和NTU-RGB+D数据集的CS和CV标准上进行实验,其结果表明,该模型增强了对人体骨骼行为信息的理解能力,验证了模型对行为识别的有效性。 展开更多

关键词 行为识别 深度学习 动作捕捉 骨骼信息 特征提取 图卷积 时空注意力

在线阅读 下载PDF 职称材料

基于多维动态拓扑学习图卷积的骨架动作识别 被引量：3

6

作者 罗会兰 曹立京 《电子学报》 EI CAS CSCD 北大核心 2024年第3期991-1001,共11页

图卷积由于其对图数据的强大表示能力被广泛应用于基于骨架的动作识别任务中.但是现有的图卷积方法在所有帧或通道上都使用共享的图拓扑进行特征聚合,这极大限制了图卷积网络的表示能力.为了解决这些问题,本文提出多维动态拓扑学习图卷... 图卷积由于其对图数据的强大表示能力被广泛应用于基于骨架的动作识别任务中.但是现有的图卷积方法在所有帧或通道上都使用共享的图拓扑进行特征聚合,这极大限制了图卷积网络的表示能力.为了解决这些问题,本文提出多维动态拓扑学习图卷积用于动态建模具有时序与通道特异性的拓扑结构.多维动态拓扑学习图卷积主要包含三个组成部分:纯粹节点拓扑学习图卷积(pure Joint topology learning Graph Convolution,J-GC)、动态时序特异性拓扑学习图卷积(Dynamic Temporal-Wise topology learning Graph Convolution,DTW-GC)和通道特异性拓扑学习图卷积(Channel-Wise topology learning Graph Convolution,CW-GC).特别地,在DTW-GC中使用了动态骨架拓扑建模方法(Dynamic Skeleton Topology Learning,DSTL),以高效地建模富含全局时空拓扑特征的动态骨架拓扑.将多维动态拓扑学习图卷积与多尺度时间卷积(Multi-Scale Temporal Convolution,MS-TC)相结合,本文构建了具有强大建模能力的图卷积网络.此外,为了对骨架数据的空间信息进行补充,本文额外引入了相对节点数据和相对骨骼数据进行多流网络的融合.本文所提出的方法在NTU-RGB+D与NTU-RGB+D 120数据集上分别取得了92.64%和89.29%的准确率,超过了当前最先进方法. 展开更多

关键词 动作识别 深度学习 图卷积 动态骨架拓扑 数据融合

在线阅读 下载PDF 职称材料

基于双流自适应时空增强图卷积网络的手语识别 被引量：2

7

作者 金彦亮 吴筱溦 《应用科学学报》 CAS CSCD 北大核心 2024年第2期189-199,共11页

针对提取手语特征过程中出现的信息表征能力差、信息不完整问题,设计了一种双流自适应时空增强图卷积网络(two-stream adaptive enhanced spatial temporal graph convolutional network,TAEST-GCN)实现基于孤立词的手语识别。该网络使... 针对提取手语特征过程中出现的信息表征能力差、信息不完整问题,设计了一种双流自适应时空增强图卷积网络(two-stream adaptive enhanced spatial temporal graph convolutional network,TAEST-GCN)实现基于孤立词的手语识别。该网络使用人体身体、手部和面部节点作为输入,构造基于人体关节和骨骼的双流结构。通过自适应时空图卷积模块生成不同部位之间的连接,并充分利用其中的位置和方向信息。同时采用残差连接方式设计自适应多尺度时空注意力模块,进一步增强该网络在空域和时域的卷积能力。将双流网络提取到的有效特征进行加权融合,可以分类输出手语词汇。最后在公开的中文手语孤立词数据集上进行实验,在100类词汇和500类词汇分类任务中准确率达到了95.57%和89.62%。 展开更多

关键词 骨架数据 双流结构 自适应时空图卷积模块 自适应多尺度时空注意力模块 特征融合

在线阅读 下载PDF 职称材料

时空特征校准和相关性解耦的骨架细粒度动作识别模型 被引量：1

8

作者 胡正平 王昕宇 +1 位作者 陈代萍 唐熙珩 《信号处理》 CSCD 北大核心 2024年第12期2178-2192,共15页

针对骨架数据丢弃部分重要信息导致相关动作识别模型较难捕获动作序列的细微变化从而造成对细粒度动作类别识别率不足的问题,本文提出时空特征校准和相关性解耦的骨架细粒度动作识别模型,在主干网络中间层和输出层中分别引入时空特征校... 针对骨架数据丢弃部分重要信息导致相关动作识别模型较难捕获动作序列的细微变化从而造成对细粒度动作类别识别率不足的问题,本文提出时空特征校准和相关性解耦的骨架细粒度动作识别模型,在主干网络中间层和输出层中分别引入时空特征校准模块和相关性解耦模块,提高模型对细粒度动作类别识别能力。首先,为动态校准特征空间中容易被错误分类的样本同时提高模型对时空信息表征能力,引入时空特征校准模块,该模块对特征进行时空解耦以丰富特征空间中的时空信息,并且利用对比学习方法在特征空间中动态发现并纠正被错误分类的细粒度模糊样本;随后,为降低特征相似性对最终分类造成的影响,引入相关性解耦模块,该模块在第一阶段强制所有特征样本彼此远离以达到去相关目的,并且在第二阶段使去相关后的特征与相应类别原型聚合进而使最终分类难度降低。本文所引入对比学习模块仅在模型训练阶段参与计算,不会对测试阶段带来计算负担。为验证模型有效性,本文在大型公开骨架动作识别数据集上进行实验,模型在NTU RGB+D的X-Sub和X-View基准上识别准确率分别达到92.6%和96.8%,在NTU RGB+D 120数据集的X-Sub和X-Set基准上识别准确率分别达到89.2%和90.7%,相比于主流骨架动作识别模型有明显提升,实验结果表明,本方法能够提高模型对细粒度动作类别识别能力,具有一定优势。 展开更多

关键词 对比学习 细粒度分类 动作识别 骨架数据

在线阅读 下载PDF 职称材料

基于多尺度骨架图和局部视觉上下文融合的驾驶员行为识别方法 被引量：2

9

作者 胡宏宇 黎烨宸 +3 位作者 张争光 曲优 何磊 高镇海 《汽车工程》 EI CSCD 北大核心 2024年第1期1-8,28,共9页

识别非驾驶行为是提高驾驶安全性的重要手段之一。目前基于骨架序列和图像的融合识别方法具有计算量大和特征融合困难的问题。针对上述问题,本文提出一种基于多尺度骨架图和局部视觉上下文融合的驾驶员行为识别模型(skeleton-image base... 识别非驾驶行为是提高驾驶安全性的重要手段之一。目前基于骨架序列和图像的融合识别方法具有计算量大和特征融合困难的问题。针对上述问题,本文提出一种基于多尺度骨架图和局部视觉上下文融合的驾驶员行为识别模型(skeleton-image based behavior recognition network,SIBBR-Net)。SIBBR-Net通过基于多尺度图的图卷积网络和基于局部视觉及注意力机制的卷积神经网络,充分提取运动和外观特征,较好地平衡了模型表征能力和计算量间的关系。基于手部运动的特征双向引导学习策略、自适应特征融合模块和静态特征空间上的辅助损失,使运动和外观特征间互相引导更新并实现自适应融合。最终在Drive&Act数据集进行算法测试,SIBBR-Net在动态标签和静态标签条件下的平均正确率分别为61.78%和80.42%,每秒浮点运算次数为25.92G,较最优方法降低了76.96%。 展开更多

关键词 驾驶员行为识别 多尺度骨架图 局部视觉上下文 多模态数据自适应融合

在线阅读 下载PDF 职称材料

基于改进时空图卷积网络的人员交互行为识别 被引量：1

10

作者 雷静思 刘双广 +1 位作者 刘乔寿 王祥雪 《计算机应用与软件》 北大核心 2024年第4期151-158,共8页

针对人员交互行为识别存在的多模态数据融合方法导致的识别准确率与模型性能无法同时满足的问题,提出一种基于改进时空图卷积网络的人员交互行为识别方法。将单模态骨架数据引入级联的密集时空图卷积块网络中获得丰富的时空特征信息,提... 针对人员交互行为识别存在的多模态数据融合方法导致的识别准确率与模型性能无法同时满足的问题,提出一种基于改进时空图卷积网络的人员交互行为识别方法。将单模态骨架数据引入级联的密集时空图卷积块网络中获得丰富的时空特征信息,提高特征复用率;设计一种增强时空图卷积网络(EST-GCN)单元提高网络对关节点之间的信息表征能力;引入一种运动特征因子衡量肢体不同关节的重要程度,提高模型识别效果。在Kinetics数据集和办案区场景数据集上的实验结果表明,所提出方法在识别效果上具有一定优势,且该方法在模型复杂度及运行效率上具有很好的竞争力。 展开更多

关键词 交互行为 时空图卷积网络 骨架数据 密集

在线阅读 下载PDF 职称材料

交互关系超图卷积模型的双人交互行为识别 被引量：4

11

作者 代金利 曹江涛 姬晓飞 《智能系统学报》 CSCD 北大核心 2024年第2期316-324,共9页

为提高学校、商场等公共场所的安全性,实现对监控视频中的偷窃、抢劫和打架斗殴等异常双人交互行为的自动识别,针对现有基于关节点数据的行为识别方法在图的创建中忽略了2个人之间的交互信息,且忽略了单人非自然连接关节点间的交互关系... 为提高学校、商场等公共场所的安全性,实现对监控视频中的偷窃、抢劫和打架斗殴等异常双人交互行为的自动识别,针对现有基于关节点数据的行为识别方法在图的创建中忽略了2个人之间的交互信息,且忽略了单人非自然连接关节点间的交互关系的问题,提出一种基于交互关系超图卷积模型用于双人交互行为的建模与识别。首先针对每一帧的关节点数据构建对应的单人超图以及双人交互关系图,其中超图同时使多个非自然连接节点信息互通,交互关系图强调节点间交互强度。将以上构建的图模型送入时空图卷积对空间和时间信息分别建模,最后通过SoftMax分类器得到识别结果。该算法框架的优势是在图的构建过程中加强考虑双人的交互关系、非自然连接点间结构关系以及四肢灵活的运动特征。在NTU数据集上的测试表明,该算法得到了97.36%的正确识别率,该网络模型提高了双人交互行为特征的表征能力,取得了比现有模型更好的识别效果。 展开更多

关键词 双人交互 行为识别 关节点数据 深度学习 时空图卷积网络 超图 图结构 神经网络

在线阅读 下载PDF 职称材料

投影子空间下基于骨骼边信息的人体动作识别 被引量：2

12

作者 苏本跃 张鹏 +2 位作者 朱邦国 郭梦娟 盛敏 《系统仿真学报》 CAS CSCD 北大核心 2024年第3期555-563,共9页

近年来,基于骨骼数据的人体动作识别在计算机视觉、人机交互等领域受到了广泛的关注。现有的方法大多关注于在原始的3D坐标空间下对骨骼点进行建模。然而,骨骼点忽略了人体自身的物理链状结构,很难刻画人体运动的局部相关性;此外,由于... 近年来,基于骨骼数据的人体动作识别在计算机视觉、人机交互等领域受到了广泛的关注。现有的方法大多关注于在原始的3D坐标空间下对骨骼点进行建模。然而,骨骼点忽略了人体自身的物理链状结构,很难刻画人体运动的局部相关性;此外,由于相机视角的多样性,在原始的基于点的3D空间下难以探索动作在不同视角下的综合表征。鉴于此,提出了一种投影子空间下基于骨骼边信息的动作识别方法。定义了结合人体自身连接的骨骼边信息,用于捕获动作的空间特性;在骨骼边信息的基础上引入了骨骼边运动的方向与大小信息,用于获取动作的时间特性;采用2D投影子空间的方式在不同的子空间视角下进行动作表征;探索了合适的特征融合策略,通过改进的CNN框架对上述特征进行综合提取。在2个具有挑战性的大型数据集NTU-RGB+D60(评价指标为cross-subject与cross-view)和NTU-RGB+D120(评价指标为cross-subject与cross-set)上的实验结果表明,相比基准方法,所提方法在4个指标下精度分别提升了3.2%、2.4%、3.1%和5.8%。 展开更多

关键词 骨骼数据 骨骼边 边方向 边大小 投影子空间

在线阅读 下载PDF 职称材料

融合球空间下旋转角度编码的人体动作识别 被引量：2

13

作者 苏本跃 朱邦国 +1 位作者 郭梦娟 盛敏 《系统仿真学报》 CAS CSCD 北大核心 2024年第6期1433-1441,共9页

针对现有的人体动作识别方法较多考虑骨架结构的坐标和位移等平移信息,较少关注代表骨架结构的运动趋势以及代表关节、骨骼运动方向的旋转信息,提出一种融合球空间下旋转角度编码的时空卷积神经网络方法。通过人体动作在三维球空间中的... 针对现有的人体动作识别方法较多考虑骨架结构的坐标和位移等平移信息,较少关注代表骨架结构的运动趋势以及代表关节、骨骼运动方向的旋转信息,提出一种融合球空间下旋转角度编码的时空卷积神经网络方法。通过人体动作在三维球空间中的映射,获取具有尺度不变性的角度信息,提取其动态角速度信息作为角度编码,表征动作轨迹中关节点和骨骼边的旋转信息;构建了时空特征提取与共现模块来更好地捕获数据的时空特征;用合适的融合策略对平移特征和旋转特征进行运动特征融合。实验结果证明了旋转角度编码有利于提升运动表征的准确性,以及时空特征提取与共现模块的有效性。 展开更多

关键词 人体动作识别 骨架数据 旋转角度编码 3D球空间 时空特征

在线阅读 下载PDF 职称材料

基于时空注意图卷积的人体动作识别

14

作者 赵登阁 智敏 《计算机应用与软件》 北大核心 2024年第7期165-170,254,共7页

针对基于骨骼数据的人体动作识别中关键节点及特征应用度不高的问题,构建一种基于时空图卷积和通道-空间联合注意力模块融合改进的人体动作识别系统。算法首先通过空间图卷积获得结构化特征,由通道-空间联合注意力模块强化关键节点和关... 针对基于骨骼数据的人体动作识别中关键节点及特征应用度不高的问题,构建一种基于时空图卷积和通道-空间联合注意力模块融合改进的人体动作识别系统。算法首先通过空间图卷积获得结构化特征,由通道-空间联合注意力模块强化关键节点和关键结构信息,再由时间图卷积获取高级时空特征,最后用全局池化层和softmax分类器得出识别结果。实验结果表明,在关键节点和结构特征得以强化的同时,也保留了原始特征信息。该算法在基于骨骼数据的人体动作识别上具有更高的精度。 展开更多

关键词 人体动作识别 骨骼数据 注意力模块 关键节点 时空图卷积

在线阅读 下载PDF 职称材料

基于Kinect骨骼数据的静态三维手势识别 被引量：13

15

作者 李红波 丁林建 +1 位作者 吴渝 冉光勇 《计算机应用与软件》 CSCD 2015年第9期161-165,共5页

手势作为一种自然、直观的交流方式,在人机交互领域得到越来越广泛的应用。研究的手势是指手与臂形成的一种空间三维姿势,现有方法对该种手势识别的准确性不高且实时性不强。在Kinect体感摄像机获取的人体手部关节点三维坐标基础上,提... 手势作为一种自然、直观的交流方式,在人机交互领域得到越来越广泛的应用。研究的手势是指手与臂形成的一种空间三维姿势,现有方法对该种手势识别的准确性不高且实时性不强。在Kinect体感摄像机获取的人体手部关节点三维坐标基础上,提出一种计算手部角度进行静态三维手势识别的新方法。该方法通过计算手部多个位置的夹角来获取手部形态特征,然后与参考的静态手势特征做匹配识别。实验表明,该方法能够判断和识别当前静态手势与参考手势是否匹配,比现有方法具有更好的识别准确性和更强的实时性。 展开更多

关键词 KINECT 手势识别 静态三维 骨骼数据

在线阅读 下载PDF 职称材料

深度图像与骨骼数据的多特征融合人体行为识别 被引量：10

16

作者 许艳 侯振杰 +3 位作者 梁久祯 陈宸 贾靓 莫宇剑 《小型微型计算机系统》 CSCD 北大核心 2018年第8期1865-1870,共6页

运动人体的行为分析与识别是智能监控中的关键技术,研究有效的人体行为对智能视频推广与应用具有重要意义.为发挥深度图像与骨骼数据的优越性,将深度特征与骨骼特征结合进行人体行为识别,提出一种基于深度信息和骨骼数据的特征融合的人... 运动人体的行为分析与识别是智能监控中的关键技术,研究有效的人体行为对智能视频推广与应用具有重要意义.为发挥深度图像与骨骼数据的优越性,将深度特征与骨骼特征结合进行人体行为识别,提出一种基于深度信息和骨骼数据的特征融合的人体行为识别方法.在深度图像方面捕捉行为线索,提取人体行为梯度、轮廓曲率的几何特征;在骨骼数据方面提取运动节点的多种特征,用人体行为轮廓比、角度差和距离差表征行为形态,达到结果只与行为分布有关的目的;运用一种多模型概率投票的识别分类机制,减小噪声对实验结果的影响.实验表明,该方法能够有效识别人体行为. 展开更多

关键词 深度图像 骨骼数据 人体行为识别 运动节点

在线阅读 下载PDF 职称材料

基于Kinect骨骼数据的人体动作姿势识别方法 被引量：26

17

作者 李红波 李双生 孙舶源 《计算机工程与设计》 北大核心 2016年第4期969-975,共7页

针对现有的复杂背景下人体动作姿势训练与识别中存在识别准确率不高和实时性不强等问题,提出一种基于Kinect骨骼数据的人体动作姿势识别方法。从Kinect获取骨骼姿势特征点数据,计算姿势特征矢量;将当前的实时姿势特征矢量与预设的标准... 针对现有的复杂背景下人体动作姿势训练与识别中存在识别准确率不高和实时性不强等问题,提出一种基于Kinect骨骼数据的人体动作姿势识别方法。从Kinect获取骨骼姿势特征点数据,计算姿势特征矢量;将当前的实时姿势特征矢量与预设的标准姿势特征矢量进行匹配比较,实时反馈两者姿势的匹配度,达到姿势识别的目的。实验结果表明,该方法能有效地进行人体动作姿势的匹配识别,识别准确率较高、实时性较强,具有良好的可扩展性。 展开更多

关键词 KINECT 姿势识别 模版匹配 骨骼数据 特征矢量

在线阅读 下载PDF 职称材料

基于Kinect深度信息与骨骼信息的手指尖识别方法 被引量：16

18

作者 王松林 徐文胜 《计算机工程与应用》 CSCD 北大核心 2016年第3期169-173,235,共6页

针对基于视频的手势识别技术对手掌轮廓和指尖信息要求较高的问题,提出了一种基于图像深度信息和人体骨骼信息的手指指尖识别方法和手掌轮廓检测算法。采用微软Kinect摄像头获取深度信息和人体骨骼信息,并将每个骨骼点的三维信息转换成... 针对基于视频的手势识别技术对手掌轮廓和指尖信息要求较高的问题,提出了一种基于图像深度信息和人体骨骼信息的手指指尖识别方法和手掌轮廓检测算法。采用微软Kinect摄像头获取深度信息和人体骨骼信息,并将每个骨骼点的三维信息转换成深度图上的二维信息。根据人体骨骼信息快速找到手掌的位置,并利用基于深度阈值的轮廓检测算法将手掌轮廓和弯曲手指轮廓从背景图像中分割出来。利用k曲率算法检测到手指指尖的位置。实验结果证明,该方法可以高效地检测出伸直和弯曲手指的轮廓,识别出人体的手指,并且该方法可在黑暗的环境下进行。 展开更多

关键词 手指指尖识别 KINECT 深度信息 骨骼信息 k曲率算法

在线阅读 下载PDF 职称材料

基于Kinect骨架信息的交通警察手势识别 被引量：14

19

作者 刘阳 尚赵伟 《计算机工程与应用》 CSCD 北大核心 2015年第3期157-161,共5页

针对现有的手势识别算法识别率低、鲁棒性弱的问题,提出一种基于Kinect骨架信息的交通警察手势识别方法。从Kinect深度图像中预测人体骨架节点的坐标位置,将节点的运动轨迹作为训练和测试的特征,结合距离加权动态时间规整算法和K-最近... 针对现有的手势识别算法识别率低、鲁棒性弱的问题,提出一种基于Kinect骨架信息的交通警察手势识别方法。从Kinect深度图像中预测人体骨架节点的坐标位置,将节点的运动轨迹作为训练和测试的特征,结合距离加权动态时间规整算法和K-最近邻分类器进行识别。实验表明,在参数最优的情况下,该方法对八种交通警察手势的平均识别率达到98.5%,可应用于智能交通等领域。 展开更多

关键词 KINECT 骨架信息 动态时间规整 K-最近邻 手势识别 交通警察手势

在线阅读 下载PDF 职称材料

基于加锁机制的静态手势识别方法 被引量：4

20

作者 王红霞 王坤 《计算机应用》 CSCD 北大核心 2016年第7期1959-1964,共6页

基于RGB-D(RGB-Depth)的静态手势识别的速度高于其动态手势识别,但是存在冗余手势和重复手势而导致识别准确性不高的问题。针对该问题,提出了一种基于加锁机制的静态手势识别方法来识别运动中的手势。首先,将通过Kinect设备获取RGB数据... 基于RGB-D(RGB-Depth)的静态手势识别的速度高于其动态手势识别,但是存在冗余手势和重复手势而导致识别准确性不高的问题。针对该问题,提出了一种基于加锁机制的静态手势识别方法来识别运动中的手势。首先,将通过Kinect设备获取RGB数据流和Depth数据流融合成人体骨骼数据流;然后,在静态手势方法中引入加锁机制,并与之前建立好的骨骼点特征模型手势库进行比对计算;最后,设计一款"程序员进阶之路"益智类网页游戏进行应用与实验。实验验证在6种不同运动手势情况下,该方法与纯静态手势识别方法相比,平均识别准确率提高了14.4%;与动态手势识别相比,识别速度提高了14%。实验结果表明,提出的基于加锁机制的静态手势识别方法,既保留了静态识别的速率,实现了实时识别;又能很好地剔除冗余手势和重复手势,提高了识别正确性。 展开更多

关键词 RGB-D KINECT 骨骼数据 手势识别 加锁机制

在线阅读 下载PDF 职称材料