-
题名基于细粒度动作语境聚合的动作检测与识别
- 1
-
-
作者
王峥
赵新辉
王小伟
-
机构
郑州大学体育学院
-
出处
《电子测量技术》
北大核心
2025年第7期75-85,共11页
-
基金
国家自然科学基金青年项目(62306284)
2024年河南省科技攻关项目(242102320282)资助。
-
文摘
在空域和时域上精确定位并识别视频中的人体动作对于智能体育分析等应用具有重要意义。然而,现有的分步人体动作识别方法通常受限于RoI特征的固定感受野,难以在复杂场景中进行有效建模和语义表达。为此,本文提出了一种细粒度动作语境聚合网络,利用并行的语义建模单元和动作候选单元对人物表征特征和全局时空语境特征进行有机融合。前者中采用人体定位模型从关键帧生成细粒度的人物候选特征,并通过3D视频骨干网络提取全局时空特征;后者则利用共享Transformer框架对上述多模态特征进行统一建模,捕捉人物与环境之间的复杂关联,从而获得具有高度区分能力的动作预测。进一步地,本文引入加权分数聚合策略,将多个关键帧与短时视频片段的动作分类信息整合,用于长视频片段的动作识别。在AVA-60 v2.2数据集上,本文模型在帧级mAP指标上达到了30.01%,而基于长时策略的本文模型则达到了30.74%。在Charades数据集上,本文模型的mAP提升至30.68%,而基于长时策略的本文模型结果提升至31.29%。
-
关键词
人体动作检测与识别
分步方法
全局时空语境特征
细粒度筛选
-
Keywords
human action detection and recognition
step-by-step method
global spatiotemporal situation features
finegrained screening
-
分类号
TN101
[电子电信—物理电子学]
-
