-
题名基于时空交叉感知的实时动作检测方法
被引量：2
- 1
-
-
作者
柯逍
缪欣
郭文忠
-
机构
福州大学计算机与大数据学院
福建省网络计算与智能信息处理重点实验室(福州大学)
空间数据挖掘与信息共享教育部重点实验室
-
出处
《电子学报》
EI
CAS
CSCD
北大核心
2024年第2期574-588,共15页
-
基金
国家自然科学基金(No.61972097,No.U21A20472)
国家重点研发计划(No.2021YFB3600503)
+1 种基金
福建省科技重大专项(No.2021HZ022007)
福建省自然科学基金(No.2021J01612,No.2020J01494)。
-
文摘
时空动作检测依赖于视频空间信息与时间信息的学习.目前,最先进的基于卷积神经网络(Convolutionsl Neural Networks,CNN)的动作检测器采用2D CNN或3D CNN架构,取得了显著的效果.然而,由于网络结构的复杂性与时空信息感知的原因,这些方法通常采用非实时、离线的方式.时空动作检测主要的挑战在于设计高效的检测网络架构,并能有效地感知融合时空特征.考虑到上述问题,本文提出了一种基于时空交叉感知的实时动作检测方法.该方法首先通过对输入视频进行乱序重排来增强时序信息,针对仅使用2D或3D骨干网络无法有效对时空特征进行建模,提出了基于时空交叉感知的多分支特征提取网络.针对单一尺度时空特征描述性不足,提出一个多尺度注意力网络来学习长期的时间依赖和空间上下文信息.针对时序和空间两种不同来源特征的融合,提出了一种新的运动显著性增强融合策略,对时空信息进行编码交叉映射,引导时序特征和空间特征之间的融合,突出更具辨别力的时空特征表示.最后,基于帧级检测器结果在线计算动作关联性链接.本文提出的方法在两个时空动作数据集UCF101-24和JHMDB-21上分别达到了84.71%和78.4%的准确率,优于现有最先进的方法,并达到73帧/秒的速度.此外,针对JHMDB-21数据集存在高类间相似性与难样本数据易于混淆等问题,本文提出了基于动作表示的关键帧光流动作检测方法,避免了冗余光流的产生,进一步提升了动作检测准确率.
-
关键词
实时动作检测
多尺度注意力
时空交叉感知
-
Keywords
real-time action detection
multiscale attention
spatio-temporal interaction perception
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
