期刊文献+
共找到1篇文章
< 1 >
每页显示 20 50 100
时空多尺度关联特征融合的二维卷积网络细粒度动作识别模型
1
作者 胡正平 王昕宇 +2 位作者 董佳伟 赵艳霜 刘洋 《高技术通讯》 CAS 北大核心 2024年第6期590-601,共12页
针对传统二维(2D)卷积网络提取时空特征尺度单一以及对细粒度动作数据集中帧与帧之间的远程时间关联信息利用不足的问题,本文提出时空多尺度关联特征融合的2D卷积网络细粒度动作识别模型。首先,为建模视频多尺度空间关联以加强对细粒度... 针对传统二维(2D)卷积网络提取时空特征尺度单一以及对细粒度动作数据集中帧与帧之间的远程时间关联信息利用不足的问题,本文提出时空多尺度关联特征融合的2D卷积网络细粒度动作识别模型。首先,为建模视频多尺度空间关联以加强对细粒度视频数据的空间表征能力,模型使用多尺度“特征压缩、特征激发”方式,使网络所提取空间特征更加丰富有效。然后,为充分利用细粒度视频数据时间维度上的运动信息,本文引入时间窗口自注意力机制,利用自注意力机制强大的远程依赖建模能力同时只在时间维度上进行自注意力操作,以较低计算成本建模远程时间依赖关系。最后,考虑到所提取时空特征对不同类型动作分类的贡献不均等,本文引入自适应特征融合模块,为特征动态赋予不同权重实现自适应特征融合。模型在2个细粒度动作识别数据集Diving48和Something-somethingV1上识别准确率分别达到86.0%和46.9%,分别使原始主干网络识别准确率提升3.8%和1.3%。实验结果表明,在只使用视频帧信息作为输入的情况下,本模型达到与现有基于Transformer和三维卷积神经网络(3D CNN)算法相当的识别准确率。 展开更多
关键词 细粒度动作识别 多尺度时空关联特征 远程依赖建模 自注意力机制
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部