-
题名基于关键帧筛选网络的视听联合动作识别
- 1
-
-
作者
陈亭秀
尹建芹
-
机构
北京邮电大学人工智能学院
-
出处
《计算机应用》
CSCD
北大核心
2022年第3期731-735,共5页
-
基金
国家自然科学基金资助项目(61673192)
中央高校基本科研业务费专项资金资助项目(2020XD-A04)。
-
文摘
近年来,视听联合学习的动作识别获得了一定关注。无论在视频(视觉模态)还是音频(听觉模态)中,动作发生是瞬时的,往往在动作发生时间段内的信息才能够显著地表达动作类别。如何更好地利用视听模态的关键帧携带的显著表达动作信息,是视听动作识别待解决的问题之一。针对该问题,提出关键帧筛选网络KFIA-S,通过基于全连接层的线性时间注意力机制赋予每个时刻视听信息不同权重,从而筛选益于视频分类的视听特征,减少重复冗余信息,抑制背景干扰信息,提升动作识别精度。研究了不同强度的时间注意力对动作识别的影响。在ActivityNet数据集上的实验表明,KFIA-S网络达到了最先进的识别精度,证明了所提方法的有效性。
-
关键词
视频动作识别
视听联合学习
时间注意力
深度学习
长短时记忆循环神经网络
-
Keywords
video action recognition
audio visual joint learning
temporal attention
deep learning
long short-term memory recurrent neural network
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
