-
题名基于连续帧信息融合建模的小样本视频行为识别方法
- 1
-
-
作者
张冰冰
李海波
马源晨
张建新
-
机构
大连民族大学计算机科学与工程学院
-
出处
《河南理工大学学报(自然科学版)》
北大核心
2025年第4期11-20,共10页
-
基金
国家自然科学基金资助项目(61972062)
吉林省科技发展计划项目(20230201111GX)
+1 种基金
辽宁省应用基础研究计划项目(2023JH2/101300191,2023JH2/101300193)
先进设计与智能计算省部共建教育部重点实验室开放课题(ADIC2023ZD003)。
-
文摘
目的为克服现有基于小样本学习的视频行为识别方法在全局时空信息获取及复杂行为建模方面的局限,开发一种新型网络架构,以显著提升小样本学习在视频行为识别中的准确性和鲁棒性。方法提出一种结合连续帧信息融合模块和多维注意力建模模块的网络架构。连续帧信息融合模块位于网络的输入端,多维注意力建模模块则设置在网络的中间层,整个网络基于2D卷积模型设计,可有效降低计算复杂度。结果在Something-Something V2,Kinetics-100,UCF101和HMDB51共4个主流行为识别数据集上进行实验,结果表明,所提方法在Something-Something V2数据集上的1-shot和5-shot任务中准确率分别达到50.8%和68.5%;在Kinetics-100数据集上,所提方法的1-shot和5-shot任务准确率分别为68.5%和83.8%,比现有方法显著提升;在UCF101数据集上,本文方法的1-shot任务准确率为81.3%,5-shot任务准确率为93.8%,在不同配置下均显著优于基线方法的;在HMDB51数据集上,1-shot任务的准确率为56.0%,5-shot任务的准确率为74.4%,展现了良好的泛化性能。结论连续帧信息融合建模网络在提高模型对复杂时空信息处理能力方面表现出显著优势,本文解决方案为小样本视频行为识别领域带来了有效的新方法,且具有高效性和实用性。
-
关键词
小样本学习
视频行为识别
时空建模
时空表征学习
连续帧信息
-
Keywords
few-shot learning
video action recognition
spatiotemporal modeling
spatiotemporal representation learning
continuous frame information
-
分类号
TP273
[自动化与计算机技术—检测技术与自动化装置]
-
-
题名基于二阶时空自适应的小样本视频行为识别方法
- 2
-
-
作者
张冰冰
李海波
马源晨
张建新
-
机构
大连民族大学计算机科学与工程学院
-
出处
《河南理工大学学报(自然科学版)》
北大核心
2025年第5期43-51,共9页
-
基金
国家自然科学基金资助项目(61972062)
吉林省科技发展计划项目(20230201111GX)
+1 种基金
辽宁省应用基础研究计划项目(2023JH2/101300191,2023JH2/101300193)
先进设计与智能计算省部共建教育部重点实验室开放课题(ADIC2023ZD003)。
-
文摘
目的在小样本视频行为识别的研究领域中,现有方法普遍面临全局时空信息处理不足的挑战。这些方法通常依赖大量的标注数据训练深度模型,但在只有少量训练样本可用的情况下,它们往往难以有效捕捉和利用视频数据中的时空动态。方法针对此问题,提出一种新的包含时空自适应模块和协方差聚合模块的二阶时空自适应网络架构,以提升小样本学习在视频行为识别任务上的准确性和鲁棒性。时空自适应模块能根据视频内容的变化动态聚合局部和全局时空信息,从而优化全局信息的提取流程。协方差聚合模块利用二阶统计方法增强视频的全局时空特征表达,提供更加鲁棒的视频全局表征。结果在4个主流的视频行为识别基准数据集上进行广泛实验,结果表明,所提方法在Something-SomethingV2数据集上的1-shot和5-shot任务中,准确率分别达到52.2%和72.4%,显著超过基线模型。在Kinetics100,UCF101和HMDB51数据集上,同样表现出色,充分证明了其在小样本视频行为识别中的有效性和实用性。结论提出的二阶时空自适应网络有效提升了小样本视频行为识别的准确性和鲁棒性,特别是在处理复杂时空信息方面表现出显著优势,为该领域提供了一种创新且有效的解决方案。
-
关键词
小样本学习
视频行为识别
时空表征学习
时序建模
协方差聚合
-
Keywords
few-shot learning
action recognition in video
spatiotemporal representation learning
temporal modeling
covariance aggregation
-
分类号
TP273
[自动化与计算机技术—检测技术与自动化装置]
-
-
题名基于语言-视觉对比学习的多模态视频行为识别方法
被引量：3
- 3
-
-
作者
张颖
张冰冰
董微
安峰民
张建新
张强
-
机构
大连民族大学计算机科学与工程学院
大连民族大学机器智能与生物计算研究所
大连理工大学电子信息与电气工程学部
-
出处
《自动化学报》
EI
CAS
CSCD
北大核心
2024年第2期417-430,共14页
-
基金
国家自然科学基金(61972062)
辽宁省应用基础研究计划(2023JH2/101300191)
国家民委中青年英才培养计划资助。
-
文摘
以对比语言-图像预训练(Contrastive language-image pre-training, CLIP)模型为基础,提出一种面向视频行为识别的多模态模型,该模型从视觉编码器的时序建模和行为类别语言描述的提示学习两个方面对CLIP模型进行拓展,可更好地学习多模态视频表达.具体地,在视觉编码器中设计虚拟帧交互模块(Virtual-frame interaction module, VIM),首先,由视频采样帧的类别分词做线性变换得到虚拟帧分词;然后,对其进行基于时序卷积和虚拟帧分词移位的时序建模操作,有效建模视频中的时空变化信息;最后,在语言分支上设计视觉强化提示模块(Visual-reinforcement prompt module,VPM),通过注意力机制融合视觉编码器末端输出的类别分词和视觉分词所带有的视觉信息来获得经过视觉信息强化的语言表达.在4个公开视频数据集上的全监督实验和2个视频数据集上的小样本、零样本实验结果,验证了该多模态模型的有效性和泛化性.
-
关键词
视频行为识别
语言-视觉对比学习
多模态模型
时序建模
提示学习
-
Keywords
Video action recognition
language-visual contrastive learning
multi-modal model
temporal modeling
prompt learning
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
-
-
题名面向视频行为识别深度模型的数据预处理方法
被引量：1
- 4
-
-
作者
安峰民
张冰冰
董微
张建新
-
机构
大连民族大学计算机科学与工程学院
大连理工大学信息与通信工程学院
-
出处
《计算机工程》
CAS
CSCD
北大核心
2024年第2期281-287,共7页
-
基金
国家自然科学基金(61972062)
辽宁省应用基础研究计划项目(2023JH2/101300191,2023JH2/101300193)。
-
文摘
以视频帧采样和数据增强为代表的预处理操作是提升视频行为识别深度模型性能的重要手段。针对现有视频数据预处理存在的采样视频帧区分性不足、数据增强方式单一等问题,提出一种面向视频行为识别深度模型的数据预处理方法。在视频帧采样上设计动作指导的片段化视频采样策略,综合考虑视频帧间差异特征与视频片段短期时序特征,通过显著行为动作获取关键视频帧并对其邻近视频帧进行采样,有效提高所选取视频帧的时空区分能力。借鉴图像分类中的随机数据增强方法,以随机数据增强方式对采样后视频短片段进行数据增强处理,使视频识别深度模型学习到更复杂的空间变化信息。根据2个公开的视频识别数据集和2个代表性的网络模型的评估实验结果表明,所提预处理方法可以使基准模型获得2.5个百分点以上的准确率提升,最高可提升6.8个百分点。上述实验结果验证了所提预处理方法在视频行为识别任务中的有效性。
-
关键词
视频行为识别
预处理方法
动作指导的片段化视频采样
数据增强
深度学习
-
Keywords
video action recognition
preprocessing method
motion-guided fragmented video sampling
data augmentation
deep learning
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名一种视角无关的时空关联深度视频行为识别方法
被引量：13
- 5
-
-
作者
吴培良
杨霄
毛秉毅
孔令富
侯增广
-
机构
燕山大学信息科学与工程学院
中国科学院自动化研究所复杂系统管理与控制国家重点实验室
河北省计算机虚拟技术与系统集成重点实验室
-
出处
《电子与信息学报》
EI
CSCD
北大核心
2019年第4期904-910,共7页
-
基金
国家自然科学基金(61305113)
河北省自然科学基金(F2016203358)
+1 种基金
中国博士后基金(2018M631620)
燕山大学博士基金(BL18007)~~
-
文摘
当前行为识别方法在不同视角下的识别准确率较低,该文提出一种视角无关的时空关联深度视频行为识别方法。首先,运用深度卷积神经网络的全连接层将不同视角下的人体姿态映射到与视角无关的高维空间,以构建空间域下深度行为视频的人体姿态模型(HPM);其次,考虑视频序列帧之间的时空相关性,在每个神经元激活的时间序列中分段应用时间等级池化(RP)函数,实现对视频时间子序列的编码;然后,将傅里叶时间金字塔(FTP)算法作用于每一个池化后的时间序列,并加以连接产生最终的时空特征表示;最后,在不同数据集上,基于不同方法进行了行为识别分类测试。实验结果表明,该文方法(HPM+RP+FTP)提高了不同视角下深度视频识别准确率,在UWA3DII数据集中,比现有最好方法高出18%。此外,该文方法具有较好的泛化性能,在MSR Daily Activity3D数据集上得到82.5%的准确率。
-
关键词
视频行为识别
深度视频
视角无关
卷积神经网络
时空关联
-
Keywords
Video behavior recognition
Depth video
Perspective-independent
Convolution Neural Network(CNN)
Temporal-spatial correlation
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
TP183
[自动化与计算机技术—控制理论与控制工程]
-
-
题名基于局部时空模式的体育视频行为识别
被引量：3
- 6
-
-
作者
温长吉
赵珊珊
申利未
任虹宾
-
机构
吉林农业大学信息技术学院
-
出处
《吉林大学学报（理学版）》
CAS
北大核心
2020年第2期379-387,共9页
-
基金
国家自然科学基金(批准号:41601454)
国家自然科学基金面上项目(批准号:61472161)
+1 种基金
吉林省自然科学基金(批准号:20180101041JC)
吉林省教育厅“十三五”科研规划重点项目(批准号:2016186).
-
文摘
针对视频行为识别中由于目标相互遮挡及环境背景的复杂性等因素进行多目标跟踪存在的问题,提出一种将局部模式活跃度判别模型用于视频中活跃个体的检测和定位方法,解决了基于轨迹方法中由于遮挡导致轨迹提取不完整或背景过于复杂等因素导致的识别准确度较低的问题。将该模型分别应用在2012年欧洲杯足球赛和2013-2014赛季西班牙甲级足球联赛38场比赛关联进球事件的视频段上,得到平均准确率为91.3%的较好结果。实验结果验证了该方法对视频中目标物行为识别具有较高的准确性和实用性。
-
关键词
视频行为识别
局部时空回归核
特征词袋模型
活跃度判别
-
Keywords
video behavior recognition
local spatio-temporal regression kernel
feature word bag model
activity discrimination
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
-
