-
题名基于二阶时空自适应的小样本视频行为识别方法
- 1
-
-
作者
张冰冰
李海波
马源晨
张建新
-
机构
大连民族大学计算机科学与工程学院
-
出处
《河南理工大学学报(自然科学版)》
北大核心
2025年第5期43-51,共9页
-
基金
国家自然科学基金资助项目(61972062)
吉林省科技发展计划项目(20230201111GX)
+1 种基金
辽宁省应用基础研究计划项目(2023JH2/101300191,2023JH2/101300193)
先进设计与智能计算省部共建教育部重点实验室开放课题(ADIC2023ZD003)。
-
文摘
目的在小样本视频行为识别的研究领域中,现有方法普遍面临全局时空信息处理不足的挑战。这些方法通常依赖大量的标注数据训练深度模型,但在只有少量训练样本可用的情况下,它们往往难以有效捕捉和利用视频数据中的时空动态。方法针对此问题,提出一种新的包含时空自适应模块和协方差聚合模块的二阶时空自适应网络架构,以提升小样本学习在视频行为识别任务上的准确性和鲁棒性。时空自适应模块能根据视频内容的变化动态聚合局部和全局时空信息,从而优化全局信息的提取流程。协方差聚合模块利用二阶统计方法增强视频的全局时空特征表达,提供更加鲁棒的视频全局表征。结果在4个主流的视频行为识别基准数据集上进行广泛实验,结果表明,所提方法在Something-SomethingV2数据集上的1-shot和5-shot任务中,准确率分别达到52.2%和72.4%,显著超过基线模型。在Kinetics100,UCF101和HMDB51数据集上,同样表现出色,充分证明了其在小样本视频行为识别中的有效性和实用性。结论提出的二阶时空自适应网络有效提升了小样本视频行为识别的准确性和鲁棒性,特别是在处理复杂时空信息方面表现出显著优势,为该领域提供了一种创新且有效的解决方案。
-
关键词
小样本学习
视频行为识别
时空表征学习
时序建模
协方差聚合
-
Keywords
few-shot learning
action recognition in video
spatiotemporal representation learning
temporal modeling
covariance aggregation
-
分类号
TP273
[自动化与计算机技术—检测技术与自动化装置]
-
-
题名基于连续帧信息融合建模的小样本视频行为识别方法
- 2
-
-
作者
张冰冰
李海波
马源晨
张建新
-
机构
大连民族大学计算机科学与工程学院
-
出处
《河南理工大学学报(自然科学版)》
北大核心
2025年第4期11-20,共10页
-
基金
国家自然科学基金资助项目(61972062)
吉林省科技发展计划项目(20230201111GX)
+1 种基金
辽宁省应用基础研究计划项目(2023JH2/101300191,2023JH2/101300193)
先进设计与智能计算省部共建教育部重点实验室开放课题(ADIC2023ZD003)。
-
文摘
目的为克服现有基于小样本学习的视频行为识别方法在全局时空信息获取及复杂行为建模方面的局限,开发一种新型网络架构,以显著提升小样本学习在视频行为识别中的准确性和鲁棒性。方法提出一种结合连续帧信息融合模块和多维注意力建模模块的网络架构。连续帧信息融合模块位于网络的输入端,多维注意力建模模块则设置在网络的中间层,整个网络基于2D卷积模型设计,可有效降低计算复杂度。结果在Something-Something V2,Kinetics-100,UCF101和HMDB51共4个主流行为识别数据集上进行实验,结果表明,所提方法在Something-Something V2数据集上的1-shot和5-shot任务中准确率分别达到50.8%和68.5%;在Kinetics-100数据集上,所提方法的1-shot和5-shot任务准确率分别为68.5%和83.8%,比现有方法显著提升;在UCF101数据集上,本文方法的1-shot任务准确率为81.3%,5-shot任务准确率为93.8%,在不同配置下均显著优于基线方法的;在HMDB51数据集上,1-shot任务的准确率为56.0%,5-shot任务的准确率为74.4%,展现了良好的泛化性能。结论连续帧信息融合建模网络在提高模型对复杂时空信息处理能力方面表现出显著优势,本文解决方案为小样本视频行为识别领域带来了有效的新方法,且具有高效性和实用性。
-
关键词
小样本学习
视频行为识别
时空建模
时空表征学习
连续帧信息
-
Keywords
few-shot learning
video action recognition
spatiotemporal modeling
spatiotemporal representation learning
continuous frame information
-
分类号
TP273
[自动化与计算机技术—检测技术与自动化装置]
-
