-
题名融合局部特征增强感知的人-物交互检测算法
- 1
-
-
作者
林峻屹
陈明轩
高永彬
-
机构
上海工程技术大学电子电气工程学院
-
出处
《计算机应用》
北大核心
2025年第11期3713-3720,共8页
-
基金
上海市地方能力建设项目(21010501500)
上海市“科技创新行动计划”社会发展科技攻关项目(21DZ1204900)。
-
文摘
人-物交互(HOI)检测任务的核心在于识别图像中的人物和物体,并准确分类它们之间的交互关系,这对于深化场景理解至关重要;但现有算法在处理复杂关系时,由于缺乏局部信息导致错误关联,难以区分细粒度操作。因此,设计一种局部特征增强的感知模块(LFPM),通过结合局部和非局部特征的相互作用增强模型对局部特征信息的捕获能力。该模块包含了3个关键部分:降采样聚合分支模块(DAM)、细粒度特征分支(FGFB)模块以及多尺度小波卷积(MSWC)模块。其中,DAM通过降采样获得低频特征,聚合非局部结构信息;FGFB模块并行执行卷积操作,补充DAM对局部信息的提取;MSWC模块进一步在空间和通道维度上优化输出特征,使特征表达更加精细完整。此外,为解决Transformer在局部空间和通道特征挖掘方面的不足,引入空间和通道挤压注意力(scSE)模块。该模块在空间和通道维度上分配注意力,可增强模型对局部显著区域的敏感性,有效提升HOI检测的精度。最后整合LFPM、scSE以及Transformer架构构成局部特征增强感知模型(LFEP)框架。实验结果表明,与SQA(Strong guidance Query with selfselected Attention)算法相比,LFEP框架在V-COCO数据集上的平均精度(AP)提升了1.1个百分点,在HICO-DET数据集上的平均精度均值(mAP)提升了0.49个百分点,消融实验也验证了LEEP中各模块的有效性。
-
关键词
特征感知
多频率卷积
降采样聚合
端到端
人-物交互检测
-
Keywords
feature perception
multi-frequency convolution
down-sampling aggregation
end-to-end
human-object interaction(hoi)detection
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
-
-
题名人物交互检测研究进展综述
被引量：4
- 2
-
-
作者
龚勋
张志莹
刘璐
马冰
吴昆伦
-
机构
西南交通大学计算机与人工智能学院
西南交通大学唐山研究生院
-
出处
《西南交通大学学报》
EI
CSCD
北大核心
2022年第4期693-704,共12页
-
基金
国家自然科学基金(61876158)
中央高校基本科研业务费专项资金(2682021ZTPY030)。
-
文摘
作为目标检测、行为识别、视觉关系检测的交叉学科,人物交互(human-object interaction,HOI)检测旨在识别特定应用场景下人与物体的相互关系.本文对基于图像的人物交互检测研究成果进行了系统总结及论述.首先,从交互关系建模的原理出发,把人物交互检测方法分为基于全局实例和基于局部实例两类,并对代表性方法进行了详细阐述和分析;进而,根据所采用视觉特征的差异将基于全局实例的方法进行细分,包括融合空间位置信息、融合外观信息与融合人体姿态信息;然后,讨论了零样本学习、弱监督学习以及Transformer模型在人物交互检测中的应用;最后,从交互类别、视觉干扰以及运动视角三方面出发,总结了人物交互检测面临的挑战,并指出领域泛化、实时检测和端到端网络是未来发展的趋势.
-
关键词
人物交互
视觉关系
目标检测
动作识别
-
Keywords
human-object interaction(hoi)
visual relationship
object detection
action recognition
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名深度学习的人-物体交互检测研究进展
被引量：2
- 3
-
-
作者
阮晨钊
张祥森
刘科
赵增顺
-
机构
山东科技大学电子信息工程学院
-
出处
《计算机科学与探索》
CSCD
北大核心
2022年第2期323-336,共14页
-
基金
中国博士后科学基金特别资助项目(2015T80717)
山东省自然科学基金(ZR2020MF086)。
-
文摘
人-物体交互检测(HOI),就是把图像作为输入,检测出图像中存在交互行为的人和物体以及他们之间的交互动词。它是计算机视觉范畴里继目标检测、图像分割和目标跟踪之后又一新任务,旨在对图像进行更深层的理解。针对目前基于深度学习的HOI检测综述性文章的空白,以HOI检测方法的发展历程为主线,对基于深度学习的HOI检测方法进行了分类与分析。首先简要总结了早期的技术方法,然后根据模型结构将现有算法分为两阶段方法和一阶段方法并对一些代表性算法进行分析介绍。将两阶段方法分为融入注意力、图模型以及姿势和身体部位三类进行重点论述,总结了每类方法的基本思想与优缺点。此外,还详细介绍了HOI检测任务的实验评价指标、基准数据集和大多数现有方法的实验结果,对不同类别的方法取得的结果进行说明。最后对该技术面临的主要挑战进行总结分析并对未来发展趋势进行展望。
-
关键词
人-物体交互检测(hoi)
计算机视觉
目标检测
深度学习
-
Keywords
human-object interaction(hoi)detection
computer vision
object detection
deep learning
-
分类号
TP301
[自动化与计算机技术—计算机系统结构]
-
