-
题名基于细粒度注意力机制的人与物体交互检测
- 1
-
-
作者
丁元博
白琳
李陶深
-
机构
广西大学计算机与电子信息学院
-
出处
《计算机科学》
北大核心
2025年第11期141-149,共9页
-
基金
国家自然科学基金(61966003)。
-
文摘
细粒度信息作为一种上下文信息,能够辅助模型识别相对空间关系相似的人与物体交互动作。然而,如何利用这一关键线索统一建模多尺度特征图上不同粒度的特征信息,仍然是人与物体交互检测精度进一步提升面临的主要挑战之一。为了解决这一问题,提出了一种基于细粒度注意力机制的人与物体交互检测模型(FGDHOI)。该模型在细粒度信息的指导下强化局部特征,融合不同尺度的特征图,通过可变形注意力机制自动学习图像内容,并建模不同粒度特征之间的长距离依赖关系,从本质上提高了人与物体交互检测模型的精度。在V-COCO和HICO数据集上进行了广泛的定性、定量及消融实验。实验结果表明,所提出的方法相比基准模型,在V-COCO数据集上mAP提升了7.7个百分点,在HICO数据集3项指标上mAP分别提升了7.43个百分点、7.5个百分点和7.85个百分点。
-
关键词
深度学习
人与物体交互检测
细粒度信息
注意力机制
-
Keywords
Deep learning
Human-Object interaction detection
Fine-grained information
Attention mechanism
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于姿态信息的人与物体交互检测模块网络
被引量：1
- 2
-
-
作者
梁志军
刘栋
-
机构
广东工业大学机电工程学院
广东工业大学计算机学院
-
出处
《计算机应用研究》
CSCD
北大核心
2021年第8期2299-2302,共4页
-
基金
广东省前沿与关键技术创新专项资助项目(2017B050506008)
广东省重点领域研发计划资助项目(2019B090915001)。
-
文摘
针对在相对密集场景下检测不佳的普遍现象,提出了基于人体姿态信息输入的模块化神经网络,通过构建绝对姿态特征和相对空间姿态特征来促进人与物体交互关系的检测。该算法主要包含两个分支:a)通过全连接层网络来独立处理每个人体关节点相对于物体的空间姿态特征;b)通过全连接图神经网络来更新每个关节点的绝对姿态特征。最后通过一个行为分类网络基于融合后的特征来进行交互关系的推断。该模块网络结合先进的检测模型VS-GATs在数据集V-COCO和HICO-DET上取得了显著的提升效果:在V-COCO上,比VS-GATs的检测结果提升2 mAP(约4%);在更有挑战性的HICO-DET上,比VS-GATs的检测结果提升0.98 mAP(约4.6%)。实验表明了所构建特征的有效性以及设计的网络的优越性。
-
关键词
人与物体交互关系检测
人体姿态
特征融合
神经网络
-
Keywords
human-object interaction detection
human pose
features fusion
neural network
-
分类号
TP301.6
[自动化与计算机技术—计算机系统结构]
-
