人体解析旨在对人体图像进行细粒度部件分割。一些人体解析方法通过聚合上下文特征增强部件表示,但这些方法聚合上下文特征的范围受限。针对这个问题,设计聚合广义上下文特征的人体解析方法。该方法以人体拓扑结构先验为引导,不仅从当...人体解析旨在对人体图像进行细粒度部件分割。一些人体解析方法通过聚合上下文特征增强部件表示,但这些方法聚合上下文特征的范围受限。针对这个问题,设计聚合广义上下文特征的人体解析方法。该方法以人体拓扑结构先验为引导,不仅从当前图像的全局聚合上下文特征,还进一步将聚合的范围扩展到其他图像。这个扩展后的范围被定义为广义上下文。对于当前图像,设计十字条纹注意力模块(CSAM)聚合图像内的全局上下文特征。该模块通过部件分布刻画图像内的人体拓扑结构先验,并以此为引导在水平、竖直方向条纹内聚合上下文特征。对于其他图像,提出区域感知批注意力模块(RBAM),以批为单位聚合图像间上下文特征。由于人体拓扑结构的约束,批量人体图像间相似部件的位置偏差处于一定范围内。这使得RBAM能够学习不同人体图像相似部件间的空间偏移,并根据偏移,沿批维度从其他图像的相似部件区域中聚合特征。定量对比结果表明,与双任务互学习(DTML)相比,所提方法在LIP(Look Into Person)数据集上的平均交并比(mIoU)提高了0.43个百分点。可视化实验结果表明,所提方法能够从广义上下文中聚合当前图像的全局特征和其他图像的部件特征。展开更多
文摘人体解析旨在对人体图像进行细粒度部件分割。一些人体解析方法通过聚合上下文特征增强部件表示,但这些方法聚合上下文特征的范围受限。针对这个问题,设计聚合广义上下文特征的人体解析方法。该方法以人体拓扑结构先验为引导,不仅从当前图像的全局聚合上下文特征,还进一步将聚合的范围扩展到其他图像。这个扩展后的范围被定义为广义上下文。对于当前图像,设计十字条纹注意力模块(CSAM)聚合图像内的全局上下文特征。该模块通过部件分布刻画图像内的人体拓扑结构先验,并以此为引导在水平、竖直方向条纹内聚合上下文特征。对于其他图像,提出区域感知批注意力模块(RBAM),以批为单位聚合图像间上下文特征。由于人体拓扑结构的约束,批量人体图像间相似部件的位置偏差处于一定范围内。这使得RBAM能够学习不同人体图像相似部件间的空间偏移,并根据偏移,沿批维度从其他图像的相似部件区域中聚合特征。定量对比结果表明,与双任务互学习(DTML)相比,所提方法在LIP(Look Into Person)数据集上的平均交并比(mIoU)提高了0.43个百分点。可视化实验结果表明,所提方法能够从广义上下文中聚合当前图像的全局特征和其他图像的部件特征。
