人体姿态估计(HPE)任务是计算机视觉领域中的一项重要研究工作,它在教学场景下有着广泛应用。当前该任务仍然面临着许多挑战,例如在背景杂乱、人体图像尺度小、人体被遮挡等复杂场景下出现准确率下降的问题,与此同时,人体姿态的灵活多...人体姿态估计(HPE)任务是计算机视觉领域中的一项重要研究工作,它在教学场景下有着广泛应用。当前该任务仍然面临着许多挑战,例如在背景杂乱、人体图像尺度小、人体被遮挡等复杂场景下出现准确率下降的问题,与此同时,人体姿态的灵活多变性则要求模型具有良好的推理预测能力。针对上述问题,提出一种几何关系感知的人体姿态表示学习模型,通过人体的结构化信息来帮助模型更好地理解不同姿态之间的关系,从而提高对复杂姿势预测的准确性和鲁棒性,实现其在课堂场景下的有效应用。该模型主要包括通道重加权、多token信息交互、肢体方向构建和自适应损失传播4个模块。肢体方向构建模块实现了对人体关节之间几何结构的建模,这一输入线索有利于模型捕捉到身体部位之间的相对位置和方向关系;通道重加权模块能够自动选择和强调对姿态估计任务最有帮助的特征信息,提升输入图像的视觉特征的表达能力;基于Transformer编码器的多token信息交互模块实现了图像特征线索、关节坐标线索和肢体方向线索之间的有效交互;最后,在自适应损失传播模块对传统的损失函数进行优化,进一步提高了模型的训练效果和性能。模型在2个主流数据集COCO和MPII上分别达到了76.1%、90.3%的准确率,超过了现有的一些SOTA(State of the Art)模型,在复杂场景下实现了更加准确合理的预测结果。展开更多
文摘人体姿态估计(HPE)任务是计算机视觉领域中的一项重要研究工作,它在教学场景下有着广泛应用。当前该任务仍然面临着许多挑战,例如在背景杂乱、人体图像尺度小、人体被遮挡等复杂场景下出现准确率下降的问题,与此同时,人体姿态的灵活多变性则要求模型具有良好的推理预测能力。针对上述问题,提出一种几何关系感知的人体姿态表示学习模型,通过人体的结构化信息来帮助模型更好地理解不同姿态之间的关系,从而提高对复杂姿势预测的准确性和鲁棒性,实现其在课堂场景下的有效应用。该模型主要包括通道重加权、多token信息交互、肢体方向构建和自适应损失传播4个模块。肢体方向构建模块实现了对人体关节之间几何结构的建模,这一输入线索有利于模型捕捉到身体部位之间的相对位置和方向关系;通道重加权模块能够自动选择和强调对姿态估计任务最有帮助的特征信息,提升输入图像的视觉特征的表达能力;基于Transformer编码器的多token信息交互模块实现了图像特征线索、关节坐标线索和肢体方向线索之间的有效交互;最后,在自适应损失传播模块对传统的损失函数进行优化,进一步提高了模型的训练效果和性能。模型在2个主流数据集COCO和MPII上分别达到了76.1%、90.3%的准确率,超过了现有的一些SOTA(State of the Art)模型,在复杂场景下实现了更加准确合理的预测结果。
