针对三维人体姿态估计的便捷性与准确性提升需求,提出一种基于TM-Net网络估计算法。该算法以MediaPipe为中心,融合帧率计算、动作检测、动作计数和真实坐标解析等多功能模块,实现对人体运动的精准检测与计数。针对公共数据集LSP(Leeds S...针对三维人体姿态估计的便捷性与准确性提升需求,提出一种基于TM-Net网络估计算法。该算法以MediaPipe为中心,融合帧率计算、动作检测、动作计数和真实坐标解析等多功能模块,实现对人体运动的精准检测与计数。针对公共数据集LSP(Leeds Sports Pose)和自建校园健身房运动数据集使用关键点的正确性概率(Probability of Correct Keypoint,PCK)、关节位置误差平均值(Mean Per Joint Position Error,MPJPE)和普罗克鲁斯对齐后的平均关节位置误差(Procrustes-Aligned Mean Per Joint Position Error,PA-MPJPE)等指标对该算法进行评估,并与目前先进的TP-3D网络估计算法进行对比。结果表明,TM-Net具有更高的准确率。此外,以开合跳为例进行消融实验,结果表明,TM-Net具有更强的泛化能力,能适应不同个体及拍摄角度的变化,满足了运动监测的实际需求。展开更多
传统视觉即时定位与建图(SLAM)算法若无回环检测可能会存在累积误差无法消除的现象,即使有回环检测,也因准确率和效率比较低而无法应用于轻量级设备上,为此,研究一种回环检测优化的视觉SLAM算法.前端估计时,对相邻帧图像进行ORB(oriente...传统视觉即时定位与建图(SLAM)算法若无回环检测可能会存在累积误差无法消除的现象,即使有回环检测,也因准确率和效率比较低而无法应用于轻量级设备上,为此,研究一种回环检测优化的视觉SLAM算法.前端估计时,对相邻帧图像进行ORB(oriented fast and rotated brief)特征提取与匹配,对匹配成功的特征点进行PnP(perspective-n-point)求解,获得相机运动估计并筛选出关键帧图像;后端优化时,利用SqueezeNet卷积神经网络(CNN)提取图像的特征向量,计算余弦相似度判断是否出现回环,若出现回环则在位姿图中增加相应约束,利用图优化理论对全局位姿进行整体优化;最后利用项目组制作的数据集和TUM(technical university of munich)公开数据集进行测试与对比.研究结果表明:相比于无回环检测算法,本文方法可以成功检测到回环并为全局轨迹优化增添约束;相比于传统词袋法,在回环检测准确率相同的情况下,本文方法召回率可提高21%且计算耗时减少74%;与RGB-D(red green blue-depth)SLAM算法相比,本文方法建图误差可降低29%.展开更多
文摘针对三维人体姿态估计的便捷性与准确性提升需求,提出一种基于TM-Net网络估计算法。该算法以MediaPipe为中心,融合帧率计算、动作检测、动作计数和真实坐标解析等多功能模块,实现对人体运动的精准检测与计数。针对公共数据集LSP(Leeds Sports Pose)和自建校园健身房运动数据集使用关键点的正确性概率(Probability of Correct Keypoint,PCK)、关节位置误差平均值(Mean Per Joint Position Error,MPJPE)和普罗克鲁斯对齐后的平均关节位置误差(Procrustes-Aligned Mean Per Joint Position Error,PA-MPJPE)等指标对该算法进行评估,并与目前先进的TP-3D网络估计算法进行对比。结果表明,TM-Net具有更高的准确率。此外,以开合跳为例进行消融实验,结果表明,TM-Net具有更强的泛化能力,能适应不同个体及拍摄角度的变化,满足了运动监测的实际需求。
文摘传统视觉即时定位与建图(SLAM)算法若无回环检测可能会存在累积误差无法消除的现象,即使有回环检测,也因准确率和效率比较低而无法应用于轻量级设备上,为此,研究一种回环检测优化的视觉SLAM算法.前端估计时,对相邻帧图像进行ORB(oriented fast and rotated brief)特征提取与匹配,对匹配成功的特征点进行PnP(perspective-n-point)求解,获得相机运动估计并筛选出关键帧图像;后端优化时,利用SqueezeNet卷积神经网络(CNN)提取图像的特征向量,计算余弦相似度判断是否出现回环,若出现回环则在位姿图中增加相应约束,利用图优化理论对全局位姿进行整体优化;最后利用项目组制作的数据集和TUM(technical university of munich)公开数据集进行测试与对比.研究结果表明:相比于无回环检测算法,本文方法可以成功检测到回环并为全局轨迹优化增添约束;相比于传统词袋法,在回环检测准确率相同的情况下,本文方法召回率可提高21%且计算耗时减少74%;与RGB-D(red green blue-depth)SLAM算法相比,本文方法建图误差可降低29%.
基金supported by the National Natural Science Foundation of China(61471210,61501271,51472126)Natural Science Foundation of Ningbo Municipality,China(2015A610108)K.C.Wong Magna Fund in Ningbo University,China~~
