针对手术室环境下的动态手势人机交互问题,提出了一种基于深度学习的手势识别算法YOLO-RexNet。基于YOLOv8n的动态手势检测部分,在网络中融入DualConv卷积模块,利用GhostNetV2重构C2f模块,并应用模型剪枝技术,在减少模型参数量和计算量...针对手术室环境下的动态手势人机交互问题,提出了一种基于深度学习的手势识别算法YOLO-RexNet。基于YOLOv8n的动态手势检测部分,在网络中融入DualConv卷积模块,利用GhostNetV2重构C2f模块,并应用模型剪枝技术,在减少模型参数量和计算量的同时保持较高的检测精度。实验结果表明,改进后的算法参数量减少了70.9%,计算量降低了69.7%,模型权重大小下降了66.2%,检测耗时降低了41.3%,动态手势识别的准确率达到99%。基于RexNet的手部关键点检测部分,将损失函数替换为Huber_Loss,使关键点的预测更加准确。所提算法在保证动态手势识别精度的同时,满足轻量化要求,实现了对医疗设备的便捷操作。在Jetson orin nano嵌入式边缘设备上部署时,每秒帧数能够达到65,具备良好的应用前景。展开更多
为了提高实时性和准确性,提出一种改进的动态时间规整算法(Dynamic Time Warping-DTW),用于度量手势运动轨迹的相似性,实现了快速的精确动态手势识别.首先,通过Kinect2传感器实时地获取人体骨架的关节点坐标和手部的形状数据,然后构造...为了提高实时性和准确性,提出一种改进的动态时间规整算法(Dynamic Time Warping-DTW),用于度量手势运动轨迹的相似性,实现了快速的精确动态手势识别.首先,通过Kinect2传感器实时地获取人体骨架的关节点坐标和手部的形状数据,然后构造矢量特征描述手的运动轨迹,运用动态时间规整方法进行模板匹配,并对特殊手势进行精确的二次分类,实现了基于轨迹匹配的快速动态手势识别.实验证明:该方法识别准确度高,实时性好,对光照强度和复杂背景干扰有很强的鲁棒性.展开更多
文摘针对手术室环境下的动态手势人机交互问题,提出了一种基于深度学习的手势识别算法YOLO-RexNet。基于YOLOv8n的动态手势检测部分,在网络中融入DualConv卷积模块,利用GhostNetV2重构C2f模块,并应用模型剪枝技术,在减少模型参数量和计算量的同时保持较高的检测精度。实验结果表明,改进后的算法参数量减少了70.9%,计算量降低了69.7%,模型权重大小下降了66.2%,检测耗时降低了41.3%,动态手势识别的准确率达到99%。基于RexNet的手部关键点检测部分,将损失函数替换为Huber_Loss,使关键点的预测更加准确。所提算法在保证动态手势识别精度的同时,满足轻量化要求,实现了对医疗设备的便捷操作。在Jetson orin nano嵌入式边缘设备上部署时,每秒帧数能够达到65,具备良好的应用前景。
文摘为了提高实时性和准确性,提出一种改进的动态时间规整算法(Dynamic Time Warping-DTW),用于度量手势运动轨迹的相似性,实现了快速的精确动态手势识别.首先,通过Kinect2传感器实时地获取人体骨架的关节点坐标和手部的形状数据,然后构造矢量特征描述手的运动轨迹,运用动态时间规整方法进行模板匹配,并对特殊手势进行精确的二次分类,实现了基于轨迹匹配的快速动态手势识别.实验证明:该方法识别准确度高,实时性好,对光照强度和复杂背景干扰有很强的鲁棒性.
