期刊文献+
共找到3篇文章
< 1 >
每页显示 20 50 100
复杂交互场景下融合关节遮挡信息的手部姿态估计研究
1
作者 李少东 罗凯 +3 位作者 黄远智 刘熹 双丰 高放 《计算机学报》 北大核心 2025年第5期1212-1231,共20页
基于视觉的手部姿态估计是计算机视觉领域的研究热点,也是理解人类交互意图的重要途径。手部在交互中不可避免会被自身或物体遮挡造成关键信息丢失,不仅影响遮挡域手部姿态估计精度,也会降低可见域手部姿态估计精度。由于现有公开数据... 基于视觉的手部姿态估计是计算机视觉领域的研究热点,也是理解人类交互意图的重要途径。手部在交互中不可避免会被自身或物体遮挡造成关键信息丢失,不仅影响遮挡域手部姿态估计精度,也会降低可见域手部姿态估计精度。由于现有公开数据集缺乏大规模遮挡标签,导致专注于解决遮挡问题的研究成果不足。受此启发,本文旨在通过分类手部遮挡关节,提高遮挡下手部姿态估计精度。面向复杂交互场景,以手部MANO模型和拓扑结构为基础,将手部分割为独立运动单元集合,并基于相机成像原理首次提出单手、双手和手物交互下关节遮挡判别器,能够为公开数据集制作遮挡标签。为了表明抑制遮挡关节对提高手部姿态估计精度的重要性,本文融合关节遮挡与可见性提出动态特征选择模块,并且级联于重要研究成果POEM网络上,提出了融合关节遮挡信息的手部姿态估计网络。此外,本文基于增强现实建立了具有交互意图的手部遮挡数据集HODA,在虚拟物体引导下完成预抓取和抓取运动,既能实时反馈真实操作状态,又有效地避免物体遮挡影响。为了丰富数据集,本文采用文本引导的扩散模型为手部图像生成自然且连贯的背景。在实验环节,通过7个公开数据集和HODA验证了关节遮挡分类方法的准确率超过95.07%;基于遮挡关节数量统计将3个数据集划分为无遮挡、轻微遮挡和重度遮挡,以此验证遮挡数量对手部姿态估计的不利影响;利用对比实验和权重矩阵消融实验验证了融合关节遮挡信息的手部姿态估计网络在DexYCB、HanCo和HO3D数据集上达到了先进水平;基于泛化性、相似性实验以及扩充数据集实验验证了HODA数据集的有效性。 展开更多
关键词 关节遮挡分类 手部姿态估计 自遮挡 双手遮挡 物体遮挡 手部数据集 扩散模型
在线阅读 下载PDF
基于改进YOLOv7-tiny的多种类绝缘子检测算法 被引量:2
2
作者 刘熹 陈晨 双丰 《仪器仪表学报》 EI CAS CSCD 北大核心 2024年第9期101-110,共10页
针对现有绝缘子检测算法识别种类单一、定位精度差、鲁棒性差等问题,提出了一种改进YOLOv7-tiny的多种类绝缘子检测算法。首先,使用K-means++算法对先验框进行重聚类,获得更适用于多种类绝缘子数据集的先验框尺寸;其次,采用了基于动态... 针对现有绝缘子检测算法识别种类单一、定位精度差、鲁棒性差等问题,提出了一种改进YOLOv7-tiny的多种类绝缘子检测算法。首先,使用K-means++算法对先验框进行重聚类,获得更适用于多种类绝缘子数据集的先验框尺寸;其次,采用了基于动态非单调的聚焦机制设计的WIoUv3损失函数,解决训练过程中正负样本不均衡问题。在网络结构上,首先在骨干网络使用跨阶段特征融合模块(CFFCB)捕获更多的上下文信息,对一些受到遮挡的绝缘子实现精准检测;同时,在颈部网络,提出了空间金字塔池化模块SPPCSPF替换了原有的SPPCSP,有效提高绝缘子与背景接近时的检测成功率,有效改善漏检情况。经过实验测试,与YOLOv7-tiny相比,改进后的网络模型的mAP提高了2.1%,达到了97.6%,有效提高了多种类绝缘子的检测精度。最后,利用改进后算法的检测结果在UR5机械臂上进行了抓取实验,实际抓取的成功率在90%左右,验证了算法的可行性。 展开更多
关键词 目标检测 YOLOv7-tiny 绝缘子检测 损失函数
在线阅读 下载PDF
基于RGB图像的机械臂目标抓取位姿估计算法 被引量:3
3
作者 雷志明 李勇 +4 位作者 双丰 杜嘉龙 刘熹 王瑞琛 黄瀚樟 《计算机集成制造系统》 EI CSCD 北大核心 2023年第10期3296-3305,共10页
针对抓取过程中目标物体部分被遮挡的问题,设计了一种基于多尺度特征融合的深度卷积神经网络提取3D目标的投影特征点,并根据不同投影特征点数采用不同的多点透视成像算法。网络使用计算机自动生成的合成数据进行训练,经过验证,使用合成... 针对抓取过程中目标物体部分被遮挡的问题,设计了一种基于多尺度特征融合的深度卷积神经网络提取3D目标的投影特征点,并根据不同投影特征点数采用不同的多点透视成像算法。网络使用计算机自动生成的合成数据进行训练,经过验证,使用合成数据训练的网络也能在真实场景中有效工作。最后,搭建了一个基于机器人操作系统的UR5机械臂抓取平台,将训练好的模型部署到该平台上进行抓取实验,结果表明所提方法能够估计出目标物体的位姿,并在实际场景中抓取位姿未知的物体。 展开更多
关键词 深度学习 位姿估计 PnP算法 机械臂抓取
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部