为减少采摘点定位不当导致末端碰撞损伤结果枝与果串,致使采摘失败及损伤率提高等问题,该研究提出了基于深度学习与葡萄关键结构多目标识别的采摘点定位方法。首先,通过改进YOLACT++模型对结果枝、果梗、果串等葡萄关键结构进行识别与分...为减少采摘点定位不当导致末端碰撞损伤结果枝与果串,致使采摘失败及损伤率提高等问题,该研究提出了基于深度学习与葡萄关键结构多目标识别的采摘点定位方法。首先,通过改进YOLACT++模型对结果枝、果梗、果串等葡萄关键结构进行识别与分割;结合关键区域间的相交情况、相对位置,构建同串葡萄关键结构从属判断与合并方法。最后设计了基于结构约束与范围再选的果梗低碰撞感兴趣区域(region of interest,ROI)选择方法,并以该区域果梗质心为采摘点。试验结果表明,相比于原始的YOLACT++,G-YOLACT++边界框和掩膜平均精度均值分别提升了0.83与0.88个百分点;对单串果实、多串果实样本关键结构从属判断与合并的正确率分别为88%、90%,对关键结构不完整的果串剔除正确率为92.3%;相较于以ROI中果梗外接矩形的中心、以模型识别果梗的质心作为采摘点的定位方法,该研究采摘点定位方法的成功率分别提升了10.95、81.75个百分点。该研究为葡萄采摘机器人的优化提供了技术支持,为非结构化环境中的串类果实采摘机器人的低损收获奠定基础。展开更多
文摘为减少采摘点定位不当导致末端碰撞损伤结果枝与果串,致使采摘失败及损伤率提高等问题,该研究提出了基于深度学习与葡萄关键结构多目标识别的采摘点定位方法。首先,通过改进YOLACT++模型对结果枝、果梗、果串等葡萄关键结构进行识别与分割;结合关键区域间的相交情况、相对位置,构建同串葡萄关键结构从属判断与合并方法。最后设计了基于结构约束与范围再选的果梗低碰撞感兴趣区域(region of interest,ROI)选择方法,并以该区域果梗质心为采摘点。试验结果表明,相比于原始的YOLACT++,G-YOLACT++边界框和掩膜平均精度均值分别提升了0.83与0.88个百分点;对单串果实、多串果实样本关键结构从属判断与合并的正确率分别为88%、90%,对关键结构不完整的果串剔除正确率为92.3%;相较于以ROI中果梗外接矩形的中心、以模型识别果梗的质心作为采摘点的定位方法,该研究采摘点定位方法的成功率分别提升了10.95、81.75个百分点。该研究为葡萄采摘机器人的优化提供了技术支持,为非结构化环境中的串类果实采摘机器人的低损收获奠定基础。
