为实现群养生猪在不同场景下(白天与黑夜,猪只稀疏与稠密)的猪只个体准确检测与实时跟踪,该研究提出一种联合检测与跟踪(Joint Detection and Embedding,JDE)模型。首先利用特征提取模块对输入视频序列提取不同尺度的图像特征,产生3个...为实现群养生猪在不同场景下(白天与黑夜,猪只稀疏与稠密)的猪只个体准确检测与实时跟踪,该研究提出一种联合检测与跟踪(Joint Detection and Embedding,JDE)模型。首先利用特征提取模块对输入视频序列提取不同尺度的图像特征,产生3个预测头,预测头通过多任务协同学习输出3个分支,分别为分类信息、边界框回归信息和外观信息。3种信息在数据关联模块进行处理,其中分类信息和边界框回归信息输出检测框的位置,结合外观信息,通过包含卡尔曼滤波和匈牙利算法的数据关联算法输出视频序列。试验结果表明,本文JDE模型在公开数据集和自建数据集的总体检测平均精度均值(mean Average Precision,m AP)为92.9%,多目标跟踪精度(Multiple Object Tracking Accuracy,MOTA)为83.9%,IDF1得分为79.6%,每秒传输帧数(Frames Per Second,FPS)为73.9帧/s。在公开数据集中,对比目标检测和跟踪模块分离(Separate Detection and Embedding,SDE)模型,本文JDE模型在MOTA提升0.5个百分点的基础上,FPS提升340%,解决了采用SDE模型多目标跟踪实时性不足问题。对比TransTrack模型,本文JDE模型的MOTA和IDF1分别提升10.4个百分点和6.6个百分点,FPS提升324%。实现养殖环境下的群养生猪多目标实时跟踪,可为大规模生猪养殖的精准管理提供技术支持。展开更多
文摘为实现群养生猪在不同场景下(白天与黑夜,猪只稀疏与稠密)的猪只个体准确检测与实时跟踪,该研究提出一种联合检测与跟踪(Joint Detection and Embedding,JDE)模型。首先利用特征提取模块对输入视频序列提取不同尺度的图像特征,产生3个预测头,预测头通过多任务协同学习输出3个分支,分别为分类信息、边界框回归信息和外观信息。3种信息在数据关联模块进行处理,其中分类信息和边界框回归信息输出检测框的位置,结合外观信息,通过包含卡尔曼滤波和匈牙利算法的数据关联算法输出视频序列。试验结果表明,本文JDE模型在公开数据集和自建数据集的总体检测平均精度均值(mean Average Precision,m AP)为92.9%,多目标跟踪精度(Multiple Object Tracking Accuracy,MOTA)为83.9%,IDF1得分为79.6%,每秒传输帧数(Frames Per Second,FPS)为73.9帧/s。在公开数据集中,对比目标检测和跟踪模块分离(Separate Detection and Embedding,SDE)模型,本文JDE模型在MOTA提升0.5个百分点的基础上,FPS提升340%,解决了采用SDE模型多目标跟踪实时性不足问题。对比TransTrack模型,本文JDE模型的MOTA和IDF1分别提升10.4个百分点和6.6个百分点,FPS提升324%。实现养殖环境下的群养生猪多目标实时跟踪,可为大规模生猪养殖的精准管理提供技术支持。
