现有目标检测模型在边缘设备上部署时,其检测性能和推理速度的平衡有较大提升空间。针对此问题,本文基于YOLO(you can only look once)v8提出一种可部署到多类边缘设备上的目标检测模型。在模型的骨干网络部分,设计了EC2f(extended coar...现有目标检测模型在边缘设备上部署时,其检测性能和推理速度的平衡有较大提升空间。针对此问题,本文基于YOLO(you can only look once)v8提出一种可部署到多类边缘设备上的目标检测模型。在模型的骨干网络部分,设计了EC2f(extended coarse-to-fine)结构,在降低参数量和计算复杂度的同时降低数据读写量;在颈部网络部分,将颈部网络替换为YOLOv6-3.0版本的颈部网络,加速了模型推理,并将推理精度维持在较好水平;预测头网络部分设计了多尺度卷积检测头,进一步降低了模型的计算复杂度和参数度。设计了两个版本(n/s尺度)以适应不同的边缘设备。在X光数据集的实验表明,模型在推理精度上比同尺度的基准模型分别提升0.5/1.7百分点,推理速度上分别提升11.6%/11.2%。在其他数据集上的泛化性能测试表明,模型的推理速度提升了10%以上,精度降低控制在1.3%以内。实验证明,模型在推理精度和速度之间实现了良好的平衡。展开更多
随着人工智能(AI)技术的蓬勃发展,深度神经网络(DNN)模型被大规模应用到各类移动端与边缘端。然而,边缘端算力低、内存容量小,且实现模型加速需要深入掌握边缘端硬件知识,这增加了模型的部署难度,也限制了模型的推广应用。因此,基于张...随着人工智能(AI)技术的蓬勃发展,深度神经网络(DNN)模型被大规模应用到各类移动端与边缘端。然而,边缘端算力低、内存容量小,且实现模型加速需要深入掌握边缘端硬件知识,这增加了模型的部署难度,也限制了模型的推广应用。因此,基于张量虚拟机(TVM)提出一种DNN加速与部署方法,从而实现卷积神经网络(CNN)模型在现场可编程门阵列(FPGA)上的加速,并在分心驾驶分类应用场景下验证了所提方法的可行性。通过计算图优化方法减小了模型的访存和计算开销,通过模型量化方法减小了模型尺寸,通过计算图打包方法将卷积计算卸载到FPGA上执行以提高模型推理速度。与微处理器(MPU)相比,所提方法可使ResNet50和ResNet18在MPU+FPGA上的推理时间分别减少88.63%和77.53%;而在AUC(American University in Cairo)数据集上,相较于MPU,两个模型在MPU+FPGA上的top1推理精度仅下降了0.26和0.16个百分点。可见,所提方法可以降低不同模型在FPGA上的部署难度。展开更多
文摘现有目标检测模型在边缘设备上部署时,其检测性能和推理速度的平衡有较大提升空间。针对此问题,本文基于YOLO(you can only look once)v8提出一种可部署到多类边缘设备上的目标检测模型。在模型的骨干网络部分,设计了EC2f(extended coarse-to-fine)结构,在降低参数量和计算复杂度的同时降低数据读写量;在颈部网络部分,将颈部网络替换为YOLOv6-3.0版本的颈部网络,加速了模型推理,并将推理精度维持在较好水平;预测头网络部分设计了多尺度卷积检测头,进一步降低了模型的计算复杂度和参数度。设计了两个版本(n/s尺度)以适应不同的边缘设备。在X光数据集的实验表明,模型在推理精度上比同尺度的基准模型分别提升0.5/1.7百分点,推理速度上分别提升11.6%/11.2%。在其他数据集上的泛化性能测试表明,模型的推理速度提升了10%以上,精度降低控制在1.3%以内。实验证明,模型在推理精度和速度之间实现了良好的平衡。
文摘随着人工智能(AI)技术的蓬勃发展,深度神经网络(DNN)模型被大规模应用到各类移动端与边缘端。然而,边缘端算力低、内存容量小,且实现模型加速需要深入掌握边缘端硬件知识,这增加了模型的部署难度,也限制了模型的推广应用。因此,基于张量虚拟机(TVM)提出一种DNN加速与部署方法,从而实现卷积神经网络(CNN)模型在现场可编程门阵列(FPGA)上的加速,并在分心驾驶分类应用场景下验证了所提方法的可行性。通过计算图优化方法减小了模型的访存和计算开销,通过模型量化方法减小了模型尺寸,通过计算图打包方法将卷积计算卸载到FPGA上执行以提高模型推理速度。与微处理器(MPU)相比,所提方法可使ResNet50和ResNet18在MPU+FPGA上的推理时间分别减少88.63%和77.53%;而在AUC(American University in Cairo)数据集上,相较于MPU,两个模型在MPU+FPGA上的top1推理精度仅下降了0.26和0.16个百分点。可见,所提方法可以降低不同模型在FPGA上的部署难度。
