边缘资源轻量化需求下深度神经网络双角度并行剪枝方法

1

作者 张云翔 高圣溥 《沈阳工业大学学报》 北大核心 2025年第2期250-257,共8页

【目的】深度神经网络的应用面临庞大的计算需求和存储开销,这已成为限制其在边缘设备上广泛应用的主要瓶颈。边缘设备因受限于有限的计算资源和存储空间,难以高效运行复杂的深度神经网络模型。因此,在保证模型精度的前提下,如何降低深... 【目的】深度神经网络的应用面临庞大的计算需求和存储开销,这已成为限制其在边缘设备上广泛应用的主要瓶颈。边缘设备因受限于有限的计算资源和存储空间,难以高效运行复杂的深度神经网络模型。因此,在保证模型精度的前提下,如何降低深度神经网络的复杂度和计算量以适应边缘设备对资源轻量化的需求,已成为当前研究的重要方向。提出了一种结合蚁群算法与双角度并行剪枝的深度神经网络优化方法,以提升深度神经网络在边缘设备中的性能。【方法】分析了深度神经网络的结构特点,并构建了包含多个隐藏层的模型。通过蚁群算法模拟蚂蚁觅食过程中的信息素传递机制,在复杂空间中寻找近似最优解,对隐藏层中的相似节点进行聚类,识别并归类高度相似的神经元节点,从而缩减网络规模并降低复杂性。在聚类结果的基础上,提出了对聚类后的冗余节点及游离节点双角度并行剪枝策略:一方面,从权重矩阵的稀疏性出发,裁剪权重较小的节点,以减少计算开销;另一方面,从节点贡献度角度评估每个节点对整体输出的影响,裁剪贡献度较低的节点,从而进一步优化网络结构。【结果】实验结果表明,与未剪枝的原始模型相比,在相同的计算时间内,本文方法剪枝后的深度神经网络在保持较高精度的同时,其数据量高达120 MB、网络复杂度平均值为88.32%、可拓展性为99%。这一结果表明,在有限的资源条件下,该方法能够显著提升深度神经网络的运行效率,更好地满足边缘设备的应用需求。实验结果不仅验证了该方法的有效性,也为深度神经网络在边缘设备上的部署和应用提供了新思路。【结论】提出的优化方法通过在剪枝过程中应用蚁群算法,实现了隐藏层相似节点的精准聚类,为后续的剪枝处理提供了明确目标。同时,双角度并行剪枝策略提升了剪枝的效率和效果,确保剪枝后模型在精度和可拓展性方面的平衡。该方法不仅能够促进深度神经网络在边缘设备上的广泛应用,也为复杂网络优化问题提供了借鉴和参考价值。 展开更多

关键词 边缘资源 轻量化需求 深度神经网络 双角度并行 剪枝方法 蚁群算法 冗余节点 游离节点

在线阅读 下载PDF 职称材料

面向深度神经网络大规模分布式数据并行训练的MC^(2)能耗模型 被引量：1

2

作者 魏嘉 张兴军 +2 位作者 王龙翔 赵明强 董小社 《计算机研究与发展》 EI CSCD 北大核心 2024年第12期2985-3004,共20页

深度神经网络(deep neural network,DNN)在许多现代人工智能(artificial intelligence,AI)任务中取得了最高的精度.近年来,使用高性能计算平台进行大规模分布式并行训练DNN越来越普遍.能耗模型在设计和优化DNN大规模并行训练和抑制高性... 深度神经网络(deep neural network,DNN)在许多现代人工智能(artificial intelligence,AI)任务中取得了最高的精度.近年来,使用高性能计算平台进行大规模分布式并行训练DNN越来越普遍.能耗模型在设计和优化DNN大规模并行训练和抑制高性能计算平台过量能耗方面起着至关重要的作用.目前,大部分的能耗模型都是从设备的角度出发对单个设备或多个设备构成的集群进行能耗建模,由于缺乏从能耗角度对分布式并行DNN应用进行分解剖析,导致罕有针对分布式DNN应用特征进行建模的能耗模型.针对目前最常用的DNN分布式数据并行训练模式,从DNN模型训练本质特征角度出发,提出了“数据预处理(materials preprocessing)-前向与反向传播(computing)-梯度同步与更新(communicating)”三阶段MC^(2)能耗模型,并通过在国产E级原型机天河三号上使用最多128个MT节点和32个FT节点训练经典的VGG16和ResNet50网络以及最新的Vision Transformer网络验证了模型的有效性和可靠性.实验结果表明,MC^(2)与真实能耗测量结果相差仅为2.84%,相较4种线性比例能耗模型以及AR,SES,ARIMA时间预测模型准确率分别提升了69.12个百分点,69.50个百分点,34.58个百分点,13.47个百分点,5.23个百分点,22.13个百分点,10.53个百分点.通过使用的模型可以在超算平台得到DNN模型的各阶段能耗和总体能耗结果,为评估基于能耗感知的DNN大规模分布式数据并行训练及推理各阶段任务调度、作业放置、模型分割、模型裁剪等优化策略的效能提供了基础. 展开更多

关键词 深度神经网络 能耗模型 大规模分布式训练 数据并行 超级计算机

在线阅读 下载PDF 职称材料

深度神经网络模型任务切分及并行优化方法 被引量：1

3

作者 巨涛 刘帅 +1 位作者 王志强 李林娟 《北京航空航天大学学报》 EI CAS CSCD 北大核心 2024年第9期2739-2752,共14页

为解决传统手工切分神经网络模型计算任务并行化方法面临的并行化难度大、训练耗时长、设备利用率低等问题,提出了一种基于深度神经网络(DNN)模型特性感知的任务切分及并行优化方法。结合硬件计算环境,对模型计算特性进行动态分析,获取... 为解决传统手工切分神经网络模型计算任务并行化方法面临的并行化难度大、训练耗时长、设备利用率低等问题,提出了一种基于深度神经网络(DNN)模型特性感知的任务切分及并行优化方法。结合硬件计算环境,对模型计算特性进行动态分析,获取模型内部相关性和各类参数属性,构建原始计算任务有向无环图(DAG);利用增强反链,构建DAG节点间可分区聚类的拓扑关系,将原始DAG转换为易于切分的反链DAG;通过拓扑排序生成反链DAG状态序列,并使用动态规划将状态序列切分为不同执行阶段,分析最佳分割点进行模型切分,实现模型分区与各GPU间动态匹配;对批量进行微处理,通过引入流水线并行实现多迭代密集训练,提高GPU利用率,减少训练耗时。实验结果表明:与已有模型切分方法相比,在CIFAR-10数据集上,所提模型切分及并行优化方法可实现各GPU间训练任务负载均衡,在保证模型训练精度的同时,4 GPU加速比达到3.4,8 GPU加速比为3.76。 展开更多

关键词 深度神经网络模型并行 模型切分 流水线并行 反链 并行优化

在线阅读 下载PDF 职称材料

深度神经网络并行化研究综述 被引量：62

4

作者 朱虎明 李佩 +2 位作者 焦李成 杨淑媛 侯彪 《计算机学报》 EI CSCD 北大核心 2018年第8期1861-1881,共21页

神经网络是人工智能领域的核心研究内容之一.在七十年的发展历史中,神经网络经历了从浅层神经网络到深度神经网络的重要变革.深度神经网络通过增加模型深度来提高其特征提取和数据拟合的能力,在自然语言处理、自动驾驶、图像分析等问题... 神经网络是人工智能领域的核心研究内容之一.在七十年的发展历史中,神经网络经历了从浅层神经网络到深度神经网络的重要变革.深度神经网络通过增加模型深度来提高其特征提取和数据拟合的能力,在自然语言处理、自动驾驶、图像分析等问题上相较浅层模型具有显著优势.随着训练数据规模的增加和模型的日趋复杂,深度神经网络的训练成本越来越高,并行化成为增强其应用时效性的重要技术手段.近年来计算平台的硬件架构更新迭代,计算能力飞速提高,特别是多核众核以及分布式异构计算平台发展迅速,为深度神经网络的并行化提供了硬件基础;另一方面,日趋丰富的并行编程框架也为计算设备和深度神经网络的并行化架起了桥梁.该文首先介绍了深度神经网络发展背景和常用的计算模型,然后对多核处理器、众核处理器和异构计算设备分别从功耗、计算能力、并行算法的开发难度等角度进行对比分析,对并行编程框架分别从支持的编程语言和硬件设备、编程难度等角度进行阐述.然后以AlexNet为例分析了深度神经网络模型并行和数据并行两种方法的实施过程.接下来,从支持硬件、并行接口、并行模式等角度比较了常用的深度神经网络开源软件,并且通过实验比较和分析了卷积神经网络在多核CPU和GPU上的并行性能.最后,对并行深度神经网络的未来发展趋势和面临的挑战进行展望. 展开更多

关键词 深度神经网络 并行计算 异构计算 模型并行 数据并行

在线阅读 下载PDF 职称材料

基于并行深度卷积神经网络的图像美感分类 被引量：54

5

作者 王伟凝 王励 +3 位作者 赵明权 蔡成加 师婷婷 徐向民 《自动化学报》 EI CSCD 北大核心 2016年第6期904-914,共11页

随着计算机和社交网络的飞速发展,图像美感的自动评价产生了越来越大的需求并受到了广泛关注.由于图像美感评价的主观性和复杂性,传统的手工特征和局部特征方法难以全面表征图像的美感特点,并准确量化或建模.本文提出一种并行深度卷积... 随着计算机和社交网络的飞速发展,图像美感的自动评价产生了越来越大的需求并受到了广泛关注.由于图像美感评价的主观性和复杂性,传统的手工特征和局部特征方法难以全面表征图像的美感特点,并准确量化或建模.本文提出一种并行深度卷积神经网络的图像美感分类方法,从同一图像的不同角度出发,利用深度学习网络自动完成特征学习,得到更为全面的图像美感特征描述;然后利用支持向量机训练特征并建立分类器,实现图像美感分类.通过在两个主流的图像美感数据库上的实验显示,本文方法与目前已有的其他算法对比,获得了更好的分类准确率. 展开更多

关键词 图像美感评估 深度卷积神经网络 并行卷积神经网络 特征提取

在线阅读 下载PDF 职称材料

基于Im2col的并行深度卷积神经网络优化算法 被引量：12

6

作者 胡健 龚克 +2 位作者 毛伊敏 陈志刚 陈亮 《计算机应用研究》 CSCD 北大核心 2022年第10期2950-2956,2961,共8页

针对大数据环境下并行深度卷积神经网络(DCNN)算法中存在数据冗余特征多、卷积层运算速度慢、损失函数收敛性差等问题,提出了一种基于Im2col方法的并行深度卷积神经网络优化算法IA-PDCNNOA。首先,提出基于Marr-Hildreth算子的并行特征... 针对大数据环境下并行深度卷积神经网络(DCNN)算法中存在数据冗余特征多、卷积层运算速度慢、损失函数收敛性差等问题,提出了一种基于Im2col方法的并行深度卷积神经网络优化算法IA-PDCNNOA。首先,提出基于Marr-Hildreth算子的并行特征提取策略MHO-PFES,提取数据中的目标特征作为卷积神经网络的输入,有效避免了数据冗余特征多的问题;其次,设计基于Im2col方法的并行模型训练策略IM-PMTS,通过设计马氏距离中心值去除冗余卷积核,并结合MapReduce和Im2col方法并行训练模型,提高了卷积层运算速度;最后提出改进的小批量梯度下降策略IM-BGDS,排除异常节点的训练数据对批梯度的影响,解决了损失函数收敛性差的问题。实验结果表明,IA-PDCNNOA算法在大数据环境下进行深度卷积神经网络计算具有较好的性能表现,适用于大规模数据集的并行化深度卷积神经网络模型训练。 展开更多

关键词 大数据 深度卷积神经网络算法 并行计算 特征提取 图像分类

在线阅读 下载PDF 职称材料

深度神经网络动态分层梯度稀疏化及梯度合并优化方法

7

作者 巨涛 康贺廷 +1 位作者 刘帅 火久元 《西安交通大学学报》 EI CAS CSCD 北大核心 2024年第9期105-116,共12页

针对数据并行方法加速大规模深度神经网络时易出现的通信开销大、训练耗时长、资源利用率不高的问题,提出了一种深度神经网络动态分层梯度稀疏化及梯度合并优化方法。首先,将梯度稀疏化压缩与流水线并行技术相结合,提出动态分层梯度稀... 针对数据并行方法加速大规模深度神经网络时易出现的通信开销大、训练耗时长、资源利用率不高的问题,提出了一种深度神经网络动态分层梯度稀疏化及梯度合并优化方法。首先,将梯度稀疏化压缩与流水线并行技术相结合,提出动态分层梯度稀疏优化方法,为每层神经网络匹配一个合适的阈值,通过在后续迭代时动态调整该阈值,实现对每层网络传输梯度的自适应压缩。然后,提出了层梯度合并方法,利用动态规划算法对层梯度合并时的通信开销、稀疏化及层梯度计算时间进行权衡优化,求解出最佳的层梯度合并组合,并将多层小尺度梯度张量合并为一层通信,以降低分层梯度决策时引入的过高通信延迟开销。最后,将求解出的最佳层梯度合并组合应用于具体的训练迭代过程。实验结果表明:与已有方法相比,所提方法可在保证模型训练精度的同时大大降低通信开销,提升模型的训练速度;与未压缩方法相比,训练速度最大可提升1.99倍。 展开更多

关键词 深度神经网络 分布式训练 同步数据并行 梯度压缩 层梯度合并

在线阅读 下载PDF 职称材料

多视角声图中水下小目标分类的深度神经网络方法研究 被引量：4

8

作者 朱可卿 田杰 黄海宁 《仪器仪表学报》 EI CAS CSCD 北大核心 2020年第1期206-214,共9页

针对基于多视角声图的水下小目标分类问题,提出了一种深度神经网络多视分类方法。首先,提取声图的阴影区域,计算阴影部分的主轴斜率并匹配出与其相对应的仿真数据集。采用由这些对应仿真数据集训练的卷积神经网络分别对不同视角的待分... 针对基于多视角声图的水下小目标分类问题,提出了一种深度神经网络多视分类方法。首先,提取声图的阴影区域,计算阴影部分的主轴斜率并匹配出与其相对应的仿真数据集。采用由这些对应仿真数据集训练的卷积神经网络分别对不同视角的待分类声图提取深度神经网络特征。将不同视角输出的特征向量组合起来,作为目标的特征向量,利用各个视角匹配的组合所对应的支持向量机对目标的特征向量进行预测。将分类器用于对湖、海试采集的多视角声图分类,平均正确率为93.33%,相比采用卷积神经网络、支持向量机的单视角分类方法,分别有不同程度的提升。 展开更多

关键词 高分辨率声纳成像 多视角声图 深度神经网络 水下小目标分类

在线阅读 下载PDF 职称材料

一种基于差分进化改进的深度神经网络并行化方法 被引量：5

9

作者 朱光宇 谢在鹏 朱跃龙 《小型微型计算机系统》 CSCD 北大核心 2020年第11期2249-2255,共7页

深度神经网络在多个领域应用广泛,但随着数据量的增长以及模型复杂度的提高,造成的影响是训练效率和模型精度的下降,对于深度神经网络的并行化研究可以有效解决这一问题.在现有分布式环境下进行数据并行化训练是神经网络并行化的一种有... 深度神经网络在多个领域应用广泛,但随着数据量的增长以及模型复杂度的提高,造成的影响是训练效率和模型精度的下降,对于深度神经网络的并行化研究可以有效解决这一问题.在现有分布式环境下进行数据并行化训练是神经网络并行化的一种有效方案,但其存在全局模型精度不佳、节点计算能力不平衡的问题.针对以上问题,本文提出了一种基于差分进化改进的深度神经网络并行化方法DE-DNN.DE-DNN利用差分进化方法对并行训练过程中获取全局模型的关键步骤进行改进和优化;同时提出一种基于批处理的自适应数据分配算法BSDA,减少并行训练过程中由于计算节点能力不平衡而造成的节点额外等待时间.实验基于NiN深度网络模型对本文提出的方法进行了实现并在CIFAR-10和CIFAR-100数据集上进行测试.实验结果表明,DE-DNN可以有效提高并行训练过程中全局模型的分类准确率,加快收敛速度;BSDA数据分配算法能够合理根据各节点的计算能力分配适量数据,减少训练过程中因节点等待产生的额外时间开销. 展开更多

关键词 深度神经网络 并行化 差分进化 自适应

在线阅读 下载PDF 职称材料

深度神经网络轧制力建模及其并行优化研究 被引量：2

10

作者 刘翰培 汪宇轩 +1 位作者 王亚琴 罗小川 《控制工程》 CSCD 北大核心 2022年第8期1379-1386,共8页

冷连轧过程控制的轧制力模型是整个轧制过程计算机控制的基础。为提高5机架2030冷连轧系统轧制力模型的精度和适用性,提出了多输入多输出深度神经网络轧制力模型的数据预处理、建模和并行优化方法。对含有不同隐含层数和节点数的神经网... 冷连轧过程控制的轧制力模型是整个轧制过程计算机控制的基础。为提高5机架2030冷连轧系统轧制力模型的精度和适用性,提出了多输入多输出深度神经网络轧制力模型的数据预处理、建模和并行优化方法。对含有不同隐含层数和节点数的神经网络,采用不同训练算法(SCG算法和L-M算法)与不同优化方法(多线程CPU、单GPU和多线程CPU+GPU),研究了神经网络结构、训练算法和优化方法对神经网络轧制力模型的性能、训练时长、线性相关系数的影响。研究结果表明:含有2个隐含层、采用L-M算法和多线程CPU优化方法可获得综合性能最优的神经网络轧制力模型;神经网络轧制力模型的计算误差远小于在线使用的Siemens轧制力模型的计算误差。 展开更多

关键词 深度神经网络轧制力模型 L-M算法 SCG算法 并行优化 轧制力模型

在线阅读 下载PDF 职称材料

切比雪夫逼近的深度神经网络并行加速 被引量：1

11

作者 李方舒 钱慧 陈晓旭 《小型微型计算机系统》 CSCD 北大核心 2020年第10期2206-2211,共6页

深度神经网络(Deep Neural Network,DNN)中数据量巨大,且卷积层计算复杂度高,使得其难以在资源有限的嵌入式GPU上进行部署,因此需要对其进行并行加速设计.本文提出采用切比雪夫多项式对卷积核进行逼近,并将该优化方案应用在面向图像重构... 深度神经网络(Deep Neural Network,DNN)中数据量巨大,且卷积层计算复杂度高,使得其难以在资源有限的嵌入式GPU上进行部署,因此需要对其进行并行加速设计.本文提出采用切比雪夫多项式对卷积核进行逼近,并将该优化方案应用在面向图像重构的DNN中以实现卷积操作的并行化处理,降低计算复杂度.然后为优化后的网络卷积层进行基于GPU的并行加速设计,最后将网络整体移植到NVIDIA AGX Xavier嵌入式开发板上来实现图像的重构推理过程.实验结果表明,并行加速后的网络重构推理的速度是原始网络的2.2倍. 展开更多

关键词 深度神经网络 图像重构 并行计算 嵌入式GPU 切比雪夫逼近

在线阅读 下载PDF 职称材料

基于多尺度特征融合预处理与深度稀疏网络的并行磁共振成像重建

12

作者 薛磊 段继忠 《数据采集与处理》 北大核心 2025年第4期1082-1095,共14页

磁共振成像(Magnetic resonance imaging,MRI)在医学诊断中具有关键作用,但过长的扫描时间可能会导致患者不适或产生运动伪影。并行成像技术和压缩感知理论表明,可通过对k空间数据进行欠采样从而提高扫描速度,其中并行MRI是一种通过利... 磁共振成像(Magnetic resonance imaging,MRI)在医学诊断中具有关键作用,但过长的扫描时间可能会导致患者不适或产生运动伪影。并行成像技术和压缩感知理论表明,可通过对k空间数据进行欠采样从而提高扫描速度,其中并行MRI是一种通过利用多个接收线圈同时采集多个数据通道来加速成像过程的技术。深度学习凭借其强大的特征提取和模式识别能力,在欠采样MRI重建中展现出巨大的潜力。为克服现有技术的局限性(如需要自动校准信号、重建不稳定等),提出了一种创新的重建方法,旨在从欠采样的k空间数据中高效、准确地重建高质量的并行磁共振图像。该方法的核心骨架为深度稀疏网络,该网络通过将求解稀疏模型的迭代收缩阈值算法的迭代过程展开,转化为深度神经网络框架内的一系列可训练层。另外,还引入基于多尺度特征融合的自适应预处理模块,通过融合普通卷积与异型卷积核,进一步提升网络的稀疏表示能力。实验结果表明,相较于其他先进方法,本文提出的方法在多个数据集上均表现出更优的重建性能,包括更高的峰值信噪比和结构相似性指数,以及更低的高频误差范数。 展开更多

关键词 并行磁共振成像重建 深度学习 卷积神经网络 深度稀疏网络 多尺度特征融合

在线阅读 下载PDF 职称材料

基于并行深度卷积神经网络的舰船通信异常数据检测研究 被引量：3

13

作者 邓雪阳 邓达平 苏万靖 《舰船科学技术》 北大核心 2023年第15期119-122,共4页

为了提高通信异常数据检测效果,设计基于并行深度卷积神经网络算法的大规模舰船通信异常数据检测方法。采集大规模舰船通信数据,采用小波变换对数据实施降噪处理,将降噪后数据输入并行深度卷积神经网络中,经过模型训练提取特征,利用Soft... 为了提高通信异常数据检测效果,设计基于并行深度卷积神经网络算法的大规模舰船通信异常数据检测方法。采集大规模舰船通信数据,采用小波变换对数据实施降噪处理,将降噪后数据输入并行深度卷积神经网络中,经过模型训练提取特征,利用Softmax分类函数得出舰船通信异常数据特征,输出舰船通信异常数据检测结果。实验结果表明:该方法可有效实现大规模舰船通信异常数据检测,其加速比最高,并行效果最优;具有较强的大规模舰船通信数据集检测能力,提高大规模舰船通信异常数据检测效果。 展开更多

关键词 并行深度 卷积神经网络 大规模舰船 通信异常数据 检测方法 数据预处理

在线阅读 下载PDF 职称材料

异构环境感知的分布式神经网络训练模型 被引量：2

14

作者 咸琳涛 刘晓兰 +1 位作者 王淦 刘建明 《计算机工程与设计》 北大核心 2024年第9期2821-2827,共7页

针对分布式神经网络训练在异构环境中训练速度慢、资源利用率低的问题,提出一种异构环境感知的分布式神经网络训练模型(H-PS)。根据计算节点当前状态动态调度训练任务,使计算节点能够在相同时间完成训练任务,提高资源利用率。提出通信... 针对分布式神经网络训练在异构环境中训练速度慢、资源利用率低的问题,提出一种异构环境感知的分布式神经网络训练模型(H-PS)。根据计算节点当前状态动态调度训练任务,使计算节点能够在相同时间完成训练任务,提高资源利用率。提出通信与计算并行策略,参数服务器与计算节点传输模型参数期间,计算节点持续模型计算,进一步提高资源利用率。使用灵活的量化策略,压缩神经网络模型参数,减少参数服务器与计算节点的通信开销。使用新兴的容器集群进行实验,结果表明,与现有方法相比,H-PS训练时间缩短1.4~3.5倍。 展开更多

关键词 分布式机器学习 异构环境 任务动态规划 通信与计算并行 参数动态量化 深度神经网络 容器集群

在线阅读 下载PDF 职称材料

冷连轧轧制力深度神经网络模型泛化能力并行优化 被引量：1

15

作者 吴爽 闫奕 +1 位作者 李爽 李峰 《机械设计与制造》 北大核心 2023年第8期171-174,共4页

为了更好调控冷连轧板厚参数,设计了一种冷连轧轧制力深度神经网络模型,增强了冷连轧模型的控制效果。选择2030冷连轧结构进行研究,对多输入多输出(MIMO)深度神经网络(DNN)进行预处理,针对多线程CPU与GPU实施了优化,对比了神经网络模型... 为了更好调控冷连轧板厚参数,设计了一种冷连轧轧制力深度神经网络模型,增强了冷连轧模型的控制效果。选择2030冷连轧结构进行研究,对多输入多输出(MIMO)深度神经网络(DNN)进行预处理,针对多线程CPU与GPU实施了优化,对比了神经网络模型和冷连轧系统Siemens模型误差。研究结果表明:L-M算法表现出了更优的收敛稳定性、测试和验证性能、梯度下降趋势,并且收敛速度也更快。以随机方式选择200个数据并测定泛化性能测试得到,L-M算法获得了比SCG算法更大的相关系数。都是随着隐含层数的增加,获得了性能更优的神经网络模型,并且都会增加训练时间。从各项模型指标分析,L-M算法都比SCG算法的性能更优。构建神经网络轧制力模型总共包含二个隐含层、节点数介于17~30、通过L-M算法进行训练。采用神经网络轧制力模型得到的结果与实测值之间的误差比Siemens机理模型和测试值的误差更低。 展开更多

关键词 深度神经网络模型 L-M算法 SCG算法 并行优化 轧制力模型

在线阅读 下载PDF 职称材料

基于多GPU的深度神经网络训练算法 被引量：8

16

作者 顾乃杰 赵增 +1 位作者 吕亚飞 张致江 《小型微型计算机系统》 CSCD 北大核心 2015年第5期1042-1046,共5页

深度学习由于出色的识别效果在模式识别及机器学习领域受到越来越多的关注.作为深度神经网络算法的重要组成部分,误差反向传播算法的执行效率已经成为制约深度学习领域发展的瓶颈.提出一种基于Tesla K10 GPU的误差反向传播算法,该算法... 深度学习由于出色的识别效果在模式识别及机器学习领域受到越来越多的关注.作为深度神经网络算法的重要组成部分,误差反向传播算法的执行效率已经成为制约深度学习领域发展的瓶颈.提出一种基于Tesla K10 GPU的误差反向传播算法,该算法具有负载均衡,可扩展性高的特点.本算法充分利用PCI-E3.0传输特性,并结合peer-to-peer以及异步传输的特性以降低计算任务在划分和合并过程中带来的额外开销.除此之外,文章通过对算法流程的重构,实现算法数据相关性的解耦合,从而使得有更多的计算任务可用来掩盖传输过程.实验证明,该算法拥有双卡超过1.87的并行加速比,且算法执行过程中不会引入计算误差,可有效保证训练过程中的收敛效率,拥有理想的并行加速效果. 展开更多

关键词 深度学习 神经网络 GPGPU 并行算法

在线阅读 下载PDF 职称材料

基于并行卷积神经网络和特征融合的小样本轴承故障诊断方法 被引量：2

17

作者 王俊年 王源 童鹏程 《机电工程》 CAS 北大核心 2023年第3期317-325,369,共10页

在风力发电机轴承故障诊断过程中,基于深度学习的故障诊断方法受限于有限的标注样本,存在模型收敛困难和识别准确率较低等问题,为此,提出了一种基于并行卷积神经网络(P-CNN)和特征融合的小样本风机轴承故障诊断方法。首先,采用集合经验... 在风力发电机轴承故障诊断过程中,基于深度学习的故障诊断方法受限于有限的标注样本,存在模型收敛困难和识别准确率较低等问题,为此,提出了一种基于并行卷积神经网络(P-CNN)和特征融合的小样本风机轴承故障诊断方法。首先,采用集合经验模态分解(EEMD)方法,将轴承的原始振动信号分解为若干个本征模态函数(IMF)分量以及残余分量;然后,分别对其进行了短时傅里叶变换(STFT),将其转换为时频特征图,同时构建了多个相同的卷积神经网络分支,以此作为特征提取器;最后,在融合层中,将提取到的时频域特征进行了通道特征融合,作为最终分类器的输入数据,对风机轴承进行了故障识别;并采用美国凯斯西储大学不同大小的轴承数据集,对该方法的适用性和有效性进行了验证。研究结果表明:在仅含有160个样本时,基于并行卷积神经网络(P-CNN)和特征融合的诊断方法的平均准确率高达94.5%;与支持向量机(SVM)、故障网络(FaultNet)、第一层宽卷积核深度卷积神经网络(WDCNN)相比,该诊断方法具有更高的准确率和更强的鲁棒性。 展开更多

关键词 深度学习 集合经验模态分解 短时傅里叶变换 并行卷积神经网络 特征提取 本征模态函数 故障诊断准确率和鲁棒性

在线阅读 下载PDF 职称材料

多尺度并行融合的轻量级卷积神经网络设计 被引量：4

18

作者 范瑞 蒋品群 +3 位作者 曾上游 夏海英 廖志贤 李鹏 《广西师范大学学报（自然科学版）》 CAS 北大核心 2019年第3期50-59,共10页

针对传统深度卷积神经网络分类精度不佳,参数量巨大,难以在内存受限的设备上进行部署的问题,本文提出了一种多尺度并行融合的轻量级卷积神经网络架构PL-Net。首先,将上层输出特征图分别送入两种不同尺度的深度可分离卷积层;然后对并行... 针对传统深度卷积神经网络分类精度不佳,参数量巨大,难以在内存受限的设备上进行部署的问题,本文提出了一种多尺度并行融合的轻量级卷积神经网络架构PL-Net。首先,将上层输出特征图分别送入两种不同尺度的深度可分离卷积层;然后对并行输出特征信息进行交叉融合,并加入残差学习,设计了一种并行轻量型模块PL-Module;同时,为了更好地提取特征信息,利用尺度降维卷积模块SR-Module来替换传统池化层;最后将上述两个模块相互堆叠构建轻量级网络。在CIFAR10、Caltech256和101_food数据集上进行训练与测试,结果表明:与同等规模的传统CNN、MobileNet-V2网络及SqueezeNet网络相比,PL-Net在减少网络参数的同时,提升了网络的分类精度,适合在内存受限的设备上进行部署。 展开更多

关键词 卷积神经网络 深度可分离卷积 残差学习 并行卷积

在线阅读 下载PDF 职称材料

基于更快区域卷积神经网络的多视角船舶识别 被引量：5

19

作者 程静 王荣杰 +2 位作者 曾光淼 林安辉 王亦春 《哈尔滨工程大学学报》 EI CAS CSCD 北大核心 2023年第10期1832-1840,共9页

针对在复杂海洋环境下采集船舶多视角图像难度大、不同视角下船舶外观差异显著的问题,本文以自制的不同类型的多艘船舶的多视角图像为数据集训练更快区域卷积神经网络模型,利用平均F1分数、平均精度和平均误检率作为评价指标评估更快区... 针对在复杂海洋环境下采集船舶多视角图像难度大、不同视角下船舶外观差异显著的问题,本文以自制的不同类型的多艘船舶的多视角图像为数据集训练更快区域卷积神经网络模型,利用平均F1分数、平均精度和平均误检率作为评价指标评估更快区域卷积神经网络模型对不同视角船舶的识别性能,并通过识别不同船舶的F1分数和误检率分析更快区域卷积神经网络对不同质量、背景图像的识别能力。实验结果表明,更快区域卷积神经网络识别多角度船舶的平均F1分数为0.6969,平均精度为92.88%,平均误检率为8.34%,即更快区域卷积神经网络对多视角船舶有较高的识别能力,但对于有雾或昏暗环境下的低像素图像识别能力明显下降。 展开更多

关键词 多视角 船舶识别 视觉图像 更快区域卷积神经网络 目标检测 特征提取 深度学习 低分辨率图像

在线阅读 下载PDF 职称材料

基于迁移学习的并行卷积神经网络牦牛脸识别算法 被引量：7

20

作者 陈争涛 黄灿 +2 位作者 杨波 赵立 廖勇 《计算机应用》 CSCD 北大核心 2021年第5期1332-1336,共5页

为了在牦牛养殖过程中对牦牛实现精确管理,需要对牦牛的身份进行识别,而牦牛脸识别是一种可行的牦牛身份识别方式。然而已有的基于神经网络的牦牛脸识别算法中存在牦牛脸数据集特征多、神经网络训练时间长的问题,因此,借鉴迁移学习的方... 为了在牦牛养殖过程中对牦牛实现精确管理,需要对牦牛的身份进行识别,而牦牛脸识别是一种可行的牦牛身份识别方式。然而已有的基于神经网络的牦牛脸识别算法中存在牦牛脸数据集特征多、神经网络训练时间长的问题,因此,借鉴迁移学习的方法并结合视觉几何组网络(VGG)和卷积神经网络(CNN),提出了一种并行CNN(Parallel-CNN)算法用来识别牦牛的面部信息。首先,利用已有的VGG16网络对牦牛脸图像数据进行迁移学习以及初次提取牦牛的面部信息特征;然后,将提取到的不同层次的特征进行维度变换并输入到Parallel-CNN中进行二次特征提取;最后,利用两个分离的全连接层对牦牛脸图像进行分类。实验结果表明:Parallel-CNN能够对不同角度、光照和姿态的牦牛脸进行识别,在含有300头牦牛的90 000张牦牛脸图像的测试数据集上,所提算法的识别准确率达到91.2%。所提算法可以对牦牛身份进行精确识别,从而帮助牦牛养殖场实现对牦牛的智能化管理。 展开更多

关键词 牦牛脸识别 深度学习 迁移学习 卷积神经网络 并行网络

在线阅读 下载PDF 职称材料