神经架构搜索技术研究综述 被引量：1

1

作者 武家辉 李科研 +3 位作者 陈丽新 张家诺 刘帅兵 逯鹏 《计算机应用研究》 北大核心 2025年第1期11-18,共8页

神经架构搜索(NAS)的目的是为特定任务自动寻优生成高性能网络架构,从而减少架构设计对专家经验的依赖和架构设计过程中的人力资源消耗,其主要包含搜索空间、搜索策略和评估策略三个组成部分。早期NAS需要多个GPU耗时多天完成搜索,搜索... 神经架构搜索(NAS)的目的是为特定任务自动寻优生成高性能网络架构,从而减少架构设计对专家经验的依赖和架构设计过程中的人力资源消耗,其主要包含搜索空间、搜索策略和评估策略三个组成部分。早期NAS需要多个GPU耗时多天完成搜索,搜索耗时和计算成本高是NAS的核心问题。为帮助研究人员快速、全面地了解NAS领域,提供了一种新的视角对现有NAS工作进行梳理。首先对NAS的早期工作进行分析,并阐述了NAS的核心问题及其产生原因;然后围绕解决NAS核心问题的三类方法,即减小架构搜索范围、减少待评估架构搜索时间、减少架构评估时间,对该领域算法进行针对性分析、对比、总结;最后归纳总结该领域后续的主要研究方向。 展开更多

关键词 神经架构搜索 搜索范围 搜索时间 评估时间

在线阅读 下载PDF 职称材料

结合高效注意力机制的神经架构搜索高光谱图像分类

2

作者 陈海松 张康 +2 位作者 吕浩然 王爱丽 吴海滨 《液晶与显示》 北大核心 2025年第4期630-641,共12页

由于不同高光谱数据集在频带数、光谱范围和空间分辨率上存在显著差异,适用于不同高光谱数据集的最优网络结构也存在不同。此外,人工设计的深度学习网络需要调整大量的超参数,这无疑给设计一个适用于各种HSI数据集的通用分类模型带来了... 由于不同高光谱数据集在频带数、光谱范围和空间分辨率上存在显著差异,适用于不同高光谱数据集的最优网络结构也存在不同。此外,人工设计的深度学习网络需要调整大量的超参数,这无疑给设计一个适用于各种HSI数据集的通用分类模型带来了严重的挑战。本文提出了一种结合高效注意力机制的神经架构搜索算法,实现深度学习网络的自动设计以避免人工设计网络的偏差。首先,为了构建高效的搜索过程,本文构建了基于可微网络架构搜索的模型,该方法可以有效地提高超参数网络的搜索速度。然后,为了实现高精度的分类结果,本文设计了一个新型的模块化搜索空间。最后,考虑到高光谱数据集类不平衡带来的误分类问题,本文采用Poly损失函数增加少数类别的损失权重,从而提高模型对这些类别的识别能力。在公开高光谱数据集上的实验结果表明,本文方法的总体分类精度分别达到了99.50%、97.81%。本文提出的方法探索了神经架构搜索在高光谱分类任务上的应用,提高了分类精度和算法设计的效率。 展开更多

关键词 高光谱图像 图像分类 神经架构搜索 注意力机制

在线阅读 下载PDF 职称材料

基于时间卷积神经架构搜索的复杂动作识别

3

作者 任鹏真 梁小丹 +2 位作者 常晓军 赵子莹 肖云 《计算机研究与发展》 北大核心 2025年第8期1862-1874,共13页

在视频的复杂动作识别领域中,模型的结构设计对其最终的性能起着至关重要的作用.然而,人工设计的网络结构往往严重依赖于研究人员的知识和经验.因此,神经架构搜索(neural architecture search,NAS)因其自动化的网络结构设计在图像处理... 在视频的复杂动作识别领域中,模型的结构设计对其最终的性能起着至关重要的作用.然而,人工设计的网络结构往往严重依赖于研究人员的知识和经验.因此,神经架构搜索(neural architecture search,NAS)因其自动化的网络结构设计在图像处理领域受到研究人员的广泛关注.当前,神经架构搜索已经在图像领域获得了巨大的发展,一些NAS方法甚至将模型自动化设计所需的GPU天数减少到了个位数,并且其搜索的模型结构表现出了强大的竞争潜力,这鼓励将自动化模型结构设计拓展到视频领域.但它面临2个严峻的挑战:1)如何尽可能捕获视频中的长程上下文时间关联;2)如何尽可能降低3D卷积所带来的计算激增的问题.为了应对上述挑战,提出了一个基于时间卷积的神经架构搜索复杂动作识别(neural architecture search on temporal convolutions for complex action recognition,NAS-TC)模型.具体地,NAS-TC具有2个阶段:在第1阶段,采用经典的CNN网络作为骨干网络,来完成计算密集型的特征提取任务.在第2阶段,提出了一个神经架构搜索时间卷积层来完成相对轻量级的长程时间模型设计和信息提取.这确保了提出的方法具有更合理的参数分配并且可以处理分钟级的视频.最后,提出的方法在3个复杂动作识别基准数据集上与同类型方法相比平均获得了2.3个百分点的m AP的性能增益,并且参数量下降了28.5%. 展开更多

关键词 复杂动作识别 神经架构搜索 卷积分解 视频理解 深度学习

在线阅读 下载PDF 职称材料

神经架构搜索综述 被引量：1

4

作者 孙仁科 皇甫志宇 +2 位作者 陈虎 李仲年 许新征 《计算机应用》 CSCD 北大核心 2024年第10期2983-2994,共12页

近几年,深度学习因具有强大的表征能力,已经在许多领域中取得了突破性的进展,而神经网络的架构对它的性能至关重要。然而,高性能的神经网络架构设计严重依赖研究人员的先验知识和经验,神经网络参数量庞大,难以设计最优的神经网络架构,... 近几年,深度学习因具有强大的表征能力,已经在许多领域中取得了突破性的进展,而神经网络的架构对它的性能至关重要。然而,高性能的神经网络架构设计严重依赖研究人员的先验知识和经验,神经网络参数量庞大,难以设计最优的神经网络架构,因此自动神经架构搜索(NAS)获得了极大的关注。NAS是一种使用机器学习的方法,可以在不需要大量人力的情况下,自动搜索最优网络架构的技术,是未来神经网络设计的重要手段之一。NAS本质上是一个搜索优化问题,通过对搜索空间、搜索策略和性能评估策略的设计,自动搜索最优的网络结构。从搜索空间、搜索策略和性能评估策略这3个方面详细且全面地分析、比较和总结目前NAS的研究进展,方便读者快速了解神经架构搜索的发展过程和各项技术的优缺点,并提出NAS未来可能的研究发展方向。 展开更多

关键词 神经架构搜索 深度学习 机器学习 神经网络 搜索空间 搜索策略 性能评估策略

在线阅读 下载PDF 职称材料

基于有偏采样的连续进化神经架构搜索

5

作者 薛羽 卢畅畅 《计算机工程》 CAS CSCD 北大核心 2024年第2期91-97,共7页

由于需要对每一个搜索到的架构进行独立的性能评估,神经架构搜索(NAS)往往需要耗费大量的时间和计算资源。提出一种基于有偏采样的连续进化NAS方法(OEvNAS)。OEvNAS在架构搜索过程中维护一个超网络,搜索空间中所有的神经网络架构都是该... 由于需要对每一个搜索到的架构进行独立的性能评估,神经架构搜索(NAS)往往需要耗费大量的时间和计算资源。提出一种基于有偏采样的连续进化NAS方法(OEvNAS)。OEvNAS在架构搜索过程中维护一个超网络,搜索空间中所有的神经网络架构都是该超网络的子网络。在演化计算的每一代对超网络进行少量的训练,子网络直接继承超网络的权重进行性能评估而无需重新训练。为提高超网络的预测性能,提出一种基于有偏采样的超网络训练策略,以更大的概率训练表现优异的网络,在减少权重耦合的同时提高训练效率。此外,设计一种新颖的交叉变异策略来提高算法的全局探索能力。在NATS-Bench和可微分架构搜索(DARTS)两个搜索空间上验证OEvNAS的性能。实验结果表明,OEvNAS的性能超越了对比的主流算法。在NATS-Bench搜索空间上,提出的超网络训练策略在CIFAR-10、CIFAR-100和ImageNet16-200上均取得了优异的预测性能;在DARTS搜索空间上,搜索到的最优神经网络架构在CIFAR-10和CIFAR-100上分别取得了97.67%和83.79%的分类精度。 展开更多

关键词 神经架构搜索 网络性能评估 超网络 有偏采样 权重耦合

在线阅读 下载PDF 职称材料

基于多域融合及神经架构搜索的语音增强方法 被引量：3

6

作者 张睿 张鹏云 孙超利 《通信学报》 EI CSCD 北大核心 2024年第2期225-239,共15页

为进一步提高语音增强模型的自学习及降噪能力,提出基于多域融合及神经架构搜索的语音增强方法。该方法设计了语音信号多空间域映射及融合机制,实现信号实复数关联关系的挖掘;围绕模型卷积池化运算特点,提出了复数神经架构搜索机制,通... 为进一步提高语音增强模型的自学习及降噪能力,提出基于多域融合及神经架构搜索的语音增强方法。该方法设计了语音信号多空间域映射及融合机制,实现信号实复数关联关系的挖掘;围绕模型卷积池化运算特点,提出了复数神经架构搜索机制,通过设计的搜索空间、搜索策略及评估策略,高效自动地构建出语音增强模型。实验搜索到的最优语音增强模型与基线模型的对比泛化实验中,语音质量客观评价(PESQ)、短时客观可懂度(STOI)两大指标较最优基线模型均最大提升5.6%,且模型参数量最低。 展开更多

关键词 语音增强模型 复数空间域映射 多域融合 复数神经架构搜索 低成本评估

在线阅读 下载PDF 职称材料

基于排序得分预测的演化神经架构搜索方法

7

作者 蒋鹏程 薛羽 《计算机学报》 EI CAS CSCD 北大核心 2024年第11期2522-2535,共14页

大量的实际应用场景已经很好地证明了神经网络的优异性能,而神经网络性能的主要决定因素在于其架构.目前,最先进的优秀架构需要人工设计,并且依赖大量的专家经验和反复的试错来验证性能.近年来不断发展的演化神经架构搜索(Evolutionary ... 大量的实际应用场景已经很好地证明了神经网络的优异性能,而神经网络性能的主要决定因素在于其架构.目前,最先进的优秀架构需要人工设计,并且依赖大量的专家经验和反复的试错来验证性能.近年来不断发展的演化神经架构搜索(Evolutionary Neural Architecture Search,ENAS)能够在一定程度上减轻人工设计的负担.然而,即使ENAS方法能够自动地搜索到优秀架构,却因为其巨大的时间和计算资源消耗导致难以被广泛使用.代理模型能够较好地解决这一消耗过大的问题,但是现有的代理模型辅助的演化神经架构搜索并不能充分融合搜索和代理的过程,并且目前代理方法难以准确预测精度相近的网络架构的准确排序关系.同时,现有的代理模型普遍需要大量的架构信息作为训练数据才能获得较好的代理精度,这些特点都导致代理模型难以较好地辅助ENAS,从而制约了ENAS的发展.本文中,我们提出了排序得分预测器辅助的演化神经架构搜索方法(Rank Score Predictorassisted ENAS,RSP-ENAS).在使用本文提出的面向排序得分预测的新型损失函数的情况下,作为得分预测器的多层感知器(Multi-Layer Perceptron,MLP)给出的种群中个体性能得分的排序与他们实际性能的顺序会尽可能保持一致.在使用本方法搜索的过程中,预测获得的得分可以直接被用于精英选择.在搜索阶段中,本文提出了一种两阶段的搜索方法,在搜索的前期使用小种群关注于代理数据集历史信息的积累,在后期着重使用代理模型预测大种群的适应度值.本文中的实验在EvoXBench平台上进行,并且能够在所有的基准数据集上都取得较好的结果,另外我们还在ImageNet数据集上进行了验证.和其他方法相比,本文的方法在NASBench-101空间上能够搜索到最优的架构.在NASBench-201空间的三个数据集上的正确率相较于其他最优方法分别取得了0.35%、1.12%、0.55%的进步.在ImageNet上使用真实数据集进行的实验中,我们的方法获得了2.2%的分类精度的提升.另外,在使用相同数据量的情况下,本文中提出的排序得分预测模型得出的排序结果相较于其他最优方法在K endall’s Tau系数上获得了1.55%的提升.此外,我们还对代理模型中使用的One-hot编码和提出的排序损失进行了验证,从而证明这两项模块对于整体算法的有效性. 展开更多

关键词 演化计算 神经架构搜索 遗传算法 代理模型 排序预测 得分预测

在线阅读 下载PDF 职称材料

MC-NAS:一种可视化模块贡献神经架构搜索方法

8

作者 张睿 李吉 柴艳峰 《计算机工程与应用》 CSCD 北大核心 2024年第12期118-128,共11页

现有的神经架构搜索方法无法直观地将网络模型与候选模块以及模型识别准确率之间的关系展示出来;同时很多NAS方法可扩展性差,无法将其搜索策略扩展至任意搜索空间。针对上述挑战,提出了一种可视化模块贡献神经架构搜索方法。提出了模块... 现有的神经架构搜索方法无法直观地将网络模型与候选模块以及模型识别准确率之间的关系展示出来;同时很多NAS方法可扩展性差,无法将其搜索策略扩展至任意搜索空间。针对上述挑战,提出了一种可视化模块贡献神经架构搜索方法。提出了模块贡献这个概念,并通过分析贡献计算过程的窘境给出了任意搜索空间下的统一采样原则,利用统一的贡献度指导原则给出了不同搜索空间的贡献度计算策略。针对特定的约束条件通过动态网络规划算法生成神经网络体系结构。大量的实验结果表明该算法在任意搜索空间中的有效性。使用CIFAR-10、CIFAR-100和ImageNet16-120数据集在NAS-Bench-201基准测试上平均准确率达到了93.33%、71.07%、42.69%。 展开更多

关键词 神经架构搜索 动态网络规划 可视化模块贡献 链式搜索空间 cell-based搜索空间

在线阅读 下载PDF 职称材料

基于投票机制的神经架构搜索 被引量：2

9

作者 杨军 张景发 《光学精密工程》 EI CAS CSCD 北大核心 2022年第17期2119-2132,共14页

针对现有神经架构搜索算法自动搜索到的网络架构与评估的网络架构之间存在较大差异的问题,提出了基于投票机制的神经架构搜索算法。首先,利用小批量训练数据上测试的训练损失作为性能估计器对候选网络进行采样,将计算资源集中于潜在的... 针对现有神经架构搜索算法自动搜索到的网络架构与评估的网络架构之间存在较大差异的问题,提出了基于投票机制的神经架构搜索算法。首先,利用小批量训练数据上测试的训练损失作为性能估计器对候选网络进行采样,将计算资源集中于潜在的性能表现良好的候选网络架构,以解决均匀采样忽略了各网络架构之间重要性程度的问题;其次,对于各节点中候选操作难以选择的问题,利用组稀疏正则化策略对所有候选操作进行排名,以筛选出合适的候选操作,进一步提高Cell结构中路径选择的准确性;最后,将可微架构搜索策略、噪声策略和组稀疏正则化策略加以融合,以加权投票的方法选择出最优的Cell结构,构建出性能优秀的三维模型识别与分类网络架构。在数据集ModelNet40上的实验结果表明,所构建的网络对三维模型的分类准确率达到了93.9%,优于目前的主流算法。本算法有效缩小了搜索和评估阶段网络架构之间的差异,解决了以往神经架构搜索方法中均匀采样所导致的网络训练效率低的问题。 展开更多

关键词 神经架构搜索 加权投票 三维模型分类 性能估计器 组稀疏正则化

在线阅读 下载PDF 职称材料

深度神经架构搜索综述 被引量：15

10

作者 孟子尧 谷雪 +2 位作者 梁艳春 许东 吴春国 《计算机研究与发展》 EI CSCD 北大核心 2021年第1期22-33,共12页

深度学习在图像、语音、文本等多种模态的数据任务上取得了优异的效果.然而,针对特定任务,人工设计网络需要花费大量的时间,并且需要设计者具有一定水平的专业知识和设计经验.面对如今日趋复杂的网络架构,仅依靠人工进行设计变得越来越... 深度学习在图像、语音、文本等多种模态的数据任务上取得了优异的效果.然而,针对特定任务,人工设计网络需要花费大量的时间,并且需要设计者具有一定水平的专业知识和设计经验.面对如今日趋复杂的网络架构,仅依靠人工进行设计变得越来越复杂.基于此,借助算法自动地对神经网络进行架构的搜索成为了研究热点.神经架构搜索的方法涉及3个方面:搜索空间、搜索策略、性能评估策略.通过搜索策略在搜索空间中选择一个网络架构,借助性能评估策略对该网络架构进行评估,并将结果反馈给搜索策略指导搜索策略选择更好的网络架构,通过不断迭代得到最优的网络架构.为了更好地为读者提供一个快速了解神经网络架构搜索方法的导航地图,从搜索空间、搜索策略和性能评估策略3个方面对现有典型的神经架构搜索方法进行了梳理,总结讨论了近年来常见的架构搜索方法,并分析了各种方法的优势和不足. 展开更多

关键词 深度学习 神经架构搜索 搜索空间 搜索策略 性能评估

在线阅读 下载PDF 职称材料

基于无梯度进化的神经架构搜索算法研究综述 被引量：6

11

作者 尚迪雅 孙华 +1 位作者 洪振厚 曾庆亮 《计算机工程》 CAS CSCD 北大核心 2020年第9期16-26,共11页

自动化深度学习是目前深度学习领域的研究热点,神经架构搜索算法是实现自动化深度学习的主要方法之一,该类算法可以通过对搜索空间、搜索策略或优化策略进行不同定义来自动设计神经网络结构。阐述进化算法和进化神经网络的发展历程,分... 自动化深度学习是目前深度学习领域的研究热点,神经架构搜索算法是实现自动化深度学习的主要方法之一,该类算法可以通过对搜索空间、搜索策略或优化策略进行不同定义来自动设计神经网络结构。阐述进化算法和进化神经网络的发展历程,分类介绍以进化算法为搜索策略实现神经架构搜索的方法和过程,并比较基于进化算法的不同神经架构搜索算法的特点和现状,在此基础上,对神经架构搜索算法的搜索空间、搜索策略以及算法的未来发展方向进行探讨和展望。 展开更多

关键词 神经架构搜索 自动化深度学习 进化算法 搜索策略 进化神经网络

在线阅读 下载PDF 职称材料

基于神经架构搜索的点击率预测模型

12

作者 帅剑波 王金策 +1 位作者 黄飞虎 彭舰 《计算机科学》 CSCD 北大核心 2022年第7期10-17,共8页

点击率(Click-Through Rate,CTR)预测是推荐系统中一项重要的任务,其目标是预测用户点击一个广告或者商品的概率。特征嵌入和特征组合是影响预测性能的关键,因此很多点击率预测模型的思路也是针对这两个方面进行优化。但目前大部分工作... 点击率(Click-Through Rate,CTR)预测是推荐系统中一项重要的任务,其目标是预测用户点击一个广告或者商品的概率。特征嵌入和特征组合是影响预测性能的关键,因此很多点击率预测模型的思路也是针对这两个方面进行优化。但目前大部分工作仅关注其中一个方面,并且几乎所有的模型在进行特征组合时都没有对特征进行区分,同一个特征与其他特征组合时都使用相同的嵌入和组合方法,阻碍了模型性能的提升。为解决该问题,提出了Auto-SEI(Automatic Super-field-aware Feature Embedding and Interacting)模型。该模型先将每个特征子域分配给一个特征超域,再根据分组得到特征的嵌入,然后为特征对选择合适的组合方法获取组合特征,最后进行预测。Auto-SEI模型中,特征子域的划分和组合方法的选择被参数化为架构搜索问题,利用神经架构搜索(Neural Architecture Search,NAS)算法压缩搜索空间并进行选择。在3个真实的大规模数据集上进行了大量实验,结果表明Auto-SEI模型在点击率预测任务上具有优秀的性能。 展开更多

关键词 神经架构搜索 点击率预测 特征嵌入 特征组合 推荐系统

在线阅读 下载PDF 职称材料

图神经架构搜索综述 被引量：2

13

作者 张子威 王鑫 朱文武 《计算机学报》 EI CAS CSCD 北大核心 2023年第7期1532-1552,共21页

图数据可以广泛建模事物之间的复杂关系.小到蛋白质中的分子与氨基酸结构,大到世界范围的物流与交通网络;从人类社会的社交网络,到信息空间的互联网,均可统一表示为图数据的形式.图数据中蕴藏着巨大的研究与应用价值.图神经网络是过去... 图数据可以广泛建模事物之间的复杂关系.小到蛋白质中的分子与氨基酸结构,大到世界范围的物流与交通网络;从人类社会的社交网络,到信息空间的互联网,均可统一表示为图数据的形式.图数据中蕴藏着巨大的研究与应用价值.图神经网络是过去几年中图数据上进行机器学习的主要范式.通过在图数据的链接关系上重新定义神经网络架构并实现端到端的学习,图神经网络可以有效处理节点分类、链接预测、图分类等多种图数据分析与挖掘任务.然而,由于图数据的复杂性、图任务的多样性以及图神经网络的复杂程度,人工设计最优的图神经网络架构变得越来越困难,且无法适应开放变化环境.图神经架构搜索,旨在自动化设计针对特定数据集与任务的最优图神经网络架构,应运而生并逐渐受到了学术界和工业界的关注.在本文中,我们对图神经架构搜索这一快速发展的新兴领域进行综述.特别地,我们系统总结并梳理了目前已公开发表的四十余篇图神经架构搜索算法,并从搜索空间、搜索策略、模型性能评估策略以及其他特点对已有算法进行了全面的分类、对比与评述,并从实验上对上述算法进行了归纳.此外,我们还对近期的图神经架构搜索研究趋势进行了评述.最后,我们分享了对图神经架构搜索未来研究方向的看法. 展开更多

关键词 图神经网络 神经架构搜索 图机器学习 自动机器学习 人工智能

在线阅读 下载PDF 职称材料

基于卷积和Transformer神经网络架构搜索的脑胶质瘤多组织分割网络 被引量：1

14

作者 陶永鹏 柏诗淇 周正文 《计算机应用》 北大核心 2025年第7期2378-2386,共9页

脑胶质瘤在磁共振成像(MRI)图像中的形状大小变化大、边界模糊且组织结构复杂,这些特点导致了脑肿瘤分割任务的挑战性,通常这种任务需要具备深厚专业知识的研究人员设计复杂定制的网络模型才能完成。这一过程不仅耗时,而且需要大量的人... 脑胶质瘤在磁共振成像(MRI)图像中的形状大小变化大、边界模糊且组织结构复杂,这些特点导致了脑肿瘤分割任务的挑战性,通常这种任务需要具备深厚专业知识的研究人员设计复杂定制的网络模型才能完成。这一过程不仅耗时,而且需要大量的人力资源。为了简化网络设计流程并自动获取最优的网络结构,提出一种基于卷积和Transformer神经网络架构搜索的脑胶质瘤多组织分割网络(NASCT-Net),以在构建用于多模态MRI脑肿瘤分割的网络架构的过程中,提高分割的精确度。首先,将神经架构搜索(NAS)技术应用于编码器的构建,形成可堆叠的NAS编解码模块,以自动优化适用于脑胶质瘤精准分割的网络架构;其次,在编码器底层集成基于Transformer的特征编码模块,以增强对肿瘤各组之间的相对位置和全局信息的表征能力;最后,通过构建体积加权Dice损失函数(VWDiceLoss),解决前景与背景的不平衡问题。在BraTS2019脑肿瘤数据集上与Swin-Unet等方法进行比较的实验结果表明,NASCT-Net的平均Dice相似系数(DSC)提高了0.009,同时平均Hausdorff距离(HD)降低了1.831 mm,验证了NASCT-Net在提高脑肿瘤多组织分割精度方面的有效性。 展开更多

关键词 网络架构 神经网络架构搜索 脑肿瘤分割 卷积神经网络 TRANSFORMER

在线阅读 下载PDF 职称材料

基于神经网络架构搜索的X射线图像违禁品检测算法 被引量：7

15

作者 成浪 敬超 陈文鹏 《科学技术与工程》 北大核心 2024年第2期665-675,共11页

为了提高卷积神经网络设计的自动化程度并进一步提高复杂背景下违禁品检测的准确率和速度,提出了一种基于神经网络架构搜索的X射线图像违禁品检测算法。首先,设计逐层渐进式搜索策略和多分支搜索空间,并基于批量归一化指标为每一个laye... 为了提高卷积神经网络设计的自动化程度并进一步提高复杂背景下违禁品检测的准确率和速度,提出了一种基于神经网络架构搜索的X射线图像违禁品检测算法。首先,设计逐层渐进式搜索策略和多分支搜索空间,并基于批量归一化指标为每一个layer结构搜索最佳侧分支;然后,逐层搜索构建新的骨干网络组件;最后,组成由数据驱动的新目标检测模型。该算法在数据集HiXray、OPIXray、PIDray上分别取得了83.4%、87.2%、70.4%的检测精度。实验结果表明,本文算法能够自适应数据集并自动搜索出性能更好的Backbone组件,与FCOS、YOLOv4等主流算法相比,有效提高了复杂背景下违禁品检测的准确率和速度。 展开更多

关键词 神经网络架构搜索 搜索策略 目标检测 违禁品检测 X射线图像

在线阅读 下载PDF 职称材料

自适应策略优化的粒子群优化算法在神经网络架构搜索中的应用 被引量：2

16

作者 程金芮 金瑾 +3 位作者 张朝龙 孔超 何嘉 张鑫 《计算机应用》 CSCD 北大核心 2024年第S01期60-64,共5页

针对神经网络架构搜索(NAS)任务,提出一种自适应重启策略驱动的协作学习粒子群优化(ARCLPSO)算法。算法核心流程包括协作学习与信息共享、策略切换和参数自适应,以改进传统粒子群优化(PSO)算法在NAS中的性能。ARCLPSO算法结合了全局与... 针对神经网络架构搜索(NAS)任务,提出一种自适应重启策略驱动的协作学习粒子群优化(ARCLPSO)算法。算法核心流程包括协作学习与信息共享、策略切换和参数自适应,以改进传统粒子群优化(PSO)算法在NAS中的性能。ARCLPSO算法结合了全局与局部信息的协同作用和智能切换学习策略。具体地,ARCLPSO利用全局和局部信息的协同作用令粒子向更优的方向移动,通过智能的切换粒子学习策略平衡粒子的搜索性能和收敛速度,提高搜索速度和搜索质量。在NAS-Bench-101数据集上的实验结果表明,ARCLPSO的收敛时间相较于传统进化算法(REA)和随机搜索(RS),分别减少了40.9%和55.2%。 展开更多

关键词 神经网络架构搜索 粒子群优化 进化算法 NAS-Bench-101 自适应的协作学习算法

在线阅读 下载PDF 职称材料

基于神经网络架构搜索的细粒度花卉图像分类方法研究 被引量：1

17

作者 郑兴凯 杨铁军 黄琳 《河南农业科学》 北大核心 2024年第5期164-171,共8页

为了提升深度卷积神经网络设计的自动化程度,并进一步提高细粒度花卉图像的分类准确率,提出了一种改进的基于DARTS的神经网络搜索方法,用于自动构建细粒度花卉图像分类模型。首先,通过构建注意力-卷积模块,形成全注意力-卷积搜索空间,... 为了提升深度卷积神经网络设计的自动化程度,并进一步提高细粒度花卉图像的分类准确率,提出了一种改进的基于DARTS的神经网络搜索方法,用于自动构建细粒度花卉图像分类模型。首先,通过构建注意力-卷积模块,形成全注意力-卷积搜索空间,增强网络对可判别特征的关注度。其次,通过构建具有更多浅层特征输入节点的密集连接缩减单元(DCR cell),保留更多的浅层特征信息,减少可判别特征信息的损失并促进多尺度特征融合。最后,在堆叠最佳cell时调整DCR cell的位置,构建参数量大小不一的网络模型,以便在更多的终端设备上部署。结果表明,该方法耗时4.5 h搜索到了最佳神经网络模型,在Oxford 102和Flower 17上的分类准确率分别为96.14%和94.12%。与AGNAS等方法相比,在Oxford 102上提高了1.40百分点,在Flower 17上提高了3.09百分点。 展开更多

关键词 神经网络架构搜索 卷积神经网络 注意力机制 细粒度花卉分类

在线阅读 下载PDF 职称材料

基于神经网络架构搜索与特征融合的小样本脉搏波分类方法

18

作者 邢豫阳 陈丰 +4 位作者 毛晓波 孙智霞 逯鹏 乔云峰 窦亚美 《郑州大学学报（理学版）》 CAS 北大核心 2024年第6期54-61,共8页

基于深度学习的脉搏波分类依赖大量有标注数据,现有脉搏波带有疾病标注的数据少、标注方法不统一,导致模型准确率低、泛化能力弱。针对此问题,提出一种基于神经网络架构搜索与特征融合的小样本脉搏波分类方法。首先,在并行的双维度拆分... 基于深度学习的脉搏波分类依赖大量有标注数据,现有脉搏波带有疾病标注的数据少、标注方法不统一,导致模型准确率低、泛化能力弱。针对此问题,提出一种基于神经网络架构搜索与特征融合的小样本脉搏波分类方法。首先,在并行的双维度拆分卷积分支与因果空洞卷积分支中进行态射搜索,每次搜索结束,获取超网络分支的子网络作为候选网络进行训练评估。双维度拆分卷积分支提取脉搏波横、纵向维度时空特征,因果空洞卷积分支提取脉搏波节律特征。然后,利用特征融合方法整合分支多尺度特征。最后,依据评估指标得到最佳网络模型完成分类。实验结果表明,所提方法在两个小样本脉搏波数据集上准确率为97.04%和95.96%,F1值为97.04%和95.95%,具有较好分类效果。 展开更多

关键词 脉搏波 小样本 神经网络架构搜索 特征融合 卷积神经网络

在线阅读 下载PDF 职称材料

基于改进遗传算法的广度架构搜索算法 被引量：1

19

作者 林东凤 黄汉明 沈俏 《计算机工程与设计》 北大核心 2024年第12期3667-3673,共7页

为扩大遗传算法产生的子代种群和亲代种群间的差异,提出一种搜索算法,即广度单路径架构搜索算法。该方法将搜索过程分为两个阶段,第一阶段为扩张,使用一种新的交叉算子以及停滞检测算法增大子代种群和亲代种群间的差距,扩大搜索范围;第... 为扩大遗传算法产生的子代种群和亲代种群间的差异,提出一种搜索算法,即广度单路径架构搜索算法。该方法将搜索过程分为两个阶段,第一阶段为扩张,使用一种新的交叉算子以及停滞检测算法增大子代种群和亲代种群间的差距,扩大搜索范围;第二阶段为收缩,使用前一阶段获得的若干个体,采用单点交叉做搜索,保证搜索的稳定性,得到最终的结果。在4个数据集上的实验结果表明,该算法搜索出的最优网络与手工设计的神经网络和基于传统遗传算法的神经架构搜索方法相比,能获得有竞争力的结果。 展开更多

关键词 神经架构搜索 遗传算法 进化计算 均匀训练 卷积神经网络 停滞检测 图像分类

在线阅读 下载PDF 职称材料

一种基于混合粒子群优化算法的深度卷积神经网络架构搜索方法 被引量：11

20

作者 王上 唐欢容 《计算机应用研究》 CSCD 北大核心 2023年第7期2019-2024,共6页

神经架构搜索(neural architecture search,NAS)技术自动寻找神经网络中各层的最佳组合和连接方式,以及各种超参数的最佳分布。该方法从搜索空间生成若干不同的卷积神经网络(CNN),使用混合粒子群优化(hybrid particle swarm optimizatio... 神经架构搜索(neural architecture search,NAS)技术自动寻找神经网络中各层的最佳组合和连接方式,以及各种超参数的最佳分布。该方法从搜索空间生成若干不同的卷积神经网络(CNN),使用混合粒子群优化(hybrid particle swarm optimization,HPSO)算法,将一定数目的神经网络个体视做一个群体,将每个网络个体在评价指标下的表现值视做适应度,在给定的世代数范围内,每个神经网络个体都学习自身的历史最佳适应度个体,和整个群体的最佳适应度个体,迭代改善自身的网络架构。实验结果表明,算法运行中出现的最优网络架构,在图像分类任务的多个基准数据集上,与手工设计的神经网络和以遗传算法为基础的NAS算法相比,在网络参数数量和准确率的平衡上取得了有竞争力的结果。 展开更多

关键词 混合粒子群算法 神经架构搜索 卷积神经网络 图像分类

在线阅读 下载PDF 职称材料