基于卷积和Transformer神经网络架构搜索的脑胶质瘤多组织分割网络 被引量：1

1

作者 陶永鹏 柏诗淇 周正文 《计算机应用》 北大核心 2025年第7期2378-2386,共9页

脑胶质瘤在磁共振成像(MRI)图像中的形状大小变化大、边界模糊且组织结构复杂,这些特点导致了脑肿瘤分割任务的挑战性,通常这种任务需要具备深厚专业知识的研究人员设计复杂定制的网络模型才能完成。这一过程不仅耗时,而且需要大量的人... 脑胶质瘤在磁共振成像(MRI)图像中的形状大小变化大、边界模糊且组织结构复杂,这些特点导致了脑肿瘤分割任务的挑战性,通常这种任务需要具备深厚专业知识的研究人员设计复杂定制的网络模型才能完成。这一过程不仅耗时,而且需要大量的人力资源。为了简化网络设计流程并自动获取最优的网络结构,提出一种基于卷积和Transformer神经网络架构搜索的脑胶质瘤多组织分割网络(NASCT-Net),以在构建用于多模态MRI脑肿瘤分割的网络架构的过程中,提高分割的精确度。首先,将神经架构搜索(NAS)技术应用于编码器的构建,形成可堆叠的NAS编解码模块,以自动优化适用于脑胶质瘤精准分割的网络架构;其次,在编码器底层集成基于Transformer的特征编码模块,以增强对肿瘤各组之间的相对位置和全局信息的表征能力;最后,通过构建体积加权Dice损失函数(VWDiceLoss),解决前景与背景的不平衡问题。在BraTS2019脑肿瘤数据集上与Swin-Unet等方法进行比较的实验结果表明,NASCT-Net的平均Dice相似系数(DSC)提高了0.009,同时平均Hausdorff距离(HD)降低了1.831 mm,验证了NASCT-Net在提高脑肿瘤多组织分割精度方面的有效性。 展开更多

关键词 网络架构 神经网络架构搜索 脑肿瘤分割 卷积神经网络 TRANSFORMER

在线阅读 下载PDF 职称材料

基于神经网络架构搜索的X射线图像违禁品检测算法 被引量：7

2

作者 成浪 敬超 陈文鹏 《科学技术与工程》 北大核心 2024年第2期665-675,共11页

为了提高卷积神经网络设计的自动化程度并进一步提高复杂背景下违禁品检测的准确率和速度,提出了一种基于神经网络架构搜索的X射线图像违禁品检测算法。首先,设计逐层渐进式搜索策略和多分支搜索空间,并基于批量归一化指标为每一个laye... 为了提高卷积神经网络设计的自动化程度并进一步提高复杂背景下违禁品检测的准确率和速度,提出了一种基于神经网络架构搜索的X射线图像违禁品检测算法。首先,设计逐层渐进式搜索策略和多分支搜索空间,并基于批量归一化指标为每一个layer结构搜索最佳侧分支;然后,逐层搜索构建新的骨干网络组件;最后,组成由数据驱动的新目标检测模型。该算法在数据集HiXray、OPIXray、PIDray上分别取得了83.4%、87.2%、70.4%的检测精度。实验结果表明,本文算法能够自适应数据集并自动搜索出性能更好的Backbone组件,与FCOS、YOLOv4等主流算法相比,有效提高了复杂背景下违禁品检测的准确率和速度。 展开更多

关键词 神经网络架构搜索 搜索策略 目标检测 违禁品检测 X射线图像

在线阅读 下载PDF 职称材料

自适应策略优化的粒子群优化算法在神经网络架构搜索中的应用 被引量：2

3

作者 程金芮 金瑾 +3 位作者 张朝龙 孔超 何嘉 张鑫 《计算机应用》 CSCD 北大核心 2024年第S01期60-64,共5页

针对神经网络架构搜索(NAS)任务,提出一种自适应重启策略驱动的协作学习粒子群优化(ARCLPSO)算法。算法核心流程包括协作学习与信息共享、策略切换和参数自适应,以改进传统粒子群优化(PSO)算法在NAS中的性能。ARCLPSO算法结合了全局与... 针对神经网络架构搜索(NAS)任务,提出一种自适应重启策略驱动的协作学习粒子群优化(ARCLPSO)算法。算法核心流程包括协作学习与信息共享、策略切换和参数自适应,以改进传统粒子群优化(PSO)算法在NAS中的性能。ARCLPSO算法结合了全局与局部信息的协同作用和智能切换学习策略。具体地,ARCLPSO利用全局和局部信息的协同作用令粒子向更优的方向移动,通过智能的切换粒子学习策略平衡粒子的搜索性能和收敛速度,提高搜索速度和搜索质量。在NAS-Bench-101数据集上的实验结果表明,ARCLPSO的收敛时间相较于传统进化算法(REA)和随机搜索(RS),分别减少了40.9%和55.2%。 展开更多

关键词 神经网络架构搜索 粒子群优化 进化算法 nas-Bench-101 自适应的协作学习算法

在线阅读 下载PDF 职称材料

基于神经网络架构搜索的细粒度花卉图像分类方法研究 被引量：1

4

作者 郑兴凯 杨铁军 黄琳 《河南农业科学》 北大核心 2024年第5期164-171,共8页

为了提升深度卷积神经网络设计的自动化程度,并进一步提高细粒度花卉图像的分类准确率,提出了一种改进的基于DARTS的神经网络搜索方法,用于自动构建细粒度花卉图像分类模型。首先,通过构建注意力-卷积模块,形成全注意力-卷积搜索空间,... 为了提升深度卷积神经网络设计的自动化程度,并进一步提高细粒度花卉图像的分类准确率,提出了一种改进的基于DARTS的神经网络搜索方法,用于自动构建细粒度花卉图像分类模型。首先,通过构建注意力-卷积模块,形成全注意力-卷积搜索空间,增强网络对可判别特征的关注度。其次,通过构建具有更多浅层特征输入节点的密集连接缩减单元(DCR cell),保留更多的浅层特征信息,减少可判别特征信息的损失并促进多尺度特征融合。最后,在堆叠最佳cell时调整DCR cell的位置,构建参数量大小不一的网络模型,以便在更多的终端设备上部署。结果表明,该方法耗时4.5 h搜索到了最佳神经网络模型,在Oxford 102和Flower 17上的分类准确率分别为96.14%和94.12%。与AGNAS等方法相比,在Oxford 102上提高了1.40百分点,在Flower 17上提高了3.09百分点。 展开更多

关键词 神经网络架构搜索 卷积神经网络 注意力机制 细粒度花卉分类

在线阅读 下载PDF 职称材料

ED-NAS:基于神经网络架构搜索的陶瓷晶粒SEM图像分割方法 被引量：8

5

作者 蔡超丽 李纯纯 +1 位作者 黄琳 杨铁军 《电子学报》 EI CAS CSCD 北大核心 2022年第2期461-469,共9页

为了提高深度卷积神经网络(Convolutional Neural Network,CNN)设计的自动化程度并进一步提高陶瓷晶粒扫描电子显微镜(Scanning Electron Microscope,SEM)图像分割的准确性,提出了一种基于神经网络架构搜索的陶瓷晶粒图像分割方法 .该... 为了提高深度卷积神经网络(Convolutional Neural Network,CNN)设计的自动化程度并进一步提高陶瓷晶粒扫描电子显微镜(Scanning Electron Microscope,SEM)图像分割的准确性,提出了一种基于神经网络架构搜索的陶瓷晶粒图像分割方法 .该方法设计多分支结构编码空间和链式结构解码空间,并构造多分支结构编码Cell和链式结构解码Cell;同时基于强化学习分别搜索最佳编码Cell和解码Cell;此外,基于编码-解码神经网络架构堆叠最佳Cell构建陶瓷晶粒图像分割CNN,并采用池化索引在解码阶段恢复丢失的细节信息.实验在包含了629张的陶瓷晶粒SEM图像数据集上进行,搜索最佳Cell耗时约148 GPU-时.与U-Net、SegNet等SOTA方法相比,该方法在陶瓷晶粒测试集上获得了更高的分割准确性(mIoU≈68.9%). 展开更多

关键词 神经网络架构搜索 编码-解码神经网络架构 陶瓷晶粒 图像分割 编码Cell 解码Cell

在线阅读 下载PDF 职称材料

基于神经网络架构搜索与特征融合的小样本脉搏波分类方法

6

作者 邢豫阳 陈丰 +4 位作者 毛晓波 孙智霞 逯鹏 乔云峰 窦亚美 《郑州大学学报（理学版）》 CAS 北大核心 2024年第6期54-61,共8页

基于深度学习的脉搏波分类依赖大量有标注数据,现有脉搏波带有疾病标注的数据少、标注方法不统一,导致模型准确率低、泛化能力弱。针对此问题,提出一种基于神经网络架构搜索与特征融合的小样本脉搏波分类方法。首先,在并行的双维度拆分... 基于深度学习的脉搏波分类依赖大量有标注数据,现有脉搏波带有疾病标注的数据少、标注方法不统一,导致模型准确率低、泛化能力弱。针对此问题,提出一种基于神经网络架构搜索与特征融合的小样本脉搏波分类方法。首先,在并行的双维度拆分卷积分支与因果空洞卷积分支中进行态射搜索,每次搜索结束,获取超网络分支的子网络作为候选网络进行训练评估。双维度拆分卷积分支提取脉搏波横、纵向维度时空特征,因果空洞卷积分支提取脉搏波节律特征。然后,利用特征融合方法整合分支多尺度特征。最后,依据评估指标得到最佳网络模型完成分类。实验结果表明,所提方法在两个小样本脉搏波数据集上准确率为97.04%和95.96%,F1值为97.04%和95.95%,具有较好分类效果。 展开更多

关键词 脉搏波 小样本 神经网络架构搜索 特征融合 卷积神经网络

在线阅读 下载PDF 职称材料

神经网络轻量化综述 被引量：2

7

作者 段宇晨 方振宇 郑江滨 《计算机科学与探索》 北大核心 2025年第4期835-853,共19页

随着深度学习技术的不断进步,人工神经网络模型在图像识别、自然语言处理、自动驾驶等多个领域都展现出了前所未有的性能。这些模型通常具有数百万甚至数十亿个参数,通过大量的训练数据学习到复杂的特征表示。然而,在资源受限的环境下,... 随着深度学习技术的不断进步,人工神经网络模型在图像识别、自然语言处理、自动驾驶等多个领域都展现出了前所未有的性能。这些模型通常具有数百万甚至数十亿个参数,通过大量的训练数据学习到复杂的特征表示。然而,在资源受限的环境下,如移动设备、嵌入式系统等边缘计算场景,模型的功耗、内存占用和计算效率等因素限制了大型神经网络模型的应用。为了解决该问题,研究人员提出了多种模型压缩技术,例如剪枝、蒸馏、神经网络搜索(NAS)、量化、低秩分解等,旨在减少模型的参数量、计算复杂度和存储需求,同时尽可能保持模型的精准度。系统介绍了这些模型压缩方法的发展过程,重点分析每种方法的主要原理和关键技术。主要包括剪枝技术的不同策略,如结构化剪枝和非结构化剪枝;知识蒸馏中如何定义知识;NAS中的搜索空间,搜索算法和网络性能评估;量化中的训练后量化和训练中量化;以及低秩分解中的奇异值分解和张量分解。对模型压缩技术的未来发展方向做出讨论。 展开更多

关键词 剪枝 量化 知识蒸馏 神经网络搜索(nas) 低秩分解

在线阅读 下载PDF 职称材料

基于注意力机制的点云神经网络架构搜索方法 被引量：3

8

作者 谭台哲 黄永耀 +1 位作者 杨卓 刘洋 《计算机工程与应用》 CSCD 北大核心 2022年第19期142-151,共10页

为了解决设计面向点云数据的神经网络需要大量人工介入的问题,提出了基于注意力机制和点卷积的神经网络架构搜索方法。针对不同尺度点云的信息融合问题,提出了一种基于注意力机制的多尺度融合模块。针对点云的处理效率问题,设计了基于... 为了解决设计面向点云数据的神经网络需要大量人工介入的问题,提出了基于注意力机制和点卷积的神经网络架构搜索方法。针对不同尺度点云的信息融合问题,提出了一种基于注意力机制的多尺度融合模块。针对点云的处理效率问题,设计了基于点卷积的特征提取模块作为候选操作,并与多尺度融合模块组成搜索单元。将多个搜索单元叠加成的神经网络作为搜索空间,并采用基于可微分神经网络架构搜索算法搜索出最优神经网络。在公开点云数据集ModelNet上的实验结果证明,该方法得到的神经网络具有领先的精度,同时具有较少的可学习参数,并且该方法大幅减少了人工介入的工作量。该数据集上的消融实验结果表明,在基线模型中加入提出的基于注意力机制的多尺度融合模块,精度提升了1.1个百分点。 展开更多

关键词 点卷积 神经网络架构搜索(nas) 三维点云 多尺度融合 注意力机制

在线阅读 下载PDF 职称材料

基于快速神经网络架构搜索的鲁棒图像水印网络算法 被引量：2

9

作者 王小超 张雷 +2 位作者 余元强 胡坤 胡建平 《浙江大学学报（理学版）》 CAS CSCD 北大核心 2021年第3期261-269,共9页

为解决深度学习在图像水印算法中计算量大且模型冗余的问题,提高图像水印算法在抵抗噪声、旋转和剪裁等攻击时的鲁棒性,提出基于快速神经网络架构搜索(neural architecture search,NAS)的鲁棒图像水印网络算法。通过多项式分布学习快速... 为解决深度学习在图像水印算法中计算量大且模型冗余的问题,提高图像水印算法在抵抗噪声、旋转和剪裁等攻击时的鲁棒性,提出基于快速神经网络架构搜索(neural architecture search,NAS)的鲁棒图像水印网络算法。通过多项式分布学习快速神经网络架构搜索算法,在预设的搜索空间中搜索最优网络结构,进行图像水印的高效嵌入与鲁棒提取。首先,将子网络中线性连接的全卷积层设置为独立的神经单元结构,并参数化表示结构单元内节点的连接,预先设定结构单元内每个神经元操作的搜索空间;其次,在完成一个批次的数据集训练后,依据神经元操作中的被采样次数和平均损失函数值动态更新概率;最后,重新训练搜索完成的网络。水印网络模型的参数量较原始网络模型缩减了92%以上,大大缩短了模型训练时间。由于搜索得到的网络结构更为紧凑,本文算法具有较高的时间性能和较好的实验效果,在隐藏图像时,对空域信息的依赖比原始网络更少。对改进前后的2个网络进行了大量鲁棒性实验,对比发现,本文算法在CIFAR-10数据集上对抵抗椒盐噪声和旋转、移除像素行(列)等攻击优势显著;在ImageNet数据集上对抵抗椒盐高斯噪声、旋转、中值滤波、高斯滤波、JPEG压缩、裁剪等攻击优势显著,特别是对随机移除行(列)和椒盐噪声有较强的鲁棒性。 展开更多

关键词 图像水印 多项式分布学习 神经网络架构搜索(nas)

在线阅读 下载PDF 职称材料

一种基于混合粒子群优化算法的深度卷积神经网络架构搜索方法 被引量：11

10

作者 王上 唐欢容 《计算机应用研究》 CSCD 北大核心 2023年第7期2019-2024,共6页

神经架构搜索(neural architecture search,NAS)技术自动寻找神经网络中各层的最佳组合和连接方式,以及各种超参数的最佳分布。该方法从搜索空间生成若干不同的卷积神经网络(CNN),使用混合粒子群优化(hybrid particle swarm optimizatio... 神经架构搜索(neural architecture search,NAS)技术自动寻找神经网络中各层的最佳组合和连接方式,以及各种超参数的最佳分布。该方法从搜索空间生成若干不同的卷积神经网络(CNN),使用混合粒子群优化(hybrid particle swarm optimization,HPSO)算法,将一定数目的神经网络个体视做一个群体,将每个网络个体在评价指标下的表现值视做适应度,在给定的世代数范围内,每个神经网络个体都学习自身的历史最佳适应度个体,和整个群体的最佳适应度个体,迭代改善自身的网络架构。实验结果表明,算法运行中出现的最优网络架构,在图像分类任务的多个基准数据集上,与手工设计的神经网络和以遗传算法为基础的NAS算法相比,在网络参数数量和准确率的平衡上取得了有竞争力的结果。 展开更多

关键词 混合粒子群算法 神经架构搜索 卷积神经网络 图像分类

在线阅读 下载PDF 职称材料

基于神经网络架构搜索的铭牌目标检测方法 被引量：1

11

作者 邓渭铭 杨铁军 +1 位作者 李纯纯 黄琳 《图学学报》 CSCD 北大核心 2023年第4期718-727,共10页

为了提高构建深度卷积神经网络(CNN)的自动化程度并进一步提高目标检测精度,提出了一种改进的基于DenseNAS的神经网络架构搜索方法以自动构建铭牌检测CNN。首先,基于改进DenseNAS的Head层,设计了可搜索的、融合深浅层特征的子网模块(CSP... 为了提高构建深度卷积神经网络(CNN)的自动化程度并进一步提高目标检测精度,提出了一种改进的基于DenseNAS的神经网络架构搜索方法以自动构建铭牌检测CNN。首先,基于改进DenseNAS的Head层,设计了可搜索的、融合深浅层特征的子网模块(CSP-Block1和CSP-Block2)。然后,基于CSP-Block1和CSP-Block2构建的搜索空间,搜索铭牌检测CNN的Backbone和Head。实验结果表明,该方法在一个铭牌5分类的数据集上,耗时约9.35 GPU hours搜索出了最佳神经网络,在测试集上检测精度mAP≈97.3%,比YOLOv5等SOTA方法更高。 展开更多

关键词 神经网络架构搜索 卷积神经网络 CSP结构 铭牌 目标检测

在线阅读 下载PDF 职称材料

基于递归结构的神经网络架构搜索算法 被引量：2

12

作者 李继洲 林欣 《华东师范大学学报（自然科学版）》 CAS CSCD 北大核心 2022年第4期31-42,共12页

神经网络架构搜索算法旨在通过计算机的启发式搜索代替人工搜索,在巨大的神经网络结构空间中寻找更为高效的神经网络结构.许多研究通过引入各种对搜索空间的约束来解决早期神经网络结构搜索效率低下、耗时长的问题.然而,对于搜索空间的... 神经网络架构搜索算法旨在通过计算机的启发式搜索代替人工搜索,在巨大的神经网络结构空间中寻找更为高效的神经网络结构.许多研究通过引入各种对搜索空间的约束来解决早期神经网络结构搜索效率低下、耗时长的问题.然而,对于搜索空间的约束虽然能够提升并稳定所搜索到的模型的性能,但同时也导致了很多潜在的高性能模型结构无法被搜索到.构建了一种更为关注神经网络宏观结构的递归型搜索空间,并提出通过分步渐进搜索方案探索这个搜索空间的神经网络架构搜索算法.实验表明,该算法能在复杂的搜索空间中高效完成神经网络架构搜索任务,但与最新的基于受约束搜索空间的神经网络架构搜索算法相比仍稍有差距. 展开更多

关键词 神经网络架构搜索 图像分类 卷积神经网络

在线阅读 下载PDF 职称材料

采用神经网络架构搜索的遥感影像分割方法 被引量：10

13

作者 周鹏 杨军 《西安电子科技大学学报》 EI CAS CSCD 北大核心 2021年第5期47-57,77,共12页

由于传统的深度卷积神经网络分割高分辨率遥感影像需人工设计网络架构,过度依赖专家经验,耗时费力,且网络泛化能力较差,因此,提出一种资源平衡型部分通道采样的神经网络架构搜索方法。首先,在网络架构参数中添加资源平衡项,提升搜索算... 由于传统的深度卷积神经网络分割高分辨率遥感影像需人工设计网络架构,过度依赖专家经验,耗时费力,且网络泛化能力较差,因此,提出一种资源平衡型部分通道采样的神经网络架构搜索方法。首先,在网络架构参数中添加资源平衡项,提升搜索算法稳定性,同时减小剪枝过程中产生的更新不平衡和离散化误差;其次,选择部分通道进行搜索空间的混合操作,以节省计算资源,提升搜索效率,缓解网络过拟合;最后,根据高分辨率遥感影像地物复杂、分布离散及空间范围广等特点,引入Gumbel-Softmax Trick方法从非连续概率分布进行采样,以提高采样效率。在WHUBuilding数据集上MIoU语义分割评价指标达到90.93%,在GID数据集上MIoU语义分割评价指标达到69.53%,优于SegNet、U-Net、Deeplab v3+、NAS-HRIS等网络模型。实验结果表明,新方法能高效地自动搜索出分割高分辨率遥感影像的网络架构,具有分割精度高、计算资源占用率低的特点。 展开更多

关键词 深度学习 高分辨率遥感影像 神经网络架构搜索 影像分割 卷积神经网络

在线阅读 下载PDF 职称材料

针对图像盲去模糊的可微分神经网络架构搜索方法 被引量：8

14

作者 缪斯 祝永新 《计算机工程》 CAS CSCD 北大核心 2021年第9期313-320,共8页

为了解决设计图像去模糊神经网络依赖大量手工调参的问题,提出一种面向图像盲去模糊的可微分神经网络架构搜索方法。通过设计U型残差搜索空间,将去模糊网络的搜索过程分为9个搜索单元的搜索过程,降低了搜索的复杂度,并设计出一个基于随... 为了解决设计图像去模糊神经网络依赖大量手工调参的问题,提出一种面向图像盲去模糊的可微分神经网络架构搜索方法。通过设计U型残差搜索空间,将去模糊网络的搜索过程分为9个搜索单元的搜索过程,降低了搜索的复杂度,并设计出一个基于随机游走和最近邻插值的算法,通过模拟相机运动轨迹的方式生成模糊核,进而生成足够的模糊图像用于训练。实验结果表明,该方法明显减少了人工调参的工作量,在GOPRO和Kohler数据集上搜索得到的网络,峰值信噪比相对于基准网络UNet分别提升3.10dB和1.17dB,并接近UNet的推理速度。 展开更多

关键词 卷积神经网络 可微分神经网络架构搜索 图像去模糊 图像复原 数据扩增

在线阅读 下载PDF 职称材料

神经网络架构搜索研究进展与展望 被引量：4

15

作者 丁丁 刘文哲 +2 位作者 盛常冲 隋金坪 刘丽 《国防科技大学学报》 EI CAS CSCD 北大核心 2023年第6期100-131,共32页

神经网络架构搜索旨在针对不同任务,自动化地搜索得到性能最优的神经网络结构,是深度学习、计算机视觉技术结合当前现实需求应运而生的一大重要科学问题。对近年来神经网络架构搜索研究进行梳理、归类和评述;阐述神经网络架构搜索的定... 神经网络架构搜索旨在针对不同任务,自动化地搜索得到性能最优的神经网络结构,是深度学习、计算机视觉技术结合当前现实需求应运而生的一大重要科学问题。对近年来神经网络架构搜索研究进行梳理、归类和评述;阐述神经网络架构搜索的定义和意义,全方位剖析当前研究所面临的难点与挑战;以此为基础,对主流的搜索策略进行阐述和归纳;探讨研究潜在的问题及未来颇具潜力的研究方向,以期推动该领域的进一步发展。 展开更多

关键词 深度学习 神经网络架构搜索 自动机器学习 强化学习 搜索空间设计 搜索策略 进化算法

在线阅读 下载PDF 职称材料

优化搜索空间下带约束的可微分神经网络架构搜索 被引量：2

16

作者 李建明 陈斌 +1 位作者 江志伟 覃健 《计算机应用》 CSCD 北大核心 2022年第1期44-49,共6页

可微分架构搜索(DARTS)可高效、自动地设计神经网络架构,但其超网络的构建方式与派生策略的设计之间存在性能“鸿沟”。针对上述问题,提出了优化搜索空间下带约束的可微分神经网络架构搜索算法。首先,以候选操作关联的架构参数为量化指... 可微分架构搜索(DARTS)可高效、自动地设计神经网络架构,但其超网络的构建方式与派生策略的设计之间存在性能“鸿沟”。针对上述问题,提出了优化搜索空间下带约束的可微分神经网络架构搜索算法。首先,以候选操作关联的架构参数为量化指标来分析超网络的训练过程,发现在派生架构中未生效的候选操作none占据了权重最大的架构参数,从而导致算法搜得的架构表现欠佳,针对该问题设计了优化的搜索空间;然后,分析了DARTS超网络与派生架构之间的差异后,以架构参数为基础定义了架构熵,并把架构熵作为DARTS超网络目标函数的约束项,从而促使超网络缩小与派生架构的差异;最后,在CIFAR-10数据集上进行了实验。实验结果表明,所提算法在其中搜得的架构取得了97.17%的分类准确率,综合准确率、参数量和搜索时间优于对比算法。所提出的算法是有效的,提升了搜得架构在CIFAR-10数据集上的准确率。 展开更多

关键词 卷积神经网络 网络架构搜索 可微分架构搜索 架构确定性 架构熵

在线阅读 下载PDF 职称材料

采用神经网络架构搜索的三维模型分类 被引量：3

17

作者 周鹏 杨军 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2022年第5期722-733,共12页

针对可微架构搜索方法存在的离散化误差、更新不平衡、跳跃连接富集等问题,提出一种基于资源平衡的网络架构搜索方法.首先,通过资源平衡型渐进式剪枝法裁剪对性能提升贡献较小的弱操作;其次,为使架构搜索过程中各操作具有单独的权重,能... 针对可微架构搜索方法存在的离散化误差、更新不平衡、跳跃连接富集等问题,提出一种基于资源平衡的网络架构搜索方法.首先,通过资源平衡型渐进式剪枝法裁剪对性能提升贡献较小的弱操作;其次,为使架构搜索过程中各操作具有单独的权重,能够体现出每个操作对超网性能的贡献,将架构搜索过程中各操作算子之间的竞争关系改为先合作、后竞争的关系;最后,对候选操作添加高斯噪声以抑制跳跃连接的不公平竞争优势.在三维点云数据集ModelNet和二维图像数据集CIFAR-10进行了实验,结果表明所提方法能有效地减小离散化误差,防止跳跃连接富集导致的性能坍塌;与SGAS,NoisyDARTS和人工设计的网络架构相比,所提方法能高效地搜索出帕累托最优网络架构,在三维点云模型分类过程中具有较高的分类准确率. 展开更多

关键词 神经网络架构搜索 三维点云 深度学习 模型分类 图卷积网络

在线阅读 下载PDF 职称材料

基于渐进式神经网络架构搜索的人体运动识别 被引量：2

18

作者 王震宇 张雷 +1 位作者 高文彬 权威铭 《计算机应用》 CSCD 北大核心 2022年第7期2058-2064,共7页

为了解决基于传感器数据的运动识别问题,利用深度卷积神经网络(CNN)在公开的OPPORTUNITY传感器数据集上进行运动识别,提出了一种改进的渐进式神经网络架构搜索(PNAS)算法。首先,神经网络模型设计过程中不再依赖于合适拓扑结构的手动选择... 为了解决基于传感器数据的运动识别问题,利用深度卷积神经网络(CNN)在公开的OPPORTUNITY传感器数据集上进行运动识别,提出了一种改进的渐进式神经网络架构搜索(PNAS)算法。首先,神经网络模型设计过程中不再依赖于合适拓扑结构的手动选择,而是通过PNAS算法来设计最优拓扑结构以最大化F1分数;其次,使用基于序列模型的优化(SMBO)策略,在该策略中将按照复杂度从低到高的顺序搜索结构空间,同时学习一个代理函数以引导对结构空间的搜索;最后,将搜索过程中表现最好的20个模型在OPPORTUNIT数据集上进行完全训练,并从中选出表现最好的模型作为搜索到的最优架构。通过这种方式搜索到的最优架构在OPPORTUNITY数据集上的F1分数达到了93.08%,与进化算法搜索到的最优架构及DeepConvLSTM相比分别提升了1.34%和1.73%,证明该方法能够改进以前手工设计的模型结构,且是可行有效的。 展开更多

关键词 人体运动识别 深度学习 神经网络架构搜索 卷积神经网络 基于序列模型的优化

在线阅读 下载PDF 职称材料

基于神经网络架构搜索的肺结节分类算法 被引量：2

19

作者 谢新林 肖毅 续欣莹 《计算机应用》 CSCD 北大核心 2022年第5期1424-1430,共7页

肺结节分类是早期肺癌诊断的重要任务。基于深度学习的肺结节分类方法虽然能够取得良好的分类精度,但存在模型复杂和可解释性差的问题。为此,提出了一种基于神经网络架构搜索的肺结节分类算法。首先,将注意力残差卷积cell作为搜索空间... 肺结节分类是早期肺癌诊断的重要任务。基于深度学习的肺结节分类方法虽然能够取得良好的分类精度,但存在模型复杂和可解释性差的问题。为此,提出了一种基于神经网络架构搜索的肺结节分类算法。首先,将注意力残差卷积cell作为搜索空间的基本单元,并使用偏序剪枝方法作为搜索策略来构建神经网络架构以搜索3D分类网络,从而达到网络性能和搜索速度的平衡。其次,在网络中构建了多尺度通道和空间注意力模块来提高特征描述和类别推理的可解释性。最后,采用堆叠法将搜索到的网络架构进行多模型的融合,从而获取精准的肺结节良恶性分类预测结果。实验结果表明,在肺结节分类常用数据集LIDC-IDRI上,所提算法与最新肺结节分类算法相比具有较好的分类性能和较快的收敛,且所提算法的特异性和精确率分别达到95.37%和93.42%,能够实现良恶性肺结节的准确分类。 展开更多

关键词 肺结节分类 神经网络架构搜索 注意力模块 多模型融合 深度学习

在线阅读 下载PDF 职称材料

轻量级神经网络架构综述 被引量：57

20

作者 葛道辉 李洪升 +3 位作者 张亮 刘如意 沈沛意 苗启广 《软件学报》 EI CSCD 北大核心 2020年第9期2627-2653,共27页

深度神经网络已经被证明可以有效地解决图像、自然语言等不同领域的问题.同时,伴随着移动互联网技术的不断发展,便携式设备得到了迅速的普及,用户提出了越来越多的需求.因此,如何设计高效、高性能的轻量级神经网络,是解决问题的关键.详... 深度神经网络已经被证明可以有效地解决图像、自然语言等不同领域的问题.同时,伴随着移动互联网技术的不断发展,便携式设备得到了迅速的普及,用户提出了越来越多的需求.因此,如何设计高效、高性能的轻量级神经网络,是解决问题的关键.详细阐述了3种构建轻量级神经网络的方法,分别是人工设计轻量级神经网络、神经网络模型压缩算法和基于神经网络架构搜索的自动化神经网络架构设计;同时,简要总结和分析了每种方法的特点,并重点介绍了典型的构建轻量级神经网络的算法;最后,总结现有的方法,并给出了未来发展的前景. 展开更多

关键词 轻量级神经网络 便携式设备 神经网络模型压缩 神经网络架构搜索 自动机器学习

在线阅读 下载PDF 职称材料