神经网络结构搜索在脑数据分析领域的研究进展 被引量：1

1

作者 李晴 汪启昕 +5 位作者 李子遇 祝志远 张诗皓 牟浩南 杨文婷 邬霞 《软件学报》 EI CSCD 北大核心 2024年第4期1682-1702,共21页

神经网络结构搜索(neural architecture search,NAS)是自动化机器学习的重要组成部分,已被广泛应用于多个领域,包括计算机视觉、语音识别等,能够针对特定数据、场景、任务寻找最优的深层神经网络结构.将NAS引入至脑数据分析领域,能够在... 神经网络结构搜索(neural architecture search,NAS)是自动化机器学习的重要组成部分,已被广泛应用于多个领域,包括计算机视觉、语音识别等,能够针对特定数据、场景、任务寻找最优的深层神经网络结构.将NAS引入至脑数据分析领域,能够在图像分割、特征提取、辅助诊断等多个应用领域大幅度提升性能,展现低能耗自动化机器学习的优势.基于NAS进行脑数据分析是当前的研究热点之一,同时也具有一定挑战.目前,在此领域,国内外可供参考的综述性文献较少.对近年来国内外相关文献进行了细致地调研分析,从算法模型、研究任务、实验数据等不同方面对NAS在脑数据分析领域的研究现状进行了综述.同时,也对能够支撑NAS训练的脑数据集进行了系统性总结,并对NAS在脑数据分析中存在的挑战和未来的研究方向进行了分析和展望. 展开更多

关键词 神经网络结构搜索 脑数据分析 神经网络 深度学习

在线阅读 下载PDF 职称材料

深度学习的轻量化神经网络结构研究综述 被引量：43

2

作者 王军 冯孙铖 程勇 《计算机工程》 CAS CSCD 北大核心 2021年第8期1-13,共13页

随着深度神经网络和智能移动设备的快速发展,网络结构轻量化设计逐渐成为前沿且热门的研究方向,而轻量化的本质是在保持深度神经网络精度的前提下优化存储空间和提升运行速度。阐述深度学习的轻量化网络结构设计方法,对比与分析人工设... 随着深度神经网络和智能移动设备的快速发展,网络结构轻量化设计逐渐成为前沿且热门的研究方向,而轻量化的本质是在保持深度神经网络精度的前提下优化存储空间和提升运行速度。阐述深度学习的轻量化网络结构设计方法,对比与分析人工设计的轻量化方法、基于神经网络结构搜索的轻量化方法和基于自动模型压缩的轻量化方法的创新点与优劣势,总结与归纳上述3种主流轻量化方法中性能优异的网络结构并分析各自的优势和局限性。在此基础上,指出轻量化网络结构设计所面临的挑战,同时对其应用方向及未来发展趋势进行展望。 展开更多

关键词 深度学习 轻量化设计 深度可分离卷积 Octave卷积 神经网络结构搜索 模型压缩

在线阅读 下载PDF 职称材料

基于多级神经网络结构的手写体汉字识别 被引量：19

3

作者 金连文 徐秉铮 《通信学报》 EI CSCD 北大核心 1997年第5期21-27,共7页

本文提出了一种用于手写体汉字识别的多级神经网络结构（Ｍｕｌｔｉ－ｓｔａｇｅＮｅｕｒａｌＮｅｔｗｏｒｋＡｒｃｈｉｔｅｃｔｕｒｅ，ＭＮＮＡ）模型。在该模型中，我们将多个神经网络和不同的特征提取方法有机地集成在一起而构成一... 本文提出了一种用于手写体汉字识别的多级神经网络结构（Ｍｕｌｔｉ－ｓｔａｇｅＮｅｕｒａｌＮｅｔｗｏｒｋＡｒｃｈｉｔｅｃｔｕｒｅ，ＭＮＮＡ）模型。在该模型中，我们将多个神经网络和不同的特征提取方法有机地集成在一起而构成一个完整的模式识别系统。我们讨论了设计ＭＮＮＡ的一般原理，并提出了一个基于多层前馈神经网络的三级结构的手写体汉字识别实验系统。三种不同的特征提取方法被应用于各级子系统之中。对１００个汉字１５０００个样本的实验我们得到了９９．３４％的识别率，０．３６％的拒识率和０．３％的误识率。 展开更多

关键词 多级 神经网络结构 手写体汉字识别 特征提取

在线阅读 下载PDF 职称材料

神经网络结构动态优化设计的分析与展望 被引量：21

4

作者 乔俊飞 韩红桂 《控制理论与应用》 EI CAS CSCD 北大核心 2010年第3期350-357,共8页

阐述了神经网络结构设计对神经网络性能的影响.介绍了动态结构神经网络,尤其是增长型和修剪型神经网络研究的发展过程,分析了动态设计方法研究在计算能力、学习理论和网络的稳定性等方面取得的成果.最后对神经网络动态设计的研究进行总... 阐述了神经网络结构设计对神经网络性能的影响.介绍了动态结构神经网络,尤其是增长型和修剪型神经网络研究的发展过程,分析了动态设计方法研究在计算能力、学习理论和网络的稳定性等方面取得的成果.最后对神经网络动态设计的研究进行总结,给出了神经网络结构动态设计研究的发展趋势. 展开更多

关键词 神经网络结构 动态设计 神经网络性能

在线阅读 下载PDF 职称材料

任务自适应神经网络结构研究 被引量：5

5

作者 孙功星 朱科军 +1 位作者 戴长江 戴贵亮 《核电子学与探测技术》 CAS CSCD 北大核心 1999年第3期164-168,共5页

在基于任务自适应的统一框架下讨论了神经网络的生成方案，重点研究了两类典型而适用的神经网络构筑算法，即基于隐节点自适应增长的神经网络结构算法和基于子网自适应增长的神经网络结构算法。还结合所提出的层次式多网络模型，对基于... 在基于任务自适应的统一框架下讨论了神经网络的生成方案，重点研究了两类典型而适用的神经网络构筑算法，即基于隐节点自适应增长的神经网络结构算法和基于子网自适应增长的神经网络结构算法。还结合所提出的层次式多网络模型，对基于任务的神经网络的自适应结构方案、发展前景与存在的问题作了详细的比较研究。 展开更多

关键词 任务自适应 算法 层次式多网络 神经网络结构

在线阅读 下载PDF 职称材料

优化神经网络结构 被引量：12

6

作者 孟祥武 程虎 《计算机研究与发展》 EI CSCD 北大核心 1997年第8期594-598,共5页

本文综述了构造优化神经网络结构的一些方法，并对这些方法进行了分类，最后提出了存在的问题和进一步的工作．

关键词 神经网络结构 神经网络 机器学习 最佳化

在线阅读 下载PDF 职称材料

基于低维参数空间的神经网络结构设计方法 被引量：1

7

作者 胡静 王世卿 李占波 《仪器仪表学报》 EI CAS CSCD 北大核心 2008年第6期1221-1224,共4页

本文研究了流形学习的分类器网络结构优化设计问题,针对利用神经网络对同一对象的非线性结构样本集进行分类和识别时,如何合理地设计网络结构的问题,提出了一个新颖的基于低维参数空间估计的神经网络结构设计的方法。该方法以流形学习... 本文研究了流形学习的分类器网络结构优化设计问题,针对利用神经网络对同一对象的非线性结构样本集进行分类和识别时,如何合理地设计网络结构的问题,提出了一个新颖的基于低维参数空间估计的神经网络结构设计的方法。该方法以流形学习为基础,结合Sammon系数有效估计出低维参数空间大小,并将此对应到神经网络结构分组设计的隐节点分组数目上,从而设计出具有一定泛化能力的网络结构。实验结果表明了本文所提方法的有效性。 展开更多

关键词 神经网络结构设计 低维参数空间 流形学习 局部线性嵌入 Sammon系数

在线阅读 下载PDF 职称材料

基于递归神经网络结构的非平稳信号自适应盲分离 被引量：1

8

作者 苏伟生 何文雪 谢剑英 《计算机工程》 CAS CSCD 北大核心 2004年第22期30-31,88,共3页

基于递归网络分离结构并利用时间相关的评价函数,针对二输入二输出盲信号分离问题,提出了一种非平稳信号的自适应盲分离算法。该算法计算量小,可根据输出信号能量大小有选择地更新分离系数,并可扩展到多输入多输出盲分离问题。仿真验证... 基于递归网络分离结构并利用时间相关的评价函数,针对二输入二输出盲信号分离问题,提出了一种非平稳信号的自适应盲分离算法。该算法计算量小,可根据输出信号能量大小有选择地更新分离系数,并可扩展到多输入多输出盲分离问题。仿真验证对声音等非平稳信号具有良好的分离效果。 展开更多

关键词 信号处理 递归神经网络结构 自适应盲分离算法 仿真

在线阅读 下载PDF 职称材料

基于神经网络结构搜索的目标识别方法 被引量：2

9

作者 卞伟伟 邱旭阳 申研 《空军工程大学学报（自然科学版）》 CSCD 北大核心 2020年第4期88-92,共5页

针对目标识别需求,对基于神经网络的深度学习方法展开研究。由于深度学习模型中包含了对数据的先验假设,因此人工设计神经网络需要领域内专家丰富的先验知识,且具有劳动密集与时间成本高的缺点。为了获得超越专家个人经验、表现更好的网... 针对目标识别需求,对基于神经网络的深度学习方法展开研究。由于深度学习模型中包含了对数据的先验假设,因此人工设计神经网络需要领域内专家丰富的先验知识,且具有劳动密集与时间成本高的缺点。为了获得超越专家个人经验、表现更好的网络,采用一种可微神经结构搜索的高效结构搜索方法,将搜索空间放宽为连续的空间,然后通过梯度下降来优化体系结构的验证集性能,从而找到面向目标识别的最优神经网络结构。仿真实验结果表明,将基于神经网络结构搜索的目标识别方法应用于“低慢小”类目标识别是可行的。 展开更多

关键词 目标识别 卷积神经网络 神经网络结构搜索 深度学习

在线阅读 下载PDF 职称材料

神经网络结构搜索方法综述 被引量：5

10

作者 刘建伟 王新坦 《控制理论与应用》 EI CAS CSCD 北大核心 2023年第1期12-31,共20页

如今,深度学习广泛地应用于生活、工作中的各个方面,给我们带来了极大的便利.在此背景下,需要设计针对不同任务的神经网络结构,满足不同的需求.但是,人工设计神经网络结构需要专业的知识,进行大量的实验.因此,神经网络结构搜索算法的研... 如今,深度学习广泛地应用于生活、工作中的各个方面,给我们带来了极大的便利.在此背景下,需要设计针对不同任务的神经网络结构,满足不同的需求.但是,人工设计神经网络结构需要专业的知识,进行大量的实验.因此,神经网络结构搜索算法的研究显得极为重要.神经网络结构搜索(NAS)是自动深度学习(AutoDL)过程中的一个基本步骤,对深度学习的发展与应用有着重要的影响.早期,一些神经网络结构搜索算法虽然搜索到了性能优越的神经网络结构,但是需要大量的计算资源且搜索效率低下.因此,研究人员探索了多种设计神经网络结构的算法,也提出了许多减少计算资源、提高搜索效率的方法.本文首先简要介绍了神经网络结构的搜索空间,其次对神经网络结构搜索算法进行了全面的分类汇总、分析,主要包括随机搜索算法、进化算法、强化学习、基于梯度下降的方法、基于顺序模型的优化算法,再其次探索并总结了提高神经网络结构搜索效率的方法,最后探讨了目前神经网络结构搜索工作中存在的问题以及未来的研究方向. 展开更多

关键词 神经网络结构搜索 搜索空间 搜索策略 性能评估策略

在线阅读 下载PDF 职称材料

单次神经网络结构搜索研究综述

11

作者 董佩杰 牛新 +1 位作者 魏自勉 陈学晖 《计算机工程与科学》 CSCD 北大核心 2023年第2期191-203,共13页

深度学习技术的快速发展与神经网络结构的创新关系密切。为提升网络结构设计效率,自动化网络结构设计算法—神经网络结构搜索NAS成为近年的研究热点。早期NAS算法通常要对大量候选网络进行训练和评估,带来了巨大的计算开销。通过迁移学... 深度学习技术的快速发展与神经网络结构的创新关系密切。为提升网络结构设计效率,自动化网络结构设计算法—神经网络结构搜索NAS成为近年的研究热点。早期NAS算法通常要对大量候选网络进行训练和评估,带来了巨大的计算开销。通过迁移学习技术,可以加速候选网络的收敛,从而提升网络结构搜索效率。基于权重迁移技术的单次神经网络结构搜索(One-shot NAS)算法以超图为基础,子图之间进行权重共享,提高了搜索效率,但是也面临着协同适应、排序相关性差等挑战性问题。首先介绍了基于权重共享的One-shot NAS算法的相关研究,然后从采样策略、过程解耦和阶段性3个方面对关键技术进行分析梳理,比较分析了典型算法的搜索效果,并对未来的研究方向进行了展望。 展开更多

关键词 神经网络结构搜索 单次神经网络结构搜索 权重共享 迁移学习 深度学习

在线阅读 下载PDF 职称材料

过程辨识和控制中神经网络结构与方法

12

作者 江芳泽 李昕 黄益彬 《计算机应用研究》 CSCD 1997年第6期31-33,共3页

本文分析了人工神经网络在过程控制和辨识领域的多种结构与方法，重点阐述了在线自适应神经网络控制器（ＯＡＮＮＣ）的结构和算法，并对神经网络在过程控制中应用的前景作了展望。

关键词 神经网络结构 过程控制 过程辨识

在线阅读 下载PDF 职称材料

前向神经网络结构优化的研究进展

13

作者 崔光照 毕娟 许进 《郑州轻工业学院学报（自然科学版）》 CAS 2003年第3期11-13,20,共4页

讨论了当前对前向神经网络结构优化设计问题的研究进展.对有关神经网络的结构最优问题与Boole函数的线性与非线性可分性相联系的研究进行了分析,并对将图论引入神经网络,把Boole函数复杂度与神经网络最优结构的研究联系起来,形成的一种... 讨论了当前对前向神经网络结构优化设计问题的研究进展.对有关神经网络的结构最优问题与Boole函数的线性与非线性可分性相联系的研究进行了分析,并对将图论引入神经网络,把Boole函数复杂度与神经网络最优结构的研究联系起来,形成的一种以图论为工具的研究神经网络结构优化设计的新方法予以了评述. 展开更多

关键词 前向神经网络结构 Boole函数 非线性 图论 优化设计

在线阅读 下载PDF 职称材料

混合语音识别系统的一种新的简化神经网络结构

14

作者 邓伟 《数据采集与处理》 CSCD 2002年第1期25-28,共4页

研究适用于隐马尔可夫模型 ( HMM)结合多层感知器 ( MLP)的小词汇量混合语音识别系统的一种简化神经网络结构。利用小词汇量混合语音识别系统中的 HMM状态所形成的规则的二维阵列 ,对状态观测概率进行分解。基于这种利用 HMM的二维结构... 研究适用于隐马尔可夫模型 ( HMM)结合多层感知器 ( MLP)的小词汇量混合语音识别系统的一种简化神经网络结构。利用小词汇量混合语音识别系统中的 HMM状态所形成的规则的二维阵列 ,对状态观测概率进行分解。基于这种利用 HMM的二维结构特性的方法 ,实现了用一种由多个简单的 MLP所组成的简化神经网络结构来估计状态观测概率。理论分析和语音识别实验的结果都表明 ,这种简化神经网络结构在性能上优于 Fran-co等人提出的简化神经网络结构。 展开更多

关键词 隐马尔可夫模型 多层感知器 神经网络结构 混合语音识别系统

在线阅读 下载PDF 职称材料

面向高能效场景的神经网络结构和加速器协同设计

15

作者 陈维伟 王颖 张磊 《高技术通讯》 CAS 2022年第11期1143-1152,共10页

神经网络算法和深度学习加速器已成为推动深度学习方法应用最重要的两股力量,但目前的神经网络结构设计主要围绕模型精度、计算量等指标,忽略了不同模型在目标加速器上计算效率的差异;而加速器设计一般针对既定的神经网络基准程序进行优... 神经网络算法和深度学习加速器已成为推动深度学习方法应用最重要的两股力量,但目前的神经网络结构设计主要围绕模型精度、计算量等指标,忽略了不同模型在目标加速器上计算效率的差异;而加速器设计一般针对既定的神经网络基准程序进行优化,往往难以覆盖到未来不断迭代进化的神经网络模型,这就容易导致加速器在新的网络架构上表现不佳。本质上,神经网络架构与加速器相对独立的设计流程,导致了两者的设计和优化不匹配,从而无法达到最优的深度学习推理性能。为此,本文提出了一种针对图像分类任务的网络结构和加速器软硬件协同设计的框架,将网络结构和加速器设计融合到统一的设计空间中,并针对设计约束,自动搜索最优协同设计方案,实现了端到端的深度学习推理定制和优化。实验表明,在真实的图像分类数据集和脉动阵列架构上,相对于传统的网络结构和加速器分别独立优化的方法,本文提出的协同设计方法实现了平均40%的能耗降低。 展开更多

关键词 神经网络结构设计 加速器设计 软硬件协同设计 设计空间探索

在线阅读 下载PDF 职称材料

神经网络结构搜索前沿综述 被引量：1

16

作者 杨木润 曹润柘 +3 位作者 杜权 李垠桥 肖桐 朱靖波 《中文信息学报》 CSCD 北大核心 2023年第10期1-15,共15页

深度学习已经在多个领域得到了广泛的使用,并取得了令人瞩目的成绩。然而优秀的网络结构设计在很大程度上仍然依赖于研究者的先验知识和大量的实验验证,整个过程对于人力、算力等资源消耗巨大。因此,能否让计算机自动地找到最适用于当... 深度学习已经在多个领域得到了广泛的使用,并取得了令人瞩目的成绩。然而优秀的网络结构设计在很大程度上仍然依赖于研究者的先验知识和大量的实验验证,整个过程对于人力、算力等资源消耗巨大。因此,能否让计算机自动地找到最适用于当前任务的神经网络结构成为了当前研究的热点。近年来,研究人员对神经网络结构搜索(Neural Architecture Search,NAS)进行了各种改进,相关研究工作复杂且丰富。为了让读者对神经网络结构搜索方法有更清晰的了解,该文从神经网络结构搜索的三个维度:搜索空间、搜索策略和性能评估策略对现有方法进行了分析,并提出了未来可能的研究方向。 展开更多

关键词 神经网络结构搜索 搜索空间 搜索策略 性能评估策略 自动机器学习

在线阅读 下载PDF 职称材料

面向神经网络结构搜索的植物叶片病害增强识别方法

17

作者 代国威 田志民 +1 位作者 樊景超 王朝雨 《西北林学院学报》 CSCD 北大核心 2023年第5期153-161,193,共10页

针对植物病害识别模型结构复杂且依赖于人为设计网络结构等问题,通过神经网络结构搜索(NAS),提出一种基于队列分块的神经网络结构搜索方法(NNSS),可实现超轻量级高精度植物叶片图像识别模型的自动构建。首先将12种在经济和环境下有益的... 针对植物病害识别模型结构复杂且依赖于人为设计网络结构等问题,通过神经网络结构搜索(NAS),提出一种基于队列分块的神经网络结构搜索方法(NNSS),可实现超轻量级高精度植物叶片图像识别模型的自动构建。首先将12种在经济和环境下有益的植物共计22类植物叶片图像作为训练样本,利用模糊c均值聚类(FCM)算法分割植物叶片的感染点,以获得叶片受关注的区域信息;通过图像像素的灰度空间相关性,采用快速灰度共生矩阵(FGLCM)算法提取6类受关注区域的纹理特征信息,获得的特征向量运用主成分变换选择重要特征;提出队列分块的局部搜索空间构造方法,将特征信息通过自动构建的模型进行分类。结果表明,NNSS方法取得了98.33%的准确率,特异性和灵敏性表现最优。相比于AlexNet、GoogLeNet、InceptionV3和VGGNet-16模型,改进VGG-INCEP16模型的性能得到进一步提升,但仍低于NNSS方法,这是由于该方法能结合数据集搜索合适的网络结构,对比次优VGG-INCEP16模型准确率至少提高了2.1%。研究结果显示,NNSS方法能够实现准确识别植物病害,对于神经网络模型结构自动搜索的未来具有较高的实际应用价值。 展开更多

关键词 图像处理 神经网络结构搜索 模糊C均值聚类 快速灰度共生矩阵 叶片病害识别

在线阅读 下载PDF 职称材料

控制系统神经网络结构优化问题研究

18

作者 朱刚 张凯 +1 位作者 谢永斌 尤昌德 《西安交通大学学报》 EI CAS CSCD 北大核心 1996年第1期61-66,共6页

应用Δ目标函数法，研究了控制系统神经网络结构优化问题．给出一个推广算法及一个前向全连网络，并对用网络实现非线性映射进行仿真研究．结果表明：用推广算法训练前向全连网络，能同时得到优化结构与权值，训练速度快。

关键词 神经网络结构 神经网络训练 控制系统 优化

在线阅读 下载PDF 职称材料

神经网络结构及学习规则的研究

19

作者 陈敏康 喻学恒 《海军工程大学学报》 CAS 1989年第4期59-63,共5页

本文分析了神经元网络的结构及特性,讨论了神经网络系统的学习规则与传统的学习方法间的联系;并着重讨论了学习规则问题,将其分为三类即:相关规则、纠错规则和无教师学习规则。分析了各类学习规则的特点及其具体应用。

关键词 学习规则 神经网络结构 神经元网络 神经网络系统 隐节点 输出节点 感知机 联想记忆模型 神经网络模型 计算机视觉

在线阅读 下载PDF 职称材料

面向触觉识别的神经结构搜索算法

20

作者 邹子超 李玉良 +1 位作者 陈萌 马飞红 《哈尔滨工程大学学报》 北大核心 2025年第6期1209-1217,共9页

针对手工设计神经网络需要耗费一定时间和精力的问题,本文提出了一种基于自学习遗传算法的两级式神经结构搜索算法,并应用于触觉识别领域。设计了一种自学习遗传算法,利用强化学习优化遗传算法的选择、交叉和变异算子,以求遗传算法加速... 针对手工设计神经网络需要耗费一定时间和精力的问题,本文提出了一种基于自学习遗传算法的两级式神经结构搜索算法,并应用于触觉识别领域。设计了一种自学习遗传算法,利用强化学习优化遗传算法的选择、交叉和变异算子,以求遗传算法加速收敛,并在陷入局部最优时跳出局部最优;基于自学习遗传算法,提出了两级式神经网络结构搜索算法,用于搜索适合处理触觉时序数据的卷积神经网络和循环神经网络串联模型,且为卷积神经网络和循环神经网络模块引入了层间残差连接以解决网络退化问题,并使用公开触觉数据集对算法进行了实验验证。自建包含22类实验样品的触觉数据集,基于数据集进行了搜索算法实验,并对搜索得到的最优网络进行了分类识别测试,识别准确率为96.81%,与长短期记忆网络、门控循环单元网络和卷积神经网络与长短记忆网络串联模型进行对比,对比结果显示:本文搜索算法搜索出的网络性能更加优异,识别率更高,进一步证明了算法的有效性。 展开更多

关键词 神经网络结构搜索 触觉识别 强化学习 遗传算法 卷积神经网络和循环神经网络串联模型 触觉传感器 卷积神经网络与循环神经网络串联模型 层间残差连接循环神经网络模型

在线阅读 下载PDF 职称材料