-
题名渐进式深度集成架构搜索算法研究
- 1
-
-
作者
朱光辉
祁加豪
朱振南
袁春风
黄宜华
-
机构
南京大学计算机软件新技术全国重点实验室
南京大学计算机科学与技术系
-
出处
《计算机学报》
EI
CAS
CSCD
北大核心
2023年第10期2041-2065,共25页
-
基金
国家自然科学基金项目(62102177)
江苏省自然科学基金项目(BK20210181)
+1 种基金
江苏省重点研发计划项目(BE2021729)
江苏省软件新技术与产业化协同创新中心资助.
-
文摘
深度神经网络已在各个领域取得巨大成功.然而,深度学习模型并不只包含深度神经网络.近年来,以深度森林为代表的深度集成学习模型,凭借着无需反向传播训练、计算开销更小、模型复杂度支持自适应确定以及表数据建模任务性能优异等特点,引起了学界和业界的广泛关注,并且取得了良好的应用效果.深度森林为探索DNN(Deep Neural Network)之外的深度学习模型打开了另一扇门.然而,现有的深度集成模型主要以深度森林为主,深度集成架构较为单一,基学习器的数量与集成方式较为固定,需要探索除深度森林之外的深度集成学习模型架构.另外,实际应用中,很难存在一种深度集成学习模型架构能够在不同数据集上均取得优异性能,尤其是对于数据特征差异较大的表格型数据集.因此,也需要一种高效的数据自适应的深度集成学习架构设计方法.为此,本文从搜索空间和搜索算法两个层面,研究提出了一种高效的基于代理模型的渐进式深度集成架构搜索方法PMPAS(Proxy Model-based Progressive Architecture Search).首先,通过归纳分析已有深度集成学习模型的特点,给出了深度集成架构的形式化定义.其次,研究提出了两种全新的深度集成架构搜索空间,即基于完全并行的搜索空间和基于有向无环图的搜索空间.然后,在上述两种搜索空间的基础上,研究提出了基于代理模型的渐进式搜索方法与算法,实现从简单到复杂逐步地在搜索空间中进行探索,并采用代理模型作为指导,降低模型评估开销.最后,本文从时间复杂度和空间复杂度两个方面对搜索算法进行分析.在分类、回归等公开的表格型数据集上的大量实验结果表明,通过PMPAS算法搜索得到的深度集成架构,其性能不仅优于已有的集成学习模型、深度学习模型以及以深度森林为代表的深度集成学习模型,而且优于已有的自动化模型选择算法.随着时间预算的不断增加,性能优势更为明显.PMPAS开源地址为:https://github.com/PasaLab/PMPAS.
-
关键词
深度学习
深度集成架构
架构搜索
代理模型
-
Keywords
deep learning
deep ensemble architecture
architecture search
surrogate model
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
