-
题名贝叶斯优化方法和应用综述
被引量：244
- 1
-
-
作者
崔佳旭
杨博
-
机构
符号计算与知识工程教育部重点实验室(吉林大学)
吉林大学计算机科学与技术学院
-
出处
《软件学报》
EI
CSCD
北大核心
2018年第10期3068-3090,共23页
-
基金
国家自然科学基金(61572226
61876069)
+1 种基金
吉林省重点科技研发项目(20180201067GX
20180201044GX)~~
-
文摘
设计类问题在科学研究和工业领域无处不在.作为一种十分有效的全局优化算法,近年来,贝叶斯优化方法在设计类问题上被广泛应用.通过设计恰当的概率代理模型和采集函数,贝叶斯优化框架只需经过少数次目标函数评估即可获得理想解,非常适用于求解目标函数表达式未知、非凸、多峰和评估代价高昂的复杂优化问题.从方法论和应用领域两方面深入分析、讨论和展望了贝叶斯优化的研究现状、面临的问题和应用领域,期望为相关领域的研究者提供有益的借鉴和参考.
-
关键词
贝叶斯优化
全局优化算法
概率代理模型
采集函数
黑箱
-
Keywords
Bayesian optimization
global optimization algorithm
probabilistic surrogate model
acquisition function
black-box
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
-
-
题名面向超参数估计的贝叶斯优化方法综述
被引量：62
- 2
-
-
作者
李亚茹
张宇来
王佳晨
-
机构
浙江科技学院信息与电子工程学院
-
出处
《计算机科学》
CSCD
北大核心
2022年第S01期86-92,共7页
-
基金
国家自然科学基金青年科学基金(61803337)。
-
文摘
对绝大部分机器学习模型而言,超参数选择对模型的最终效果起到了至关重要的作用,所以超参数的选择与估计是机器学习理论与实践中的重要问题。从超参数空间中的点到模型泛化性能的映射可以看作一个具有高评估代价的复杂黑箱函数,一般的最优化方法难以适用。贝叶斯优化是一种非常有效的全局优化算法,适合求解具有解析式不明确、非凸、评估成本高等特点的优化问题,只需较少的目标函数评估就可以获得理想解。总结了贝叶斯优化在超参数估计问题上的基本理论和方法,综述了近年来该方向的研究热点和最新进展,包括代理模型、采集函数、算法实施等方面的研究,总结了现有的研究中尚待解决的问题,期望帮助初学者快速了解贝叶斯优化算法并理解典型的算法思想,为其之后的研究起到一定的指导作用。
-
关键词
超参数
贝叶斯优化
黑箱优化
概率代理模型
机器学习
-
Keywords
Hyper-parameters
Bayesian optimization
Black box optimization
Probabilistic surrogate model
Machine learning
-
分类号
TP181
[自动化与计算机技术—控制理论与控制工程]
O212
[理学—概率论与数理统计]
-
