-
题名基于稳健设计的SGNS算法的超参数调优方法
被引量：1
- 1
-
-
作者
牛倩
曹学飞
王瑞波
李济洪
-
机构
山西大学软件学院
-
出处
《计算机应用研究》
CSCD
北大核心
2021年第2期510-516,521,共8页
-
基金
国家自然科学基金青年基金资助项目(61806115,61603228)。
-
文摘
通常给定超参数的若干取值选取性能最大的为最优组合(称为直接选优法),但是此方法的稳健性差。为此,提出了一种基于稳健设计的超参数调优方法(称为稳健调优法)。具体地,以SGNS算法中的超参数调优为例,在词语推断任务上实验并得出:经方差分析得到SGNS算法中的七个超参数中的五个对算法预测性能有显著影响,确定为主控因子,其余两个确定为噪声因子,且主控因子中有三个对性能估计的方差有显著影响,因此,调优中仅从期望最大来直接选优是不合理的;稳健调优法与直接选优法两者在预测性能上没有显著差异,但稳健调优法对噪声因子具有较好的稳健性。稳健调优法对一般的深度神经网络的调参有实际的借鉴意义。
-
关键词
稳健设计
信噪比
SGNS算法
超参数调优
词向量表示学习
-
Keywords
robust design
signal to noise ratio
algorithm of skip-gram with negative sample
tuning method of hyper-parameters
word embedding
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
