基于动量的非凸随机梯度下降的高概率界限

1

作者 李少杰 刘勇 《计算机学报》 北大核心 2025年第4期763-778,共16页

基于动量的随机梯度下降(Stochastic Gradient Descent with Momentum, SGDM)在机器学习中得到了广泛应用,但其理论性质尚缺乏深入理解。在非凸领域,现有文献对SGDM的分析主要集中在期望意义上,而高概率的分析相对较少。高概率结果的重... 基于动量的随机梯度下降(Stochastic Gradient Descent with Momentum, SGDM)在机器学习中得到了广泛应用,但其理论性质尚缺乏深入理解。在非凸领域,现有文献对SGDM的分析主要集中在期望意义上,而高概率的分析相对较少。高概率结果的重要性在于它适用于样本空间中的最坏情况。针对这一问题,本文为SGDM提供了高概率的收敛界限和泛化界限,推导出的收敛界限与现有的期望结果相匹配,并且据我们所知,推导出的泛化界限是SGDM的首次提出。此外,同时考虑收敛和泛化有助于理解SGDM在实际应用中的优良性能,本文的理论结果解释了两个新近提出的SGDM算法的优越性。最后,本文通过数值实验验证了理论分析所用假设的合理性,并且验证了所用假设如何影响泛化界限的变化速率。 展开更多

关键词 随机梯度下降 优化界限 泛化界限 非凸优化

在线阅读 下载PDF 职称材料

冷带轧机电液伺服系统广义预测控制应用研究 被引量：6

2

作者 孙孟辉 王益群 +1 位作者 张伟 刘建 《中国机械工程》 EI CAS CSCD 北大核心 2007年第22期2659-2662,共4页

在冷带轧机电液伺服系统中应用广义预测控制理论直接算法,采用随机梯度估计法在线估计控制器参数模型,避免了在线求解Diophantine方程,减少了在线计算时间。该控制算法基于离散受控自回归积分滑动平均模型,吸取了自适应控制的优点,使控... 在冷带轧机电液伺服系统中应用广义预测控制理论直接算法,采用随机梯度估计法在线估计控制器参数模型,避免了在线求解Diophantine方程,减少了在线计算时间。该控制算法基于离散受控自回归积分滑动平均模型,吸取了自适应控制的优点,使控制系统具有较好的鲁棒性和智能性。仿真研究结果表明,该方法比目前带钢生产中广为采用的PID控制策略优越,使得系统的动态品质有了较大的改善,响应时间和控制精度都有所提高。 展开更多

关键词 广义预测控制 冷带轧机 电液伺服系统 受控自回归积分滑动平均模型 随机梯度估计法

在线阅读 下载PDF 职称材料

基于梯度的扰动时变系统辨识算法及其收敛性 被引量：4

3

作者 丁锋 杨慧中 《江南大学学报（自然科学版）》 CAS 2005年第3期221-226,共6页

根据工程背景,提炼出了一类时变系统(亦称为广义时变系统或扰动时变系统)的数学描述模型.扰动时变系统是指参数随系统可测扰动量变化的一类时变系统.利用梯度搜索原理,提出了这类时变系统的投影算法、随机梯度和遗忘梯度辨识方法,并应... 根据工程背景,提炼出了一类时变系统(亦称为广义时变系统或扰动时变系统)的数学描述模型.扰动时变系统是指参数随系统可测扰动量变化的一类时变系统.利用梯度搜索原理,提出了这类时变系统的投影算法、随机梯度和遗忘梯度辨识方法,并应用鞅超收敛定理分析了算法的收敛性.由于提出的随机梯度算法同时还利用了系统扰动量所含的信息,因而可以给出时变参数的一致估计.数字仿真验证了提出方法的有效性. 展开更多

关键词 扰动时交系统 参数估计 辨识 鞅超收敛定理 随机梯度

在线阅读 下载PDF 职称材料

甲胺在清洁及磷改性Mo(100)表面的解离 被引量：2

4

作者 吕存琴 凌开成 王贵昌 《物理化学学报》 SCIE CAS CSCD 北大核心 2009年第11期2336-2342,共7页

采用广义梯度近似(GGA)的密度泛函理论(DFT)(DFT-GGA)并结合平板模型,研究了甲胺在清洁及磷(P)改性的Mo(100)表面(P-Mo(100))发生C—N键断裂的反应历程(CH3NH2→CH3+NH2).优化了裂解过程中反应物、过渡态和产物的几何构型,获得了反应路... 采用广义梯度近似(GGA)的密度泛函理论(DFT)(DFT-GGA)并结合平板模型,研究了甲胺在清洁及磷(P)改性的Mo(100)表面(P-Mo(100))发生C—N键断裂的反应历程(CH3NH2→CH3+NH2).优化了裂解过程中反应物、过渡态和产物的几何构型,获得了反应路径上各物种的吸附能及反应的活化能数据.计算结果表明,在清洁和磷改性的Mo(100)表面,甲胺均稳定吸附在顶位,甲基和氨基最稳定的吸附位置均为桥位.甲胺的C—N键在P-Mo(100)表面裂解的活化能为2.39eV,高于其在清洁表面的活化能(1.99eV).这表明Mo(100)表面被预吸附的P原子钝化了.电子结构分析表明,改性P原子使得金属Mo的供电子能力减弱,导致它的d带中心下移,从而降低了该表面的反应活性,提高了甲胺的C—N键裂解的活化能.活化能的分解表明,C—N键在P-Mo(100)与Mo(100)表面裂解的活化能的差异主要体现在初态到过渡态时甲胺的结构变化引起的能量变化(△ECdHef3NH2)、过渡态仅有甲基存在时的吸附能(ECTHS3)和过渡态甲基和氨基的相互作用(ECinHt3…NH2).△ECdHef3NH2和ECTHS3使活化能升高幅度大于ECinHt3…NH2使活化能降低幅度,最终导致甲胺的C—N键在P-Mo(100)表面裂解的活化能要高于在Mo(100)表面裂解的活化能. 展开更多

关键词 密度泛函理论 甲胺 解离 Mo(100) 磷改性的Mo(100) 广义梯度近似 平板模型

在线阅读 下载PDF 职称材料

基于MGWO-SCN的滚动轴承故障诊断方法 被引量：4

5

作者 冯铃 张楚 刘伟渭 《机电工程》 CAS 北大核心 2022年第10期1382-1389,共8页

为了提高滚动轴承故障诊断模型的鲁棒性和泛化能力,提出了一种基于改进灰狼算法优化随机配置网络(MGWO-SCN)的滚动轴承故障诊断模型。首先,在随机配置网络(SCN)中引入L2范数惩罚项,提高了SCN在实际应用中的泛化能力;然后,在灰狼算法(GWO... 为了提高滚动轴承故障诊断模型的鲁棒性和泛化能力,提出了一种基于改进灰狼算法优化随机配置网络(MGWO-SCN)的滚动轴承故障诊断模型。首先,在随机配置网络(SCN)中引入L2范数惩罚项,提高了SCN在实际应用中的泛化能力;然后,在灰狼算法(GWO)中融入差分进化机制,构建了改进灰狼算法(MGWO),并用其对SCN的惩罚项系数C进行了优化;最后,通过分析美国凯斯西储大学(CWRU)轴承振动信号数据集的频域特征信息,构造了基于频域特征参量的振动数据集;并分别用BP神经网络(BPNN)、极限学习机(ELM)和支持向量机(SVM)诊断模型,以及MGWO和粒子群优化算法(PSO)对所提模型进行了对比仿真测试。研究结果表明:在30次重复实验中,采用基于改进灰狼算法优化随机配置网络(MGWO-SCN)的方法,可以准确地识别出12种轴承运行状态,相比于BPNN、ELM和SVM轴承诊断方法,该方法的诊断平均准确率分别提高了7.27%、6.47%和8.67%;另外,MGWO-SCN在优化故障诊断模型方面具有更强的全局搜索能力,相比于GWO-SCN和PSO-SCN,该模型预测结果的偏差值更小,测试集准确率更高。 展开更多

关键词 旋转机械 滚动轴承故障诊断模型 改进灰狼算法优化随机配置网络 鲁棒性 泛化能力

在线阅读 下载PDF 职称材料

基于时域的多新息随机梯度法VSG参数辨识 被引量：1

6

作者 朱军 曲玉博 +3 位作者 刘鹏辉 郭向伟 杜少通 杨明 《电气工程学报》 CSCD 2022年第1期78-85,共8页

针对采用虚拟同步发电机技术(Virtual synchronous generator,VSG)控制的新能源并网逆变器,提出一种基于统一模型的VSG实际输出惯性和阻尼的辨识方法,定量评估逆变器提供给大电网的惯性和阻尼。首先分析不同的VSG接建模方法,建立统一的... 针对采用虚拟同步发电机技术(Virtual synchronous generator,VSG)控制的新能源并网逆变器,提出一种基于统一模型的VSG实际输出惯性和阻尼的辨识方法,定量评估逆变器提供给大电网的惯性和阻尼。首先分析不同的VSG接建模方法,建立统一的VSG控制模型结构,然后提出一种适用于时域的多新息随机梯度法VSG关键参数的辨识方法,利用指令功率阶跃激励出系统功率动态信息,根据所推导的VSG控制模型参数之间的关系,动态地辨识出系统输出的惯性和等效阻尼参数,然后分析辨识模型的误差。最后,通过仿真验证与对比证明所提方法的有效性。 展开更多

关键词 虚拟同步发电机 惯性 阻尼 参数辨识 多新息随机梯度法

在线阅读 下载PDF 职称材料

α噪声下基于随机共振的最大相关熵频谱感知 被引量：2

7

作者 李如雪 鲁进 罗聪 《数据采集与处理》 CSCD 北大核心 2023年第6期1342-1352,共11页

α噪声下的频谱感知成为近年来的研究热点,该噪声的统计模型具有明显的脉冲性和拖尾性,并且在微弱信号条件下,信号特征不够明显。为此提出了基于随机共振的最大相关熵频谱感知方法,该方法通过随机共振模型中粒子在双势阱间的跃迁,将α... α噪声下的频谱感知成为近年来的研究热点,该噪声的统计模型具有明显的脉冲性和拖尾性,并且在微弱信号条件下,信号特征不够明显。为此提出了基于随机共振的最大相关熵频谱感知方法,该方法通过随机共振模型中粒子在双势阱间的跃迁,将α噪声的部分能量转移到信号中,以提高信号的输出信噪比。采用最大相关熵方法构建高阶统计量,检测随机共振后的输出信号,并联合共轭梯度下降法获取最佳目标函数,实现频谱感知。仿真结果表明,该算法在低信噪比条件下能够有效提高检测性能。 展开更多

关键词 频谱感知 随机共振 α噪声 共轭梯度下降法 最大相关熵

在线阅读 下载PDF 职称材料

广义修正随机梯度与广义Skorohod积分 被引量：8

8

作者 周玉兰 程秀强 +1 位作者 薛蕊 李晓慧 《吉林大学学报（理学版）》 CAS 北大核心 2020年第3期479-485,共7页

应用有界算子族的加权Bochner积分,考虑连续时间Guichardet-Fock空间L^2(Γ;η)中广义修正随机梯度■h及过程空间L^2(Γ×R+;η)中的广义Skorohod积分δh,其中h是R上的非负函数,对特殊的h,相应的■h和δh恰是修正随机梯度和Skoroho... 应用有界算子族的加权Bochner积分,考虑连续时间Guichardet-Fock空间L^2(Γ;η)中广义修正随机梯度■h及过程空间L^2(Γ×R+;η)中的广义Skorohod积分δh,其中h是R上的非负函数,对特殊的h,相应的■h和δh恰是修正随机梯度和Skorohod积分.结果表明,■h,δh分别是L^2(Γ;η)和L^2(Γ×R+;η)中的稠定线性闭算子,一般是无界的;对于一类特殊的非负函数h,证明了相应的广义修正随机梯度■h和广义Skorohod积分δh是L^2(Γ;η)和L^2(Γ×R;η)上的有界线性算子;进一步,得到了■h,δh是关于点态修正随机梯度族{■s;s∈R+}}及其共轭族{■s^*;s∈R+}的加权Bochner积分表示,利用该表示及修正随机梯度■和Skorohod积分δ的共轭关系,得到了■h,δh的共轭关系. 展开更多

关键词 BOCHNER积分 修正随机梯度■ 广义修正随机梯度■ Skorohod积分δ 广义Skorohod积分δh

在线阅读 下载PDF 职称材料

利用标注者相关性的深度生成式众包学习 被引量：1

9

作者 李绍园 韦梦龙 黄圣君 《软件学报》 EI CSCD 北大核心 2022年第4期1274-1286,共13页

传统监督学习需要训练样本的真实标记信息,而在很多情况下,真实标记并不容易收集.与之对比,众包学习从多个可能犯错的非专家收集标注,通过某种融合方式估计样本的真实标记.注意到现有深度众包学习工作对标注者相关性建模不足,而非深度... 传统监督学习需要训练样本的真实标记信息,而在很多情况下,真实标记并不容易收集.与之对比,众包学习从多个可能犯错的非专家收集标注,通过某种融合方式估计样本的真实标记.注意到现有深度众包学习工作对标注者相关性建模不足,而非深度众包学习方面的工作表明,标注者相关性建模利用有助于改善学习效果.提出一种深度生成式众包学习方法,以结合深度神经网络优势及利用标注者相关性.该模型由深度神经网络分类器先验和标注生成过程组成,其中,标注生成过程通过引入各类别内标注者能力的混合模型以建模标注者相关性.为自适应地匹配数据及模型复杂度,实现了完全贝叶斯推断.基于结构变分自编码器的自然梯度随机变分推断技术,将共轭参数变分消息传递与神经网络参数随机梯度下降结合到统一框架,实现端到端的高效优化.在22个真实众包数据集上的实验结果验证了该方法的有效性. 展开更多

关键词 众包学习 深度生成式模型 标注者相关性 贝叶斯 自然梯度随机变分推断

在线阅读 下载PDF 职称材料

改进随机梯度上升法在遗址预测中的应用 被引量：5

10

作者 郭飞 于丽君 +2 位作者 聂跃平 朱建峰 刘芳 《遥感信息》 CSCD 北大核心 2018年第4期49-54,共6页

针对逻辑回归在遗址分类预测中存在容易欠拟合和分类精度可能不高的缺点,对其进行最优化算法的改进,通过GIS空间分析方法提取研究区域人文环境变量和自然环境变量,借助Python语言编写程序中的Numpy和Matplotlib模块,分别利用逻辑回归常... 针对逻辑回归在遗址分类预测中存在容易欠拟合和分类精度可能不高的缺点,对其进行最优化算法的改进,通过GIS空间分析方法提取研究区域人文环境变量和自然环境变量,借助Python语言编写程序中的Numpy和Matplotlib模块,分别利用逻辑回归常用的梯度下降法及一种改进的随机梯度上升法求解模型回归系数,建立汾河流域龙山文化时期的遗址预测模型,对其预测结果进行分析对比,最终进行Kvamme增益统计有效性验证。实验结果表明,改进随机梯度上升算法较梯度下降算法分类精度可以提高17.3%,另外高概率区的G值为0.75,表明模型具有较高的实际应用意义。 展开更多

关键词 汾河流域 逻辑回归 回归系数 改进随机梯度上升 遗址预测模型

在线阅读 下载PDF 职称材料

Bernoulli 泛函空间中广义计数算子的表示 被引量：1

11

作者 周玉兰 陈嘉 +2 位作者 孔华芳 薛蕊 程秀强 《浙江大学学报（理学版）》 CAS CSCD 北大核心 2022年第3期316-323,共8页

得到离散时间正规鞅平方可积泛函空间L2(M)中广义计数算子N_(h)的5种表示:(1)量子Bernoulli噪声(quantum Bernoulli noises,QBN){∂_(k),∂_(k)^(*);k≥0}的加权表示;(2)N_(h)的谱表示,广义计数算子N_(h)以h-计数测度#h的值域为其点谱;(3)... 得到离散时间正规鞅平方可积泛函空间L2(M)中广义计数算子N_(h)的5种表示:(1)量子Bernoulli噪声(quantum Bernoulli noises,QBN){∂_(k),∂_(k)^(*);k≥0}的加权表示;(2)N_(h)的谱表示,广义计数算子N_(h)以h-计数测度#h的值域为其点谱;(3)N_(h)的“对角化”表示,N_(h)可表示为L^(2)(M)的标准正交基{Zσ;σ∈Γ}所生成的一维对角化正交投影算子的加权极限;(4)广义Skorohod积分-广义随机梯度表示,N_(h)可表示为互共轭算子δ_(h)和■_(h)的复合算子;(5)对N上的任意非负函数h,可构造一列有界广义计数算子,N_(h)恰为该有界广义计数算子的强极限,当h可和时,N_(h)为该有界广义计数算子的一致极限。 展开更多

关键词 算子谱 广义计数算子 对角化算子 广义Skorohod积分 广义随机梯度

在线阅读 下载PDF 职称材料

控制图经济设计的随机梯度优化方法 被引量：1

12

作者 张公伯 彭一杰 杨书淮 《工程管理科技前沿》 CSSCI 北大核心 2022年第3期45-52,共8页

控制图作为一种实施统计过程控制的工具,在现代制造业的质量管理中具有广泛应用。控制图的经济设计可以提高过程控制效率,降低过程控制成本。本文提出一种基于随机梯度估计的控制图经济设计优化方法,首先应用广义似然比法估计平均运行... 控制图作为一种实施统计过程控制的工具,在现代制造业的质量管理中具有广泛应用。控制图的经济设计可以提高过程控制效率,降低过程控制成本。本文提出一种基于随机梯度估计的控制图经济设计优化方法,首先应用广义似然比法估计平均运行成本的梯度,并分别结合逐步增加仿真样本量和随机化仿真样本量的随机近似方法得到控制图的最优控制上界。最后,重点展开介绍了本文提出的控制图经济设计方法在休哈特控制图和指数加权移动平均控制图中的应用。 展开更多

关键词 控制图 随机梯度估计 广义似然比法 随机近似

在线阅读 下载PDF 职称材料