期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到149篇文章
< 1 2 … 8 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
基于无冲突并行随机梯度下降的图布局求解方法
1
作者 王智 薛明亮 +2 位作者 王一凡 钟发海 汪云海 《计算机辅助设计与图形学学报》 北大核心 2025年第6期1063-1072,共10页
应力模型是计算节点连接图布局时最常用的方法之一.随机梯度下降法由于具有很好的收敛性,常被用于求解应力模型,但该方法难以实现有效并行.虽然无锁随机梯度下降方法能大幅提高并行效率,但其求解过程中常存在线程冲突,导致结果准确性低... 应力模型是计算节点连接图布局时最常用的方法之一.随机梯度下降法由于具有很好的收敛性,常被用于求解应力模型,但该方法难以实现有效并行.虽然无锁随机梯度下降方法能大幅提高并行效率,但其求解过程中常存在线程冲突,导致结果准确性低.为了提高并行图布局的效率和准确性,提出一种无冲突的随机梯度下降的并行求解方法.首先提出一种面向应力模型的线程分配算法,将与节点j相同的点对分配到同一线程内计算,保证基于随机梯度下降方法的图布局无冲突化求解;然后仅对线程内的样本随机洗牌并减少次数,进一步提升并行效率.在16个不同规模的真实数据集上进行实验,并将所提方法应用在稀疏化应力模型的求解上,实验结果显示所提方法在求解精度上无损失且求解速度提高10倍以上,从布局质量和运行效率2个方面证明了该方法的高效性和可用性. 展开更多
关键词 图布局 随机梯度下降 并行计算 图可视化
在线阅读 下载PDF
基于动量的非凸随机梯度下降的高概率界限
2
作者 李少杰 刘勇 《计算机学报》 北大核心 2025年第4期763-778,共16页
基于动量的随机梯度下降(Stochastic Gradient Descent with Momentum, SGDM)在机器学习中得到了广泛应用,但其理论性质尚缺乏深入理解。在非凸领域,现有文献对SGDM的分析主要集中在期望意义上,而高概率的分析相对较少。高概率结果的重... 基于动量的随机梯度下降(Stochastic Gradient Descent with Momentum, SGDM)在机器学习中得到了广泛应用,但其理论性质尚缺乏深入理解。在非凸领域,现有文献对SGDM的分析主要集中在期望意义上,而高概率的分析相对较少。高概率结果的重要性在于它适用于样本空间中的最坏情况。针对这一问题,本文为SGDM提供了高概率的收敛界限和泛化界限,推导出的收敛界限与现有的期望结果相匹配,并且据我们所知,推导出的泛化界限是SGDM的首次提出。此外,同时考虑收敛和泛化有助于理解SGDM在实际应用中的优良性能,本文的理论结果解释了两个新近提出的SGDM算法的优越性。最后,本文通过数值实验验证了理论分析所用假设的合理性,并且验证了所用假设如何影响泛化界限的变化速率。 展开更多
关键词 随机梯度下降 优化界限 泛化界限 非凸优化
在线阅读 下载PDF
基于小批量随机梯度下降法的SVM训练隐私保护方案 被引量：1
3
作者 王杰昌 刘玉岭 +2 位作者 张平 刘牧华 赵新辉 《信息安全研究》 CSCD 北大核心 2024年第10期967-974,共8页
使用支持向量机(support vector machine,SVM)处理敏感数据时,隐私保护很重要,已有SVM隐私保护方案基于批量梯度下降法(batch gradient descent,BGD)进行训练,计算开销巨大.针对该问题,提出基于小批量随机梯度下降法(mini-batch stochas... 使用支持向量机(support vector machine,SVM)处理敏感数据时,隐私保护很重要,已有SVM隐私保护方案基于批量梯度下降法(batch gradient descent,BGD)进行训练,计算开销巨大.针对该问题,提出基于小批量随机梯度下降法(mini-batch stochastic gradient descent,Mini-batch SGD)的SVM隐私保护方案.首先,设计基于Mini-batch SGD的SVM训练算法;然后在此基础上,对模型权重进行乘法扰动,利用大整数分解问题困难假设确保模型的隐私性,使用同态密码体制对数据加密后再执行SVM训练,之后运用同态哈希函数进行验证;最终构建了SVM隐私保护方案.针对安全威胁,论证了数据隐私性、模型隐私性、模型正确性.对方案进行仿真实验和分析,结果表明,该方案在分类性能接近已有方案的情况下,其计算时间开销平均节约了92.4%. 展开更多
关键词 小批量随机梯度下降法 支持向量机 同态加密 同态哈希函数 隐私保护
在线阅读 下载PDF
基于多层次随机梯度下降的大规模图布局算法
4
作者 周颖鑫 李学俊 +4 位作者 吴亚东 张红英 王娇 张秋梅 王桂娟 《计算机应用研究》 CSCD 北大核心 2024年第11期3394-3400,共7页
大规模图布局问题是图可视化领域研究热点之一。应力布局模型在保持全局布局结构方面表现出色,然而其求解速度却不及弹簧电荷模型,且局部布局质量也有所欠缺。在维持全局结构稳定条件下,为提高应力模型求解大规模图时的布局速度、改进... 大规模图布局问题是图可视化领域研究热点之一。应力布局模型在保持全局布局结构方面表现出色,然而其求解速度却不及弹簧电荷模型,且局部布局质量也有所欠缺。在维持全局结构稳定条件下,为提高应力模型求解大规模图时的布局速度、改进布局局部结构表达,提出了一个新的多层次随机梯度下降图布局模型。首先利用基于邻居结构的图压缩合并算法生成层次图结构,再使用节点最优放置算法初始化节点坐标。最后利用融合了节点正负样本的随机梯度下降算法细化布局,改进局部布局质量。同时多层次方法也有效提高了布局速度。在30个不同规模的数据集上与现有布局模型进行对比实验,从布局计算效率、布局质量以及可视化效果三个方面证明了该方法的有效性。 展开更多
关键词 大规模图布局 应力模型 随机梯度下降 多层次布局 图可视化
在线阅读 下载PDF
基于集成重要性采样的随机梯度下降算法
5
作者 张浩 鲁淑霞 《南京理工大学学报》 CAS CSCD 北大核心 2024年第3期342-350,共9页
许多机器学习和深度学习问题都可以使用随机梯度优化算法求解,目前流行的算法大多通过均匀采样从样本集中抽取样本计算梯度估计。然而,随机采样的梯度估计会带来较大的方差,这个方差会随着优化的进行而累积,降低算法收敛速度。为缓解这... 许多机器学习和深度学习问题都可以使用随机梯度优化算法求解,目前流行的算法大多通过均匀采样从样本集中抽取样本计算梯度估计。然而,随机采样的梯度估计会带来较大的方差,这个方差会随着优化的进行而累积,降低算法收敛速度。为缓解这一现象,可以为每个样本赋予不同的采样概率。该文基于集成学习的思想,提出了一种新的选取非均匀采样分布的算法。算法的主要目的是选取一个采样器权重,使梯度估计的方差尽可能小。所提算法由多个简单采样器组成,采样权重为每个简单采样器分配贡献权重,从而得到最终的采样分布。集成重要性采样算法可以和以往的随机梯度优化方法任意结合,该文给出了使用集成重要性采样的随机梯度下降算法。在试验中,可以直观地看到算法起效的原因。在真实数据集中,展示了所提算法减小方差的效果,与其他算法相比具有一定优势。 展开更多
关键词 集成学习 重要性采样 采样器 随机梯度下降 方差减少
在线阅读 下载PDF
一类自适应梯度裁剪的差分隐私随机梯度下降算法 被引量：1
6
作者 张家棋 李觉友 《运筹学学报（中英文）》 CSCD 北大核心 2024年第2期47-57,共11页
梯度裁剪是一种防止梯度爆炸的有效方法,但梯度裁剪参数的选取通常对训练模型的性能有较大的影响。为此,本文针对标准的差分隐私随机梯度下降算法进行改进。首先,提出一种自适应的梯度裁剪方法,即在传统裁剪方法基础上利用分位数和指数... 梯度裁剪是一种防止梯度爆炸的有效方法,但梯度裁剪参数的选取通常对训练模型的性能有较大的影响。为此,本文针对标准的差分隐私随机梯度下降算法进行改进。首先,提出一种自适应的梯度裁剪方法,即在传统裁剪方法基础上利用分位数和指数平均策略对梯度裁剪参数进行自适应动态调整,进而提出一类自适应梯度裁剪的差分隐私随机梯度下降算法。其次,在非凸目标函数的情况下对提出的自适应算法给出收敛性分析和隐私性分析。最后,在MNIST、Fasion-MNIST和IMDB数据集上进行数值仿真。其结果表明,与传统梯度裁剪算法相比,本文提出的自适应梯度裁剪算法显著提高了模型精度。 展开更多
关键词 随机梯度下降算法 差分隐私 梯度裁剪 自适应性
在线阅读 下载PDF
基于差异合并的分布式随机梯度下降算法 被引量：20
7
作者 陈振宏 兰艳艳 +1 位作者 郭嘉丰 程学旗 《计算机学报》 EI CSCD 北大核心 2015年第10期2054-2063,共10页
大规模随机梯度下降算法是近年来的热点研究问题,提高其收敛速度和性能具有重要的应用价值.大规模随机梯度下降算法可以分为数据并行和模型并行两大类.在数据并行算法中,模型合并是一种比较常用的策略.目前,基于模型合并的随机梯度下降... 大规模随机梯度下降算法是近年来的热点研究问题,提高其收敛速度和性能具有重要的应用价值.大规模随机梯度下降算法可以分为数据并行和模型并行两大类.在数据并行算法中,模型合并是一种比较常用的策略.目前,基于模型合并的随机梯度下降算法普遍采用平均加权方式进行合并,虽然取得了不错的效果,但是,这种方式忽略了参与合并的模型的内在差异性,最终导致算法收敛速度慢,模型的性能及稳定性较差.针对上述问题,该文在分布式场景下,提出了基于模型差异进行合并的策略,差异性主要体现在两方面,各模型在其训练数据上错误率的差异和训练不同阶段模型合并策略的差异.此外,该文对合并后的模型采用规范化技术,将其投射到与合并前模型Frobenius范数相同的球体上,提高了模型的收敛性能.作者在Epsilon、RCV1-v2和URL 3个数据集上,验证了提出的基于差异合并的分布式随机梯度下降算法相对于平均加权方式具有收敛速度更快、模型性能更好的性质. 展开更多
关键词 分布式 随机梯度下降 规范化 模型合并 社交网络 社会计算
在线阅读 下载PDF
一种带自适应学习率的综合随机梯度下降Q-学习方法 被引量：15
8
作者 金海东 刘全 陈冬火 《计算机学报》 EI CSCD 北大核心 2019年第10期2203-2215,共13页
在线强化学习中,值函数的逼近通常采用随机梯度下降(Stochastic Gradient Descent,SGD)方法.在每个时间步,SGD方法使用强化学习算法获取随机样本,计算损失函数的局部梯度,单次模型参数更新的计算量小,适合在线学习.但是,由于目标函数不... 在线强化学习中,值函数的逼近通常采用随机梯度下降(Stochastic Gradient Descent,SGD)方法.在每个时间步,SGD方法使用强化学习算法获取随机样本,计算损失函数的局部梯度,单次模型参数更新的计算量小,适合在线学习.但是,由于目标函数不同维度存在梯度差异,SGD方法会产生优化震荡,导致迭代次数增多,收敛速度变慢甚至不能收敛.本文提出一种带自适应学习率的综合随机梯度下降方法(Adaptive Learning Rate on Integrated Stochastic Gradient Descent,ALRI-SGD),对SGD做了两方面改进:(1)在基于参数预测的基础上,利用历史随机梯度信息综合计算当前时间步的更新梯度;(2)根据不同维度的历史梯度信息,动态计算每个维度的学习率.在一定的数学约束条件下,证明了ALRI-SGD方法的收敛性.把ALRI-SGD方法与基于线性函数逼近的离策略Q-学习算法结合,用于求解强化学习中经典的Mountain Car问题和平衡杆问题,并与基于SGD的Q-学习算法进行实验比较.实验结果表明,ALRI-SGD方法能动态匹配模型参数在不同维度上的梯度差异,并使学习率自动更新以适应不同维度的数据特征.ALRI-SGD方法在收敛效率和收敛稳定性两个方面都有提升. 展开更多
关键词 强化学习 综合随机梯度下降 自适应学习率 参数预测 Q-学习
在线阅读 下载PDF
非均衡加权随机梯度下降SVM在线算法 被引量：3
9
作者 鲁淑霞 周谧 金钊 《计算机科学与探索》 CSCD 北大核心 2017年第10期1662-1671,共10页
随机梯度下降(stochastic gradient descent,SGD)方法已被应用于大规模支持向量机(support vector machine,SVM)训练,其在训练时采取随机选点的方式,对于非均衡分类问题,导致多数类点被抽取到的概率要远远大于少数类点,造成了计算上的... 随机梯度下降(stochastic gradient descent,SGD)方法已被应用于大规模支持向量机(support vector machine,SVM)训练,其在训练时采取随机选点的方式,对于非均衡分类问题,导致多数类点被抽取到的概率要远远大于少数类点,造成了计算上的不平衡。为了处理大规模非均衡数据分类问题,提出了加权随机梯度下降的SVM在线算法,对于多数类中的样例被赋予较小的权值,而少数类中的样例被赋予较大的权值,然后利用加权随机梯度下降算法对SVM原问题进行求解,减少了超平面向少数类的偏移,较好地解决了大规模学习中非均衡数据的分类问题。 展开更多
关键词 随机梯度下降(sgd) 权 非均衡数据 大规模学习 支持向量机(SVM)
在线阅读 下载PDF
自适应光学系统随机并行梯度下降算法 被引量：5
10
作者 马慧敏 张鹏飞 +2 位作者 张京会 范承玉 王英俭 《强激光与粒子束》 EI CAS CSCD 北大核心 2010年第6期1206-1210,共5页
随机并行梯度下降（SPGD）算法可以对系统性能指标直接优化来校正畸变波前。对基于SPGD算法的61单元自适应光学系统进行仿真模拟,分析了对不同初始静态畸变波前的校正能力,并比较了不同性能指标情况下的算法增益系数、扰动幅度值的选取... 随机并行梯度下降（SPGD）算法可以对系统性能指标直接优化来校正畸变波前。对基于SPGD算法的61单元自适应光学系统进行仿真模拟,分析了对不同初始静态畸变波前的校正能力,并比较了不同性能指标情况下的算法增益系数、扰动幅度值的选取及校正情况。仿真结果表明：算法收敛速度很大程度上依赖于增益系数和扰动幅度值,对畸变较大的波前,随机扰动幅度在0.50~0.85范围内,性能指标采用焦斑平均半径比采用斯特列尔比取得的校正效果好。 展开更多
关键词 自适应光学 随机并行梯度下降算法 数值仿真 波前畸变
在线阅读 下载PDF
基于Zernike模式的随机并行梯度下降算法的收敛速率 被引量：6
11
作者 王卫兵 赵帅 +1 位作者 郭劲 王挺峰 《中国光学》 EI CAS 2012年第4期407-415,共9页
为了加快控制变形镜进行波前整形的随机并行梯度下降(SPGD)算法的收敛速率,提高实时波前整形能力,本文利用由12阶Zernike多项式构成的畸变波前和32单元变形镜建立了仿真模型。基于Zernike多项式的单位正交性,得到了两个常数矩阵,当斯特... 为了加快控制变形镜进行波前整形的随机并行梯度下降(SPGD)算法的收敛速率,提高实时波前整形能力,本文利用由12阶Zernike多项式构成的畸变波前和32单元变形镜建立了仿真模型。基于Zernike多项式的单位正交性,得到了两个常数矩阵,当斯特列尔比(SR)达到0.8时,需要算法迭代660次,简化了算法的运算过程,加快了算法运行时间。通过Matlab7.8.0对6种SPGD算法进行仿真对比,结果显示:当SR要求不高时,可使用间接固定双边SPGD算法来提高收敛速度;当SR要求较高时,则应当使用间接自动双边SPGD算法。提出的算法为实际的激光整形提供了理论指导。 展开更多
关键词 波前整形系统 随机并行梯度下降算法 仿真 ZERNIKE多项式 变形镜
在线阅读 下载PDF
基于随机并行梯度下降算法的湍流像差校正仿真 被引量：5
12
作者 马慧敏 张京会 +1 位作者 张鹏飞 范承玉 《红外与激光工程》 EI CSCD 北大核心 2011年第9期1738-1742,共5页
随机并行梯度下降(SPGD)算法可不依赖波前探测直接优化系统性能指标来校正畸变波前。建立了基于随机并行梯度下降算法控制的61单元湍流校正仿真模型,实现了通过该算法控制倾斜镜和变形镜对湍流引起的像差的校正。结果发现,该算法能够找... 随机并行梯度下降(SPGD)算法可不依赖波前探测直接优化系统性能指标来校正畸变波前。建立了基于随机并行梯度下降算法控制的61单元湍流校正仿真模型,实现了通过该算法控制倾斜镜和变形镜对湍流引起的像差的校正。结果发现,该算法能够找到补偿湍流像差所需的倾斜镜和变形镜的最优面形。采用SPGD算法控制,倾斜镜校正后,远场光斑质心更靠近轴心而且轴上斯特列尔比有所提高;倾斜镜和变形镜共同校正比变形镜单独校正的效果好,这也说明倾斜镜的校正是有效的。 展开更多
关键词 自适应光学 随机并行梯度下降算法 湍流
在线阅读 下载PDF
随机并行梯度下降算法在激光束整形中的应用 被引量：7
13
作者 刘磊 郭劲 +3 位作者 赵帅 姜振华 孙涛 王挺峰 《中国光学》 EI CAS 2014年第2期260-266,共7页
为了满足高光束质量要求,校正激光束在传输过程中产生的波前畸变,改善激光位相分布,进而提高聚焦光斑的能量集中度,基于79单元微机械薄膜变形镜(MMDM)搭建了一套激光束整形实验系统。利用随机并行梯度下降(SPGD)算法,分别选择聚焦光斑... 为了满足高光束质量要求,校正激光束在传输过程中产生的波前畸变,改善激光位相分布,进而提高聚焦光斑的能量集中度,基于79单元微机械薄膜变形镜(MMDM)搭建了一套激光束整形实验系统。利用随机并行梯度下降(SPGD)算法,分别选择聚焦光斑半径、形心为中心的环围能量比和质心为中心的环围能量比作为算法性能指标,开展了激光束整形实验研究。3种情况下,分别经过58次、197次、133次迭代趋于收敛,但光斑半径作为性能指标时振荡严重;环围能量比从整形前的0.200 5、0.127 7、0.200 5分别增加到整形后的0.669 9、0.733 9、0.864 0。实验结果表明:MMDM用于激光束整形具有良好的效果,光斑半径作为性能指标整形速度最快,其次为质心环围能量比,形心环围能量比最慢;质心环围能量比作为性能指标整形效果最好,其次为形心环围能量比,光斑半径最差。综合比较,质心环围能量比作为性能指标时综合效果最好。 展开更多
关键词 随机并行梯度下降算法 激光束整形 微机械薄膜变形镜 性能指标
在线阅读 下载PDF
自适应光学随机并行梯度下降算法波前整形规律仿真(英文) 被引量：7
14
作者 王卫兵 王挺峰 郭劲 《中国光学》 EI CAS 2014年第3期411-420,共10页
本文首先介绍了基于Zernike模式的SPGD算法对大气湍流畸变波前的整形原理,通过推导得到了关于性能指标的简明表达式,使SPGD算法收敛速率得到明显提升。然后建立了自适应光学随机并行梯度下降算法波前整形系统模型,主要对SPGD算法收敛速... 本文首先介绍了基于Zernike模式的SPGD算法对大气湍流畸变波前的整形原理,通过推导得到了关于性能指标的简明表达式,使SPGD算法收敛速率得到明显提升。然后建立了自适应光学随机并行梯度下降算法波前整形系统模型,主要对SPGD算法收敛速率、整形能力和整形效果随波前畸变量和变形镜模型的变化规律作了较为详细的仿真研究,整体定性结果表明：三者的变化规律有一定的相似性,同时利用最小二乘法得到了关于整形能力和整形效果变化规律的定量表达式,若从自适应光学波前整形系统的实时性和简单性考虑,在保证一定整形效果的情况下,选择37单元变形镜对畸变波前的3~27（25）阶Zernike像差进行整形即可。 展开更多
关键词 自适应光学波前整形 随机并行梯度下降算法 收敛速率 整形能力 整形效果
在线阅读 下载PDF
基于Zernike模式的自适应光学系统随机并行梯度下降算法 被引量：9
15
作者 杨慧珍 李新阳 《强激光与粒子束》 EI CAS CSCD 北大核心 2009年第5期645-648,共4页
控制算法的收敛速度一定程度上限制了无波前探测自适应光学技术在实时波前畸变校正中的应用。从理论分析角度提出将模式法和区域法结合起来以提高算法收敛速度,并以61单元变形镜为校正器,建立基于随机并行梯度下降算法自适应光学系统仿... 控制算法的收敛速度一定程度上限制了无波前探测自适应光学技术在实时波前畸变校正中的应用。从理论分析角度提出将模式法和区域法结合起来以提高算法收敛速度,并以61单元变形镜为校正器,建立基于随机并行梯度下降算法自适应光学系统仿真模型。结果表明:达到同样的校正效果时,采用组合优化的算法收敛速度要明显优于基于区域法的收敛速度,从而验证了理论分析的合理性。 展开更多
关键词 自适应光学系统 随机并行梯度下降算法 Zernike模式
在线阅读 下载PDF
随机梯度下降算法研究进展 被引量：92
16
作者 史加荣 王丹 +1 位作者 尚凡华 张鹤于 《自动化学报》 EI CAS CSCD 北大核心 2021年第9期2103-2119,共17页
在机器学习领域中,梯度下降算法是求解最优化问题最重要、最基础的方法.随着数据规模的不断扩大,传统的梯度下降算法已不能有效地解决大规模机器学习问题.随机梯度下降算法在迭代过程中随机选择一个或几个样本的梯度来替代总体梯度,以... 在机器学习领域中,梯度下降算法是求解最优化问题最重要、最基础的方法.随着数据规模的不断扩大,传统的梯度下降算法已不能有效地解决大规模机器学习问题.随机梯度下降算法在迭代过程中随机选择一个或几个样本的梯度来替代总体梯度,以达到降低计算复杂度的目的.近年来,随机梯度下降算法已成为机器学习特别是深度学习研究的焦点.随着对搜索方向和步长的不断探索,涌现出随机梯度下降算法的众多改进版本,本文对这些算法的主要研究进展进行了综述.将随机梯度下降算法的改进策略大致分为动量、方差缩减、增量梯度和自适应学习率等四种.其中,前三种主要是校正梯度或搜索方向,第四种对参数变量的不同分量自适应地设计步长.着重介绍了各种策略下随机梯度下降算法的核心思想、原理,探讨了不同算法之间的区别与联系.将主要的随机梯度下降算法应用到逻辑回归和深度卷积神经网络等机器学习任务中,并定量地比较了这些算法的实际性能.文末总结了本文的主要研究工作,并展望了随机梯度下降算法的未来发展方向. 展开更多
关键词 随机梯度下降算法 机器学习 深度学习 梯度下降算法 大规模学习 逻辑回归 卷积神经网络
在线阅读 下载PDF
基于随机并行梯度下降算法的光束相干合成技术 被引量：2
17
作者 潘旭东 贺喜 +2 位作者 雍松林 张生帅 田俊林 《强激光与粒子束》 EI CAS CSCD 北大核心 2013年第10期2521-2526,共6页
介绍了随机并行梯度下降算法的基本原理,对算法流程进行了仿真验证,并对其中随机扰动幅度和增益系数两个关键参数进行了仿真分析。分析结果表明,这两个参数存在一个最适区间,只有在此区间内取值时算法才能有效收敛。以仿真分析为依据开... 介绍了随机并行梯度下降算法的基本原理,对算法流程进行了仿真验证,并对其中随机扰动幅度和增益系数两个关键参数进行了仿真分析。分析结果表明,这两个参数存在一个最适区间,只有在此区间内取值时算法才能有效收敛。以仿真分析为依据开展了光纤激光的相干合成实验,结果表明光束相干合成效果显著,有效地验证了仿真分析的结果。 展开更多
关键词 随机并行梯度下降算法 光纤激光 相干合成 高功率激光
在线阅读 下载PDF
带有方差减小的加权零阶随机梯度下降算法 被引量：6
18
作者 鲁淑霞 张罗幻 +1 位作者 蔡莲香 孙丽丽 《河北大学学报（自然科学版）》 CAS 北大核心 2019年第5期536-546,共11页
随机梯度下降(stochastic gradient descent,SGD)算法是机器学习问题中的高效求解方法之一.但是,对于非平衡数据,传统的随机梯度下降算法,在训练时多数类点被抽到的概率远大于少数类点,易导致计算不平衡;对于目标函数不可导或不易求导... 随机梯度下降(stochastic gradient descent,SGD)算法是机器学习问题中的高效求解方法之一.但是,对于非平衡数据,传统的随机梯度下降算法,在训练时多数类点被抽到的概率远大于少数类点,易导致计算不平衡;对于目标函数不可导或不易求导的问题,计算代价太大或无法进行计算;在每次迭代中利用单个样本梯度近似代替全梯度,这必然会产生方差,严重影响算法的分类性能.针对上述问题,提出了带有方差减小的加权零阶随机梯度下降算法,考虑了数据的间隔分布情况,在目标函数中引入了间隔均值项,并对多数类样例赋予了较小的权值,对少数类样例赋予较大的权值.在对优化问题的求解中,采用零阶优化的方法对梯度进行估计,并且引入了方差减小策略.在一些非平衡数据集上的实验验证了所提算法的有效性,并有效解决了上述问题. 展开更多
关键词 零阶优化 随机梯度下降 方差减小 非平衡数据 支持向量机
在线阅读 下载PDF
面向深度神经网络训练的数据差分隐私保护随机梯度下降算法 被引量：5
19
作者 李英 贺春林 《计算机应用与软件》 北大核心 2020年第4期252-259,共8页
针对传统深度神经网络所采用的随机梯度下降算法忽略了对数据集隐私性保护的缺点,提出一种基于数据差分隐私保护的随机梯度下降算法。引入范数剪切与附加高斯噪声操作,对传统梯度更新策略进行改进。为衡量每次迭代过程中对数据隐私性的... 针对传统深度神经网络所采用的随机梯度下降算法忽略了对数据集隐私性保护的缺点,提出一种基于数据差分隐私保护的随机梯度下降算法。引入范数剪切与附加高斯噪声操作,对传统梯度更新策略进行改进。为衡量每次迭代过程中对数据隐私性的破坏,提出隐私损失累积函数在迭代过程中对数据隐私性的侵犯程度进行度量。MNIST手写数字识别和CIFAR-10图像分类实验表明,该算法在保护数据集隐私性的同时,对手写数字以及图像分类的识别准确率分别超过了90%和70%,且相较于传统的随机梯度下降算法,其准确率提升了5%以上。该算法在实际工程中能够有效兼顾数据隐私性保护与神经网络辨识准确度。 展开更多
关键词 深度神经网络 差分隐私 训练集 随机梯度下降 范数剪切 隐私损失累积函数
在线阅读 下载PDF
基于随机并行梯度下降算法的InSAR相位解缠方法
20
作者 杨新锋 宋长斌 刘克成 《计算机工程与科学》 CSCD 北大核心 2015年第3期611-615,共5页
相位解缠是干涉合成孔径雷达InSAR数据处理中的一个关键步骤,解缠结果的好坏直接影响最终数字高程模型的精度。介绍了一种基于随机并行梯度下降SPGD算法的解缠方法,该方法对图像中各相位点施加随机并行扰动,通过迭代使得解缠误差代价函... 相位解缠是干涉合成孔径雷达InSAR数据处理中的一个关键步骤,解缠结果的好坏直接影响最终数字高程模型的精度。介绍了一种基于随机并行梯度下降SPGD算法的解缠方法,该方法对图像中各相位点施加随机并行扰动,通过迭代使得解缠误差代价函数收敛到全局最优值,从而实现相位解缠的目的。模拟和实测数据实验结果表明,相较于最小二乘解缠方法,随机并行梯度下降解缠算法精度更高,且原理简单,易于实现,为相位解缠提供了一个全新的思路。 展开更多
关键词 相位解缠 干涉合成孔径雷达 随机并行梯度下降 最小二乘
在线阅读 下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 2 … 8 下一页 到第 页
关于我们 | 版权声明 | 联系我们 | 帮助中心| 意见反馈
主办单位：上海市教育委员会
技术支持：重庆维普资讯有限公司
渝公网安备 50019002500403号
使用帮助 返回顶部