基于小批量随机梯度下降法的SVM训练隐私保护方案 被引量：1

1

作者 王杰昌 刘玉岭 +2 位作者 张平 刘牧华 赵新辉 《信息安全研究》 CSCD 北大核心 2024年第10期967-974,共8页

使用支持向量机(support vector machine,SVM)处理敏感数据时,隐私保护很重要,已有SVM隐私保护方案基于批量梯度下降法(batch gradient descent,BGD)进行训练,计算开销巨大.针对该问题,提出基于小批量随机梯度下降法(mini-batch stochas... 使用支持向量机(support vector machine,SVM)处理敏感数据时,隐私保护很重要,已有SVM隐私保护方案基于批量梯度下降法(batch gradient descent,BGD)进行训练,计算开销巨大.针对该问题,提出基于小批量随机梯度下降法(mini-batch stochastic gradient descent,Mini-batch SGD)的SVM隐私保护方案.首先,设计基于Mini-batch SGD的SVM训练算法;然后在此基础上,对模型权重进行乘法扰动,利用大整数分解问题困难假设确保模型的隐私性,使用同态密码体制对数据加密后再执行SVM训练,之后运用同态哈希函数进行验证;最终构建了SVM隐私保护方案.针对安全威胁,论证了数据隐私性、模型隐私性、模型正确性.对方案进行仿真实验和分析,结果表明,该方案在分类性能接近已有方案的情况下,其计算时间开销平均节约了92.4%. 展开更多

关键词 小批量随机梯度下降法 支持向量机 同态加密 同态哈希函数 隐私保护

在线阅读 下载PDF 职称材料

带有随机改进Barzilai-Borwein步长的小批量稀疏随机方差缩减梯度法 被引量：1

2

作者 秦传东 杨旭 《计算机应用研究》 CSCD 北大核心 2023年第12期3655-3659,3665,共6页

为了更好地应对当今时代的大规模高维稀疏数据集,融合BB方法、小批量算法与随机方差缩减梯度法(SVRG)优势,提出一种带有随机改进Barzilai-Borwein步长的小批量稀疏随机方差缩减梯度法(MSSVRG-R2BB)。首先,在SVRG外循环中全梯度计算的基... 为了更好地应对当今时代的大规模高维稀疏数据集,融合BB方法、小批量算法与随机方差缩减梯度法(SVRG)优势,提出一种带有随机改进Barzilai-Borwein步长的小批量稀疏随机方差缩减梯度法(MSSVRG-R2BB)。首先,在SVRG外循环中全梯度计算的基础上加入L_1范数次梯度设计出一种稀疏近似梯度用于内循环,得到一种稀疏的SVRG算法(SSVRG)。在此基础上,在小批量的稀疏随机方差缩减梯度法中使用随机选取的改进BB方法自动计算、更新步长,解决了小批量算法的步长选取问题,拓展得到MSSVRG-R2BB算法。数值实验表明,在求解大规模高维稀疏数据的线性支持向量机(SVM)问题时,MSSVRG-R2BB算法不仅可以减小运算成本、更快达到收敛上界,同时能达到与其他先进的小批量算法相同的优化水平,并且对于不同的初始参数选取表现稳定且良好。 展开更多

关键词 随机梯度下降法 小批量算法 Barzilai-Borwein方法 方差缩减 凸优化

在线阅读 下载PDF 职称材料

批量减数更新方差缩减梯度下降算法BSUG 被引量：6

3

作者 宋杰 朱勇 许冰 《计算机工程与应用》 CSCD 北大核心 2020年第22期117-123,共7页

机器学习问题通常会转换成求解一个目标函数问题。继随机梯度下降(Stochastic Gradient Descent,SGD)之后,随机方差缩减梯度法(Stochastic Variance Reduction Gradient,SVRG)成为如今优化目标函数参数的主流算法,它由于不受方差影响达... 机器学习问题通常会转换成求解一个目标函数问题。继随机梯度下降(Stochastic Gradient Descent,SGD)之后,随机方差缩减梯度法(Stochastic Variance Reduction Gradient,SVRG)成为如今优化目标函数参数的主流算法,它由于不受方差影响达到线性收敛而被人们广泛研究。它的提出导致陆续出现如SAGA(Stochastic Average Gradient Average)和SCSG(Stochastically Controlled Stochastic Gradient)等新型方差缩减算法,它们有着过量消耗内存、迭代缓慢等问题。为了实现小成本存储以及快速迭代的目的,设计了一种以SVRG为基础的新型变异方差缩减算法BSUG(Batch Subtraction Update Gradient)。改进在于:使用小批量样本代替全部样本进行平均梯度计算,同时对平均梯度进行减数更新。每轮迭代中,随机抽取一批小样本进行平均梯度计算,同时在内部迭代时通过对过去模型梯度的舍去来达到更新平均梯度的目的。通过合适地降低批大小B,可以减少内存存储以及迭代次数。理论分析算法的收敛性,并基于Python进行算法实现,通过与Mini-Batch SGD、AdaGrad、RMSProp、SVRG和SCSG等算法进行比较证明了BSUG算法的有效性,并且通过对超参数进行探究证明了算法的稳定性。 展开更多

关键词 机器学习 优化 小批量 减数更新 随机方差缩减梯度法(SVRG)

在线阅读 下载PDF 职称材料

分布式随机方差消减梯度下降算法topkSVRG 被引量：5

4

作者 王建飞 亢良伊 +1 位作者 刘杰 叶丹 《计算机科学与探索》 CSCD 北大核心 2018年第7期1047-1054,共8页

机器学习问题通常会转换成一个目标函数进行求解,优化算法是求解目标函数中参数的重要工具。随机梯度下降(stochastic gradient descent,SGD)是目前应用最广的算法,因其易受噪声干扰只能达到次线性收敛率,而改进后的随机方差消减梯度法(... 机器学习问题通常会转换成一个目标函数进行求解,优化算法是求解目标函数中参数的重要工具。随机梯度下降(stochastic gradient descent,SGD)是目前应用最广的算法,因其易受噪声干扰只能达到次线性收敛率,而改进后的随机方差消减梯度法(stochastic variance reduction gradient,SVRG)则可以达到线性的收敛率。SVRG是一种串行单机版算法,为了应对大规模数据集分布式训练问题,设计一种以SVRG算法思想为基础的分布式SVRG的实现算法topk SVRG。改进在于:主节点维护一个全局模型,从节点基于本地数据进行局部模型更新。每轮迭代时,选择与当前全局模型距离最小的k个局部模型进行平均来更新全局模型,参数k调大可以提高收敛速度,调小k可以保证收敛。理论分析了算法的线性收敛性,基于Spark进行算法实现,通过与Mini-Batch SGD、CoCoA、Splash及相关算法的实验比较,topkSVRG可以在高精度要求下更快地收敛。 展开更多

关键词 机器学习 优化 随机梯度下降(SGD) 随机方差消减梯度法(SVRG) 分布式计算

在线阅读 下载PDF 职称材料

基于优化快速搜索随机树算法的全局路径规划 被引量：3

5

作者 杨炜 谭亮 +2 位作者 孙雪 杜亚峰 周晓冰 《汽车技术》 CSCD 北大核心 2024年第3期31-36,共6页

为了改善传统快速搜索随机树(RRT)算法在全局路径规划中存在的平滑度差、具有潜在碰撞性等问题,提出了一种双重优化的RRT算法。在传统RRT算法基础上,引入自适应目标偏向策略以缩短采样时间,引入角度约束采样策略以适应车辆极限转角。得... 为了改善传统快速搜索随机树(RRT)算法在全局路径规划中存在的平滑度差、具有潜在碰撞性等问题,提出了一种双重优化的RRT算法。在传统RRT算法基础上,引入自适应目标偏向策略以缩短采样时间,引入角度约束采样策略以适应车辆极限转角。得到初始路径后,建立二项优化函数(即降低路径曲率和远离障碍物),并将其作为基点进行梯度下降二次优化,生成可供车辆行驶、平滑性良好且碰撞概率低的路径,并进行仿真验证。结果表明:优化RRT算法相比于传统RRT算法、RRT-Connect算法和RRT算法,平均曲率分别降低了38.1%、36.4%和24.7%,曲率均方差分别降低了38.4%、38.4%和27.2%。 展开更多

关键词 快速搜索随机树 全局路径规划 避障 梯度下降法

在线阅读 下载PDF 职称材料

求解SVM的稀疏随机方差缩减梯度法 被引量：3

6

作者 周晓君 于腾腾 《计算机应用研究》 CSCD 北大核心 2020年第S02期95-97,101,共4页

针对随机梯度下降(SGD)算法解支持向量机(SVM)中存在步长的选取耗时且收敛速度较慢等问题,提出使用改进的Barzilai-Borwein(BB)法自动计算小批量随机方差减小的梯度法(MSVRG)的步长,来解决光滑化合页损失函数的支持向量机问题。针对高... 针对随机梯度下降(SGD)算法解支持向量机(SVM)中存在步长的选取耗时且收敛速度较慢等问题,提出使用改进的Barzilai-Borwein(BB)法自动计算小批量随机方差减小的梯度法(MSVRG)的步长,来解决光滑化合页损失函数的支持向量机问题。针对高维稀疏数据下,SVRG在外循环的迭代中因全梯度的计算而变得稠密,使用稀疏近似梯度将MSVRG-BB算法拓展得到新的算法:MSSVRG-BB。数值实验表明,MSSVRG-BB算法不仅对初始参数的选取并不敏感,且与先进的小批量算法相比,对于求解大规模高维稀疏数据的线性SVM问题,稀疏近似梯度的使用使运算成本减小进而能够更快地达到收敛上界。 展开更多

关键词 支持向量机 稀疏性 Barzilai-Borwein 小批量 随机方差减小梯度法(SVRG)

在线阅读 下载PDF 职称材料

基于S-BGD和梯度累积策略的改进深度学习方法及其在光伏出力预测中的应用 被引量：26

7

作者 黎静华 黄乾 +1 位作者 韦善阳 黄玉金 《电网技术》 EI CSCD 北大核心 2017年第10期3292-3299,共8页

为提高光伏出力的预测精度,提出了一种改进深度学习算法的光伏出力预测方法。首先,针对传统的深度学习算法采用批量梯度下降(batch gradient descent,BGD)法训练模型参数速度慢的问题,利用随机梯度下降(stochastic gradient descent,SGD... 为提高光伏出力的预测精度,提出了一种改进深度学习算法的光伏出力预测方法。首先,针对传统的深度学习算法采用批量梯度下降(batch gradient descent,BGD)法训练模型参数速度慢的问题,利用随机梯度下降(stochastic gradient descent,SGD)法训练快的优点,提出了一种改进的随机-批量梯度下降(stochastic-batch gradient descent,S-BGD)搜索方法,该方法兼具SGD和BGD的优点,提高了参数训练的速度。然后,针对参数训练过程中容易陷入局部最优点和鞍点的问题,借鉴运动学理论,提出了一种基于梯度累积(gradient pile,GP)的训练方法。该方法以累积梯度作为参数的修正量,可以有效地避免训练陷入局部点和鞍点,进而提高预测精度。最后,以澳大利亚艾丽斯斯普林光伏电站的数据为样本,将所提方法应用于光伏出力预测中,验证所提方法的有效性。 展开更多

关键词 光伏出力预测 深度学习算法 梯度下降法 梯度累积量 参数训练 神经网络 随机-批量梯度下降

在线阅读 下载PDF 职称材料

基于深度学习的理论线损率计算方法研究 被引量：3

8

作者 尚云飞 姜明军 +1 位作者 张东平 赵旻昱 《电测与仪表》 北大核心 2024年第10期33-38,81,共7页

线损率是综合反映电网规划、生产、管理等的重要经济技术指标,针对目前计算方法存在的计算速度慢和误差大等问题,提出了一种结合深层置信网络和深层神经网络的理论线损率计算模型。将计算过程转化为多特征提取过程,模型通过逐层贪婪法... 线损率是综合反映电网规划、生产、管理等的重要经济技术指标,针对目前计算方法存在的计算速度慢和误差大等问题,提出了一种结合深层置信网络和深层神经网络的理论线损率计算模型。将计算过程转化为多特征提取过程,模型通过逐层贪婪法和随机小批量梯度下降法等进行训练。通过算例与传统模型进行对比分析。结果表明,与传统的线损率计算方法相比,所提方法无论是精度还是效率都有一定的提升,表明了所提方法的优越性,具有一定的实用价值。 展开更多

关键词 线损率 深度置信网络 深层神经网络 逐层贪婪法 随机小批量梯度下降法

在线阅读 下载PDF 职称材料

面向大规模服务性能预测的在线学习方法 被引量：6

9

作者 孙勇 谭文安 +1 位作者 谢娜 蒋文明 《计算机科学与探索》 CSCD 北大核心 2017年第12期1922-1930,共9页

为提高服务运行质量,需要主动预防服务失效和服务性能波动,而不是在服务发生错误时触发处理程序。高效地预测与分析大规模服务的性能是有效可行的主动预防工具。然而传统的服务性能预测模型多采用完全批量训练模式,难以满足大规模服务... 为提高服务运行质量,需要主动预防服务失效和服务性能波动,而不是在服务发生错误时触发处理程序。高效地预测与分析大规模服务的性能是有效可行的主动预防工具。然而传统的服务性能预测模型多采用完全批量训练模式,难以满足大规模服务计算的实时性要求。在综合权衡完全批量学习法和随机梯度下降法的基础上,建立了基于在线学习的大规模服务性能预测模型,提出了一种基于小批量在线学习的服务性能预测方法,通过合理地设置预测模型的批量参数,一次迭代仅需训练批量规模较小的样本数据,从而改善大规模服务性能预测的时间效率;详细分析了在线服务预测模型的收敛性。实验表明,提出的在线学习算法有效地解决了大规模服务预测算法的时效性问题。 展开更多

关键词 大规模服务计算 在线学习 小批量在线学习 随机梯度下降法

在线阅读 下载PDF 职称材料

一种联合的时序数据特征序列分类学习算法 被引量：4

10

作者 史苇杭 林楠 《计算机工程》 CAS CSCD 北大核心 2016年第6期196-200,207,共6页

针对时序数据特征学习中特征序列占用空间大和运算复杂度高的问题,提出一种联合学习特征序列和分类参数的分类算法。对时序数据进行特征变换后,采用线性分类器从最小距离矩阵中学习模型参数,以预测目标变量。在目标函数中,对分类预测的... 针对时序数据特征学习中特征序列占用空间大和运算复杂度高的问题,提出一种联合学习特征序列和分类参数的分类算法。对时序数据进行特征变换后,采用线性分类器从最小距离矩阵中学习模型参数,以预测目标变量。在目标函数中,对分类预测的损失函数和分类器的线性权重进行联合学习,并利用随机梯度下降法求解优化问题。实验结果表明,与F-Stat和表达式变换方法相比,该算法在保持较少运算时间的前提下,具有较高的分类预测准确率。 展开更多

关键词 时序数据 机器学习 随机梯度下降法 优化算法 分类

在线阅读 下载PDF 职称材料

基于KL散度和近邻点间距离的球面嵌入算法 被引量：5

11

作者 张变兰 路永钢 张海涛 《计算机应用》 CSCD 北大核心 2017年第3期680-683,690,共5页

针对现有球面嵌入算法在非近邻点间的距离度量不准确或缺失的情况下,不能有效地进行低维嵌入的问题,提出了一种新的球面嵌入算法,它能够只利用近邻点间的距离,将任何尺度的高维数据嵌入到单位球面上,同时求出适合原始数据分布的球面半... 针对现有球面嵌入算法在非近邻点间的距离度量不准确或缺失的情况下,不能有效地进行低维嵌入的问题,提出了一种新的球面嵌入算法,它能够只利用近邻点间的距离,将任何尺度的高维数据嵌入到单位球面上,同时求出适合原始数据分布的球面半径。该算法从一个随机产生的球面分布开始,利用KL散度衡量每对近邻点间的归一化距离在原始空间和球面空间中的差异,并基于此差异构建出目标函数,然后再用带有动量的随机梯度下降法,不断优化球面上点的分布,直到结果稳定。为了测试算法,模拟产生了两类球面分布数据:分别是球面均匀分布和球面正态分布的数据。实验结果表明,对于球面均匀分布的数据,即使在近邻点个数很少的情况下,仍然能够将数据准确地嵌入球面空间,嵌入后的数据分布与原始数据分布的均方根误差(RMSE)低于0.000 01,且球面半径的估算误差低于0.000 001;而对于球面正态分布的数据,在近邻点个数较多的情况下,该算法也可以将数据较准确地嵌入球面空间。因此,在非近邻点间距离缺失的情况下,所提方法仍然可以较准确地对数据进行低维嵌入,这非常有利于数据的可视化研究。 展开更多

关键词 球面嵌入 KL散度 随机梯度下降法 最近邻

在线阅读 下载PDF 职称材料

基于SGD算法优化的BP神经网络围岩参数反演模型研究 被引量：8

12

作者 孙泽 宋战平 +1 位作者 岳波 杨子凡 《隧道建设（中英文）》 CSCD 北大核心 2023年第12期2066-2076,共11页

为充分利用现场监测数据所反馈的围岩变形信息,对岩体力学参数进行反演,以贵州省剑河至黎平高速公路TJ-1标段牛练塘隧道为工程背景,选择围岩弹性模量、黏聚力、泊松比及内摩擦角为影响因素,通过设计正交试验及有限元模拟,获取25组围岩... 为充分利用现场监测数据所反馈的围岩变形信息,对岩体力学参数进行反演,以贵州省剑河至黎平高速公路TJ-1标段牛练塘隧道为工程背景,选择围岩弹性模量、黏聚力、泊松比及内摩擦角为影响因素,通过设计正交试验及有限元模拟,获取25组围岩物理力学参数组合及其对应的拱顶沉降值和拱腰收敛模拟值。基于随机梯度下降算法(stochastic gradient descent algorithm,简称SGD算法)对传统BP神经网络模型进行改进,建立以拱顶沉降值和拱腰收敛值为输入参数,以围岩弹性模量、黏聚力、泊松比及内摩擦角为输出值的基于SGD算法优化的BP神经网络模型,实现围岩参数的反演分析。将反演所得的围岩参数代入有限元模型,验证优化BP神经网络模型的可行性和准确性。最后,分析围岩变形及初期支护受力特性并给出施工建议。结果表明:1)基于SGD算法优化的BP神经网络模型计算得出的拱顶沉降值、拱腰收敛值、拱肩收敛值与现场实测值的相对误差率在2.50%~24.01%,均低于传统BP神经网络模型计算得出的误差率(11.51%~93.71%),验证优化BP神经网络模型的可行性和优越性;2)上、下台阶拱脚处的喷层和锚杆有应力集中现象,有破坏风险,建议施工中加强拱脚支护,防止发生工程事故。 展开更多

关键词 隧道工程 围岩参数反演 随机梯度下降算法 神经网络 正交试验法 数值模拟

在线阅读 下载PDF 职称材料

α噪声下基于随机共振的最大相关熵频谱感知 被引量：2

13

作者 李如雪 鲁进 罗聪 《数据采集与处理》 CSCD 北大核心 2023年第6期1342-1352,共11页

α噪声下的频谱感知成为近年来的研究热点,该噪声的统计模型具有明显的脉冲性和拖尾性,并且在微弱信号条件下,信号特征不够明显。为此提出了基于随机共振的最大相关熵频谱感知方法,该方法通过随机共振模型中粒子在双势阱间的跃迁,将α... α噪声下的频谱感知成为近年来的研究热点,该噪声的统计模型具有明显的脉冲性和拖尾性,并且在微弱信号条件下,信号特征不够明显。为此提出了基于随机共振的最大相关熵频谱感知方法,该方法通过随机共振模型中粒子在双势阱间的跃迁,将α噪声的部分能量转移到信号中,以提高信号的输出信噪比。采用最大相关熵方法构建高阶统计量,检测随机共振后的输出信号,并联合共轭梯度下降法获取最佳目标函数,实现频谱感知。仿真结果表明,该算法在低信噪比条件下能够有效提高检测性能。 展开更多

关键词 频谱感知 随机共振 α噪声 共轭梯度下降法 最大相关熵

在线阅读 下载PDF 职称材料

基于样条插值的液晶空间光调制器衍射效率优化方法研究 被引量：2

14

作者 康丁 王春阳 +2 位作者 王子硕 王增 郑青泉 《红外与激光工程》 EI CSCD 北大核心 2022年第9期248-257,共10页

针对液晶空间光调制器阵元间相位调制量偏差降低光束衍射效率的问题,提出基于样条插值的液晶空间光调制器衍射效率优化方法。依据泰曼-格林干涉原理,搭建了相位调制系统。对调制器加载阶梯变化的灰度图,通过计算干涉条纹移动量,绘制液... 针对液晶空间光调制器阵元间相位调制量偏差降低光束衍射效率的问题,提出基于样条插值的液晶空间光调制器衍射效率优化方法。依据泰曼-格林干涉原理,搭建了相位调制系统。对调制器加载阶梯变化的灰度图,通过计算干涉条纹移动量,绘制液晶空间光调制器相位调制曲线。采用三次样条反插值法对相位调制曲线进行校正,实现对相位调制量的相位补偿。搭建液晶空间光调制器衍射效率测试系统,对所提优化方法进行实验验证,并与随机梯度下降法进行了对比。结果表明:当光束偏转角度为1.56°、0.78°、0.39°、0.19°时,文中所提方法提高了30%~40%的光束衍射效率,相较于随机并行梯度下降法,衍射效率提高了2%~8%。该方法有效抑制了栅瓣能量,提升了主瓣光束衍射效率,克服了随机并行梯度下降法迭代次数多,优化速度慢,易陷入局部最优的缺点。 展开更多

关键词 液晶空间光调制器 样条插值 相位调制 衍射效率优化 随机并行梯度下降法

在线阅读 下载PDF 职称材料

基于算力-能量全分布式在线共享的5G网络负荷管理策略 被引量：3

15

作者 孙毅 陈恺 +4 位作者 郑顺林 王文婷 于芃 李开灿 董文秀 《电力系统保护与控制》 EI CSCD 北大核心 2024年第9期154-165,共12页

5G与边缘计算等信息基础设施海量部署造成运营商用电成本上升,需推动边缘网络与电网的能量互动以节能降本。现有研究重点关注边缘网络参与日前经济调度,未考虑可再生能源和网络流量双重随机性造成的网络能量供需不平衡问题。针对强随机... 5G与边缘计算等信息基础设施海量部署造成运营商用电成本上升,需推动边缘网络与电网的能量互动以节能降本。现有研究重点关注边缘网络参与日前经济调度,未考虑可再生能源和网络流量双重随机性造成的网络能量供需不平衡问题。针对强随机环境下的网络负荷管理问题,提出面向虚拟化边缘网络的能量实时管理策略。首先,以网络用能成本最小化为目标,构建联合网络资源管理、储能充放电与能量共享模型。其次,针对未来网络信息未知无法直接求解的问题,提出基于随机对偶次梯度法的在线管理策略。然后,针对资源共享涉及运营商隐私问题,提出全分布式的计算资源与能量协同共享算法。最后,仿真验证表明,所提在线算法在无需先验知识的前提下有效减少了5G边缘网络的用能成本。 展开更多

关键词 5G通信 在线调度 信息能量耦合 资源共享 随机对偶次梯度法 联邦梯度下降法

在线阅读 下载PDF 职称材料

基于FPGA并行实现SVM训练的可重构计算系统 被引量：1

16

作者 彭卫东 郭威 魏麟 《计算机科学》 CSCD 北大核心 2024年第S02期786-792,共7页

针对支持向量机在处理大规模数据集时所面临的计算复杂度高和训练时间长的问题,设计了一种基于FPGA并行实现支持向量机训练的可重构计算系统,并分析了不同量化方式下的硬件资源消耗与加速性能。通过采用随机梯度下降法训练支持向量机,... 针对支持向量机在处理大规模数据集时所面临的计算复杂度高和训练时间长的问题,设计了一种基于FPGA并行实现支持向量机训练的可重构计算系统,并分析了不同量化方式下的硬件资源消耗与加速性能。通过采用随机梯度下降法训练支持向量机,使得需要求解的维度与样本的维度相关联,相较于传统的基于二次规划的求解方法可以显著降低计算复杂性。同时,利用基于FPGA的可重构硬件平台设计了专用并行计算结构以加速支持向量机的训练过程。对设计的完整系统进行了软硬件联合仿真,在4个公共数据集上的仿真结果表明,整体模型预测准确率达到90%以上;在训练阶段,相较于采用相同算法的软件实现,所提出的浮点数表示下硬件实现的单个样本处理时间至少减少了2个数量级;定点数表示下硬件实现的单个样本处理时间最大减小了3个数量级;与基于二次规划问题求解的硬件实现相比,单个样本处理速度最快提升了394倍。 展开更多

关键词 现场可编程逻辑门阵列 支持向量机 可重构系统 并行计算 随机梯度下降法

在线阅读 下载PDF 职称材料

轧机轧制力的改进训练策略深度神经网络预测

17

作者 于飞 于博 《机械设计与制造》 北大核心 2023年第1期96-100,共5页

为了提高双机架炉卷轧机的轧制力预测精度,提出了具有快速而高效训练策略的深度神经网络预测方法。介绍了双机架炉卷轧机的工作原理,分析了轧制力影响参数。在深度神经网络基础上,使用随机小批量的样本选取法,提高深度神经网络训练速度... 为了提高双机架炉卷轧机的轧制力预测精度,提出了具有快速而高效训练策略的深度神经网络预测方法。介绍了双机架炉卷轧机的工作原理,分析了轧制力影响参数。在深度神经网络基础上,使用随机小批量的样本选取法,提高深度神经网络训练速度;提出自适应矩估计梯度优化算法,用于解决传统训练方法陷入局部极值的问题,从而给出了改进训练策略的深度神经网络轧制力预测方法。经轧制实验验证,改进深度神经网络的训练时间为226.15s,而传统网络的训练时间为862.93s;改进网络的预测误差绝大部分控制在3%以内,而传统网络的预测误差绝大部分控制在5%以内。以上数据表明,改进深度神经网络的训练速度和预测精度均远优于传统深度神经网络。 展开更多

关键词 深度神经网络 轧制力预测 自适应矩估计梯度优化 随机小批量梯度下降法

在线阅读 下载PDF 职称材料

满足本地差分隐私的分类变换扰动机制 被引量：6

18

作者 朱素霞 王蕾 孙广路 《计算机研究与发展》 EI CSCD 北大核心 2022年第2期430-439,共10页

本地差分隐私作为一种隐私保护技术,被广泛用于连续数值型数据的均值估计,使用的扰动机制将直接影响均值的准确度.为进一步提高均值估计的准确性,提出了一种满足差分隐私的分类变换扰动机制.该机制对连续数值型数据划分变换范围并进行分... 本地差分隐私作为一种隐私保护技术,被广泛用于连续数值型数据的均值估计,使用的扰动机制将直接影响均值的准确度.为进一步提高均值估计的准确性,提出了一种满足差分隐私的分类变换扰动机制.该机制对连续数值型数据划分变换范围并进行分段,根据分段将其变换为1维二元分类数据.转换后使用随机响应机制进行扰动,再根据扰动后的数据标识的数值段从中随机均匀抽取数值作为扰动值.在真实数据和合成数据中的均值估计实验结果表明该机制极大地提高了准确性.除此之外,将分类变换扰动机制用于构建满足本地差分隐私的小批量梯度下降算法,并完成线性回归学习任务,实验结果证明该方法同样优于其他已有机制,可得到更小的均方误差. 展开更多

关键词 本地差分隐私 数据转换 均值估计 小批量梯度下降 随机响应

在线阅读 下载PDF 职称材料

基于偏振鉴相的相干合成技术 被引量：5

19

作者 颜宏 叶一东 +1 位作者 卢飞 蒋茂华 《强激光与粒子束》 EI CAS CSCD 北大核心 2013年第B05期5-8,共4页

推导了偏振相干合成后任意方向检偏的光强受束间相位差调制的解析表达式,并通过实验验证了表达式的正确性。开展了基于偏振鉴相的相干合成实验研究,用梯度下降算法锁定了两束激光的相位,获得了稳定的输出功率,验证了基于偏振鉴相的相干... 推导了偏振相干合成后任意方向检偏的光强受束间相位差调制的解析表达式,并通过实验验证了表达式的正确性。开展了基于偏振鉴相的相干合成实验研究,用梯度下降算法锁定了两束激光的相位,获得了稳定的输出功率,验证了基于偏振鉴相的相干合成技术可行性;分析了基于偏振鉴相的相干合成技术的优点和对激光器的要求;提出了一种基于偏振鉴相的可定标放大全口径相干合成方法,采用多探测器和多级并行相位调制的方法,解决了随机并行梯度下降(SPGD)算法闭环带宽随合成光束数增加而快速退化的问题。 展开更多

关键词 偏振相干合成 相位探测 随机并行梯度下降算法 外差法

在线阅读 下载PDF 职称材料

多指标推荐的全局邻域模型 被引量：2

20

作者 吕红亮 王劲林 邓峰 《西安交通大学学报》 EI CAS CSCD 北大核心 2012年第11期98-105,共8页

针对现有的多指标推荐模型预测精度较低、速度较慢的问题,提出一种多指标推荐的全局邻域模型(MGNgbr).该模型综合全局的打分信息和隐性反馈数据,通过随机梯度下降法学习物品在各个指标上的相似度,选择相似度最高的前k个邻居参与运算并... 针对现有的多指标推荐模型预测精度较低、速度较慢的问题,提出一种多指标推荐的全局邻域模型(MGNgbr).该模型综合全局的打分信息和隐性反馈数据,通过随机梯度下降法学习物品在各个指标上的相似度,选择相似度最高的前k个邻居参与运算并最终预测用户对物品的打分信息.该模型具有预测准确度高、解释性好、计算复杂度低等优点.实验结果表明,该模型的预测准确度和分类准确度均优于现有的平均值融合模型、多维距离模型和多维奇异值分解模型,与多维奇异值分解模型相比,该模型还具有收敛快、运行时间短等优点. 展开更多

关键词 随机梯度下降法 全局邻域模型 多指标推荐

在线阅读 下载PDF 职称材料