期刊文献+
共找到8篇文章
< 1 >
每页显示 20 50 100
传感器网络中阈值Nesterov加速梯度下降定位方法 被引量:1
1
作者 秦宁宁 陈肯 孙文心 《传感技术学报》 CAS CSCD 北大核心 2018年第7期1091-1096,共6页
在传感器网络定位问题中,利用接收信号强度RSSI(Received Signal Strength Indication)的定位方法存在着接收信号传播不稳定,定位精度较低的问题。为解决该问题,提出了一种基于阈值Nesterov加速梯度下降NAGT(Nesterov Accelerated Gradi... 在传感器网络定位问题中,利用接收信号强度RSSI(Received Signal Strength Indication)的定位方法存在着接收信号传播不稳定,定位精度较低的问题。为解决该问题,提出了一种基于阈值Nesterov加速梯度下降NAGT(Nesterov Accelerated Gradient Descent with Threshold)的RSSI定位算法。算法引入Nesterov思想,不断更新寻优动量,以达到损失函数最小,从而求取对应的未知基站坐标,通过增设阈值,降低了算法陷入局部最优的概率。经仿真比较分析,NAGT方法相对于粒子群算法与随机梯度法,在定位精度与效率上有着较为明显的优势。 展开更多
关键词 无线传感器网络 定位 RSSI nesterov加速梯度下降法
在线阅读 下载PDF
一种基于稀疏优化和Nesterov动量策略的模型剪枝算法 被引量:1
2
作者 周强 陈军 +1 位作者 鲍蕾 陶卿 《数据采集与处理》 CSCD 北大核心 2024年第3期659-667,共9页
随着深度学习快速发展,模型的参数量和计算复杂度爆炸式增长,在移动终端上部署面临挑战,模型剪枝成为深度学习模型落地应用的关键。目前,基于正则化的剪枝方法通常采用L2正则化并结合基于数量级的重要性标准,是一种经验性的方法,缺乏理... 随着深度学习快速发展,模型的参数量和计算复杂度爆炸式增长,在移动终端上部署面临挑战,模型剪枝成为深度学习模型落地应用的关键。目前,基于正则化的剪枝方法通常采用L2正则化并结合基于数量级的重要性标准,是一种经验性的方法,缺乏理论依据,精度难以保证。受Proximal梯度方法求解稀疏优化问题的启发,本文提出一种能够在深度神经网络上直接产生稀疏解的Prox⁃NAG优化方法,并设计了与之配套的迭代剪枝算法。该方法基于L1正则化,利用Nesterov动量求解优化问题,克服了原有正则化剪枝方法对L2正则化和数量级标准的依赖,是稀疏优化从传统机器学习向深度学习的自然推广。在CIFAR10数据集上对ResNet系列模型进行剪枝实验,实验结果证明Prox⁃NAG剪枝算法较原有剪枝算法性能有所提升。 展开更多
关键词 稀疏 优化 剪枝算法 Proximal梯度方法 nesterov加速梯度(nesterov accelerated gradient NAG)
在线阅读 下载PDF
使用Nesterov步长策略投影次梯度方法的个体收敛性 被引量:17
3
作者 陶蔚 潘志松 +1 位作者 储德军 陶卿 《计算机学报》 EI CSCD 北大核心 2018年第1期164-176,共13页
很多机器学习问题都可以最终转换为优化问题来进行求解,凸优化算法已经被成功用于各种机器学习优化问题中,而在优化算法的研究中是否能获得最优的收敛速率是一个最基本问题.此外,稀疏性是稀疏学习问题中关注的另一个目标.目前,人们已经... 很多机器学习问题都可以最终转换为优化问题来进行求解,凸优化算法已经被成功用于各种机器学习优化问题中,而在优化算法的研究中是否能获得最优的收敛速率是一个最基本问题.此外,稀疏性是稀疏学习问题中关注的另一个目标.目前,人们已经提出了大量的随机优化方法求解大规模机器学习优化问题,但大部分的研究只是针对平均输出方式获得了最优收敛速率.个体输出方式显然比平均方式的输出具有更好的稀疏性,但使个体收敛速率获得最优具有一定的难度,人们已经将强凸情形下的最优个体收敛性作为公开问题进行广泛研究.对于光滑目标函数的优化问题,著名学者Nesterov提出了一种步长策略,使得梯度方法的收敛速率获得了数量级形式的加速,并且获得了最优的个体收敛速率.目前,Nesterov加速算法已经应用于各种具有光滑损失函数机器学习优化问题中,研究者基于该加速策略提出了大量的随机优化算法.能否将这种技巧推广至非光滑情形获得最优的个体收敛速率显然是有意义的问题.文中考虑在非光滑优化算法中引入这种步长策略.特别地,我们聚焦经典的一阶梯度方法,提出了一种嵌入加速算法步长策略的投影次梯度算法,证明了这种算法在求解非光滑损失函数学习问题时具有最优的个体收敛速率.这是比标准投影次梯度方法只有在平均输出方式下才具有最优收敛速率更强的结论,也是一阶梯度方法在个体最优收敛速率方面比较接近于大家期待的研究成果.与平均方式输出以及线性插值的投影次梯度方法相比,该文所提方法的梯度运算在插值策略之后,因此在求解l1范数约束的hinge损失函数学习问题时具有更好的稀疏性.人工数据集上的实验验证了所提方法的正确性,基准数据集上验证了该方法在保持稀疏性方面具有良好的性能. 展开更多
关键词 机器学习 非光滑损失函数问题 投影次梯度方法 nesterov步长策略 个体收敛速率 稀疏学习
在线阅读 下载PDF
求解一类线性等式约束凸优化问题的加速方法
4
作者 孟辛晴 张文星 《运筹学学报(中英文)》 CSCD 北大核心 2024年第1期1-17,共17页
具有线性约束的凸优化问题是数学规划中的一类经典问题。本文将借助对偶理论,研究求解一类具有线性等式约束的凸优化问题的加速算法。由于此类问题的对偶问题是一个具有两块可分离结构的凸优化问题,我们基于Goldstein等人在加速交替方... 具有线性约束的凸优化问题是数学规划中的一类经典问题。本文将借助对偶理论,研究求解一类具有线性等式约束的凸优化问题的加速算法。由于此类问题的对偶问题是一个具有两块可分离结构的凸优化问题,我们基于Goldstein等人在加速交替方向乘子法方面的重要工作,提出了一种在弱化条件下求解线性等式约束凸优化问题的加速方法。我们的方法与Goldstein等人的加速交替方向乘子法的不同之处为:1)目标函数仅要求具有凸性(而不必强凸);2)罚参数仅要求β>0(而不受目标函数的利普希茨常数、强单调系数的限制)。基于上述弱化的条件,我们证明了所提的加速交替方向乘子法依然具有收敛性和O(1/k^(2))的收敛率。我们将条件弱化后的加速交替方向乘子法用于求解一个图像重建问题。数值实验结果表明,条件弱化后的加速交替方向乘子法依然具有较好的数值效果。 展开更多
关键词 线性等式约束 对偶 可分离结构凸优化 交替方向乘子法 nesterov加速技术
在线阅读 下载PDF
梯度有偏情形非光滑问题NAG的个体收敛性 被引量:3
5
作者 刘宇翔 程禹嘉 陶卿 《软件学报》 EI CSCD 北大核心 2020年第4期1051-1062,共12页
随机优化方法已经成为处理大规模正则化和深度学习优化问题的首选方法,其收敛速率的获得通常都建立在目标函数梯度无偏估计的基础上,但对机器学习问题来说,很多现象都导致了梯度有偏情况的出现.与梯度无偏情形不同的是,著名的Nesterov... 随机优化方法已经成为处理大规模正则化和深度学习优化问题的首选方法,其收敛速率的获得通常都建立在目标函数梯度无偏估计的基础上,但对机器学习问题来说,很多现象都导致了梯度有偏情况的出现.与梯度无偏情形不同的是,著名的Nesterov加速算法NAG(Nesterov accelerated gradient)会逐步累积每次迭代中的梯度偏差,从而导致不能获得最优的收敛速率甚至收敛性都无法保证.近期的研究结果表明,NAG方法也是求解非光滑问题投影次梯度关于个体收敛的加速算法,但次梯度有偏对其影响的研究未见报道.针对非光滑优化问题,证明了在次梯度偏差有界的情况下,NAG能够获得稳定的个体收敛界,而当次梯度偏差按照一定速率衰减时,NAG仍然可获得最优的个体收敛速率.作为应用,得到了一种无需精确计算投影的投影次梯度方法,可以在保持收敛性的同时较快地达到稳定学习的精度.实验验证了理论分析的正确性及非精确方法的性能. 展开更多
关键词 机器学习 nesterov加速方法 随机优化 梯度估计有偏 个体收敛
在线阅读 下载PDF
基于Nadam-TimeGAN和XGBoost的时序信号故障诊断方法 被引量:5
6
作者 黑新宏 高苗 +3 位作者 张宽 费蓉 邱原 姬文江 《通信学报》 EI CSCD 北大核心 2024年第4期185-200,共16页
为了提高故障诊断模型在数据不平衡场景下的诊断性能和模型泛化能力,提出了一种基于Nadam-TimeGAN和XGBoost的时序信号故障诊断方法。首先对比基于LSTM和GRU的TimeGAN模型,选取性能更优的GRU网络作为TimeGAN模型的组成单元,然后采用Nada... 为了提高故障诊断模型在数据不平衡场景下的诊断性能和模型泛化能力,提出了一种基于Nadam-TimeGAN和XGBoost的时序信号故障诊断方法。首先对比基于LSTM和GRU的TimeGAN模型,选取性能更优的GRU网络作为TimeGAN模型的组成单元,然后采用Nadam优化算法对TimeGAN模型的各组件进行优化,即构建Nadam-TimeGAN模型用以数据扩充,最后构建一个平衡的数据集输入XGBoost集成学习模型进行分类训练。实验选取转辙机动作电流数据集进行验证性实验,选取MFPT轴承数据集和CWRU轴承数据集进行泛化性实验,并与8种方法进行对比,结果表明,所提方法在准确率、召回率以及F1-score这3种评价指标上均高于其他方法,从而验证了所提方法在不平衡数据故障诊断方面的有效性和泛化性。 展开更多
关键词 时间序列生成对抗网络 nesterov加速自适应矩估计 极致梯度提升 故障诊断 数据增强
在线阅读 下载PDF
基于热重启学习率的NAG算法在图像分割中的应用 被引量:3
7
作者 陈甦欣 晏文彬 吕华鑫 《合肥工业大学学报(自然科学版)》 CAS 北大核心 2022年第7期920-924,共5页
文章针对水平集演化模型的梯度下降法收敛速度较慢,且对局部极小值较为敏感的问题,提出一种热重启学习率和Nesterov加速梯度(Nesterov accelerated gradient,NAG)算法相结合的水平集演化方法,以替换Chan-Vese(CV)模型中用于演化水平集... 文章针对水平集演化模型的梯度下降法收敛速度较慢,且对局部极小值较为敏感的问题,提出一种热重启学习率和Nesterov加速梯度(Nesterov accelerated gradient,NAG)算法相结合的水平集演化方法,以替换Chan-Vese(CV)模型中用于演化水平集函数的梯度下降法,对2种算法的图像分割速度以及分割精准度进行了对比。首先根据CV模型和距离保持惩罚项建立初始的水平集演化方程;然后对NAG算法增加学习率动态变化项计算梯度来演化水平集函数;最后不断更新得到水平集函数直到收敛。使用ground truth(GT)图像评估分割精准度,通过与传统梯度下降法得到的实验结果对比,改进算法的CPU运行时间减少了30%以上且分割精确度明显提升,表明其可对图像进行有效且快速地分割。 展开更多
关键词 图像分割 基于区域的水平集方法 活动轮廓模型 nesterov加速梯度(NAG)算法 热重启学习率
在线阅读 下载PDF
基于社会媒体内容和网络拓扑的特定话题推特摘要研究 被引量:1
8
作者 贺瑞芳 段兴义 +1 位作者 张雪菲 赵文丽 《计算机学报》 EI CSCD 北大核心 2019年第6期1174-1189,共16页
推特摘要旨在从话题相关的社会媒体短文本中提炼概要的推文集,以获取有效信息,可用于舆情监控、竞争情报分析及电子商务等.然而社会媒体的海量、嘈杂及不规范性使得仅依赖纯文本的传统摘要方法难以直接迁移到社交媒体情景中;而现有的推... 推特摘要旨在从话题相关的社会媒体短文本中提炼概要的推文集,以获取有效信息,可用于舆情监控、竞争情报分析及电子商务等.然而社会媒体的海量、嘈杂及不规范性使得仅依赖纯文本的传统摘要方法难以直接迁移到社交媒体情景中;而现有的推特摘要方法很少考虑数据稀疏性和社会网络传播带来的强冗余性,鲜有通过挖掘推文之间潜在的社会网络结构关系进行文摘内容选择,忽略了信息可以沿着社交网络进行传播.受压缩感知及社会学理论的启发,该文提出基于社会网络和稀疏重构的推特摘要方法(SNSR)以更好地融合社会媒体内容和结构信息.首先,挖掘推文中隐含的摘要模式,将其建模为组稀疏正则项,以捕捉代表性的推特摘要组合;其次,建模社会网络中表达一致性与表达传染性为社会化正则项,以探索推文之间的潜在网络结构关系在推特摘要中的作用;再次,建模社会媒体信息传播带来的强冗余性为多样性正则项,进而将这些约束整合到稀疏重构的推特摘要框架中;最后,提出基于Nesterov加速梯度下降的推特摘要算法,以解决推特摘要优化框架中的覆盖性、稀疏性以及多样性等问题.同时,由于推特摘要标准语料的缺乏,作者建设了12个话题的评测数据集.相关的实验结果证明了文中提出方法的有效性. 展开更多
关键词 推特摘要 稀疏重构 网络拓扑 社会学理论 nesterov加速梯度下降算法
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部