一种基于稀疏优化和Nesterov动量策略的模型剪枝算法 被引量：1

1

作者 周强 陈军 +1 位作者 鲍蕾 陶卿 《数据采集与处理》 CSCD 北大核心 2024年第3期659-667,共9页

随着深度学习快速发展,模型的参数量和计算复杂度爆炸式增长,在移动终端上部署面临挑战,模型剪枝成为深度学习模型落地应用的关键。目前,基于正则化的剪枝方法通常采用L2正则化并结合基于数量级的重要性标准,是一种经验性的方法,缺乏理... 随着深度学习快速发展,模型的参数量和计算复杂度爆炸式增长,在移动终端上部署面临挑战,模型剪枝成为深度学习模型落地应用的关键。目前,基于正则化的剪枝方法通常采用L2正则化并结合基于数量级的重要性标准,是一种经验性的方法,缺乏理论依据,精度难以保证。受Proximal梯度方法求解稀疏优化问题的启发,本文提出一种能够在深度神经网络上直接产生稀疏解的Prox⁃NAG优化方法,并设计了与之配套的迭代剪枝算法。该方法基于L1正则化,利用Nesterov动量求解优化问题,克服了原有正则化剪枝方法对L2正则化和数量级标准的依赖,是稀疏优化从传统机器学习向深度学习的自然推广。在CIFAR10数据集上对ResNet系列模型进行剪枝实验,实验结果证明Prox⁃NAG剪枝算法较原有剪枝算法性能有所提升。 展开更多

关键词 稀疏 优化 剪枝算法 Proximal梯度方法 nesterov加速梯度(nesterov accelerated gradient NAG)

在线阅读 下载PDF 职称材料

传感器网络中阈值Nesterov加速梯度下降定位方法 被引量：1

2

作者 秦宁宁 陈肯 孙文心 《传感技术学报》 CAS CSCD 北大核心 2018年第7期1091-1096,共6页

在传感器网络定位问题中,利用接收信号强度RSSI(Received Signal Strength Indication)的定位方法存在着接收信号传播不稳定,定位精度较低的问题。为解决该问题,提出了一种基于阈值Nesterov加速梯度下降NAGT(Nesterov Accelerated Gradi... 在传感器网络定位问题中,利用接收信号强度RSSI(Received Signal Strength Indication)的定位方法存在着接收信号传播不稳定,定位精度较低的问题。为解决该问题,提出了一种基于阈值Nesterov加速梯度下降NAGT(Nesterov Accelerated Gradient Descent with Threshold)的RSSI定位算法。算法引入Nesterov思想,不断更新寻优动量,以达到损失函数最小,从而求取对应的未知基站坐标,通过增设阈值,降低了算法陷入局部最优的概率。经仿真比较分析,NAGT方法相对于粒子群算法与随机梯度法,在定位精度与效率上有着较为明显的优势。 展开更多

关键词 无线传感器网络 定位 RssI nesterov加速梯度下降法

在线阅读 下载PDF 职称材料

一种基于T-S云模型的非线性系统控制 被引量：7

3

作者 黄景春 肖建 周聪 《电机与控制学报》 EI CSCD 北大核心 2009年第A01期149-151,156,共4页

将云模型与T-S模糊系统结合,利用隶属云代替模糊系统的前件,提出一种T-S云模型。T-S云模型综合考虑模型的精确性和可解释性,不但可以利用专家的知识和经验建立系统模型,而且还可以通过输入/输出数据设计云模型系统。详细分析T-S云模型... 将云模型与T-S模糊系统结合,利用隶属云代替模糊系统的前件,提出一种T-S云模型。T-S云模型综合考虑模型的精确性和可解释性,不但可以利用专家的知识和经验建立系统模型,而且还可以通过输入/输出数据设计云模型系统。详细分析T-S云模型的系统结构。基于云模型和模糊系统对模糊概念表述的一致性,在不考虑超熵的情况下,使用梯度下降法辨识T-S云模型前件参数。利用递推最小二乘法辨识T-S云模型后件参数。设计了基于T-S云模型的控制器,实现了将卡车后倒至指定的卸车位置,体现了T-S云模型的不确定处理能力。仿真研究验证了算法的有效性。 展开更多

关键词 云模型 T—s模糊系统 非线性系统控制 梯度下降法 最小二乘法

在线阅读 下载PDF 职称材料

基于S-BGD和梯度累积策略的改进深度学习方法及其在光伏出力预测中的应用 被引量：27

4

作者 黎静华 黄乾 +1 位作者 韦善阳 黄玉金 《电网技术》 EI CSCD 北大核心 2017年第10期3292-3299,共8页

为提高光伏出力的预测精度,提出了一种改进深度学习算法的光伏出力预测方法。首先,针对传统的深度学习算法采用批量梯度下降(batch gradient descent,BGD)法训练模型参数速度慢的问题,利用随机梯度下降(stochastic gradient descent,SGD... 为提高光伏出力的预测精度,提出了一种改进深度学习算法的光伏出力预测方法。首先,针对传统的深度学习算法采用批量梯度下降(batch gradient descent,BGD)法训练模型参数速度慢的问题,利用随机梯度下降(stochastic gradient descent,SGD)法训练快的优点,提出了一种改进的随机-批量梯度下降(stochastic-batch gradient descent,S-BGD)搜索方法,该方法兼具SGD和BGD的优点,提高了参数训练的速度。然后,针对参数训练过程中容易陷入局部最优点和鞍点的问题,借鉴运动学理论,提出了一种基于梯度累积(gradient pile,GP)的训练方法。该方法以累积梯度作为参数的修正量,可以有效地避免训练陷入局部点和鞍点,进而提高预测精度。最后,以澳大利亚艾丽斯斯普林光伏电站的数据为样本,将所提方法应用于光伏出力预测中,验证所提方法的有效性。 展开更多

关键词 光伏出力预测 深度学习算法 梯度下降法 梯度累积量 参数训练 神经网络 随机-批量梯度下降

在线阅读 下载PDF 职称材料

基于经验数据的T-S模糊控制器设计与优化 被引量：1

5

作者 陈若珠 闫小喜 李战明 《兰州理工大学学报》 CAS 北大核心 2007年第3期75-78,共4页

提出了一种基于经验数据而非语言的T-S模糊控制器设计和优化方法.此方法分为三个阶段,第一阶段依据输入变量的范围来确定输入变量的高斯型隶属度函数;第二阶段在不改变输入变量隶属度函数的前提下,对经验数据施加递推最小二乘法以确定T-... 提出了一种基于经验数据而非语言的T-S模糊控制器设计和优化方法.此方法分为三个阶段,第一阶段依据输入变量的范围来确定输入变量的高斯型隶属度函数;第二阶段在不改变输入变量隶属度函数的前提下,对经验数据施加递推最小二乘法以确定T-S模糊控制器的后件系数;第三阶段,使用梯度下降方法同时优化控制规则的前件参数和后件参数.倒立摆的仿真试验结果验证了该方法的有效性. 展开更多

关键词 T-s模糊控制器 经验数据 递推最小二乘法 梯度下降法 倒立摆

在线阅读 下载PDF 职称材料

基于鲁棒控制的自适应分数阶梯度优化算法设计

6

作者 刘佳旭 陈嵩 +2 位作者 蔡声泽 许超 褚健 《控制理论与应用》 EI CAS CSCD 北大核心 2024年第7期1187-1196,共10页

当目标函数是强凸函数时,一般的分数阶梯度下降法不能够使函数收敛到最小值点,只能收敛到一个包含最小值点的区域内或者是发散的.为了解决这个问题,本文提出了自适应分数阶梯度下降法(AFOGD)和自适应分数阶加速梯度下降法(AFOAGD)两种... 当目标函数是强凸函数时,一般的分数阶梯度下降法不能够使函数收敛到最小值点,只能收敛到一个包含最小值点的区域内或者是发散的.为了解决这个问题,本文提出了自适应分数阶梯度下降法(AFOGD)和自适应分数阶加速梯度下降法(AFOAGD)两种新的优化算法.受到鲁棒控制理论中二次约束和李雅普诺夫稳定性理论的启发,建立了一个线性矩阵不等式去分析所提出的算法的收敛性.当目标函数是L-光滑且m-强凸时,算法可以达到R线性收敛.最后几个数值仿真证明了算法的有效性和优越性. 展开更多

关键词 梯度下降法 自适应算法 鲁棒控制 分数阶微积分 加速算法

在线阅读 下载PDF 职称材料

改进扩展卡尔曼滤波的四旋翼姿态估计算法 被引量：19

7

作者 王龙 章政 王立 《计算机应用》 CSCD 北大核心 2017年第4期1122-1128,共7页

为了提高标准扩展卡尔曼姿态估计算法的精确度和快速性,将运动加速度抑制的动态步长梯度下降算法融入扩展卡尔曼中,提出一种改进扩展卡尔曼的四旋翼姿态估计算法。该算法在卡尔曼测量更新中采用梯度下降法进行非线性观测,消除标准扩展... 为了提高标准扩展卡尔曼姿态估计算法的精确度和快速性,将运动加速度抑制的动态步长梯度下降算法融入扩展卡尔曼中,提出一种改进扩展卡尔曼的四旋翼姿态估计算法。该算法在卡尔曼测量更新中采用梯度下降法进行非线性观测,消除标准扩展卡尔曼算法在线性化时带来的线性化误差,提高算法的准确性和快速性;对梯度下降法的梯度步长进行动态处理,使算法步长与四旋翼飞行器的运动合角速度成正比,增强微型四旋翼飞行器姿态解算的动态性能;对强机动运动过程中机体产生的运动加速度进行抑制处理,消除运动加速度对姿态解算的不利影响,提高了微型四旋翼飞行器姿态解算的跟踪精度。为了验证所设计算法的可行性和有效性,基于STM32单片机搭建四旋翼实验平台系统进行实时在线性能验证。结果表明,所设计算法能提高四旋翼飞行器在强机动、高速运动情况下的姿态跟踪精度、动态性能,增强姿态融合算法的抗干扰性,保证微型四旋翼飞行器的稳定飞行。 展开更多

关键词 四旋翼飞行器 扩展卡尔曼滤波器 运动加速度抑制 动态步长 梯度下降法

在线阅读 下载PDF 职称材料

基于热重启学习率的NAG算法在图像分割中的应用 被引量：3

8

作者 陈甦欣 晏文彬 吕华鑫 《合肥工业大学学报（自然科学版）》 CAS 北大核心 2022年第7期920-924,共5页

文章针对水平集演化模型的梯度下降法收敛速度较慢,且对局部极小值较为敏感的问题,提出一种热重启学习率和Nesterov加速梯度(Nesterov accelerated gradient,NAG)算法相结合的水平集演化方法,以替换Chan-Vese(CV)模型中用于演化水平集... 文章针对水平集演化模型的梯度下降法收敛速度较慢,且对局部极小值较为敏感的问题,提出一种热重启学习率和Nesterov加速梯度(Nesterov accelerated gradient,NAG)算法相结合的水平集演化方法,以替换Chan-Vese(CV)模型中用于演化水平集函数的梯度下降法,对2种算法的图像分割速度以及分割精准度进行了对比。首先根据CV模型和距离保持惩罚项建立初始的水平集演化方程;然后对NAG算法增加学习率动态变化项计算梯度来演化水平集函数;最后不断更新得到水平集函数直到收敛。使用ground truth(GT)图像评估分割精准度,通过与传统梯度下降法得到的实验结果对比,改进算法的CPU运行时间减少了30%以上且分割精确度明显提升,表明其可对图像进行有效且快速地分割。 展开更多

关键词 图像分割 基于区域的水平集方法 活动轮廓模型 nesterov加速梯度(NAG)算法 热重启学习率

在线阅读 下载PDF 职称材料

基于社会媒体内容和网络拓扑的特定话题推特摘要研究 被引量：1

9

作者 贺瑞芳 段兴义 +1 位作者 张雪菲 赵文丽 《计算机学报》 EI CSCD 北大核心 2019年第6期1174-1189,共16页

推特摘要旨在从话题相关的社会媒体短文本中提炼概要的推文集,以获取有效信息,可用于舆情监控、竞争情报分析及电子商务等.然而社会媒体的海量、嘈杂及不规范性使得仅依赖纯文本的传统摘要方法难以直接迁移到社交媒体情景中;而现有的推... 推特摘要旨在从话题相关的社会媒体短文本中提炼概要的推文集,以获取有效信息,可用于舆情监控、竞争情报分析及电子商务等.然而社会媒体的海量、嘈杂及不规范性使得仅依赖纯文本的传统摘要方法难以直接迁移到社交媒体情景中;而现有的推特摘要方法很少考虑数据稀疏性和社会网络传播带来的强冗余性,鲜有通过挖掘推文之间潜在的社会网络结构关系进行文摘内容选择,忽略了信息可以沿着社交网络进行传播.受压缩感知及社会学理论的启发,该文提出基于社会网络和稀疏重构的推特摘要方法(SNSR)以更好地融合社会媒体内容和结构信息.首先,挖掘推文中隐含的摘要模式,将其建模为组稀疏正则项,以捕捉代表性的推特摘要组合;其次,建模社会网络中表达一致性与表达传染性为社会化正则项,以探索推文之间的潜在网络结构关系在推特摘要中的作用;再次,建模社会媒体信息传播带来的强冗余性为多样性正则项,进而将这些约束整合到稀疏重构的推特摘要框架中;最后,提出基于Nesterov加速梯度下降的推特摘要算法,以解决推特摘要优化框架中的覆盖性、稀疏性以及多样性等问题.同时,由于推特摘要标准语料的缺乏,作者建设了12个话题的评测数据集.相关的实验结果证明了文中提出方法的有效性. 展开更多

关键词 推特摘要 稀疏重构 网络拓扑 社会学理论 nesterov加速梯度下降算法

在线阅读 下载PDF 职称材料

面向智能监控的运动目标轮廓可靠提取

10

作者 夏海英 颜远辉 +1 位作者 黄思奇 肖雯静 《广西师范大学学报（自然科学版）》 CAS 北大核心 2014年第4期39-44,共6页

针对目标运动检测算法得到的运动目标轮廓存在轮廓不完整、不准确等问题,本文提出一种基于Vibe算法和GVF snake的运动目标轮廓可靠提取算法。首先通过Vibe算法快速定位运动目标的感兴趣区域,并结合数学形态学、边界快速粗定位算法,获得... 针对目标运动检测算法得到的运动目标轮廓存在轮廓不完整、不准确等问题,本文提出一种基于Vibe算法和GVF snake的运动目标轮廓可靠提取算法。首先通过Vibe算法快速定位运动目标的感兴趣区域,并结合数学形态学、边界快速粗定位算法,获得运动目标轮廓粗定位,再利用改进主动轮廓模型能够实时可靠提取运动目标的轮廓。改进的提取算法具有良好的模型初始化条件,使得本方法不仅能够得到准确的运动目标轮廓,而且满足了实时性要求。实验结果表明,该算法能够实时可靠地提取运动目标轮廓。 展开更多

关键词 轮廓提取 Vibe算法 GVF sNAKE算法 轮廓粗定位

在线阅读 下载PDF 职称材料

姿态解算与外力加速度同步估计算法 被引量：4

11

作者 孟唐宇 浦剑涛 +1 位作者 方建军 梁岚珍 《计算机应用》 CSCD 北大核心 2016年第5期1469-1474,共6页

针对惯性导航应用中,姿态解算与外力加速度估计互相干扰的问题,提出一种基于四元数和扩展卡尔曼滤波器的姿态解算与外力加速度同步估计算法。首先,利用估计的外力加速度修正传感器加速度数据得到准确的反向重力加速度,再结合地磁场向量... 针对惯性导航应用中,姿态解算与外力加速度估计互相干扰的问题,提出一种基于四元数和扩展卡尔曼滤波器的姿态解算与外力加速度同步估计算法。首先,利用估计的外力加速度修正传感器加速度数据得到准确的反向重力加速度,再结合地磁场向量通过梯度下降算法解算得到旋转四元数的测量值;其次,构建扩展卡尔曼滤波模型,对旋转四元数和外力加速度进行更新,得到旋转四元数的预测值和外力加速度的预测值;最后,用旋转四元数的测量值和测量得到的加速度数据对预测值通过扩展卡尔曼滤波的方法进行校正,最终得到准确的旋转四元数和参考坐标系下三轴方向上的外力加速度。实验表明,通过扩展卡尔曼滤波同时对姿态和外力加速度估计的方法,能够迅速收敛并准确得机体姿态信息以及外力加速度信息,欧拉角误差为±1.95°,加速度误差为±0.12 m/s^2,并且该算法能有效抑制外力加速度对姿态解算的影响,准确估计外力加速度。 展开更多

关键词 姿态解算 四元数 扩展卡尔曼滤波 梯度下降法 外力加速度

在线阅读 下载PDF 职称材料

基于梯度下降的自适应姿态融合算法 被引量：10

12

作者 陈卓 任久春 朱谦 《传感器与微系统》 CSCD 2019年第3期124-126,共3页

针对第一代帆船姿态测量系统中采用的自适应卡尔曼滤波算法作用范围有限、动态性能较差等缺陷,基于微机电系统(MEMS)惯性传感器与梯度下降姿态融合算法提出了两种自适应方法,分别根据当前时刻之前N个采样点的平均运动加速度与加速度的... 针对第一代帆船姿态测量系统中采用的自适应卡尔曼滤波算法作用范围有限、动态性能较差等缺陷,基于微机电系统(MEMS)惯性传感器与梯度下降姿态融合算法提出了两种自适应方法,分别根据当前时刻之前N个采样点的平均运动加速度与加速度的变化量设计自适应控制因子,得到稳定的动态梯度下降步长。实验结果表明:两种算法性能均优于自适应卡尔曼滤波与单点加速度抑制法,其中,基于加速度增量的控制算法更加符合高速运动状态下加速度剧烈变化的实际规律,测量性能达到最优,符合海面帆船运动船体姿态测量的实际需求。 展开更多

关键词 姿态解算 多传感器测量 梯度下降算法 自适应滤波融合 加速度控制

在线阅读 下载PDF 职称材料

距离保持水平集演化模型的快速实现算法 被引量：1

13

作者 原泉 王艳 李玉先 《计算机应用》 CSCD 北大核心 2020年第9期2743-2747,共5页

针对梯度下降法收敛性较差、对局部极小值比较敏感的问题,提出一种改进NAG算法,并以此替换距离保持水平集演化(DRLSE)模型中的梯度下降算法,进而得到一个基于NAG的图像快速分割算法。首先,给出初始水平集演化方程;其次,用改进NAG算法计... 针对梯度下降法收敛性较差、对局部极小值比较敏感的问题,提出一种改进NAG算法,并以此替换距离保持水平集演化(DRLSE)模型中的梯度下降算法,进而得到一个基于NAG的图像快速分割算法。首先,给出初始水平集演化方程;其次,用改进NAG算法计算梯度;最后,对水平集函数进行不断更新,从而避免水平集函数陷入局部极小值。实验结果表明,与DRLSE模型中的原算法相比,所提算法迭代次数减少了约30%,CPU运行时间减少了30%以上。该算法实现简单,能够对实时性要求较高的红外图像、医学图像进行快速、有效的分割。 展开更多

关键词 图像分割 水平集方法 活动轮廓模型 距离保持水平集演化模型 NAG算法

在线阅读 下载PDF 职称材料