期刊文献+
共找到4篇文章
< 1 >
每页显示 20 50 100
一种基于稀疏优化和Nesterov动量策略的模型剪枝算法 被引量:1
1
作者 周强 陈军 +1 位作者 鲍蕾 陶卿 《数据采集与处理》 CSCD 北大核心 2024年第3期659-667,共9页
随着深度学习快速发展,模型的参数量和计算复杂度爆炸式增长,在移动终端上部署面临挑战,模型剪枝成为深度学习模型落地应用的关键。目前,基于正则化的剪枝方法通常采用L2正则化并结合基于数量级的重要性标准,是一种经验性的方法,缺乏理... 随着深度学习快速发展,模型的参数量和计算复杂度爆炸式增长,在移动终端上部署面临挑战,模型剪枝成为深度学习模型落地应用的关键。目前,基于正则化的剪枝方法通常采用L2正则化并结合基于数量级的重要性标准,是一种经验性的方法,缺乏理论依据,精度难以保证。受Proximal梯度方法求解稀疏优化问题的启发,本文提出一种能够在深度神经网络上直接产生稀疏解的Prox⁃NAG优化方法,并设计了与之配套的迭代剪枝算法。该方法基于L1正则化,利用Nesterov动量求解优化问题,克服了原有正则化剪枝方法对L2正则化和数量级标准的依赖,是稀疏优化从传统机器学习向深度学习的自然推广。在CIFAR10数据集上对ResNet系列模型进行剪枝实验,实验结果证明Prox⁃NAG剪枝算法较原有剪枝算法性能有所提升。 展开更多
关键词 稀疏 优化 剪枝算法 Proximal梯度方法 nesterov加速梯度(nesterov accelerated gradient nag)
在线阅读 下载PDF
基于热重启学习率的NAG算法在图像分割中的应用 被引量:3
2
作者 陈甦欣 晏文彬 吕华鑫 《合肥工业大学学报(自然科学版)》 CAS 北大核心 2022年第7期920-924,共5页
文章针对水平集演化模型的梯度下降法收敛速度较慢,且对局部极小值较为敏感的问题,提出一种热重启学习率和Nesterov加速梯度(Nesterov accelerated gradient,NAG)算法相结合的水平集演化方法,以替换Chan-Vese(CV)模型中用于演化水平集... 文章针对水平集演化模型的梯度下降法收敛速度较慢,且对局部极小值较为敏感的问题,提出一种热重启学习率和Nesterov加速梯度(Nesterov accelerated gradient,NAG)算法相结合的水平集演化方法,以替换Chan-Vese(CV)模型中用于演化水平集函数的梯度下降法,对2种算法的图像分割速度以及分割精准度进行了对比。首先根据CV模型和距离保持惩罚项建立初始的水平集演化方程;然后对NAG算法增加学习率动态变化项计算梯度来演化水平集函数;最后不断更新得到水平集函数直到收敛。使用ground truth(GT)图像评估分割精准度,通过与传统梯度下降法得到的实验结果对比,改进算法的CPU运行时间减少了30%以上且分割精确度明显提升,表明其可对图像进行有效且快速地分割。 展开更多
关键词 图像分割 基于区域的水平集方法 活动轮廓模型 nesterov加速梯度(nag)算法 热重启学习率
在线阅读 下载PDF
基于社会媒体内容和网络拓扑的特定话题推特摘要研究 被引量:1
3
作者 贺瑞芳 段兴义 +1 位作者 张雪菲 赵文丽 《计算机学报》 EI CSCD 北大核心 2019年第6期1174-1189,共16页
推特摘要旨在从话题相关的社会媒体短文本中提炼概要的推文集,以获取有效信息,可用于舆情监控、竞争情报分析及电子商务等.然而社会媒体的海量、嘈杂及不规范性使得仅依赖纯文本的传统摘要方法难以直接迁移到社交媒体情景中;而现有的推... 推特摘要旨在从话题相关的社会媒体短文本中提炼概要的推文集,以获取有效信息,可用于舆情监控、竞争情报分析及电子商务等.然而社会媒体的海量、嘈杂及不规范性使得仅依赖纯文本的传统摘要方法难以直接迁移到社交媒体情景中;而现有的推特摘要方法很少考虑数据稀疏性和社会网络传播带来的强冗余性,鲜有通过挖掘推文之间潜在的社会网络结构关系进行文摘内容选择,忽略了信息可以沿着社交网络进行传播.受压缩感知及社会学理论的启发,该文提出基于社会网络和稀疏重构的推特摘要方法(SNSR)以更好地融合社会媒体内容和结构信息.首先,挖掘推文中隐含的摘要模式,将其建模为组稀疏正则项,以捕捉代表性的推特摘要组合;其次,建模社会网络中表达一致性与表达传染性为社会化正则项,以探索推文之间的潜在网络结构关系在推特摘要中的作用;再次,建模社会媒体信息传播带来的强冗余性为多样性正则项,进而将这些约束整合到稀疏重构的推特摘要框架中;最后,提出基于Nesterov加速梯度下降的推特摘要算法,以解决推特摘要优化框架中的覆盖性、稀疏性以及多样性等问题.同时,由于推特摘要标准语料的缺乏,作者建设了12个话题的评测数据集.相关的实验结果证明了文中提出方法的有效性. 展开更多
关键词 推特摘要 稀疏重构 网络拓扑 社会学理论 nesterov加速梯度下降算法
在线阅读 下载PDF
距离保持水平集演化模型的快速实现算法
4
作者 原泉 王艳 李玉先 《计算机应用》 CSCD 北大核心 2020年第9期2743-2747,共5页
针对梯度下降法收敛性较差、对局部极小值比较敏感的问题,提出一种改进NAG算法,并以此替换距离保持水平集演化(DRLSE)模型中的梯度下降算法,进而得到一个基于NAG的图像快速分割算法。首先,给出初始水平集演化方程;其次,用改进NAG算法计... 针对梯度下降法收敛性较差、对局部极小值比较敏感的问题,提出一种改进NAG算法,并以此替换距离保持水平集演化(DRLSE)模型中的梯度下降算法,进而得到一个基于NAG的图像快速分割算法。首先,给出初始水平集演化方程;其次,用改进NAG算法计算梯度;最后,对水平集函数进行不断更新,从而避免水平集函数陷入局部极小值。实验结果表明,与DRLSE模型中的原算法相比,所提算法迭代次数减少了约30%,CPU运行时间减少了30%以上。该算法实现简单,能够对实时性要求较高的红外图像、医学图像进行快速、有效的分割。 展开更多
关键词 图像分割 水平集方法 活动轮廓模型 距离保持水平集演化模型 nag算法
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部