一种基于Comid的非光滑损失随机坐标下降方法 被引量：3

1

作者 陶卿 朱烨雷 +1 位作者 罗强 孔康 《电子学报》 EI CAS CSCD 北大核心 2013年第4期768-775,共8页

坐标下降方法以简洁的操作流程、低廉的计算代价和快速的实际收敛效果,成为处理大规模优化最有效的方法之一.但目前几乎所有的坐标下降方法都由于子问题解析求解的需要而假设损失函数的光滑性.本文在结构学习的框架下,在采用Comid方法... 坐标下降方法以简洁的操作流程、低廉的计算代价和快速的实际收敛效果,成为处理大规模优化最有效的方法之一.但目前几乎所有的坐标下降方法都由于子问题解析求解的需要而假设损失函数的光滑性.本文在结构学习的框架下,在采用Comid方法求解随机挑选单变量子问题的基础上,提出了一种新的关于非光滑损失的随机坐标下降方法.理论分析表明本文所提出的算法在一般凸条件下可以得到Ο(t-(1/2)/t)的收敛速度,在强凸条件下可以得到Ο(lnt/t)的收敛速度.实验结果表明本文所提出的算法对正则化Hinge损失问题实现了坐标优化预期的效果. 展开更多

关键词 机器学习 优化 大规模 坐标下降方法 非光滑损失 结构学习 COMID

在线阅读 下载PDF 职称材料

混合互补问题的一个可行下降方法

2

作者 杨威 刘三阳 庞永锋 《纺织高校基础科学学报》 CAS 2006年第1期29-31,共3页

利用一个非光滑函数和对指标集分割的方法,把混合互补问题转化为一个等价的方程组,利用光滑的势函数求解此问题.给出了一个可行下降算法,并证明了算法的收敛性.

关键词 混合互补问题 可行下降方法 全局收敛性 超线性收敛性

在线阅读 下载PDF 职称材料

非线性互补问题的一种改进Derivative-free下降方法

3

作者 于桃艳 刘三阳 叶开文 《长春理工大学学报（自然科学版）》 2012年第3期97-101,共5页

提出了一种改进的用于求解非线性互补问题Derivative-free下降方法,其搜索方向为罚Fischer-Burmeister函数非负偏导数的凸组合,搜索策略为一类新的非单调搜索。证明了该算法具有全局收敛性,与传统的Derivative-free下降方法相比,提高了... 提出了一种改进的用于求解非线性互补问题Derivative-free下降方法,其搜索方向为罚Fischer-Burmeister函数非负偏导数的凸组合,搜索策略为一类新的非单调搜索。证明了该算法具有全局收敛性,与传统的Derivative-free下降方法相比,提高了收敛速率,减少了迭代次数。 展开更多

关键词 非线性互补问题 改进Derivative-free下降方法 全局收敛性 迭代次数

在线阅读 下载PDF 职称材料

检测激光多普勒信号的新方法 被引量：5

4

作者 张玉存 刘彬 李群 《计量学报》 CSCD 北大核心 2006年第4期339-342,共4页

为了准确地检测激光多普勒信号,提出了一种新的信号检测方法。在算法中应用梯度下降方法推导出算法的系统方程,并且应用庞加莱映射稳定原理给出系统稳定的存在条件。应用该算法能够检测激光多普勒信号,估计多普勒频移。测试结果表明,测... 为了准确地检测激光多普勒信号,提出了一种新的信号检测方法。在算法中应用梯度下降方法推导出算法的系统方程,并且应用庞加莱映射稳定原理给出系统稳定的存在条件。应用该算法能够检测激光多普勒信号,估计多普勒频移。测试结果表明,测出数据的相对误差小于0.7%。 展开更多

关键词 计量学 激光多普勒效应 频移 梯度下降方法

在线阅读 下载PDF 职称材料

求解大规模SCAD回归问题的随机坐标下降算法研究 被引量：1

5

作者 赵磊 陈玎 朱道立 《上海管理科学》 2019年第5期97-103,共7页

回归方法是重要的数据分析工具。带平滑削边绝对偏离(smoothly clipped absolute deviation, SCAD)正则项的回归问题,以其在处理高维数据中的近似无偏性(见Fan和Li,2001),在大数据分析中得到广泛应用。但在大数据背景下,待求解的SCAD回... 回归方法是重要的数据分析工具。带平滑削边绝对偏离(smoothly clipped absolute deviation, SCAD)正则项的回归问题,以其在处理高维数据中的近似无偏性(见Fan和Li,2001),在大数据分析中得到广泛应用。但在大数据背景下,待求解的SCAD回归问题的数据量往往很大,而且分布在不同地理位置,这使得在SCAD回归问题的求解算法设计中,需要重新考虑计算的内存使用量。常规用于求解SCAD回归问题的优化算法(LQA、LLA、ADMM等)往往需要在每一次迭代中更新全部变量,从而造成计算的内存需求很大,难以适应大数据的求解要求。随机坐标下降方法(stochastic coordinate descent, SCD)以其子问题运算内存需求小(见Nesterov,2012)的优势,在大规模分布式最优化问题中得到了广泛的应用。但目前理论上SCD算法仅能处理带凸惩罚项的回归问题,由于SCAD回归问题中惩罚项的非凸非光滑性,现有的随机坐标下降方法难以处理这一问题。首先对SCAD回归问题模型进行分析,得出SCAD回归模型的损失函数是导数Lipschitz、惩罚函数是semi-convex的,此外根据已有结论,得到SCAD回归问题的稳定点即可保证良好的统计性质。基于这些性质的分析,介绍了一种新的随机坐标下降方法(variable bregman stochastic coordinate descent, VBSCD),这一方法能很好求解带SCAD惩罚项的回归问题,算法的收敛点是SCAD回归模型的稳定点。最后,通过计算实验进一步说明本算法在求解SCAD回归问题的有效性。对不同的变量分组数,算法迭代到稳定点所需的迭代回合数相对稳定。随着变量分块数的增加,单次迭代中计算的内存需求减少。该研究方法可广泛应用于大数据背景下SCAD回归问题的求解当中。 展开更多

关键词 平滑削边绝对偏离 回归问题 随机坐标下降方法

在线阅读 下载PDF 职称材料

一般变分不等式的一个新的下降投影算法(英文)

6

作者 陈克东 杨青骥 《应用数学》 CSCD 北大核心 2010年第1期82-87,共6页

本文运用辅助问题原理,给出一般变分不等式一个新的投影下降算法,并证明在伪单调条件下,算法是收敛的.

关键词 一般变分不等式 伪单调 下降方法 辅助问题原理

在线阅读 下载PDF 职称材料

一种改进RBF神经网络的机器人轨迹规划方法 被引量：3

7

作者 张雯 谭宝成 《电子设计工程》 2010年第1期10-11,共2页

在应用径向基函数RBF(Radial Basis Function)神经网络对机器人进行轨迹规划时,为解决一般学习算法中收敛速度慢、学习精度不高的问题,提出一种混合学习算法。该方法根据轨迹规划的具体要求,用最近邻聚类算法确定网络的结构和参数,通过... 在应用径向基函数RBF(Radial Basis Function)神经网络对机器人进行轨迹规划时,为解决一般学习算法中收敛速度慢、学习精度不高的问题,提出一种混合学习算法。该方法根据轨迹规划的具体要求,用最近邻聚类算法确定网络的结构和参数,通过在学习速率中加入自适应学习因子调整网络参数,以加快收敛速度。通过MATLAB软件进行仿真,结果表明混合学习算法收敛速度较快,逼近误差小,从而证明了该算法的可行性。 展开更多

关键词 机器人 轨迹规划 径向基函数(RBF)神经网络 最近邻聚类 变学习速率梯度下降方法

在线阅读 下载PDF 职称材料

一种修正的DFP方法 被引量：1

8

作者 刘庆吉 张长海 《大庆石油学院学报》 CAS 北大核心 1990年第1期96-100,共5页

本文在DFP方法中引入了一种修正步骤。修正后的算法在没有凸性的假设下也是收敛的。

关键词 收敛性 线搜索 下降方法 修正 DFP方法 最优化

在线阅读 下载PDF 职称材料

智能反射面辅助的无线网络加权和速率优化设计 被引量：2

9

作者 牛和昊 林志 +2 位作者 王勇 王磊 赵青松 《国防科技大学学报》 EI CAS CSCD 北大核心 2023年第6期56-63,共8页

针对智能反射面(intelligent reflecting surface,IRS)辅助的无线网络传输设计的目标是通过联合设计基站处的发送波束形成向量和IRS的反射系数,在满足基站发射功率和IRS单位模约束的条件下,使多个地面用户的加权和速率最大化。为了求解... 针对智能反射面(intelligent reflecting surface,IRS)辅助的无线网络传输设计的目标是通过联合设计基站处的发送波束形成向量和IRS的反射系数,在满足基站发射功率和IRS单位模约束的条件下,使多个地面用户的加权和速率最大化。为了求解非凸的目标函数,提出一种交替优化方法,其中采用黎曼流形梯度(Riemannian manifold gradient,RMG)方法来优化反射系数,使用二分搜索法优化发送波束形成向量。此外,为了降低RMG方法的复杂度,设计了一种智能元素块坐标下降方法。仿真结果验证了所提算法的有效性,并且表明通过优化设计反射系数,IRS可显著提高无线网络的频谱效率。 展开更多

关键词 智能反射面 加权和速率优化 黎曼流形梯度算法 智能元素块坐标下降方法

在线阅读 下载PDF 职称材料

用单纯形模拟退火混合算法反演地声参数 被引量：2

10

作者 邹士新 杨坤德 《电声技术》 2006年第6期4-8,共5页

提出了一种基于下降的单纯形算法和模拟退火算法的混合优化算法用于反演地声参数。下降的单纯形方法对于目标函数的梯度信息相当敏感,因此在参数空间中能迅速地移向极小点,但由于它只能向下移动,因而往往易陷入局部极小且依赖初始条件... 提出了一种基于下降的单纯形算法和模拟退火算法的混合优化算法用于反演地声参数。下降的单纯形方法对于目标函数的梯度信息相当敏感,因此在参数空间中能迅速地移向极小点,但由于它只能向下移动,因而往往易陷入局部极小且依赖初始条件。而模拟退火算法使用随机选取的目标函数值在参数空间中搜索最佳答案,其结构有利于从局部极小中跳出,但是由于它不能利用目标函数的梯度信息因而对参数空间的搜索效率很低。混合方法结合了下降的单纯形方法与快速模拟退火方法这二者的优点,能更有效、更迅速地获得全局最优点。 展开更多

关键词 下降的单纯形方法 快速模拟退火方法 匹配场处理 单纯形模拟退火方法

在线阅读 下载PDF 职称材料

解决电磁散射问题的现代高频技术 被引量：6

11

作者 吴语茂 金亚秋 《电波科学学报》 EI CSCD 北大核心 2020年第2期192-204,共13页

电大尺寸散射体的高频散射高效算法问题是一个重要而具有挑战性的问题.本文首先对解决电磁散射问题的现代高频方法的研究进展进行了综述.其次,对高频散射场的高振荡特性,提出了数值最速下降路径法来计算高频散射场.最后,综合讨论了高频... 电大尺寸散射体的高频散射高效算法问题是一个重要而具有挑战性的问题.本文首先对解决电磁散射问题的现代高频方法的研究进展进行了综述.其次,对高频散射场的高振荡特性,提出了数值最速下降路径法来计算高频散射场.最后,综合讨论了高频驻相点贡献\凯勒锥以及爬行波场. 展开更多

关键词 物理光学 几何光学 数值绕射 数值最速下降路径方法 爬行波场

在线阅读 下载PDF 职称材料