为求解黎曼流形上的大规模可分离问题,Kasai等人在(Advances of the neural information processing systems, 31, 2018)中提出了使用非精确梯度和非精确Hessian的黎曼信赖域算法,并给出了该算法的迭代复杂度(只有证明思路,没有具体证明...为求解黎曼流形上的大规模可分离问题,Kasai等人在(Advances of the neural information processing systems, 31, 2018)中提出了使用非精确梯度和非精确Hessian的黎曼信赖域算法,并给出了该算法的迭代复杂度(只有证明思路,没有具体证明)。我们指出在该文献的假设条件下,按照其思路不能证明出相应的结果。本文提出了不同的参数假设,并证明了算法具有类似的迭代复杂度。展开更多
针对近端策略优化(PPO)算法难以严格约束新旧策略的差异和探索与利用效率较低这2个问题,提出一种基于裁剪优化和策略指导的PPO(COAPG-PPO)算法。首先,通过分析PPO的裁剪机制,设计基于Wasserstein距离的信任域裁剪方案,加强对新旧策略差...针对近端策略优化(PPO)算法难以严格约束新旧策略的差异和探索与利用效率较低这2个问题,提出一种基于裁剪优化和策略指导的PPO(COAPG-PPO)算法。首先,通过分析PPO的裁剪机制,设计基于Wasserstein距离的信任域裁剪方案,加强对新旧策略差异的约束;其次,在策略更新过程中,融入模拟退火和贪心算法的思想,提升算法的探索效率和学习速度。为了验证所提算法的有效性,使用MuJoCo测试基准对COAPG-PPO与CO-PPO(PPO based on Clipping Optimization)、PPO-CMA(PPO with Covariance Matrix Adaptation)、TR-PPO-RB(Trust Region-based PPO with RollBack)和PPO算法进行对比实验。实验结果表明,COAPG-PPO算法在大多数环境中具有更严格的约束能力、更高的探索和利用效率,以及更高的奖励值。展开更多
文摘为求解黎曼流形上的大规模可分离问题,Kasai等人在(Advances of the neural information processing systems, 31, 2018)中提出了使用非精确梯度和非精确Hessian的黎曼信赖域算法,并给出了该算法的迭代复杂度(只有证明思路,没有具体证明)。我们指出在该文献的假设条件下,按照其思路不能证明出相应的结果。本文提出了不同的参数假设,并证明了算法具有类似的迭代复杂度。
文摘针对近端策略优化(PPO)算法难以严格约束新旧策略的差异和探索与利用效率较低这2个问题,提出一种基于裁剪优化和策略指导的PPO(COAPG-PPO)算法。首先,通过分析PPO的裁剪机制,设计基于Wasserstein距离的信任域裁剪方案,加强对新旧策略差异的约束;其次,在策略更新过程中,融入模拟退火和贪心算法的思想,提升算法的探索效率和学习速度。为了验证所提算法的有效性,使用MuJoCo测试基准对COAPG-PPO与CO-PPO(PPO based on Clipping Optimization)、PPO-CMA(PPO with Covariance Matrix Adaptation)、TR-PPO-RB(Trust Region-based PPO with RollBack)和PPO算法进行对比实验。实验结果表明,COAPG-PPO算法在大多数环境中具有更严格的约束能力、更高的探索和利用效率,以及更高的奖励值。
