题名 基于双评论家的多智能体深度确定性策略梯度方法
被引量：5
1
作者
丁世飞 杜威 郭丽丽 张健 徐晓
机构
中国矿业大学计算机科学与技术学院 矿山数字化教育部工程研究中心(中国矿业大学)
出处
《计算机研究与发展》
EI
CSCD
北大核心
2023年第10期2394-2404,共11页
基金
国家自然科学基金项目(62276265,61976216,62206297,62206296)。
文摘
在现实世界的复杂多智能体环境中,任务的完成通常需要多个智能体之间的相互协作,这促使各种多智能体强化学习方法不断涌现.动作价值函数估计偏差是单智能体强化学习领域中备受关注的一个重要问题,而在多智能体环境中却鲜有研究.针对这一问题,分别从理论和实验上证明了多智能体深度确定性策略梯度方法存在价值函数被高估.提出基于双评论家的多智能体深度确定性策略梯度(multiagent deep deterministic policy gradient method based on double critics,MADDPG-DC)方法,通过在双评论家网络上的最小值操作来避免价值被高估,进一步促进智能体学得最优的策略.此外,延迟行动者网络更新,保证行动者网络策略更新的效率和稳定性,提高策略学习和更新的质量.在多智能体粒子环境和交通信号控制环境上的实验结果证明了所提方法的可行性和优越性.
关键词
强化学习 价值估计 双 评论家交通信号控制 多智能 体 深度确定性 策略 梯度
Keywords
reinforcement learning value estimation double critics traffic signal control multi-agent deep deterministic policy gradient
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
题名 改进双延迟深度确定性策略梯度的多船协调避碰决策
2
作者
黄仁贤 罗亮 杨萌 刘维勤
机构
武汉理工大学船海与能源动力工程学院 高性能船舶技术教育部重点实验室(武汉理工大学) 武汉理工大学三亚科教创新园 中国舰船研究设计中心
出处
《计算机科学》
CSCD
北大核心
2023年第11期269-281,共13页
基金
国防基础科学研究计划(JCKY2020206B037)。
文摘
目前,多数海上避碰模型都是将船舶作为单智能体进行避碰决策,未考虑船舶间的协调避让,在多船会遇场景下仅靠单船进行避碰操作会导致避让效果不佳。为此,提出了一种改进双延迟深度确定性策略梯度算法(TD3)的Softmax深层双确定性策略梯度(SD3)多船协调避碰模型。从考虑船舶航行安全的时空因素出发构建时间碰撞模型、空间碰撞模型,对船舶碰撞风险进行定量分析,在此基础上采用根据会遇态势和船速矢量动态变化的船域模型对船舶碰撞风险进行定性分析。综合船舶目标导向、航向角改变、航向保持、碰撞风险和《国际海上避碰规则》(COLREGS)的约束设计奖励函数,结合COLREGS中的典型相遇情况构造对遇、追越和交叉相遇多局面共存的会遇场景进行避碰模拟仿真。消融实验显示softmax运算符提升了SD3算法的性能,使其在船舶协调避碰中拥有更好的决策效果,并与其他强化学习算法进行学习效率和学习效果的比较。实验结果表明,SD3算法在多局面共存的复杂场景下能高效做出准确的避碰决策,并且性能优于其他强化学习算法。
关键词
多船会遇 协调避碰 智能 决策双 延迟深度确定性 策略 梯度 (TD3)softmax 深层 双 确定性 策略 梯度 (SD3)强化学习
Keywords
Vessel encounter Coordinated collision avoidance Intelligent decision-making Twin delayed deep deterministic policy gradient(TD3) softmax deep double deterministic policy gradients(SD3)Reinforcement learning
分类号
TP391.9
[自动化与计算机技术—计算机应用技术]
题名 基于多智能体深度强化学习的多船协同避碰策略
3
作者
黄仁贤 罗亮
机构
武汉理工大学高性能舰船技术教育部重点实验室 武汉理工大学船海与能源动力工程学院 武汉理工大学三亚科教创新园
出处
《计算机集成制造系统》
EI
CSCD
北大核心
2024年第6期1972-1988,共17页
基金
国家自然科学基金资助项目(52101368)。
文摘
为了提高多船会遇时智能避碰策略的协同性、安全性、实用性和节能性,在中心化训练去中心化执行框架下,结合优先经验回放机制提出一种多智能体Softmax深层双确定性策略梯度PER-MASD3算法,用于解决多船协同避碰问题,该算法不仅解决了双延迟确定策略梯度(TD3)算法存在的值估计偏差问题,还在模型训练过程中引入熵正则项,以促进探索和控制随机控制策略,采用自适应噪声对不同阶段的任务进行有效探索,进一步提升了算法的学习效果和稳定性。通过实验验证,所提算法在解决多船协同避碰问题上具有较好的决策效果、更快的收敛速度和更稳定的性能。
关键词
多智能 体 深度强化学习协同避碰 中心化训练去中心化执行 优先经验回放 多智能体softmax深层双确定性策略梯度
Keywords
multi-agent deep reinforcement learning coordinated collision avoidance centralized training with decentralized execution prioritized experience replay multi-agent softmax deep double deterministic policy gradient
分类号
TP391.9
[自动化与计算机技术—计算机应用技术]
题名 考虑多主体主动行为的综合能源系统智能运行优化方法
被引量：3
4
作者
陈晓芳 尹华杰 曾君 廖丁丁 刘俊峰
机构
华南理工大学电力学院 华南理工大学自动化科学与工程学院
出处
《电网技术》
EI
CSCD
北大核心
2023年第10期4219-4228,共10页
基金
国家自然科学基金项目(62173148,51877085) 广东省自然科学基金项目(2021A1515011347,2022A1515010150)。
文摘
综合能源系统具有主体多样性、逐利性、源荷不确定性及变量高维等特点,给综合能源系统运行优化带来巨大挑战。文章提出考虑多主体主动行为的综合能源系统智能运行优化方法。首先引入负荷聚合商统一管理用户可控负荷和储能资源,根据不同主体特点,构建具有综合能源服务商、电负荷聚合商、热负荷聚合商的三智能体群综合能源系统。然后以综合能源系统日综合运行成本最小为优化目标,考虑多主体的主动行为,基于多智能体双延时深度确定性策略梯度强化学习算法(multi-agent twin delayed deep deterministic policy gradient,MATD3)建立分布式优化调度模型。最后仿真结果表明基于MATD3的多主体综合能源系统模型收敛速度快,训练稳定。相比于传统优化方法提高了决策速度,降低了系统运行成本,且表现出更强的环境自适应力。
关键词
综合能源系统 多主体 负荷聚合商 主动行为 多智能 体 双 延时深度确定性 策略 梯度
Keywords
integrated energy system multi-agent load aggregator active behavior multi-agent twin delayed deep deterministic policy gradient
分类号
TM721
[电气工程—电力系统及自动化]
题名 深度强化学习驱动的双馈抽蓄抽水工况下调频控制
被引量：3
5
作者
劳文洁 史林军 李杨 吴峰 林克曼
机构
河海大学能源与电气学院
出处
《电力系统及其自动化学报》
CSCD
北大核心
2023年第12期59-70,共12页
基金
国家自然科学基金中英合作资助项目(52061635102)。
文摘
为改善新型电力系统的频率特性,利用抽水工况下双馈抽水蓄能机组功率可调的特点,提出基于多智能体深度确定性策略梯度算法的系统频率控制方法。首先,基于抽水工况下双馈抽水蓄能的频率控制策略,构建多能互补系统的频率控制模型;其次,以提高各区域控制性能标准指标为目标,利用改进的多智能体深度确定性策略梯度算法优化各机组的自动发电控制指令。算例分析表明,抽水工况下双馈抽水蓄能参与调频可显著改善系统的频率特性,且所提频率控制方法的鲁棒性和可靠性优于传统控制。
关键词
调频 双 馈抽水蓄能机组多智能 体 深度确定性 策略 梯度 算法多能互补系统 控制性能标准
Keywords
frequency regulation doubly-fed induction machine pumped storage hydro(DFIM-PSH)unit multi-agent deep deterministic policy gradient(MADDPG)algorithm hybrid energy system control performance standard
分类号
TM614
[电气工程—电力系统及自动化]
