-
题名改进双延迟深度确定性策略梯度的多船协调避碰决策
- 1
-
-
作者
黄仁贤
罗亮
杨萌
刘维勤
-
机构
武汉理工大学船海与能源动力工程学院
高性能船舶技术教育部重点实验室(武汉理工大学)
武汉理工大学三亚科教创新园
中国舰船研究设计中心
-
出处
《计算机科学》
CSCD
北大核心
2023年第11期269-281,共13页
-
基金
国防基础科学研究计划(JCKY2020206B037)。
-
文摘
目前,多数海上避碰模型都是将船舶作为单智能体进行避碰决策,未考虑船舶间的协调避让,在多船会遇场景下仅靠单船进行避碰操作会导致避让效果不佳。为此,提出了一种改进双延迟深度确定性策略梯度算法(TD3)的Softmax深层双确定性策略梯度(SD3)多船协调避碰模型。从考虑船舶航行安全的时空因素出发构建时间碰撞模型、空间碰撞模型,对船舶碰撞风险进行定量分析,在此基础上采用根据会遇态势和船速矢量动态变化的船域模型对船舶碰撞风险进行定性分析。综合船舶目标导向、航向角改变、航向保持、碰撞风险和《国际海上避碰规则》(COLREGS)的约束设计奖励函数,结合COLREGS中的典型相遇情况构造对遇、追越和交叉相遇多局面共存的会遇场景进行避碰模拟仿真。消融实验显示softmax运算符提升了SD3算法的性能,使其在船舶协调避碰中拥有更好的决策效果,并与其他强化学习算法进行学习效率和学习效果的比较。实验结果表明,SD3算法在多局面共存的复杂场景下能高效做出准确的避碰决策,并且性能优于其他强化学习算法。
-
关键词
多船会遇
协调避碰
智能决策
双延迟深度确定性策略梯度(TD3)
softmax深层双确定性策略梯度(sd3)
强化学习
-
Keywords
Vessel encounter
Coordinated collision avoidance
Intelligent decision-making
Twin delayed deep deterministic policy gradient(TD3)
softmax deep double deterministic policy gradients(sd3)
Reinforcement learning
-
分类号
TP391.9
[自动化与计算机技术—计算机应用技术]
-
-
题名基于多智能体深度强化学习的多船协同避碰策略
- 2
-
-
作者
黄仁贤
罗亮
-
机构
武汉理工大学高性能舰船技术教育部重点实验室
武汉理工大学船海与能源动力工程学院
武汉理工大学三亚科教创新园
-
出处
《计算机集成制造系统》
EI
CSCD
北大核心
2024年第6期1972-1988,共17页
-
基金
国家自然科学基金资助项目(52101368)。
-
文摘
为了提高多船会遇时智能避碰策略的协同性、安全性、实用性和节能性,在中心化训练去中心化执行框架下,结合优先经验回放机制提出一种多智能体Softmax深层双确定性策略梯度PER-MASD3算法,用于解决多船协同避碰问题,该算法不仅解决了双延迟确定策略梯度(TD3)算法存在的值估计偏差问题,还在模型训练过程中引入熵正则项,以促进探索和控制随机控制策略,采用自适应噪声对不同阶段的任务进行有效探索,进一步提升了算法的学习效果和稳定性。通过实验验证,所提算法在解决多船协同避碰问题上具有较好的决策效果、更快的收敛速度和更稳定的性能。
-
关键词
多智能体深度强化学习
协同避碰
中心化训练去中心化执行
优先经验回放
多智能体softmax深层双确定性策略梯度
-
Keywords
multi-agent deep reinforcement learning
coordinated collision avoidance
centralized training with decentralized execution
prioritized experience replay
multi-agent softmax deep double deterministic policy gradient
-
分类号
TP391.9
[自动化与计算机技术—计算机应用技术]
-
