-
题名基于深度强化学习PPO的车辆智能控制方法
- 1
-
-
作者
叶宝林
王欣
李灵犀
吴维敏
-
机构
浙江理工大学信息科学与工程学院
嘉兴大学信息科学与工程学院
印第安纳大学-普渡大学印第安纳波利斯分校电子与计算机工程系
浙江大学智能系统与控制研究所
-
出处
《计算机工程》
北大核心
2025年第7期385-396,共12页
-
基金
嘉兴市应用性基础研究项目(2023AY11034)
浙江省自然科学基金(LTGS23F030002)
+2 种基金
浙江省“尖兵”“领雁”研发攻关计划项目(2023C01174)
国家自然科学基金(61603154)
工业控制技术国家重点实验室开放课题(ICT2022B52)。
-
文摘
为提高高速公路上混合环境下车辆的行驶效率、减少交通事故的发生,提出一种基于近端策略优化(PPO)的车辆智能控制方法。首先构建一个融合深度强化学习和传统比例-积分-微分(PID)控制的分层控制框架,上层深度强化学习智能体负责确定控制策略,下层PID控制器负责执行控制策略。其次为了提升车辆的行驶效率,通过定义优势距离对观测到的环境状态矩阵进行数据筛选,帮助自主车辆选择具有更长优势距离的车道进行变道。基于定义的优势距离提出一种新的状态采集方法以减少数据处理量,加快深度强化学习模型的收敛速度。另外,为了兼顾车辆的安全性、行驶效率和稳定性,设计一个多目标奖励函数。最后在基于Gym搭建的车辆强化学习任务仿真环境Highway_env中进行测试,对所提方法在不同目标速度下的表现进行分析和讨论。仿真测试结果表明,相比深度Q网络(DQN)方法,所提方法具有更快的收敛速度,且在两种不同目标速度下均能使车辆安全平稳地完成驾驶任务。
-
关键词
近端策略优化
车辆控制
分层控制框架
多目标奖励函数
深度Q网络
-
Keywords
Proximal Policy Optimization(PPO)
vehicle control
layered control framework
multi-objective reward function
Deep Q-Network(DQN)
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
