-
题名基于深度强化学习PPO的车辆智能控制方法
- 1
-
-
作者
叶宝林
王欣
李灵犀
吴维敏
-
机构
浙江理工大学信息科学与工程学院
嘉兴大学信息科学与工程学院
印第安纳大学-普渡大学印第安纳波利斯分校电子与计算机工程系
浙江大学智能系统与控制研究所
-
出处
《计算机工程》
北大核心
2025年第7期385-396,共12页
-
基金
嘉兴市应用性基础研究项目(2023AY11034)
浙江省自然科学基金(LTGS23F030002)
+2 种基金
浙江省“尖兵”“领雁”研发攻关计划项目(2023C01174)
国家自然科学基金(61603154)
工业控制技术国家重点实验室开放课题(ICT2022B52)。
-
文摘
为提高高速公路上混合环境下车辆的行驶效率、减少交通事故的发生,提出一种基于近端策略优化(PPO)的车辆智能控制方法。首先构建一个融合深度强化学习和传统比例-积分-微分(PID)控制的分层控制框架,上层深度强化学习智能体负责确定控制策略,下层PID控制器负责执行控制策略。其次为了提升车辆的行驶效率,通过定义优势距离对观测到的环境状态矩阵进行数据筛选,帮助自主车辆选择具有更长优势距离的车道进行变道。基于定义的优势距离提出一种新的状态采集方法以减少数据处理量,加快深度强化学习模型的收敛速度。另外,为了兼顾车辆的安全性、行驶效率和稳定性,设计一个多目标奖励函数。最后在基于Gym搭建的车辆强化学习任务仿真环境Highway_env中进行测试,对所提方法在不同目标速度下的表现进行分析和讨论。仿真测试结果表明,相比深度Q网络(DQN)方法,所提方法具有更快的收敛速度,且在两种不同目标速度下均能使车辆安全平稳地完成驾驶任务。
-
关键词
近端策略优化
车辆控制
分层控制框架
多目标奖励函数
深度Q网络
-
Keywords
Proximal Policy Optimization(PPO)
vehicle control
layered control framework
multi-objective reward function
Deep Q-Network(DQN)
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名面向不同粗糙程度地面的四足机器人自适应控制方法
- 2
-
-
作者
张楠杰
陈玉全
季茂沁
孙运康
王冰
-
机构
河海大学人工智能与自动化学院
-
出处
《自动化学报》
北大核心
2025年第7期1585-1598,共14页
-
基金
国家自然科学基金(51777058)资助。
-
文摘
针对四足机器人在复杂环境中的高速稳定运动问题,提出一种融合模型和学习的分层运动控制框架.首先,提出基于单次落足点偏差的惩罚机制,实现对连续滑动状态的有效评估.其次,构建基于双曲正切函数的连续接触状态描述,显著改善了传统离散方法中的相位切换冲击问题.然后,设计基于LSTM的地面特性实时估计网络,实现质心位置的自适应调整.最后,提出基于执行层和决策层的分层控制框架,提高系统的环境适应能力.在Isaac Gym仿真环境中的实验表明,该控制方法能够适应不同摩擦系数和运动速度条件.特别是在极低摩擦环境(μ=0.05)下,自适应控制策略通过0.061 0 m的质心高度调整,在维持1.428 4 m/s运动速度的同时,将足端滑动距离控制在0.308±0.005 0 cm,充分验证了所提控制方法的有效性和实用价值.
-
关键词
四足机器人
强化学习
自适应控制策略
奖励函数优化
分层控制框架
-
Keywords
Quadruped robot
reinforcement learning
adaptive control strategy
reward function optimization
hierarchical control framework
-
分类号
TP242
[自动化与计算机技术—检测技术与自动化装置]
-
