-
题名基于改进深度强化学习方法的单交叉口信号控制
被引量：19
- 1
-
-
作者
刘志
曹诗鹏
沈阳
杨曦
-
机构
浙江工业大学计算机科学与技术学院
-
出处
《计算机科学》
CSCD
北大核心
2020年第12期226-232,共7页
-
基金
浙江省公益技术研究计划项目(LGG20F030008)
浙江省自然科学基金项目(LY20F030018)。
-
文摘
利用深度强化学习技术实现路口信号控制是智能交通领域的研究热点。现有研究大多利用强化学习来全面刻画交通状态以及设计有效强化学习算法以解决信号配时问题,但这些研究往往忽略了信号灯状态对动作选择的影响以及经验池中的数据采样效率,导致训练过程不稳定、迭代收敛较慢等问题。为此,文中在智能体模型设计方面,将信号灯状态纳入状态设计,并引入动作奖惩系数来调节智能体动作选择,以满足相位最小绿灯时间和最大绿灯时间的约束。同时,结合短期内交通流存在的时序相关性,文中采用优先级序列经验回放(Priority Sequence Experience Replay,PSER)的方式来更新经验池中序列样本的优先级,使得智能体获取与交通状况匹配度更高的前序相关样本,并通过双Q网络和竞争式Q网络来进一步提升DQN(Deep Q Network)算法的性能。最后,以杭州市萧山区市心中路和山阴路形成的单交叉口为例,在仿真平台SUMO(Simulation of Urban Mobility)上对算法进行验证,实验结果表明,提出的智能体模型优于无约束单一状态模型,在此基础上提出的算法能够有效缩短车辆平均等待时间和路口总排队长度,控制效果优于实际配时策略以及传统的DQN算法。
-
关键词
信号控制
动作奖惩系数
多指标系数加权
优先级序列经验回放
深度Q网络
-
Keywords
Signal control
Action reward and punishment coefficient
Weighted multi-index coefficient
Priority sequence experience replay
Deep Q Network
-
分类号
TP181
[自动化与计算机技术—控制理论与控制工程]
-
