|本期目录/Table of Contents|

[1]陈 骁.基于多智能体深度强化学习的大规模交通信号灯控制模型研究[J].工业仪表与自动化装置,2022,(04):85-90.[doi:10.19950/j.cnki.cn61-1121/th.2022.04.017]
　CHEN Xiao.Research on large-scale traffic light control model based on multi-agent deep reinforcement learning[J].Industrial Instrumentation & Automation,2022,(04):85-90.[doi:10.19950/j.cnki.cn61-1121/th.2022.04.017]
点击复制

基于多智能体深度强化学习的大规模交通信号灯控制模型研究

《工业仪表与自动化装置》[ISSN:1000-0682/CN:61-1121/TH]

卷:
期数:
2022年04期
页码:
85-90
栏目:
出版日期:
2022-08-15

文章信息/Info

Title:
Research on large-scale traffic light control model based on multi-agent deep reinforcement learning
文章编号:
1000-0682（2022）04-0000-00
作者:
陈 骁
陕西交通职业技术学院，陕西 西安 710018
Author(s):
CHEN Xiao
Shaanxi Transportation Vocational and Technical College, Shaanxi, Xi’an 710018, China
关键词:
多智能体; 深度强化学习; 大规模交通信号灯; 协同控制; 模型仿真验证
Keywords:
multi-agent;  deep reinforcement learning;  large-scale traffic lights;  cooperative control;  model simulation verification
分类号:
TP274
DOI:
10.19950/j.cnki.cn61-1121/th.2022.04.017
文献标志码:
A
摘要:
针对基于最长队列优先配时算法的大规模交通信号灯协同控制模式存在的诸多不足，提出了一种基于多智能体深度强化学习的大规模交通信号灯控制模型。首先形成融合经验学习集和实践应用集的高度动态复杂路段交通运行态势经验池；然后利用深度长短期神经网络建立时间正序下的大规模交通信号灯与多智能体之间的物理映射关系；最后利用深度确定性策略梯度算法实现复杂路段大规模交通信号灯最优协同控制。对模型开展了典型需求场景下的仿真验证及应用实践定量分析，验证分析结果表明模型可以大幅度改善高度动态复杂路段交通疏导的效率，正常交通流下复杂路段交通疏导平均等待时间降低27.82%，正常交通流下复杂路段交通疏导平均队列长度降低31.19%。
Abstract:
In view of the shortcomings of the large-scale traffic signal cooperative control mode based on the longest queue priority timing algorithm, the large-scale traffic signal control model based on multi-agent deep reinforcement learning is proposed.Firstly, the highly dynamic and complex traffic operation situation experience pool integrating experience learning set and practical application set is formed; Then, the physical mapping relationship between large-scale traffic lights and multi-agent under positive time sequence is established by using deep long-term and short-term neural network; Finally, the depth deterministic strategy gradient algorithm is used to realize the optimal cooperative control of large-scale traffic lights in complex road sections.The simulation verification and application practice quantitative analysis of the model under typical demand scenarios are carried out. The verification and analysis results show that the model can greatly improve the efficiency of traffic dredging in highly dynamic complex sections. The average waiting time of traffic dredging in complex sections under normal traffic flow is reduced by 27.82%, and the average queue length of traffic dredging in complex sections under normal traffic flow is reduced by 31.19%.

参考文献/References:

[1]吴啸宇,李慧慧,林娟娟,等.基于人工鱼群算法的交通信号灯配时优化模型[J].南京理工大学学报,2022,46(01):40-47.

[2]邵叶秦,周昆阳,郑泽斌,等.基于改进的轻量级YOLOv3的交通信号灯检测与识别[J].南通大学学报(自然科学版),2021,20(03):34-40.
[3]程宇阳,周丙涛,施成熙.基于长短期记忆人工神经网络与SUMO仿真的交通信号灯配时优化[J].科学技术创新,2021(26):67-70.
[4]徐先峰,黄刘洋,龚美.基于卷积神经网络与双向长短时记忆网络组合模型的短时交通流预测[J].工业仪表与自动化装置,2020,271(01):13-18.
[5]刘佳佳,左兴权.交叉口交通信号灯的模糊控制及优化研究[J]. 系统仿真学报,2020,32(12):2401-2408.
[6]刘永涛,樊亚敏,张莉,等.基于自学习的组网式交通信号灯异常检测研究[J].重庆交通大学学报(自然科学版),2021,40(03):27-33.
[7]张书阳,陈佳琦.可升级的基于模糊控制的最优化交通信号灯系统[J].数码世界,2020(11):34-35.
[8]黄悦华,史振利,胡智莹,等.基于LabVIEW的交通信号灯工作状态智能监测系统研究[J].现代电子技术,2020,43(16):34-38+43.
[9]邓清唐,胡丹尔,蔡田田,等.基于多智能体深度强化学习的配电网无功优化策略[J].电工电能新技术,2022,41(02):10-20.
[10]郭天昊,张钢,岳文渊,等.基于多智能体强化学习的无人机群室内辅助救援[J].计算机系统应用,2022,31(02):88-95.
[11]陈妙云,王雷,盛捷.基于值分布的多智能体分布式深度强化学习算法[J].计算机系统应用,2022,31(01):145-151.
[12]张盼,丁华,张颖而,等.基于信息共享的多智能体自主电子干扰系统[J].浙江大学学报(工学版),2022,56(01):75-83.
[13]王曈,刘洋.5G智能交通背景下交通信号灯配时优化研究——基于灰色预测模型和遗传算法[J].智能计算机与应用,2020,10(07):185-191.
[14]陈黎娟,吴开志.基于状态机模型的交通信号灯控制教学实验探索[J].南昌航空大学学报(自然科学版),2018,32(04):99-104.
[15]季颖秋,陈广,陈超.车流量下的智能交通信号优化控制分析[J].黑龙江交通科技,2021,44(07):240-241.
[16]刘皓,吕宜生.基于深度强化学习的单路口交通信号控制[J].道路交通与安全,2020,020(002):54-59.

相似文献/References:

[1]丁 玲.基于神经网络深度强化学习的分拣机器人避障规划技术[J].工业仪表与自动化装置,2023,(02):46.[doi:10.19950/j.cnki.cn61-1121/th.2023.02.009]
　DING Ling.Obstacle avoidance planning technology of sorting robot based on neural network deep reinforcement learning[J].Industrial Instrumentation & Automation,2023,(04):46.[doi:10.19950/j.cnki.cn61-1121/th.2023.02.009]

备注/Memo

备注/Memo:
收稿日期：2022-03-08
基金项目：
陕西省教育厅科研一般项目（19JK0111）；
陕西省技术创新引导专项基金资助项目（2020CGHJ-007）；
陕西省教育厅服务地方专项基金资助项目（19JC004）
作者简介：
陈骁（1988），男，汉族，陕西西安人，讲师，硕士，主要研究方向为大规模交通信号灯控制机理、城市轨道交通规划、城市轨道交通运营组织等。
更新日期/Last Update: 1900-01-01