内容简介
本书围绕城市交通信号控制难题，综合运用智能计算与深度强化学习技术展开介绍。开篇阐述了交通拥堵现状及智能交通系统发展背景，梳理了交通信号控制技术的研究现状。接着，针对多交叉口信号协同控制，提出半分布式三层框架及相应优化模型与算法；针对传统车流动力学建模局限，引入单智能体深度强化学习方法，创新动作空间、奖励函数等；针对多交叉口信号控制难题，提出新算法并结合平均场理论等机制，解决维度灾难和Q值过估计问题。
本书所提模型和算法均通过仿真实验，有较强的实践指导意义。本书适合交通工程领域的工程师及科研人员学习，也可用作高等院校相关专业的教学参考书。
目录
第1章绪论001～020
1.1交通信号控制技术研究背景002
1.2交通信号控制技术分类及国内外研究现状006
1.2.1基于经典方法的交通信号控制技术006
1.2.2基于深度强化学习的交通信号控制技术009
1.2.3基于车联网的交通信号控制技术012
1.2.4交通信号控制技术的研究现状015
1.3本书主要思路及内容016
1.3.1主要思路016
1.3.2主要内容017
第2章基础知识021～044
2.1进化计算方法概述022
2.2强化学习概述024
2.3单智能体深度强化学习032
2.4多智能体深度强化学习034
2.4.1随机博弈035
2.4.2纳什Q学习036
2.4.3多智能体深度确定性策略梯度算法037
2.5平均场多智能体强化学习038
2.5.1平均场近似理论039
2.5.2平均场多智能体强化学习算法042
2.6本章小结044
第3章基于车流动力学的交通信号控制问题建模及优化算法045～076
3.1引言046
3.2交通场景下的基本参数和评价指标047
3.2.1基本参数047
3.2.2评价指标050
3.3多交叉口交通信号控制问题描述051
3.4多交叉口交通信号控制问题建模054
3.4.1相位差延迟模型054
3.4.2绿信比延迟模型056
3.4.3改进的公共周期模型057
3.4.4信号协同优化模型057
3.4.5交叉口分级策略058
3.5基于免疫的烟花算法060
3.5.1烟花算法和免疫机制的基本思想060
3.5.2基于免疫的烟花算法设计061
3.6仿真与分析065
3.6.1仿真环境及实验参数设置065
3.6.2交通环境下的仿真与分析067
3.6.3标准函数下的仿真与分析073
3.7本章小结075
第4章基于深度强化学习的单智能体交通信号控制077～106
4.1引言078
4.2基于马尔可夫决策过程的交通信号控制问题描述079
4.2.1状态空间079
4.2.2动作空间081
4.2.3奖励函数083
4.2.4累积延迟的近似088
4.3基于动态权重的soft actor-critic算法089
4.3.1动态权重089
4.3.2基于动态权重的soft actor-critic算法设计091
4.4仿真与分析095
4.4.1仿真平台设置095
4.4.2算法参数设置098
4.4.3交通环境下的仿真与分析099
4.4.4标准连续控制任务下的仿真与分析103
4.5本章小结105
第5章基于深度强化学习的多智能体交通信号控制107～130
5.1引言108
5.2基于马尔可夫博弈的交通信号控制问题描述109
5.3合作的基于指数加权移动平均的动态延迟更新双延迟深度确定性策略梯度算法112
5.3.1强化学习中的Q值过估计问题112
5.3.2基于指数加权移动平均的动态延迟更新策略115
5.3.3合作的基于指数加权移动平均的动态延迟更新双延迟深度确定性策略梯度算法设计117
5.4仿真与分析121
5.4.1仿真平台设置121
5.4.2算法参数设置123
5.4.3仿真结果与分析124
5.5本章小结130
第6章总结与展望131～136
6.1总结132
6.2展望134
附录137～140
参考文献141～155
前言/序言
在当今城市化快速推进的时代，交通拥堵如同城市发展的“顽疾”，严重制约着城市的可持续发展。它不仅导致人们出行时间大幅增加，降低生活效率与质量，还对经济发展造成负面影响，带来环境污染、能源浪费等一系列问题。
随着城市化进程的不断加速，城市人口持续增长，机动车保有量也在迅猛攀升。这种快速增长使得交通需求与有限的交通基础设施之间的矛盾日益尖锐。传统的交通信号控制方式已难以适应复杂多变的交通流量，无法从根本上解决交通拥堵问题。智能交通系统的出现，为交通信号控制领域带来了新的曙光。智能交通信号控制系统作为智能交通系统的核心组成部分，将先进的智能控制技术、信息融合技术、交通预测技术与交通管理技术相结合，实现了点线面的交通信号协同控制，成为城市交通信号控制发展的必然趋势。
在这样的背景下，本书围绕城市交通信号控制的建模与优化，综合运用智能计算和深度强化学习技术，旨在探索更为高效、智能的交通信号控制策略。在多交叉口信号协同控制方面，本书提出了一种半分布式的三层架构，在此基础上建立了自适应交通信号协同优化模型，并对公共周期模型进行改进，同时设计了基于免疫的烟花算法。该算法利用抗体多样性和免疫细胞间的交流机制，克服了传统算法的局限，显著提升了算法的性能和控制效果，有效降低了交通延迟时间，解决了相位差冲突问题。
针对基于车流动力学建模的交通信号控制方法存在的局限性，本书引入了基于深度强化学习的单智能体控制方法。通过重新设计动作空间、奖励函数以及提出累积延迟近似方法，充分考虑了行人穿越等实际因素，从微观层面实现了更精准的交通信号控制。同时，提出基于动态权重的soft actorcritic算法，显著提高了算法的收敛效率和性能，有效优化了交通性能指标。
在多智能体深度强化学习的研究中，本书提出了合作的基于指数加权移动平均的动态延迟更新双延迟深度确定性策略梯度算法。通过引入平均场理论、联合奖励分配机制和状态共享机制，有效解决了动作空间维度灾难和Q值过估计等难题，大幅提升了算法在多交叉口信号控制中的性能。
本书能够为从事交通工程、智能控制等领域的科研人员和工程师提供有价值的参考，共同推动城市交通信号控制技术的发展，为缓解交通拥堵、构建高效便捷的城市交通系统贡献力量。
由于著者水平有限，书中不足之处在所难免，望广大读者批评指正。
著者
