[发明专利]一种基于时间分配和强化学习的交通信号灯控制方法

摘要

本发明公开了一种基于时间分配和强化学习的交通信号灯控制方法，包括：(1)配置仿真路口环境以及车流数据到交通模拟器，搭建智能体网络；(2)智能体网络根据路况状态产生下一信号周期的动作，并交由交通模拟器仿真一个信号周期；(3)把上一信号周期的经验存到重演缓存；(4)从重演缓存中采样经验训练智能体网络，并判断仿真的步数是否达到预设值，如果没有达到，则返回步骤(2)，否则执行下一步；(5)重置交通模拟器并对智能体网络进行测试，完成测试后进行交通信号灯控制的应用。利用本发明，可以显著提升交通效率，能更容易地应用到实际道路上。

主权项

1.一种基于时间分配和强化学习的交通信号灯控制方法，其特征在于，包括：(1)配置仿真路口环境以及车流数据到交通模拟器，搭建基于强化学习框架的智能体网络；(2)智能体网络根据路况状态产生下一信号周期的动作，并交由交通模拟器仿真一个信号周期；所述路况状态包括：上一信号周期使用的配时向量、上一信号周期里每个相位结束时每条车道上的车队长度以及上一信号周期里各个方向上的车流量；所述的动作记为其中，n表示一个信号周期里相位的个数，a₀表示在本信号周期里沿用上一信号周期里各个相位的配时，a_i(1≤i≤n)表示在延长相位i的持续时间的同时缩短其他相位的持续时间并使整个信号周期的长度不变；(3)把上一信号周期的经验存到重演缓存；所述的经验包括路况状态、动作和奖励；(4)从重演缓存中采样经验训练智能体网络并更新网络参数；(5)判断仿真的步数是否达到预设值，如果没有达到，则返回步骤(2)，否则执行步骤(6)；(6)重置交通模拟器并对智能体网络进行测试，完成测试后进行交通信号灯控制的应用。