[发明专利]一种基于强化学习的交通信号灯控制方法与系统

权利要求书

1.一种基于强化学习的交通信号灯控制方法，其特征在于，其应用于环境中的每个智能体，智能体包括控制器和多个子策略，包括：

S1，控制器根据局部观测信息和上层策略，从多个子策略中选择一个；

S2，所述子策略根据所述局部观测信息，从多个相位中选择一个执行一个时间步；

S3，所述控制器根据获取到的奖励和当前时间观测信息，更新所述子策略的参数；

S4，更新后的所述子策略选择保持或更换所述相位，执行一个时间步；

S5，所述控制器根据执行的所述时间步的数量、周期的数量和邻域观测信息，更新权重参数和所述上层策略，执行S1；或执行S3；或得到训练好的所述智能体；

S6，使用训练好的所述智能体控制一个路口中的所有交通信号灯；

所述控制器根据局部观测信息和上层策略，从多个子策略中选择一个，包括：

控制器获取与其对应的局部观测信息；

所述控制器根据上层策略和所述局部观测信息，从三个子策略中选择一个，其中，三个子策略包括：队列优化子策略、等待优化子策略和延迟优化子策略；

所述子策略根据所述局部观测信息，从多个相位中选择一个执行一个时间步，包括：

所述子策略根据所述控制器获取的所述局部观测信息，从五个相位中选择一个相位，执行一个时间步；

所述控制器根据获取到的奖励和当前时间观测信息，更新所述子策略的参数，包括：

控制器根据执行的所述子策略，获得与子策略对应的一种奖励，所述奖励包括：队列奖励、等待奖励和延迟奖励；

控制器从当前环境中获取与其对应的当前局部观测信息和与此控制器对应的智能体相邻的多个智能体的当前邻近观测信息；

使用强化学习算法更新与执行的所述子策略对应的子策略参数，所述子策略参数包括：队列参数、等待参数和延迟参数；

所述控制器根据执行的所述时间步的数量、周期的数量和邻域观测信息，更新权重参数和所述上层策略，执行S1；或执行S3；或得到训练好的所述智能体，包括：

若已执行的所述时间步的数量等于步阈值，且执行的周期的数量小于周期阈值，则所述控制器根据所述局部观测信息、邻域观测信息和得到的所述奖励更新权重参数和所述上层策略的参数，执行S1；

若已执行的所述时间步的数量小于步阈值，则执行S3；

若所述时间步的数量等于步阈值，且执行的周期的数量等于周期阈值，则得到训练好的智能体；

所述控制器根据所述局部观测信息、邻域观测信息和得到的所述奖励更新权重参数和所述上层策略的参数，包括：

所述控制器根据所述局部观测信息、邻域观测信息和此周期获取到的所有奖励，更新局部值函数模型和邻域值函数模型；

所述控制器根据更新后的所述局部值函数模型和邻域值函数模型，使用策略梯度方法更新上层策略模型参数；

根据所述上层策略模型参数，更新权重参数；

根据更新后的所述局部值函数模型、邻域值函数模型、上层策略模型参数和权重参数，更新所述上层策略；

所述控制器根据所述局部观测信息、邻域观测信息和此周期获取到的所有奖励，更新局部值函数模型和邻域值函数模型，包括：

所述控制器获取当前时间步的局部观测信息；

所述控制器将此周期获取到的所有奖励作为局部奖励；

所述控制器根据所述局部观测信息和局部奖励，更新局部值函数模型；

所述控制器获取与此控制器对应的智能体相邻的多个智能体的邻近观测信息；

所述控制器将所述局部观测信息与邻近观测信息拼合，得到邻域观测信息；

所述控制器将与其相邻的智能体在此周期获取到的所有奖励作为邻近奖励；

所述控制器根据所述邻域观测信息和邻近奖励，更新邻域值函数模型；

所述五个相位包括：相位零、相位一、相位二、相位三和相位四；

其中相位一、相位二、相位三和相位四构成相位循环；

更换所述相位时，按照固定方向更换所述相位；

每次确定更换相位后，将下一个相位作为目标相位；

在更换到所述目标相位之前，先选择相位零，执行多个时间步；

更换相位至所述目标相位。

2.如权利要求1所述的基于强化学习的交通信号灯控制方法，其特征在于，在S1之前，还包括：

初始化环境中的智能体，上层策略和权重参数。

3.一种基于强化学习的交通信号灯控制系统，其特征在于，智能体包括：

控制器，用于获取环境的局部观测信息和邻域观测信息，根据上层策略周期选择子策略，直至该周期的执行数量达到周期阈值，结束；根据执行的时间步的数量和周期的数量以及邻域观测信息，更新权重参数和所述上层策略，得到训练好的所述智能体；

控制器获取与其对应的局部观测信息；所述控制器根据上层策略和所述局部观测信息，从三个子策略中选择一个，其中，三个子策略包括：队列优化子策略、等待优化子策略和延迟优化子策略；

所述控制器根据获取到的奖励和当前时间观测信息，更新所述子策略的参数，包括：控制器根据执行的所述子策略，获得与子策略对应的一种奖励，所述奖励包括：队列奖励、等待奖励和延迟奖励；控制器从当前环境中获取与其对应的当前局部观测信息和与此控制器对应的智能体相邻的多个智能体的当前邻近观测信息；使用强化学习算法更新与执行的所述子策略对应的子策略参数，所述子策略参数包括：队列参数、等待参数和延迟参数；

所述控制器根据执行的所述时间步的数量、周期的数量和邻域观测信息，更新权重参数和所述上层策略，执行：控制器根据局部观测信息和上层策略，从三个子策略中选择一个；或执行所述控制器根据获取到的奖励和当前时间观测信息，更新所述子策略的参数；或得到训练好的所述智能体，包括：若已执行的所述时间步的数量等于步阈值，且执行的周期的数量小于周期阈值，则所述控制器根据所述局部观测信息、邻域观测信息和得到的所述奖励更新权重参数和所述上层策略的参数，执行：根据局部观测信息和上层策略，从三个子策略中选择一个，继续后续的子策略更新；若已执行的所述时间步的数量小于步阈值，则执行：控制器根据获取到的奖励和当前时间观测信息，继续后续的子策略更新；若所述时间步的数量等于步阈值，且执行的周期的数量等于周期阈值，则得到训练好的智能体；

所述控制器根据所述局部观测信息、邻域观测信息和得到的所述奖励更新权重参数和所述上层策略的参数，包括：所述控制器获取当前时间步的局部观测信息；所述控制器将此周期获取到的所有奖励作为局部奖励；所述控制器根据所述局部观测信息和局部奖励，更新局部值函数模型；所述控制器获取与此控制器对应的智能体相邻的多个智能体的邻近观测信息；所述控制器将所述局部观测信息与邻近观测信息拼合，得到邻域观测信息；所述控制器将与其相邻的智能体在此周期获取到的所有奖励作为邻近奖励；所述控制器根据所述邻域观测信息和邻近奖励，更新邻域值函数模型；所述控制器根据更新后的所述局部值函数模型和邻域值函数模型，使用策略梯度方法更新上层策略模型参数；根据所述上层策略模型参数，更新权重参数；根据更新后的所述局部值函数模型、邻域值函数模型、上层策略模型参数和权重参数，更新所述上层策略；

多个子策略，用于根据环境的观察信息选择相位，执行动作，得到动作奖励；根据获取到的奖励和当前时间观测信息，更新所述子策略的参数；

所述子策略根据所述局部观测信息，从多个相位中选择一个执行一个时间步，包括：所述子策略根据所述控制器获取的所述局部观测信息，从五个相位中选择一个相位，执行一个时间步；

所述五个相位包括：相位零、相位一、相位二、相位三和相位四；

其中相位一、相位二、相位三和相位四构成相位循环；

更换所述相位时，按照固定方向更换所述相位；

每次确定更换相位后，将下一个相位作为目标相位；

在更换到所述目标相位之前，先选择相位零，执行多个时间步；

更换相位至所述目标相位。