[发明专利]交通信号的控制方法和装置、存储介质及电子装置

权利要求书

1.一种交通信号的控制方法，其特征在于，包括：

确定目标路口在当前时间周期的第一时间段内的交通流状态参数，得到当前参数值，其中，所述目标路口的目标信号灯在所述第一时间段内所采用的信号配时参数为第一信号配时参数；

根据预设的所述交通流状态参数的参数值和信号控制动作之间的对应关系，确定与所述当前参数值对应的目标信号控制动作；

使用所述目标信号控制动作对所述第一信号配时参数执行调整操作，得到第二信号配时参数，其中，所述第二信号配时参数是在所述当前时间周期的下一个时间周期的第二时间段内，所述目标信号灯所采用的信号配时参数，所述第一时间段在所述当前时间周期中的位置与所述第二时间段在所述下一个时间周期中的位置相同；

其中，所述根据预设的所述交通流状态参数的参数值和信号控制动作之间的对应关系，确定与所述当前参数值对应的目标信号控制动作，包括：使用所述当前参数值查找预设的目标状态动作列表，得到与所述当前参数值对应的所述目标信号控制动作，其中，所述目标状态动作列表用于记录在所述交通流状态参数的一组参数值中的每个参数值下，执行一组信号控制动作中的每个信号控制动作所获取到的期望回报值，所述目标信号控制动作为在所述当前参数值下，所述一组信号控制动作中对应的期望回报值最大的信号控制动作；

所述方法还包括：获取历史参数值序列，其中，所述历史参数值序列包含所述目标路口在一组历史时间段的历史参数值，所述一组历史时间段中的每个历史时间段的历史参数值为在所述每个历史时间段内所述交通流状态参数的参数值，所述一组历史时间段与所述当前时间周期之前的一组连续的历史时间周期一一对应，所述一组历史时间段中的每个历史时间段在对应的历史时间周期中的位置与所述第一时间段在所述当前时间周期中的位置相同；根据所述每个历史时间段的信号配时参数，确定对所述每个历史时间段的信号配时参数所执行的信号控制动作，得到与所述每个历史时间段对应的历史信号控制动作，其中，所述每个历史时间段的信号配时参数为所述目标信号灯在所述每个历史时间段内所采用的信号配时参数；根据所述每个历史时间段的历史参数值，确定与所述每个历史时间段对应的累计回报值，其中，所述累计回报值是对与所述每个历史时间段的信号配时参数执行与所述每个历史时间段对应的历史信号控制动作之后，在所述每个历史时间段之后的预设数量的历史时间段内所累计的回报值；使用所述每个历史时间段的历史参数值、与所述每个历史时间段对应的历史信号控制动作以及与所述每个历史时间段对应的累计回报值对初始状态动作列表进行更新，得到所述目标状态动作列表。

2.根据权利要求1所述的方法，其特征在于，所述根据所述每个历史时间段的历史参数值，确定与所述每个历史时间段对应的累计回报值，包括：

根据所述每个历史时间段的历史参数值、以及所述每个历史时间段的前一个历史时间段的历史参数值，确定与所述每个历史时间段对应的回报值；

对与所述每个历史时间段之后的预设数量的历史时间段对应的回报值执行加权累加操作，得到与所述每个历史时间段对应的累计回报值。

3.根据权利要求2所述的方法，其特征在于，所述目标路口包括多个目标相位；所述根据所述每个历史时间段的历史参数值、以及所述每个历史时间段的前一个历史时间段的历史参数值，确定与所述每个历史时间段对应的回报值，包括：

根据所述每个历史时间段的历史参数值，确定所述多个目标相位中的每个目标相位与每个历史时间段对应的相位时延，得到所述每个目标相位的第一相位时延；

根据所述每个历史时间段的前一个历史时间段的历史参数值，确定所述每个目标相位与所述每个历史时间段的前一个历史时间段对应的相位时延，得到所述每个目标相位的第二相位时延；

将所述每个目标相位的第一相位时延的平方和与所述每个目标相位的第二相位时延的平方和之间的差值，确定为与所述每个历史时间段对应的回报值。