[发明专利]一种交通信号灯控制方法和系统

权利要求书

1.一种交通信号灯控制方法，其特征在于，所述方法包括：

采集十字路口范围内车辆的状态信息，以及所述车辆进入所述十字路口范围的第一时间和离开所述十字路口范围的第二时间；其中，所述状态信息包括以下信息的至少之一：车辆类型、位置、速度、加速度；

针对所述十字路口范围内的交通信号灯的所有执行动作，基于所述车辆的状态信息、所述车辆进入所述十字路口范围的第一时间和离开所述十字路口范围的第二时间确定所述十字路口范围内所有车辆的体验参数之和；

选择一个执行动作控制所述交通信号灯的状态，以使所述十字路口范围内所有车辆的体验参数和最大；

所述所有车辆的体验参数之和设定为目标函数，则所述目标函数满足以下表达式：

其中，γ为常数，γ的取值范围为大于0小于1；f(T_k)表征车辆通过十字路口的体验函数；T表示通过十字路口的时间；a_n表示交通信号灯的执行动作；表示执行动作a_n执行的时间点；Z₀表示在执行动作a_n执行之后、执行动作a_n+1执行之前离开十字路口范围的车辆集合；表示离开十字路口范围的Z_n集合中所有车辆的体验参数之和；其中，X表示所述十字路口的状态；所述十字路口的状态包括车辆类型、车辆的速度信息、车辆的加速度信息、车辆在所述十字路口范围内的持续时间以及交通信号灯的状态。

2.根据权利要求1所述的方法，其特征在于，所述选择一个执行动作控制所述交通信号灯的状态之前，所述方法还包括：

当在预设控制周期内无新车辆进入所述十字路口范围内时，对于所述目标函数，设Q函数为：

其中，所述Q函数表示在所述十字路口状态X下执行控制动作a₀后得到的所述十字路口范围内所有车辆的最大的体验参数之和；

将所述Q函数改写为：

采用估计函数对所述Q函数进行估计，则所述估计函数为：

采用多次迭代方式使所述估计函数逼近所述Q函数，则所述估计函数满足以下表达式：

其中，v_n(X,a)为在状态X下选择控制动作a的计数；α_n表示学习速度，α_n满足以下表达式：

其中，ε表示最小学习速度。

3.根据权利要求2所述的方法，其特征在于，所述选择一个执行动作控制所述交通信号灯的状态，包括：

当在预设控制周期内有新车辆进入所述十字路口范围内时，存在：

其中，π^/表示执行动作a1遵循的策略；π^*表示所述目标函数最大时的策略；Z₀表示在执行动作a₀执行之后、执行动作a₁执行之前离开十字路口范围的车辆集合；Φ表示所述执行动作a₀执行之前所述十字路口范围内的车辆集合；

基于上述表达式，则设Q函数满足以下表达式为：

其中，表示无论是否有新车辆进入所述十字路口范围，所述十字路口范围内的所有车辆的体验参数之和的数学期望；

所述估计函数逼近所述Q函数，则所述估计函数满足以下表达式：

其中，所述估计函数的最小值采用指数滑动平均法获得，所述指数滑动平均法满足以下表达式：

其中，s_n表示所述十字路口范围内的车辆的体验参数的平均值。

4.根据权利要求3所述的方法，其特征在于，所述选择一个执行动作控制所述交通信号灯的状态，包括：

对于所述十字路口在交通信号灯的执行动作a₀的执行时间点所处的状态下、所有的执行动作a，计算对应的估计函数

基于获得的所述估计函数计算所述状态下执行动作a被选择执行的概率；所述概率满足以下表达式：

其中，k为正整数；

基于获得的执行动作a的概率，选择所述估计函数最大的一个执行动作执行，以使所述执行动作对应的所述十字路口范围内的所有车辆的体验参数之和最大。