[发明专利]一种基于深度强化学习的公交排班模型的设计方法、装置及系统

权利要求书

1.一种基于深度强化学习的公交排班模型的设计方法，其特征在于，包括如下步骤：

步骤1，根据发车时刻表，生成三个矩阵：规则矩阵X、排班矩阵Y、可选位置矩阵Z；建立马尔可夫决策过程；

所述规则矩阵X∈{0,1}^N×N，规则矩阵的元素X_i,j含义如下

所述规则矩阵可以根据时刻表生成，所述班次i、j表示编号i、编号j对应的班次，所述发车时刻表中一共有N个班次，对时刻表中每一个班次按照时间顺序编号：1,2,…,N；

所述排班矩阵Y∈{0,1}^N×N，元素Y_i,j含义如下

排班矩阵初始化元素全为0，后续根据每一步策略来改变其中的值；

可选位置矩阵Z∈{0,1}^N×N，矩阵的元素Z_i,j的含义如下

可选位置矩阵初始化Z＝X，后续根据执行策略来改变其中的值；

所述马尔可夫决策过程为：马尔可夫决策过程由(S,A,R,π,G)构成，其中S表示状态空间，A表示动作空间，π_θ表示策略，θ为策略的参数；用π_θ(a|s)表示在策略π_θ和状态s下动作a的概率分布，R表示回报奖励函数，G表示随时间累计的回报奖励；

根据排班的任务定义马尔可夫决策过程：

策略π_θ具体为：策略神经网络

状态s：(X,Y,Z)∈S

动作a：(i,j)∈A，动作a的执行过程为：在Y_i,j处填1，并将Z的第i行和第j列全部置为0

回报奖励R(s,a)：

所述Score(Y)为评分函数，表示实数域，所述评分函数用于评估排班结果的好坏；

步骤2，对排班策略神经网络进行训练：

获取初始化状态s₀，所述初始化状态s₀为规则矩阵、排班矩阵、可选位置矩阵三个矩阵的初始值；

计算状态s_t对应动作的概率分布π_θ(a|s_t)：

策略神经网络的输入是状态s_t即三个矩阵的N×N×3的张量，网络的输出为N²维的向量，表示在排班矩阵中选中的位置，其中t表示执行的第t次操作；

根据概率分布随机选取动作a_t；

执行动作a_t后得到状态s_t+1；

计算回报奖励r_t＝R(s_t,a_t)；

执行完a_t后得到s_t+1，如果状态动作a_t对应的Z_i,j为0，则退出；如果执行完a_t后，Z变成全是0，则退出；否则返回到步骤：计算状态s_t+1对应动作的概率分布π_θ(a|s_t+1)

由此得到排班的轨迹τ

τ＝s₀,a₀,r₀,s₁,a₁,r₁,…,s_T,a_T,r_T

根据强化学习的目标函数和策略梯度对策略神经网络的参数进行更新，

即得到公交排班模型。

2.根据权利要求1所述的一种基于深度强化学习的公交排班模型的设计方法，其特征在于，所述班次j可以由同一辆车在执行完班次i后执行，具体为：班次j的出发时间位于班次i的到达时间后的10～40min内。

3.根据权利要求1所述的一种基于深度强化学习的公交排班模型的设计方法，其特征在于，所述评分函数Score(Y)为

其中α和β为超参数，用于控制比例。