[发明专利]基于WMGIRL算法的可变交通管控方案中区域流量分布预测方法

权利要求书

1.基于WMGIRL算法的可变交通管控方案中区域流量分布预测方法，其特征在于，包括以下步骤：

S1、对待预测区域进行城市路网建模，并采集该区域内的行车轨迹数据；

S2、基于待预测区域对应的城市路网和行车轨迹数据，通过基于多权值的最大熵逆强化学习方法提取待预测区域内的流量特征；

S3、基于提取出的流量特征和当前交通管控方案下的城市路网，通过正向强化学习方法对其进行处理，获得待预测区域的流量分布预测结果；

所述步骤S2具体为：

S21、基于城市路网和采集的行车轨迹数据构建专家策略集合T＝{ξ₀,ξ₁,...,ξ_m}；

其中，ξ_i∈T，ξ_i为专家策略，下标i＝1,2,3,...,m，m为专家策略总条数，专家策略ξ_i为ξ_i＝{(s₀,a₀),(s₁,a₁),...,(s_n,a_n)}，(s_t,a_t)∈ξ_i，(s_t,a_t)为二元组，s_t为状态，a_t为行为，下标t为第t个时刻，t＝1,2,3,...,n，n为总时间长度；

S22、为专家策略集合T中的每条专家策略ξ_i的状态s_t设置特征期望权重，并计算专家策略的特征期望；

S23、基于专家策略集合中每条专家策略长度不一的情况，设置特征权重系数x，并对其进行初始化；

S24、根据特征权重系数x确定状态回报率c，进而得到报酬函数φ(S_t⁽ⁱ⁾)及状态动作值函数p(s'|s,a)；

S25、通过前向后向算法计算期望状态访问频率

S26、基于期望状态访问频率利用梯度向量更新特征权重系数；

S26、重复步骤S24～S25，直到收敛，进入步骤S27；

S27、将当前报酬函数作为最优报酬函数，即得到流量特征。

2.根据权利要求1所述的基于WMGIRL算法的可变交通管控方案中区域流量分布预测方法，其特征在于，所述步骤S1中，对待预测区域进行城市路网建模的方法具体为：

A1、在待预测区域内，将路口视为点V，两个相邻路口之间的道路视为边E，得到实体路网G(V,E)；

A2、将实体路网G(V,E)中的路口视为马尔科夫过程中的状态，道路视为智能体在状态转换间所需的行为，进而将实体路网G(V,E)类比为环境模型；

A3、基于实体路网G(V,E)中路网的连通性确定环境模型的环境矩阵F，并根据实体路网G(V,E)中道路的属性确定状态转移矩阵P，进而完成城市路网建模；

其中，环境矩阵F为：

F＝[(e₁,l₁),(e₂,l₂),...,(e_f,l_f)]

式中，(e_f',l_f')∈F，e_f'为路网节点，l_f'为路网节点为e_f'时的机动车道数量，下标f'为路网节点序数，且f'＝1,2,3,...,f；

状态转移矩阵P为在环境矩阵的基础上建立的大小为m×n×m的三维矩阵，其中，m为状态个数，n为行为个数；状态转移矩阵P中每个元素P_sas'表示在状态s下采取动作a转移到下一时刻的状态s'且P_sas'∈[0,1]。