[发明专利]一种基于Sarsa学习的中心式动态路径诱导方法

摘要

一种基于Sarsa 学习的中心式动态路径诱导方法，该方法可通过Sarsa 学习计算所有可能目的地的Q 值表，为所有车辆提供路径诱导。建立Q 值表具体包括以下两个步骤第一，交通中心根据路网信息以及以往路段通行时间，利用基于Q 值的动态规划算法初始化各个目的地的Q 值表；第二，交通信息中心根据利用车联网技术采集的车辆实时信息，每隔时间T 利用Sarsa 学习方法更新Q 值表。交通信息中心根据车辆的位置及目的地信息，读取Q 值表中相应路段Q 值，通过结合全局和局部参数的Boltzmann 分布为车辆分配路段，实现路径诱导。本发明能够使用Sarsa 学习方法，为所有可能终点计算Q值表，从而为所有车辆提供最优的路径诱导。

主权项

一种基于Sarsa学习的中心式动态路径诱导方法，其特征在于包括下述步骤：步骤1：初始化Q值表；交通信息中心根据地理信息库中路网信息，和采集到的各路段车辆通行时间利用基于Q值的动态规划初始化各个可能目的地d的Q值表；其中路网信息包括：路网拓扑结构，路段长度，车道数；步骤2：车辆将自身信息及目的地信息通过车联网技术发送到交通信息中心；步骤3：通过使用结合全局和局部参数控制策略的Boltzmann分布来为每辆车进行路径诱导；(1)交通信息中心提取步骤2中获得的各个车辆的车载控制单元发送的数据包中车辆位置信息和目的地经纬度信息；(2)交通信息中心根据车辆位置信息与目的地经纬度信息，在地理信息库中查询当前所驾驶车辆以及目的地所处的路段；(3)交通信息中心根据当前系统中车辆的数量计算当前τ值，公式如下所示：式中，τmax是τ的最大值，NV是当前系统中车辆的数量，l、β是参数；(4)交通信息中心计算车辆所在路段的相连路段的车道占有率，公式如下：式中，i,j是交通节点，A(i)是以i为起点的路段的终点集合，N是车辆所在路段的相连路段中车辆的数量，vn是车辆所在路段的相连路段中第n辆车，length(vn)是车辆长度，length(Sij)是路段Sij的长度，mingap是车辆间的最小间距，numlane(Sij)是路段Sij的车道数；局部控制参数由车道占有率决定；(5)交通信息中心根据车辆所在路段和目的地所处路段从交通信息中心数据库<Q值表>中读取对应当前目的地的车辆所在路段的下一路段的Q值，根据结合全局和局部参数控制策略的Boltzmann分布计算车辆所应行驶的下一路段，公式如下所示：式中，i,j是交通节点，A(i)是以i为起点的路段的终点集合，Pd(i,j)是车辆选择路段Sij的概率，Qd(i,j)是车辆通过路段Sij到达目的地d的时间的估计，mi是局部控制参数，取决于交通节点i相连路段的车道占有率，τ是全局控制参数，它取决于系统中总的交通状况，EQd(i)是节点i周围路段到目的地d的Q值的平均值；(6)交通信息中心将上式得到的车辆所应行驶的下一路段，通过无线通讯模块发送到车载控制单元中，最终通过车载控制单元发送到车载导航地图中进行显示；步骤4：交通信息中心根据车辆数据包获得实时交通信息，具体为：(1)交通信息中心提取步骤2中车载控制单元发送的数据包的信息，存入交通信息中心数据库车辆信息表中；(2)交通信息中心读取交通信息中心数据库车辆信息表，计算车辆通过路段的运行时间，将车辆通过路段的运行时间及车辆所选择的下一路段存于交通信息中心数据库实时交通信息表中；步骤5：交通信息中心根据实时交通信息，利用Sarsa学习方法更新Q值表；交通信息中心根据路网内全部车辆状态信息，每隔T时刻，从交通信息中心数据库实时交通信息表中读取对应各个目的地编号的更新时间最晚的各个路段通过时间以及下一路段编号，从交通信息中心数据库的Q值表中读取各路段对应的Q值，利用Sarsa学习方法更新Q值表，Sarsa学习公式如下所示：Qd(i，j)←Qd(i，j)+α*(tij(v)+Qd(j，k)‑Qd(i，j))式中，i,j,k是交通节点，α是学习率，tij(v)是车辆v通过路段Sij的实际通过时间；将新的Q值存入交通信息中心Q值表中。