[发明专利]一种车辆动态合乘匹配方法、系统、介质、设备及终端

权利要求书

1.一种车辆动态合乘匹配方法，其特征在于，所述车辆动态合乘匹配方法包括以下步骤：

步骤一，环境状态定义；

步骤二，道路环境搭建；

步骤三，基于经验重放的DQN算法构建；

步骤四，基于先验知识的经验池设计，获取车辆最佳动态。

2.如权利要求1所述的车辆动态合乘匹配方法，其特征在于，所述步骤一中的环境状态定义包括：

描述车辆动态合乘系统的状态的因素包括系统内不断变化的订单请求信息和车辆的行驶状态；在车辆合乘系统中，乘客的请求信息实时进入车辆合乘系统，调度中心根据新请求的具体信息以及可用车辆的任务链，在满足所有请求时间窗约束的前提下将请求与最合适的车辆进行匹配；

在路网上，G_t(V,E_t)用于表示车辆的交互信息，其中V{1,...,N}为道路节点的集合，为边的集合；一条边(i,j)∈E_t代表节点i和节点j之间是连通的，即在t时刻从节点i转移到节点j；

定义路网上的N个节点为状态空间；根据路网节点的位置，定义动作空间为A＝{上，下，左，右}，分别代表车辆行驶的相对方向；

奖励值是车辆学习知识的主要来源，车辆根据奖励函数与环境交互并通过得到的奖励值调整行动策略，故奖励函数是否合适会直接影响车辆表现的好坏；设置上车点位置奖励为5，下车点位值为10，即为多目标点路径优化，并且车辆只能先到达上车点再到达下车点，非目标点值每移动一个点奖励值减1，表示车辆自身的消耗。

3.如权利要求1所述的车辆动态合乘匹配方法，其特征在于，所述步骤二中的道路环境搭建包括：

构建基于Node2Vec的道路模型构造算法，使得道路节点间的关系以向量形式送给神经网络，并加速网络训练；

(1)信息网络模型构建

①信息网络：抽象为节点与边的集合组成的有向图G(N,B)，其中N(n₁,n₂,...,n_n)为网络中所有节点的集合；为网络中所有连接节点的边的集合；对于网络中的每一条边，均存在对应的权值s_i,j；当两个节点相连时，对于无权图s_i,j＝1，有权图s_i,j＞0；两个节点不相连时，s_i,j＝0；

②邻接矩阵：表示网络中节点之间相邻关系的矩阵，使用A∈R^n×n表示；如果(n_i,n_j)∈G即边b_i,j存在在图G中，则定义A_i,j＝1；否则，如果该边不存在于图G中，则A_i,j＝0；

③同构网络：道路交通运输网络属于同构网络；

④网络密度：用于描述网络中节点间相互连接的紧密程度；在一个由N个节点和L条边组成的网络中，网络密度为：

⑤网络平均密度：网络中节点的度表示所有与该节点相连的边的数量，两个节点各占据一条边的一半，每个节点的度均为1/2；其中网络平均度则表示为网络中边数与节点数比值的两倍，两个节点之间边的途径越多，其网络平均度越大，即在一个由N个节点和L条边组成的网络中，网络平均度为：

(2)Node2Vec算法构建

Node2Vec通过设置两个方向性的参数p,q分别给图中的节点连接的各条边分配不同的权值，通过设定不同的权值指导深度游走或者广度游走，实现指定游走是更趋向于深度优先遍历DFS还是更趋向广度优先遍历BFS；

DeepWalk算法将深度学习的神经网络技术引入网络表示学习中，通过将图中按一定顺序随机游走序列的节点序列数据作为word2vec模型的输入，采用skip-gram的方法为网络提取特征；DeepWalk通过随机游走算法生成{v_i-w,...,v_i-1,v_i,v_i+1,...,v_i+w-1,v_i+w}的节点序列，其中w为窗口大小，计算由中间节点v_i分别生成两边节点的概率，由此得到每个节点的向量表示，该算法的损失函数为：

其中，

Node2Vec在Deepwalk算法随机游走的基础上引入超参数p、q，采用BFS和DFS生成节点序列数据；假设上一次游走的边是从节点t到节点v，Node2Vec算法根据不同的p和q的取值决定了节点v的邻居节点，v的前节点t除外的游走概率，超参数p又称返回概率控制节点下一次游走到达的节点是返回节点t的邻居节点x₁的概率，超参数q又称出入概率控制节点下一次游走到达的节点是t节点的非邻居节点x₂或x₃的概率，概率值由下式可得：

式中，d_tx表示节点t和x之间的最短距离；

(3)基于Node2Vec框架的城市路网搭建

采用Node2Vec算法构建道路环境，以图嵌入的形式送给神经网络；道路环境搭建部分仿真通过Python语言实现，并使用NetworkX包，Scikit-learn机器学习框架，Word2vec与Node2vec模型；其中随机游走序列的生成采用图嵌入里面的Node2vec模型进行生成，Skip-gram模型采用Word2vec模型中的随机梯度下降法SGD的方法进行优化；

根据训练过程，通过网络表示学习得到真实芝加哥城市交通主干道的节点向量表示形式，作为本发明DQN算法神经网络的输入。