[发明专利]基于输出状态限制的循环神经网络轨迹似然概率计算方法

摘要

本发明属于轨迹计算技术领域，具体为一种基于输出状态限制的循环神经网络轨迹似然概率计算方法。本发明方法的步骤包括：训练阶段，利用输出状态限制的循环神经网络对轨迹进行建模，根据历史轨迹数据训练模型参数；在线查询阶段，根据已训练好的模型对输入的轨迹的每个路段预测转移到下一个路段的概率。本发明利用深度神经网络的强大的表达能力，可以学习到基于马尔可夫模型所无法捕捉到的长距离依赖关系，从而更准确地对轨迹数据进行建模。

主权项

一种基于输出状态限制的循环神经网络轨迹似然概率的计算方法，其特征在于，包括训练阶段和在线查询阶段，具体步骤如下：(一)训练阶段，利用马尔可夫决策过程模型对轨迹进行建模，根据历史轨迹数据训练模型参数；具体流程为：(1)构建循环神经网络，定义网络隐层节点数为H，输入向量的维度为I，所有隐层节点构成的向量称为隐层向量h，一个单层循环神经网络的参数为：WN＝{Whh,Wxh,b}，其中，是前一个时间片的隐层到当前时间片的隐层的权重矩阵，是网络输入层到隐层的权重矩阵，是偏置参数；对于第1时刻的输入x1，循环神经网络的隐层向量其中，是维度为H的零向量；对于第t时刻的输入xt，对应的t时刻的网络隐层向量ht＝σ(Wxhxt+Whhht‑1+b)，其中σ()为一个非线性的激活函数；定义循环神经网络N，对应的参数为WN，从[‑α,α]的均匀分布中对每个元素进行初始化，其中，α是为一个超参数，设定范围为0.01到1；(2)对于路网中的每条道路ri，将ri映射成一个具有含义的向量vi，就是词嵌入，首先对词嵌入元素亦从[‑α,α]的均匀分布中对每个元素进行初始化，并将所有道路的词嵌入一同作为整个模型的待优化参数，即假设共有R条道路，则所有的词嵌入V＝{v1,v2,..,vR}，通过模型学习出每个词嵌入的具体值；(3)构建蒙板矩阵M，其中M[i,j]为1，当且仅当ri与rj在路网中邻接，否则令M[i,j]为0；(4)循环神经网络N的隐层ht根据网络的定义计算出后，利用ht进行预测；定义神经网络隐层至输出层之间的仿射变换参数与即ot＝Woht+bo，从[‑α,α]的均匀分布中对每个元素进行初始化；(5)对于轨迹中扫描到的当前状态ri，计算循环神经网络N对应的隐层向量：hi＝N(vi,hi‑1；WN)，其中，N()代表一个合法的循环神经网络前馈运算过程，取为σ(Wxhvi+Whhhi‑1+b)，其中WN＝{Whh,Wxh,b}，hi‑1为前一时刻循环神经网络N的隐层节点构成的向量；(6)计算ri转移到ri+1的转移概率：P(ri+1|r1,…,ri)＝M⊙softmax(Wohi+bo)[ri+1]；其中⊙为按元素顺序的乘法，给定向量x＝{x1,x2,…,xm}，softmax(x)得到一个同样是m维的向量，其中第i维的值(7)计算一条长度为k的轨迹的交叉熵作为神经网络的目标函数；(8)根据轨迹的交叉熵目标函数C，使用经过时间的反向传播算法计算网络每个参数的梯度(9)使用基于随机梯度下降的优化算法，更新神经网络参数；(10)重复步骤(5)—(9)，直至目标函数收敛，将此时的所有参数作为模型的最终参数；其中模型的所有参数包括WN,Wo,bo以及所有的词嵌入V；(二)在线查询阶段，根据已训练好的模型计算道路之间的转移概率，具体流程为：(1)使用训练阶段训练好的模型参数定义模型；(2)对于轨迹中扫描到的当前状态ri，计算循环神经网络N对应的隐层向量：hi＝N(vi,hi‑1；WN)，其中，N()代表一个合法的循环神经网络前馈运算过程，hi‑1为前一时刻循环神经网络N的隐层节点构成的向量；(3)计算ri转移到ri+1的转移概率：P(ri+1|r1,…,ri)＝M⊙softmax(Wohi+bo)[ri+1]；(4)重复执行步骤(2)、(3)，计算得到给定轨迹的似然概率：P(r1,r2,...,rk)=Πi=1k-1P(ri+1|r1,...,ri).]]>