[发明专利]一种基于分布强化学习的通用可靠最短路方法

权利要求书

1.一种基于分布强化学习的通用可靠最短路方法，其特征在于，所述基于分布强化学习的通用可靠最短路方法包括：

S1：根据所有路径的概率分布表，利用训练方法，得到最优路径的概率分布表；

S2：根据所述最优路径的概率分布表，利用决策方法，得到最优路径的起点、最优路径和最优路径的终点；

所述训练方法包括：

S11：初始化所有路径的概率分布表；

S12：随机选择所述所有路径的概率分布表中的任意一个起点；

S13：随机选择所述起点上的任意一条路径，并根据所述路径，得到所述路径的预设消耗时间；

S14：在所述路径上标记多个标记点；

S15：向下一个标记点移动，得到移动消耗时间；

S16：根据所述移动消耗时间更新所述所有路径的概率分布表，得到更新后的概率分布表；

S17：判断当前标记点是否为最后一个标记点，若是，进入步骤S18；否则返回步骤S13；

S18：判断是否结束训练，若是，将所述更新后的概率分布表作为最优路径的概率分布表输出；否则返回步骤S12；

所述决策方法包括：

S21：在所述最优路径的概率分布表中选择目标起点和目标终点；

S22：根据所述目标起点，利用所述最优路径的概率分布表计算得到目标路径；

S23：在所述目标路径上标记多个目标标记点；

S24：向下一个目标标记点移动，得到目标移动消耗时间；

S25：根据所述目标移动消耗时间判断所述下一个目标标记点是否为目标终点，若是，输出所述目标起点、所述目标路径和所述目标终点；否则返回步骤S22。

2.根据权利要求1所述的基于分布强化学习的通用可靠最短路方法，其特征在于，所述步骤S17中，通过对比路径的消耗时间是否达到预设消耗时间判断当前标记点是否为最后一个标记点。

3.根据权利要求1所述的基于分布强化学习的通用可靠最短路方法，其特征在于，所述步骤S18中，通过对比路径的消耗时间是否达到预设训练时间判断是否结束训练。

4.根据权利要求1所述的基于分布强化学习的通用可靠最短路方法，其特征在于，所述步骤S22中，所述利用所述最优路径的概率分布表计算得到目标路径包括：

将路径规划问题转化为马尔科夫过程框架内的顺序决策问题。

5.根据权利要求4所述的基于分布强化学习的通用可靠最短路方法，其特征在于，在将路径规划问题转化为马尔科夫过程框架内的顺序决策问题之后，所述基于分布强化学习的通用可靠最短路方法还包括：

根据分布式强化学习的贝尔曼方程进行学习，得到所述目标路径。

6.根据权利要求5所述的基于分布强化学习的通用可靠最短路方法，其特征在于，所述贝尔曼方程为：

其中，π为路径策略；s,a为状态；Z^π(s,a)为从(s,a)开始的路径策略π的回报，r为消耗时间，k为采样次数，r_k表示第k次消耗时间，α_t为t时刻下的学习率，为t+1时刻，在路径策略π下，于s’做出动作a所得到的Z。

7.根据权利要求1-6中任意一项所述的基于分布强化学习的通用可靠最短路方法，其特征在于，所述步骤S25中，通过对比所述目标移动消耗时间和预设目标移动消耗时间判断所述下一个目标标记点是否为目标终点。