[发明专利]一种联盟链上物流机器人联合路径规划方法

说明书

本发明提供一种联盟链上物流机器人联合路径规划方法，包括以下步骤：S1、构建参与训练的物流机器人节点，并根据节点形成联盟链；S2、构建参与训练的物流机器人节点的策略模型π并进行初始化，获取物流机器人节点的行动方案c及信息f；S3、对其中一个物流机器人的节点的策略模型π进行训练，并求解模型在信息f下的最优行动方案c及神经网络参数θ并上传至联盟链中；S4、根据最优行动方案c及神经网络参数θ对其他节点的神经网络参数θ_i进行更新并发送到所有物流机器人节点；根据更新后的神经网络参数对策略模型π进行分析。本发明可以在保护各方快递上个人隐私数据的前提下进行物流机器人的联合策略训练，还能通过区块链技术能保证训练过程中的安全性。

技术领域

本发明涉及物流配送技术领域，特别涉及一种联盟链上物流机器人联合路径规划方法。

背景技术

人工智能技术和机器人技术的飞速发展使得越来越多的智能机器人进入了我们的生活，快捷支付和电商的崛起又让我们的生活和各种快递紧密的联系上了，在这两大趋势的作用下物流机器人进入了我们的视线。目前物流机器人主要通过中央集中调度，或是人为预设好的路线进行投递，大规模场景下的物流机器人配送难以达到进行合理的规划和智能的调度，如何在保护快递信息隐私的前提下进行物流机器人的安全训练成为了当下一个急需解决的技术难题。

发明内容

本发明的目的在于提供一种联盟链上物流机器人联合路径规划方法,可以在保护各方快递上个人隐私数据的前提下进行物流机器人的联合策略训练，还通过区块链技术能保证训练过程中的安全性。

为实现上述目的，本发明提供了如下方案：本发明提供一种联盟链上物流机器人联合路径规划方法，包括以下步骤：

S1、构建参与训练的物流机器人节点，并根据节点形成联盟链；

S2、构建参与训练的物流机器人节点的策略模型π并进行初始化，获取物流机器人节点的行动方案c及信息f；

S3、对其中一个物流机器人的节点的策略模型π进行训练，并求解模型在信息f下的最优行动方案c及神经网络参数θ并上传至联盟链中；

S4、根据最优行动方案c及神经网络参数θ对其他物流机器人节点的神经网络参数θ_i进行更新并发送到其他物流机器人节点；根据更新后的神经网络参数对策略模型π进行分析，完成物流机器人路径规划。

优选地，所述步骤S3的具体过程为：将当前时刻的信息和神经网络的训练参数作为策略模型π的输入参数得到最优行动方案c；神经网络的训练参数θ进行更新，得到更新后的神经网络参数θ。

优选地，所述步骤S4的具体过程为：将所述步骤S3的机器人节点得到的神经网络参数θ作为其他节点模型的输入参数，得到其他机器人节点行动方案c_i；根据其他节点行动方案c_i计算具体完成当前物流运送任务的时间采用物流运送任务时间与根据其他机器人节点神经网络参数θ_i计算得到的任务时间得到得分s；对得分s进行判断，若得分s的均值达到设定的阈值则该节点的当前参数θ_i有效并进行更新。

优选地，所述步骤S4中的根据更新后的神经网络参数对策略模型π进行分析的具体过程为：根据更新后的神经网络参数θ_i判断模型是否达到训练要求，若是，则结束训练；若不是，则继续进行更新。

优选地，所述训练要求采用耐心系数获取，具体过程为：根据耐心系数值得到训练次数，并根据训练次数对物流机器人进行训练；如果某次训练获得的行动时间大于上一次获得的行动时间则训练次数减1，如果某次训练获得的行动时间小于上一次获得的行动时间则将训练次数重置；当训练次数为0时则结束训练；训练结束后，选取得到行动时间最短的某次训练的参数作为模型的训练要求。

优选地，所述行动方案c包括包裹的投递顺序和预设定的行动路线；