[发明专利]一种多AGV运动规划方法、装置和系统

权利要求书

1.一种多AGV运动规划方法，其特征在于，包括：

通过强化学习方法建立用于描述多AGV运动规划的序列决策过程的对象模型，所述对象模型中包括：AGV状态、动作空间以及运动规划结果的评估指标，其中AGV状态包括当前AGV状态、根据当前AGV状态计算得到的其他AGV状态和当前AGV的许可动作；

基于所述对象模型搭建神经网络模型，进行包括AGV群部署在内的环境设置，利用所设置环境下AGV的对象模型对所述神经网络模型进行训练，直至得到稳定的神经网络模型；

设置动作约束规则，利用所述动作约束规则对基于评估指标得到的当前AGV的待执行动作进行有效性判断；

启动运动规划后，将当前环境下的当前AGV状态、其他AGV状态和许可动作输入到训练后的神经网络模型中，获得所述神经网络模型输出的运动规划结果的评估指标，根据所述评估指标得到当前AGV待执行动作，并利用所述动作约束规则对所述待执行动作进行有效判断，使当前AGV根据判断结果执行有效动作，具体是

判断所述待执行动作是否为当前AGV的许可动作，当前AGV的许可动作是利用动作空间和最优路径方向进行编码得到的，最优路径方向是根据出发位置和目标位置，使用路径搜索算法得到；若所述待执行动作为当前AGV的许可动作，当前AGV执行该待执行动作；若所述待执行动作不是当前AGV的许可动作，根据神经网络模型输出的运动规划结果的评估指标和当前AGV的许可动作，计算当前AGV的有效动作并执行；

其中，若所述待执行动作不是当前AGV的许可动作，根据神经网络模型输出的运动规划结果的评估指标和当前AGV的许可动作，计算当前AGV的有效动作并执行，包括：

从当前AGV的动作空间中提取最优路径包含的多个第一许可动作；利用所述神经网络模型输出的运动规划结果的评估指标从所述多个第一许可动作中选择满足预设条件的第二许可动作；根据其他AGV状态计算当前AGV执行第二许可动作是否会发生碰撞，若发生碰撞，当前AGV执行静止动作，若未发生碰撞，当前AGV执行该第二许可动作。

2.如权利要求1所述的方法，其特征在于，所述运动规划结果的评估指标包括：用于描述当前AGV在t时刻的联合状态下选择动作a_t的策略π和用于描述在联合状态下采取策略π的预期收益的值函数V，联合状态为由当前AGV状态、其他AGV状态和许可动作构成的状态；

利用所述神经网络模型输出的运动规划结果的评估指标从所述多个第一许可动作中选择满足预设条件的第二许可动作，包括：

利用所述策略π计算出每个第一许可动作对应的概率值，选择概率值最大对应的第一许可动作为第二许可动作。

3.如权利要求1所述的方法，其特征在于，使用马尔可夫决策过程描述所述对象模型，所述许可动作根据最优路径策略和动作空间获得，所述动作空间为在当前AGV的本体极坐标系下的速度与角度；

所述当前AGV状态包括：当前AGV在本体极坐标系下的速度、目标位置、当前AGV尺寸、平均速度、当前AGV与目标位置的路网距离；

其他AGV状态包括：其他AGV在当前AGV本体极坐标系下的相对位置、其他AGV在当前AGV本体极坐标系下其目标的相对位置、其他AGV在当前AGV本体极坐标系下其相对速度、其他AGV与其目标位置的路网距离、其他AGV尺寸、其他AGV尺寸与当前AGV尺寸的和值、其他AGV与当前AGV的路网距离。