[发明专利]一种多AGV运动规划方法、装置和系统

说明书

本申请公开一种多AGV运动规划方法、装置和系统。本申请的方法包括：通过强化学习方法建立对象模型；基于对象模型搭建神经网络模型，进行包括AGV群部署在内的环境设置，利用所设置环境下AGV的对象模型对神经网络模型进行训练，直至得到稳定的神经网络模型；设置动作约束规则；启动运动规划后，将当前环境下的当前AGV状态、其他AGV状态和许可动作输入到训练后的神经网络模型中，获得神经网络模型输出的运动规划结果的评估指标，根据评估指标得到当前AGV待执行动作，并利用动作约束规则对待执行动作进行有效判断，使当前AGV根据判断结果执行有效动作。本申请的技术方案能够改善多AGV运动规划方法在动态密集环境中的性能。

技术领域

本申请涉及计算机技术领域，具体涉及一种多AGV运动规划方法、装置和系统。

背景技术

近年来，智能体(Automated Guided Vehicles，AGV)在智能制造和物流领域的应用逐步推广普及，有效的提高了生产、制造和搬运环节的运输效率，减轻了人力工作负担。其中，通过多AGV协同工作能够提高AGV工作效率，但同时会使运动规划问题更加复杂和困难。常见的路径规划算法，如A*算法，人工势场法等，在处理多AGV运动规划问题时，存在计算代价高，容易陷入局部最小解等问题。

发明内容

本申请提供了一种多AGV运动规划方法、装置和系统，用于解决或部分解决上述技术问题。

第一方面，本申请提供了一种多AGV运动规划方法，该方法包括：

通过强化学习方法建立用于描述多AGV运动规划的序列决策过程的对象模型，对象模型中包括：AGV状态、动作空间以及运动规划结果的评估指标，其中AGV状态包括当前AGV状态、根据当前AGV状态计算得到的其他AGV状态和当前AGV的许可动作；

基于对象模型搭建神经网络模型，进行包括AGV群部署在内的环境设置，利用所设置环境下AGV的对象模型对神经网络模型进行训练，直至得到稳定的神经网络模型；

设置动作约束规则，利用动作约束规则对基于评估指标得到的当前AGV的待执行动作进行有效性判断；

启动运动规划后，将当前环境下的当前AGV状态、其他AGV状态和许可动作输入到训练后的神经网络模型中，获得神经网络模型输出的运动规划结果的评估指标，根据评估指标得到当前AGV待执行动作，并利用动作约束规则对所述待执行动作进行有效判断，使当前AGV根据判断结果执行有效动作。

第二方面，本申请提供了一种多AGV运动规划装置，该装置包括：

建模单元，用于通过强化学习方法建立用于描述多AGV运动规划的序列决策过程的对象模型，对象模型中包括：AGV状态、动作空间以及运动规划结果的评估指标，其中AGV状态包括当前AGV状态、根据当前AGV状态计算得到的其他AGV状态和当前AGV的许可动作；

训练单元，用于基于对象模型搭建神经网络模型，进行包括AGV群部署在内的环境设置，利用所设置环境下AGV的对象模型对神经网络模型进行训练，直至得到稳定的神经网络模型；

设置单元，用于设置动作约束规则，利用动作约束规则对基于评估指标得到的当前AGV的待执行动作进行有效性判断；

实施单元，用于启动运动规划后，将当前环境下的当前AGV状态、其他AGV状态和许可动作输入到训练后的神经网络模型中，获得神经网络模型输出的运动规划结果的评估指标，根据评估指标得到当前AGV待执行动作，并利用所述动作约束规则对待执行动作进行有效判断，使当前AGV根据判断结果执行有效动作。

第三方面，本申请提供了一种多AGV运动规划系统，包括部署多AGV运动规划装置的控制中心、部署在环境中由多个AGV构成的AGV群和任务调度中心平台；