[发明专利]一种生产线移动机器人聚集式回收入库仿真方法及系统

说明书

本公开提供了一种生产线移动机器人聚集式回收入库仿真方法及系统，所述方案通过将改进的人工势能函数机制加入到深度确定性策略梯度算法中，实现对深度确定性策略梯度算法中智能体的奖励函数机制进行设计，通过以改进的人工势能函数为基础的奖励机制，使智能体能够学习到奖励高的群集性动作，进而实现多个智能体的群集效果；并且通过在深度确定性梯度算法的批评者神经网络模块中加入特定智能体局部交流信息来使得智能体能够更好地对周围环境进行判定，并使它们能够学习到更优的群集策略来实现入库回收入库的运动。

技术领域

本公开属于智能移动机器人运动控制技术领域，尤其涉及一种生产线移动机器人聚集式回收入库仿真方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

现阶段随着人工智能技术发展迅速，采用强化学习算法来解决实际生活中许多复杂的问题。单智能体系统难以解决，即便可以解决也会在速度和可靠性等方面受到限制，所以利用多个智能体相互协作可以完成更高级别的任务。在生产线上多个智能体完成任务后，需要实现生产线上移动机器人的聚集式回收入库，多个移动智能体以群集式形态来进行移动，能够更好地保持聚集形态，并且依靠之间相互协作，来高效的来实现多移动智能体的聚集式回收入库。

发明人发现，针对移动机器人的聚集式回收入库问题，现有的控制方法大多采用强化学习控制算法来使智能体学习运动控制策略，但是目前为止还没有一种简单稳定的多智能体群集控制算法来实现对静态目标的群集式移动；同时，现有的基于深度强化学习的方法，需要使用自身探索的样本来供智能体进行学习，无法自主从所在环境中汲取经验，通过自身去探索未知环境，这导致其控制效果严重依赖于训练样本的丰富程度，无法有效应对环境的多样性及各种变化。

发明内容

本公开为了解决上述问题，提供了一种生产线移动机器人聚集式回收入库仿真方法及系统，所述方案将改进的人工势能函数机制加入到深度确定性策略梯度算法中来实现多个智能体的群集效果；并通过在批评者网络中增加特定的局部交流信息来增加多移动智能体维持群集的稳定性以及智能体训练的快速收敛性。

根据本公开实施例的第一个方面，提供了一种生产线移动机器人聚集式回收入库仿真方法，包括：

基于场景信息以及移动机器人参数信息，对所述移动机器人建立回收入库运动学模型；

各移动机器人选择库内存储位置作为目标，利用预训练的改进的深度确定性策略梯度模型对每个移动机器人产生最优行为策略，通过力和速度的控制实现移动机器人的回收；

其中，所述改进的深度确定性策略梯度模型包括演员网络和批评者网络，通过以改进的人工势能函数为基础的奖励函数机制，计算智能体间的奖励，同时，通过引入特定智能体局部范围内其它智能体的状态信息来增加智能体对周围环境的判断；利用经验池中存储的智能体随机探索的历史经验进行模型的训练。

进一步的，所述以改进的人工势能函数为基础的奖励函数机制，具体表示为：对于单个智能体g来说，如果周围存在i个智能体h_i，则它的人工势能奖励函数为：

其中，为智能体g和其他智能体h_i的距离，R_g为单个智能体g的总人工势能函数奖励之和。

进一步的，所述批评者网络的输入层中加入特定智能体局部范围内中其它智能体的状态信息，包括位置信息p_other和速度信息v_other，来增加智能体对周围环境的判断。

进一步的，所述回收入库运动学模型具体如下：