[发明专利]一种基于最大熵强化学习的多机器人协同围捕方法

权利要求书

1.一种基于最大熵强化学习的多机器人协同围捕方法，其特征在于，包括：

建立追逃对抗场景；

基于建立的追逃对抗场景和SAC的多智能体强化学习算法，设计适用于多机器人的MASAC算法；

基于课程学习的多机器人围捕策略，设计奖励函数；

将设计的奖励函数与MASAC算法结合，得到基于MASAC的多机器人协同围捕策略算法。

2.根据权利要求1所述的基于最大熵强化学习的多机器人协同围捕方法，其特征在于，所述建立的追逃对抗场景，包含N个追捕机器人P和单个逃逸机器人E。

3.根据权利要求1所述的基于最大熵强化学习的多机器人协同围捕方法，其特征在于，所述基于建立的追逃对抗场景和SAC的多智能体强化学习算法，设计适用于多机器人的MASAC算法，包括：

利用集中式训练、分散式执行的框架将强化学习SAC算法扩展到适用于多机器人的MASAC算法，具体包括：

将MASAC的经验池设计为：

其中，表示t时刻所有机器人的观测值集合，表示t时刻所有机器人的动作集合，表示t时刻所有机器人执行各自的动作之后获得的奖励，表示t+1时刻所有机器人的观测值集合；

运用基本的Actor-Critic网络框架为每个机器人设计一个Actor网络和两个Critic网络，其中Actor网络用来学习运动的策略，即根据当前自身的位置和速度，确定下一步的运动方向和加速度，Critic网络用来评判学习到的策略的好坏，即根据当前状态(包括位置、速度)以及机器人采取的策略来评判当前状态采取该运动策略的好坏；

在SAC中，引入熵正则化使目标函数的期望最大化，其值函数为：

其中，γ为折扣因子，α为温度参数，H(π(·|s_t))为策略π的熵；在MASAC中，假设机器人之间的策略彼此独立，联合策略的熵为：

在策略评估阶段，基于贝尔曼最优方程来更新Q值函数，其学习的目标函数为：

其中，θ是Critic网络参数，θ′是目标Critic网络的参数，φ是Actor网络参数，D是经验数据，即经验回放池中的数据；

根据目标函数，采取随机梯度下降的方法更新Critic的网络参数：

其中，

在策略改进阶段，采取随机梯度上升的方法来更新Actor网络的参数，学习的目标函数为：

根据上述定义的目标函数，目标函数的梯度为：

温度参数更新方式如下：

最后运用滑动平均的方法对目标网络参数进行更新，用于保证算法的稳定，更新方式如下：

θ_i′_,n＝τθ_i,n+(1-τ)θ_i′_,n,n＝1,2。

4.根据权利要求3所述的基于最大熵强化学习的多机器人协同围捕方法，其特征在于，所述每个机器人的Actor网络的输入是自身的状态信息(包括位置、速度)，输出是根据当前状态所采取的策略，每个机器人的Critic网络的输入是所有机器人的状态信息(包括位置、速度)和执行的动作，输出是状态动作值函数，即Q值；Actor网络和Critic网络均是由三个全连接层构成，隐藏层神经元数量为64，前两层神经网络的激活函数选用的是RectifiedLinear Unit函数，最后一层神经网络不使用激活函数。