[发明专利]一种基于多智能体强化学习的机器人追捕方法

权利要求书

1.一种基于多智能体强化学习的机器人追捕方法，其特征在于，包括：

构建两追一逃环境：分别构建两个追捕机器人的运动学模型和一个逃跑者的运动学模型，并建立随机动作与人工势场相结合的逃跑者策略，得到两追一逃环境；

构建马尔科夫模型：根据所述两追一逃环境，构建马尔科夫模型，并确定所述马尔科夫模型中的状态空间、动作空间、回报函数和状态转移概率；

获取两追一逃网络模型：构建用于表征状态值函数的神经网络模型，采用近似soft策略迭代算法对所述神经网络模型进行训练和测试，得到两追一逃网络模型；

扩展多追多逃策略：建立多个追捕机器人和多个逃跑者，基于所述两追一逃网络模型，通过贪心决策算法确定各个追捕机器人的动作，得到最优追捕策略；

所述随机动作与人工势场相结合的逃跑者策略具体为：逃跑者以ε₀的概率选择随机速度和角度，以1-ε₀的概率选择人工势场作用下的速度和角度，公式为：

式中，v_e表示逃跑者的运动速度，φ_e表示逃跑者的运动方向，v_em表示运动速度的上限值，元组X_e＝(x_e,y_e)分别表示逃跑者的x坐标和y坐标，元组X_p＝(x_p,y_p,θ_p,v_p,ω_p)分别表示追捕机器人的x坐标、y坐标、方向与x轴的夹角、线速度以及角速度；

所述扩展多追多逃策略的过程，具体包括：

将多个追捕机器人两两与各个逃跑者组合，并计算各组合方案对应的状态值函数；

根据状态值函数的大小，对各组合方案进行降序排列；

按照排序顺序，采用贪心决策算法依次确认各个追捕机器人的动作，并更新对局状态，得到最优追捕策略。

2.根据权利要求1所述的一种基于多智能体强化学习的机器人追捕方法，其特征在于，所述追捕机器人的运动学模型为：

式中，x_pi表示第i个追捕机器人的x坐标，y_pi表示y坐标，θ_pi表示方向与x轴的夹角，v_pi表示线速度，ω_pi表示角速度，a_pi表示第i个追捕机器人的线加速度，β_pi表示角加速度。

3.根据权利要求1所述的一种基于多智能体强化学习的机器人追捕方法，其特征在于，所述逃跑者的运动学模型为：

式中，x_e表示逃跑者的x坐标，y_e表示逃跑者的y坐标，v_e表示逃跑者的运动速度，φ_e表示逃跑者的运动方向。

4.根据权利要求1所述的一种基于多智能体强化学习的机器人追捕方法，其特征在于，所述状态值函数为：

式中，E表示求期望，π表示最大熵评估策略，Q(s_t,a)表示行为-值函数，R(s_t,a)表示回报函数，γ表示折扣因子，V_π表示在策略π下的值函数，表示追捕机器人采用动作a向前模拟得到的下一时刻的状态。

5.根据权利要求1所述的一种基于多智能体强化学习的机器人追捕方法，其特征在于，所述神经网络模型包括输入层、两个隐藏全连接层以及输出层；

所述输入层为n×20维张量，所述隐藏全连接层的每一个结点均与上一层的所有结点相连，两个所述隐藏全连接层的节点数目均为256，激活函数均为ReLU函数，所述输出层为n×1维的张量，无激活函数，用于表示状态值函数的评估量。