[发明专利]一种基于强化学习的多智能体追逃博弈方法及设备

权利要求书

1.一种基于强化学习的多智能体追逃博弈方法，其特征在于，包括：

对当前追逃双方的相对位置状态进行模糊化处理，确定所述相对位置状态在强化学习设备中所处的模糊状态得到当前模糊状态变量；

根据所述当前模糊状态变量和已训练完成的关联函数，得到最大Q值函数；

基于所述最大Q值函数，在所述当前模糊状态变量下按照最优值选择输入状态变量，得到追逃博弈训练模型在当前状态下的最优输入状态变量策略；

利用去模糊化算法对所述最优输入状态变量策略进行去模糊化处理，得到最终的实际控制量。

2.根据权利要求1所述的基于强化学习的多智能体追逃博弈方法，其特征在于，所述关联函数的训练过程包括：

选取追逃双方的追逃博弈训练模型状态变量，并将所述追逃博弈训练模型状态变量以模糊集的形式进行存储；

根据当前时刻的所述追逃博弈训练模型状态变量构建当前时刻的所述追逃博弈训练模型状态变量及其邻接状态变量的局部关联函数；所述局部关联函数即为局部Q值表；

给出模糊规则中关联函数的更新规则；

基于所述更新规则确定时间差分误差；

基于所述时间差分误差更新所述局部关联函数得到下一时刻的Q值函数；

以所述下一时刻的Q值函数作为模糊推理设备的输出，采用梯度下降法更新所述模糊推理设备的参数；

根据所述局部Q值表和ε-greedy策略选择输出变量结果值；

采用加权平均法对输入的状态变量进行解模糊化操作，得到下一时刻的动作输出；

将所述动作输出输入追逃博弈训练模型得到到下一时刻的模型状态变量；

基于给出的模糊规则中局部关联函数的更新规则获取下一时刻的回报；

返回执行“选取追逃双方的追逃博弈训练模型状态变量，并将所述追逃博弈训练模型状态变量以模糊集的形式进行存储”，直到模糊规则中的局部关联函数收敛。

3.根据权利要求2所述的基于强化学习的多智能体追逃博弈方法，其特征在于，所述追逃博弈训练模型为：

式中，t为当前时刻，ξ(t)为当前时刻的状态变量，为当前时刻状态变量ξ(t)的微分，F(*)为运动状态动力学模型，G(*)为追击方的输入状态动力学模型，K(*)为逃逸方的输入状态动力学模型，Up为追击方的输入状态变量，Ue为逃逸方的输入状态变量。

4.根据权利要求2所述的基于强化学习的多智能体追逃博弈方法，其特征在于，所述给出模糊规则中局部关联函数的更新规则，具体包括：

定义初始局部关联函数；

采用Q学习算法不断更新所述初始局部关联函数，直至收敛。

5.一种基于强化学习的多智能体追逃博弈设备，其特征在于，包括：

存储器，用于存储计算机控制指令；所述计算机控制指令用于实施如权利要求1-4任意一项所述的基于强化学习的多智能体追逃博弈方法；

处理器，与所述存储器连接，用于调取并执行所述计算机控制指令。

6.根据权利要求5所述的基于强化学习的多智能体追逃博弈设备，其特征在于，所述处理器包括：

模糊化处理模块，用于对当前追逃双方的相对位置状态进行模糊化处理，确定所述相对位置状态在强化学习设备中所处的模糊状态得到当前模糊状态变量；

Q值函数确定模块，用于根据所述当前模糊状态变量和已训练完成的关联函数，得到最大Q值函数；

变量策略确定模块，用于基于所述最大Q值函数，在所述当前模糊状态变量下按照最优值选择输入状态变量，得到追逃博弈训练模型在当前状态下的最优输入状态变量策略；

控制量确定模块，用于利用去模糊化算法对所述最优输入状态变量策略进行去模糊化处理，得到最终的实际控制量。

7.根据权利要求5所述的基于强化学习的多智能体追逃博弈设备，其特征在于，所述存储器为计算机可读存储介质。