[发明专利]人机对抗智能体策略制定方法

权利要求书

1.人机对抗智能体策略制定方法，其特征在于，包括：

S1：获取多智能体博弈仿真环境中每个智能体当前帧的状态特征和每个智能体当前帧的地图特征；

S2：将所述每个智能体当前帧的状态特征输入到策略网络的全连接神经网络，得到策略网络状态特征；将所述每个智能体当前帧的地图特征输入到策略网络的卷积神经网络，得到策略网络地图特征；将所述策略网络状态特征、策略网络地图特征和智能体的编码特征串接，得到智能体当前帧的策略网络总体特征；将所述智能体当前帧的策略网络总体特征输入到策略网络长短时记忆网络并输出每个智能体的动作；所述策略网络的全连接神经网络的参数、所述策略网络的卷积神经网络的参数和所述策略网络长短时记忆网络的参数构成了智能体决策的策略网络参数；

S3：将所述每个智能体当前帧的状态特征输入到值网络的全连接神经网络，得到值网络状态特征；将所述每个智能体当前帧的地图特征输入到值网络的卷积神经网络，得到值网络地图特征；将所述值网络状态特征、值网络地图特征和所述智能体的编码特征串接，得到智能体当前帧的值网络总体特征；将所述智能体当前帧的值网络总体特征输入到值网络长短时记忆网络并输出智能体的值估计；所述值网络的全连接神经网络的参数、所述值网络的卷积神经网络的参数和所述值网络长短时记忆网络的参数构成了智能体值网络参数；

S4：将每个智能体当前帧的状态特征输入权重全连接神经网络，得到映射并归一化得到每个智能体的值估计的权重；

S5：依据所述每个智能体的动作构成的联合动作进行环境推演，获取每个智能体下一帧的状态特征、地图特征、环境回报信息；

S6：重复步骤S1-S5 m次，收集m组训练数据，应用智能体的值估计的权重对所述智能体的值估计做加权构成损失函数，采用策略梯度下降算法进行策略网络参数更新，m为训练一次的轨迹数据长度，取值为2^b，b取值3-7之间的整数；

S7：重复步骤S1-S6，直至策略网络参数收敛获得策略制定方法。

2.根据权利要求1所述的人机对抗智能体策略制定方法，其特征在于，提取多智能体博弈仿真环境中每个智能体当前帧的状态信息构成每个智能体当前帧的状态特征，表现形式为数据向量；提取以智能体为中心的地图信息构成每个智能体当前帧的地图特征，表现形式为三维张量；所述环境回报信息为，由多智能体博弈仿真环境反馈的奖赏值；

所述训练数据的基本形式为，其中与表示智能体i当前t帧与下一帧状态特征、地图特征和编码信息的串接，表示智能体i当前帧动作，r_t为在当前t帧，多智能体博弈仿真环境反馈的奖赏值。

3.根据权利要求2所述的人机对抗智能体策略制定方法，其特征在于，所述状态信息包括：智能体的属性值、位置信息；所述地图信息为，记录了以智能体为中心的所在环境的地形信息和视野信息；所述属性值为血量、装甲类型。

4.根据权利要求2所述的人机对抗智能体策略制定方法，其特征在于，所述编码信息为智能体编码，由0与1组成的独热编码。

5.根据权利要求1所述的人机对抗智能体策略制定方法，其特征在于，所述策略网络的卷积神经网络之后连接一层全连接网络；策略网络长短时记忆网络之后连接全连接层，在所述全连接层上施加softmax函数，并给出动作值的概率，依据所述动作值的概率进行动作选择。

6.根据权利要求5所述的人机对抗智能体策略制定方法，其特征在于，所述值网络的卷积神经网络之后连接一层全连接网络；值网络长短时记忆网络之后连接全连接层。

7.根据权利要求6所述的人机对抗智能体策略制定方法，其特征在于，所有智能体具有完全一致的策略网络参数；所有智能体共用一个值网络。