[发明专利]基于对手动作预测的智能体策略获取方法及相关装置

权利要求书

1.一种基于对手动作预测的智能体策略获取方法，其特征在于，包括：

从所述智能体所处的环境中获取环境状态，并提取所述环境状态的特征，得到环境状态特征；

将所述环境状态特征输入预先构建的对手动作预测网络，得到对手策略特征；

提取所述环境状态特征的隐层特征，得到Q值隐层特征；

融合所述Q值隐层特征和所述对手策略特征，得到融合特征；

将所述融合特征输入预先构建的竞争网络，得到Q值函数；

获取所述智能体的备选动作，根据所述Q值函数，得到所述备选动作对应于所述环境状态的Q值，将所述Q值最大的所述备选动作作为所述智能体的执行动作。

2.根据权利要求1所述的方法，其特征在于，所述对手动作预测网络中包含全连接隐层；

所述将所述环境状态特征输入预先构建的对手动作预测网络，得到对手策略特征，具体包括：

将所述环境状态特征输入所述全连接隐层，得到全连接隐层特征，将所述全连接隐层特征作为所述对手策略特征。

3.根据权利要求2所述的方法，其特征在于，所述对手动作预测网络中还包含动作表示层；

所述方法，还包括：

将所述全连接隐层特征输入所述动作表示层，得到预测的对手策略分布；

从所述环境中获取真实的对手策略分布；

基于所述预测的对手策略分布和所述真实的对手策略分布，利用预设的对手动作预测网络的损失函数调整所述全连接隐层的参数。

4.根据权利要求3所述的方法，其特征在于，所述将所述全连接隐层特征输入所述动作表示层，得到预测的对手策略分布，具体包括：

响应于确定对手动作空间为离散空间，所述动作表示层输出每个动作的概率分布，作为所述预测的对手策略分布；

响应于确定所述对手动作空间为连续空间，利用高斯分布表示所述预测的对手策略分布，所述动作表示层输出所述预测的对手策略分布的均值和方差。

5.根据权利要求1所述的方法，其特征在于，所述融合所述Q值隐层特征和所述对手策略特征，得到融合特征，具体包括：

串联拼接所述Q值隐层特征和所述对手策略特征，得到所述融合特征。

6.根据权利要求1所述的方法，其特征在于，所述将所述融合特征输入预先构建的竞争网络，得到Q值函数，具体包括：

将所述融合特征输入预先构建的竞争网络，得到状态价值函数和动作优势函数；

聚合所述状态价值函数和所述动作优势函数，得到所述Q值函数。

7.根据权利要求1所述的方法，其特征在于，所述获取所述智能体的备选动作，根据所述Q值函数，得到所述备选动作对应于所述环境状态的Q值，将所述Q值最大的所述备选动作作为所述智能体的执行动作，具体包括：

将所述Q值最大的所述备选动作输入预先构建的目标网络，得到目标Q值；

基于所述目标Q值和最大的所述Q值，利用预设的竞争网络的损失函数调整所述竞争网络的参数。

8.一种基于对手动作预测的智能体策略获取装置，其特征在于，包括：

环境状态特征获取模块，用于从所述智能体所处的环境中获取环境状态，并提取所述环境状态的特征，得到环境状态特征；

对手策略特征获取模块，用于将所述环境状态特征输入预先构建的对手动作预测网络，得到对手策略特征；

Q值隐层特征获取模块，用于提取所述环境状态特征的隐层特征，得到Q值隐层特征；

融合特征获取模块，用于融合所述Q值隐层特征和所述对手策略特征，得到融合特征；

Q值函数获取模块，用于将所述融合特征输入预先构建的竞争网络，得到Q值函数；

执行动作确定模块，用于获取所述智能体的备选动作，根据所述Q值函数，得到所述备选动作对应于所述环境状态的Q值，将Q值最大的所述备选动作作为所述智能体的执行动作。