[发明专利]获取游戏强化学习模型的可解释结果的方法及相关设备

权利要求书

1.一种获取游戏强化学习模型的可解释结果的方法，其特征在于，包括：

通过将具有多维状态的原始数据输入所述游戏强化学习模型，得到多个动作各自的第一期望回报；

对于所述多维状态中的每一维状态，通过对该维状态添加噪声而由所述原始数据得到多条扰动数据，通过将每条所述扰动数据输入所述游戏强化学习模型而得到所述多个动作各自的第二期望回报，并基于所述第一期望回报和所述第二期望回报，计算该维状态对于所述多个动作各自的重要程度；

通过对所述重要程度进行统计，形成所述游戏强化学习模型的状态到动作映射策略的可解释结果。

2.根据权利要求1所述的方法，其特征在于，还包括：

以显著图的形式呈现所述可解释结果。

3.根据权利要求1所述的方法，其特征在于，所述通过将具有多维状态的原始数据输入所述游戏强化学习模型，得到多个动作各自的第一期望回报，包括：

从全部所述动作中确定待解释的目标动作和除所述目标动作之外的其他动作；

根据所述目标动作，利用所述游戏强化学习模型输出所述原始数据与所述目标动作之间的第一目标期望回报；

根据所述其他动作，利用所述游戏强化学习模型输出所述原始数据与每个所述其他动作之间的第一其他期望回报；

将所述第一目标期望回报和全部所述第一其他期望回报作为对应所述原始数据的第一期望回报。

4.根据权利要求3所述的方法，其特征在于，所述通过将每条所述扰动数据输入所述游戏强化学习模型而得到所述多个动作各自的第二期望回报，包括：

对于每条所述扰动数据，执行操作：

根据所述目标动作，利用所述游戏强化学习模型输出所述扰动数据与所述目标动作之间的第二目标期望回报；

根据所述其他动作，利用所述游戏强化学习模型输出所述扰动数据与每个所述其他动作之间的第二其他期望回报；

将所述第二目标期望回报和全部所述第二其他期望回报作为对应该条所述扰动数据的第二期望回报。

5.根据权利要求1所述的方法，其特征在于，所述计算该维状态对于所述多个动作各自的重要程度，包括：

计算被扰动的该维状态对待解释的目标动作的影响，并确定该维状态对所述目标动作的专一性；

计算被扰动的该维状态对其他动作的影响，并确定该维状态对所述其他动作的相关性；

对所述专一性和所述相关性进行融合，得到该维状态对所述目标动作的重要程度。

6.根据权利要求5所述的方法，其特征在于，所述计算被扰动的该维状态对待解释的目标动作的影响，包括：

根据确定的所述目标动作，确定所述游戏强化学习模型输出所述第一目标期望回报的第一目标概率分布；

并确定所述游戏强化学习模型输出所述第二目标期望回报的第二目标概率分布；

计算所述第一目标概率分布与每个所述第二目标概率分布之间的第一差值，根据所述第一差值，确定所述原始数据中被扰动的该维状态对所述目标动作的影响。

7.根据权利要求5所述的方法，其特征在于，所述计算被扰动的该维状态对所述目标动作的影响，包括：

对于确定的所述目标动作，确定所述游戏强化学习模型输出的所述第一目标期望回报和所述第二目标期望回报之间的目标价值差；

对于每个所述其他动作，确定所述游戏强化学习模型输出的所述第一其他期望回报和所述第二其他期望回报之间的其他价值差；

计算所述目标价值差与每个所述其他价值差之间的第二差值，根据所述第二差值，确定所述原始数据中被扰动的该维状态对所述目标动作的影响。

8.根据权利要求6或7所述的方法，其特征在于，所述确定该维状态对所述目标动作的专一性，包括：

当确定被扰动的该维状态对所述目标动作的影响与所述第一差值和/或第二差值呈正相关时，则确定该维状态对该目标动作的专一性与所述第一差值和/或第二差值呈正相关。