[发明专利]获取游戏强化学习模型的可解释结果的方法及相关设备

说明书

本申请提供一种获取游戏强化学习模型的可解释结果的方法及相关设备。该方法包括：通过将具有多维状态的原始数据输入所述游戏强化学习模型，得到多个动作各自的第一期望回报；对于所述多维状态中的每一维状态，通过对该维状态添加噪声而由所述原始数据得到扰动数据，通过将所述扰动数据输入所述游戏强化学习模型而得到所述多个动作各自的第二期望回报，并基于所述第一期望回报和所述第二期望回报，计算该维状态对于所述多个动作各自的重要程度；通过对所述重要程度进行统计，形成所述游戏强化学习模型的状态到动作映射策略的可解释结果。可以看出，本方法对状态到动作之间的映射关系实现了可视化解释。

技术领域

本申请的实施例涉及人工智能模型的可解释技术，尤其涉及一种获取游戏强化学习模型的可解释结果的方法及相关设备。

背景技术

在相关的人工智能模型可解释技术中，解释结果往往使用显著图的可视化解释方法。

在显著图的可视化解释方法中，尤其是基于扰动的显著图方法中，往往需要以图像作为人工智能模型的输入数据，而无法解释将向量作为输入数据的人工智能模型。

基于此，需要一种能够实现对向量输入的人工智能模型进行可视化解释，并得到容易理解的显著图的方案。

发明内容

有鉴于此，本申请的目的在于提出一种获取游戏强化学习模型的可解释结果的方法及相关设备。

基于上述目的，本申请提供了一种获取游戏强化学习模型的可解释结果的方法，包括：

通过将具有多维状态的原始数据输入所述游戏强化学习模型，得到多个动作各自的第一期望回报；

对于所述多维状态中的每一维状态，通过对该维状态添加噪声而由所述原始数据得到多条扰动数据，通过将每条所述扰动数据输入所述游戏强化学习模型而得到所述多个动作各自的第二期望回报，并基于所述第一期望回报和所述第二期望回报，计算该维状态对于所述多个动作各自的重要程度；

通过对所述重要程度进行统计，形成所述游戏强化学习模型的状态到动作映射策略的可解释结果。

进一步地，获取游戏强化学习模型的可解释结果的方法还包括：

以显著图的形式呈现所述可解释结果。

进一步地，通过将具有多维状态的原始数据输入所述游戏强化学习模型，得到多个动作各自的第一期望回报，包括：

从全部所述动作中确定待解释的目标动作和除所述目标动作之外的其他动作；

根据所述目标动作，利用所述游戏强化学习模型输出所述原始数据与所述目标动作之间的第一目标期望回报；

根据所述其他动作，利用所述游戏强化学习模型输出所述原始数据与每个所述其他动作之间的第一其他期望回报；

将所述第一目标期望回报和全部所述第一其他期望回报作为对应所述原始数据的第一期望回报。

进一步地，通过将每条所述扰动数据输入所述游戏强化学习模型而得到所述多个动作各自的第二期望回报，包括：

对于每条所述扰动数据，执行操作：

根据所述目标动作，利用所述游戏强化学习模型输出所述扰动数据与所述目标动作之间的第二目标期望回报；

根据所述其他动作，利用所述游戏强化学习模型输出所述扰动数据与每个所述其他动作之间的第二其他期望回报；

将所述第二目标期望回报和全部所述第二其他期望回报作为对应该条所述扰动数据的第二期望回报。

进一步地，计算该维状态对于所述多个动作各自的重要程度，包括：