[发明专利]模型行为可解释性方法、系统、介质及设备

权利要求书

1.一种模型行为可解释性方法，其特征在于，包括：

根据模型预测结果，确定测试样本中各个测试单元对所述预测结果的贡献度；

对所述贡献度进行排序，根据所述贡献度的排序结果选取第一预设数量的所述测试单元作为解释单元；

分别计算训练集中各个训练样本与所述解释单元的相关度；

对所述相关度进行排序，根据所述相关度的排序结果选取第二预设数量的所述训练样本作为解释样本。

2.根据权利要求1所述的模型行为可解释性方法，其特征在于，所述根据模型预测结果，确定测试样本中各个测试单元对所述预测结果的贡献度，包括：

确定所述预测结果对应的得分；

根据所述得分确定各个所述测试单元对应的梯度，进而确定各个所述测试单元对应的所述贡献度，其中，所述梯度与所述贡献度正相关。

3.根据权利要求1所述的模型行为可解释性方法，其特征在于，所述别计算训练集中各个训练样本与所述解释单元的相关度，包括：

计算各个所述训练样本对所述解释单元的相关度得分；

根据所述相关度得分确定所述相关度，其中所述相关度与所述相关度得分正相关。

4.一种模型行为可解释性系统，其特征在于，包括：

贡献度计算模块，其根据模型预测结果，确定测试样本中各个测试单元对所述预测结果的贡献度；

解释单元确定模块，其对所述贡献度进行排序，根据所述贡献度的排序结果选取第一预设数量的所述测试单元作为解释单元；

相关度计算模块，其分别计算训练集中各个训练样本与所述解释单元的相关度；

解释样本确定模块，其对所述相关度进行排序，根据所述相关度的排序结果选取第二预设数量的所述训练样本作为解释样本。

5.根据权利要求4所述的模型行为可解释性系统，其特征在于，在所述解释单元确定模块中，所述解释单元确定模块用于确定所述预测结果对应的得分，并根据所述得分确定各个所述测试单元对应的梯度，进而确定各个所述测试单元对应的所述贡献度，其中，所述梯度与所述贡献度正相关。

6.根据权利要求4所述的模型行为可解释性系统，其特征在于，在所述解释样本确定模块中，所述解释样本确定模块用于计算各个所述训练样本对所述解释单元的相关度得分，并根据所述相关度得分确定所述相关度，其中所述相关度与所述相关度得分正相关。

7.一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机指令，所述计算机指令被操作以执行权利要求1-3任一所述的模型行为可解释性方法。

8.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器存储有计算机指令，其中，所述处理器操作计算机指令以执行权利要求1-3任一所述的模型行为可解释性方法。