[发明专利]模型解释方法、装置、电子设备及存储介质

权利要求书

1.一种模型解释方法，其特征在于，所述方法包括：

获取预先训练好的黑盒模型、目标任务场景的样本集合和待解释的目标样本；

将所述样本集合输入至所述黑盒模型中，得到特征分布信息；

对所述目标样本输入至所述黑盒模型进行模型预测，得到模型预测分数；

遍历所述目标样本中每个维度的特征，根据所述特征分布信息计算每个维度所述特征对应的加权平均分；

根据所述加权平均分与所述模型预测分数的差异值，确定每个维度所述特征在所述目标样本的重要程度；

根据所述特征的重要程度对所述黑盒模型基于所述目标样本的模型进行解释。

2.根据权利要求1所述的方法，其特征在于，所述特征分布信息包括有所述样本集合中每个维度所述特征对应的特征值以及所述特征值在所述样本集合中的占比。

3.根据权利要求2所述的方法，其特征在于，所述根据所述特征分布信息计算每个维度所述特征对应的加权平均分，包括：

将所述目标样本中每个维度所述特征替换为所述样本集合中同一维度的特征对应的特征值，得到新样本；

通过所述黑盒模型对所述新样本进行模型评分，得到模型评分分数；

根据所述模型评分分数和所述特征值在所述样本集合中的占比，得到所述目标样本中每个维度所述特征对应的加权平均分。

4.根据权利要求1所述的方法，其特征在于，所述根据所述加权平均分与所述模型预测分数的差异值，确定每个维度所述特征在所述目标样本的重要程度，包括：

计算每个维度所述特征对应的所述加权平均分与所述模型预测分数之差，得到第一差异值；

计算全部维度所述特征对应的所述加权平均分与所述模型预测分数之差，得到第二差异值；

根据所述第一差异值除以所述第二差异值，得到第一特征重要程度值，其中，所述第一特征重要程度值用于表征每个维度所述特征在所述目标样本的重要程度，且所述第一特征重要程度值的大小与所述重要程度成正比。

5.根据权利要求4所述的方法，其特征在于，所述根据所述重要程度对所述黑盒模型基于所述目标样本的模型进行解释，包括：

对所述特征按照所述第一特征重要程度值的大小进行排序；

确定所述第一特征重要程度值最高的前N个特征；

采用前N个所述特征对所述黑盒模型基于所述目标样本的模型进行局部可解释，其中，N为大于零的正整数。

6.根据权利要求4所述的方法，其特征在于，所述根据所述重要程度对所述黑盒模型基于所述目标样本的模型进行解释，包括：

计算所述样本集合中每个样本每个维度的特征对应的所述第一特征重要程度值；

对每个样本每个维度的特征对应的所述第一特征重要程度值之和求平均值，得到第二特征重要程度值，其中，所述第二特征重要程度值用于表征每个维度所述特征在所述样本集合的重要程度，且所述第二特征重要程度值的大小与所述重要程度成正比；

对所述样本集合中每个维度所述特征按照所述第二特征重要程度值的大小进行排序；

确定所述第二特征重要程度值最高的前N个维度的特征；

采用前N个维度的所述特征对所述黑盒模型基于所述目标样本的模型进行全局可解释，其中，N为大于零的正整数。

7.根据权利要求1至6任意一项所述的方法，其特征在于，所述黑盒模型为分类模型。