[发明专利]模型解释方法以及电子设备

权利要求书

1.一种模型解释方法，其特征在于，包括：

获取与待解释模型的类型对应的可解释性模型；

将经过所述待解释模型识别的n个实例数据输入所述可解释性模型，分别得到所述n个实例数据中每个实例数据的解释结果，n≥1，所述实例数据的解释结果用于表征所述实例数据中的至少一个特征在所述待解释模型对所述实例数据进行识别时的权重。

2.根据权利要求1所述的方法，其特征在于，所述获取与待解释模型的类型对应的可解释性模型，包括：

基于所述待解释模型的类型，确定对应的模型解释程序；

通过运行所述模型解释程序，训练得到所述可解释性模型。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

获取所述待解释模型的类型。

4.根据权利要求3所述的方法，其特征在于，所述获取所述待解释模型的类型包括：

识别所述待解释模型的文件格式；

基于所述待解释模型的文件格式，确定所述待解释模型的类型。

5.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

获取模型解释类型，所述解释类型包括局部解释类型和/或全局解释类型。

6.根据权利要求5所述的方法，其特征在于，在所述模型解释类型包括所述全局解释类型时，所述方法还包括：

基于n个实例数据中每个实例数据的解释结果，确定所述待解释模型的解释结果，n＞1，所述待解释模型的解释结果用于表征每个实例数据中的每个特征在所述待解释模型进行识别时的权重的平均值。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

基于预设的采样信息，从p个实例数据中进行采样，得到所述n个实例数据，p＞n。

8.根据权利要求6或7所述的方法，其特征在于，所述基于所述n个实例数据中每个实例数据的解释结果，确定所述待解释模型的解释结果，包括：

针对所述n个实例数据中每个实例数据中的每个特征，确定所述特征在所述n个实例数据中的权重的平均值；

将所述n个实例数据中每个实例数据中的每个特征对应的权重的平均值进行组合，得到所述待解释模型的解释结果。

9.根据权利要求1或2所述的方法，其特征在于，在n＞1时，所述将经过所述待解释模型识别的n个实例数据输入所述可解释性模型，分别得到所述n个实例数据中每个实例数据的解释结果，包括：

依次将所述n个实例数据输入可解释性模型，分别得到所述n个实例数据中每个实例数据的解释结果；或者，

将所述n个实例数据划分为m个实例数据集合，m＞1；针对每个实例数据集合，将所述实例数据集合输入对应的计算节点部署的可解释性模型，分别得到所述n个实例数据中每个实例数据的解释结果。

10.一种电子设备，其特征在于，包括：

获取单元，用于获取与待解释模型的类型对应的可解释性模型；

处理单元，用于将经过所述待解释模型识别的n个实例数据输入所述可解释性模型，分别得到所述n个实例数据中每个实例数据的解释结果，n≥1，所述实例数据的解释结果用于表征所述实例数据中的至少一个特征在所述待解释模型对所述实例数据进行识别时的权重。

11.一种电子设备，其特征在于，包括：处理器和存储器；

所述存储器用于存储计算机程序；

所述处理器用于调用并运行所述存储器中存储的计算机程序，执行如权利要求1至9任一项所述的方法。

12.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序使得计算机执行如权利要求1至9任一项所述的方法。