[发明专利]一种深度神经网络模型可视化解释方法及系统

权利要求书

1.一种深度神经网络模型可视化解释方法，其特征在于，包括以下步骤：

给定待解释的输入图片，利用变分自编码器生成合成图片；

通过深度神经网络模型对合成图片打标签，依据合成图片的标签是否变化将合成图片分为两类，得到合成标签，根据合成图片和合成标签得到合成数据集；

在合成数据集上训练可解释模型，将深度神经网络模型的知识蒸馏到可解释模型中；

根据训练好的可解释模型，建立输入图片和深度神经网络模型的预测结果的对应关系，进而得到一张显著图，直观地标记出对预测结果有显著影响的特征，从而实现对深度神经网络决策结果的解释。

2.根据权利要求1所述的方法，其特征在于，所述变分自编码器是预训练好的变分自编码器，通过向变分自编码器的隐特征中添加随机噪声，生成多张合成图片。

3.根据权利要求1所述的方法，其特征在于，所述深度神经网络模型是预训练好的深度神经网络模型，通过对合成图片打标签，将该模型的局部分类边界知识传递到合成数据集中。

4.根据权利要求1所述的方法，其特征在于，所述依据合成图片的标签是否变化将合成图片分为两类，是通过对比合成图片的预测结果和输入图片的预测结果是否一样，将图片分为0/1两类，以更好的捕获该输入图片在深度神经网络模型中的局部分类边界。

5.根据权利要求1所述的方法，其特征在于，所述将深度神经网络模型的知识蒸馏到可解释模型中，是通过将可解释模型和深度神经网络模型的输出概率分布进行匹配，实现模型间的知识蒸馏；所述可解释模型是可解释的线性模型或决策树模型。

6.根据权利要求5所述的方法，其特征在于，训练所述可解释模型时，可解释模型的输出要尽可能和深度神经网络模型的输出相似，通过匹配二者的概率分布，作为软标签损失L₁，同时可解释模型的输出和合成标签之间的距离作为硬标签损失L₂，据此训练可解释模型S的损失定义为：

其中，w表示可解释模型的权重，λ₁和λ₂是权重系数，f_S(·)表示可解释模型的预测结果，x’表示合成图片，y’表示合成标签，n表示合成图片的数量，P_S(x_i’)表示可解释模型的输出概率分布，P_T(x_i’)表示深度神经网络模型的输出概率分布。

7.根据权利要求1所述的方法，其特征在于，通过所述可解释模型的权重参数量化输入图片不同特征对预测结果的贡献，输入图片和权重参数相乘得到所述显著图，作为可视化的解释结果。

8.一种采用权利要求1～7中任一权利要求所述方法的一种深度神经网络模型可视化解释系统，其特征在于，包括：

合成模块，用于给定待解释的输入图片，利用变分自编码器生成合成图片；

标签模块，用于通过深度神经网络模型对合成图片打标签，依据合成图片的标签是否变化将合成图片分为两类，得到合成标签，根据合成图片和合成标签得到合成数据集；

蒸馏模块，用于在合成数据集上训练可解释的可解释模型，将深度神经网络模型的知识蒸馏到可解释模型中；

解释模块，用于根据训练好的可解释模型，建立输入图片和深度神经网络模型的预测结果的对应关系，进而得到一张显著图，直观地标记出对预测结果有显著影响的特征，从而实现对深度神经网络决策结果的解释。

9.一种电子装置，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1～7中任一权利要求所述方法的指令。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现权利要求1～7中任一权利要求所述的方法。