[发明专利]一种基于输入特征重要性的模型解释方法及装置

说明书

本发明提供一种基于输入特征重要性的模型解释方法及装置，在获取输入数据对应的各个输入特征后，调用预设神经网络模型，获取预设神经网络模型输出的各个预测结果；在预设神经网络模型输出各个预测结果时，计算各个输入特征的参与度，基于各个输入特征的参与度，得到各个输入特征对于预设神经网络模型的重要度，基于各个输入特征对于预设神经网络模型的重要度，对预设神经网络模型进行解释，从而能够通过各个输入特征对于预设神经网络模型的重要度进行模型解释，以通过输入特征对于预设神经网络模型的重要度有效解释预设神经网络模型。

技术领域

本发明属于深度学习技术领域，尤其涉及一种基于输入特征重要性的模型解释方法及装置。

背景技术

随着深度学习的不断发展与演化，神经网络模型被广泛应用于语音识别、计算机视觉和自然语言处理等技术领域。例如，在机器翻译和视频监控等实际应用中，神经网络模型取得了非常出色的表现。尽管如此，由于神经网络模型的神经元之间存在复杂的非线性变换及其自身高维表示形式，理解神经网络模型如何工作以及为什么这样工作变得比较困难，从而为调试神经网络模型以及设计新的神经网络模型带来了极大挑战。例如，给定正常的输入数据，神经网络模型极有可能做出错误的预测，然而对于神经网络模型的设计人员以及开发人员并不知道为什么神经网络模型会做出这样的预测，因此也无法针对性地对神经网络模型进行修正。

基于这一情况，一种有效的模型解释性方法会极大地促进对神经网络模型的理解，从而基于对神经网络模型的理解对神经网络模型进行修正，目前模型解释方法通常是采用注意力机制，如获取神经网络模型的输入数据对应的各个输入特征，通过注意力机制获取各个输入特征的注意力权重，基于各个输入特征的注意力权重解释神经网络模型。但是目前研究发现，注意力权重和神经网络模型的预测之间的联系非常微弱，因此基于注意力权重不能有效的对神经网络模型进行解释。

发明内容

有鉴于此，本发明的目的在于提供一种基于输入特征重要性的模型解释方法，以通过输入特征对于预设神经网络模型的重要度对预设神经网络模型进行解释。技术方案如下：

本发明提供一种基于输入特征重要性的模型解释方法，所述方法包括：

获取输入数据对应的各个输入特征；

调用预设神经网络模型，获取所述预设神经网络模型输出的各个预测结果；

计算所述预设神经网络模型输出各个预测结果时所述各个输入特征的参与度；

基于所述预设神经网络模型输出各个预测结果时所述各个输入特征的参与度，得到所述各个输入特征对于所述预设神经网络模型的重要度，所述输入特征对于所述预设神经网络模型的重要度用于表明所述输入特征对于所述预设神经网络模型的影响程度；

基于所述各个输入特征对于所述预设神经网络模型的重要度，对所述预设神经网络模型进行解释。

优选的，所述方法还包括：基于所述各个输入特征对于所述预设神经网络模型的重要度，从所述各个输入特征中得到所述预设神经网络模型在进行预测时忽略的输入特征。

优选的，所述基于所述各个输入特征对于所述预设神经网络模型的重要度，从所述各个输入特征中得到所述预设神经网络模型在进行预测时忽略的输入特征包括：

基于所述各个输入特征对于所述预设神经网络模型的重要度由低到高的方式，得到所述各个输入特征的排序；

基于所述各个输入特征的排序，选取排序在前预设位的输入特征为所述预设神经网络模型在进行预测时忽略的输入特征。

优选的，所述计算所述预设神经网络模型输出各个预测结果时所述各个输入特征的参与度包括：

计算所述各个预测结果对所述各个输入特征的梯度；