[发明专利]一种基于输入特征重要性的模型解释方法及装置

权利要求书

1.一种基于输入特征重要性的模型解释方法，其特征在于，所述方法包括：

获取输入数据对应的各个输入特征，所述输入数据对应的各个输入特征为文本序列中各个词的特征向量；

调用预设神经网络模型，获取所述预设神经网络模型输出的各个预测结果，所述预设神经网络模型为神经网络机器翻译模型，所述各个预测结果为所述文本序列的翻译序列；

计算所述各个预测结果对所述各个输入特征的梯度；

基于所述各个预测结果对所述各个输入特征的梯度，得到所述预设神经网络模型输出各个预测结果时所述各个输入特征的参与度；

基于所述预设神经网络模型输出各个预测结果时所述各个输入特征的参与度，得到所述各个输入特征对于所述预设神经网络模型的重要度，所述输入特征对于所述预设神经网络模型的重要度用于表明所述输入特征对于所述预设神经网络模型的影响程度；

基于所述各个输入特征对于所述预设神经网络模型的重要度，对所述预设神经网络模型进行解释；

基于所述各个输入特征对于所述预设神经网络模型的重要度由低到高的方式，得到所述各个输入特征的排序；

基于所述各个输入特征的排序，选取排序在前预设位的输入特征为所述预设神经网络模型在进行预测时忽略的输入特征；

其中，所述计算所述各个预测结果对所述各个输入特征的梯度包括：对所述各个输入特征中的任一输入特征执行以下步骤：

基于预设基准输入数据和所述输入数据，得到预设数量的伪输入数据；

针对所述预设数量的伪输入数据中的任一伪输入数据，调用所述预设神经网络模型，获取所述预设神经网络模型输出的与所述伪输入数据对应的预测结果；

针对所述预设数量的伪输入数据中的任一伪输入数据，计算与所述伪输入数据对应的预测结果对所述输入特征的梯度。

2.根据权利要求1所述的方法，其特征在于，所述基于所述各个预测结果对所述各个输入特征的梯度，得到所述预设神经网络模型输出各个预测结果时所述各个输入特征的参与度包括：对所述各个输入特征中的任一输入特征执行以下步骤：

对所述预设数量的伪输入数据对应的预测结果对所述输入特征的梯度进行求和、平均、取最大梯度和取最小梯度中的任意一种处理，得到处理结果，将所述处理结果作为所述输入特征的参与度。

3.一种基于输入特征重要性的模型解释装置，其特征在于，所述装置包括：

获取单元，用于获取输入数据对应的各个输入特征，所述输入数据对应的各个输入特征为文本序列中各个词的特征向量；

调用单元，用于调用预设神经网络模型，获取所述预设神经网络模型输出的各个预测结果，所述预设神经网络模型为神经网络机器翻译模型，所述各个预测结果为所述文本序列的翻译序列；

第一计算单元，用于计算所述各个预测结果对所述各个输入特征的梯度；基于所述各个预测结果对所述各个输入特征的梯度，得到所述预设神经网络模型输出各个预测结果时所述各个输入特征的参与度；

第二计算单元，用于基于所述预设神经网络模型输出各个预测结果时所述各个输入特征的参与度，得到所述各个输入特征对于所述预设神经网络模型的重要度，所述输入特征对于所述预设神经网络模型的重要度用于表明所述输入特征对于所述预设神经网络模型的影响程度；

解释单元，用于基于所述各个输入特征对于所述预设神经网络模型的重要度，对所述预设神经网络模型进行解释；

所述装置还包括：忽略特征获取单元，用于基于所述各个输入特征对于所述预设神经网络模型的重要度，从所述各个输入特征中得到所述预设神经网络模型在进行预测时忽略的输入特征；

所述忽略特征获取单元具体用于，基于所述各个输入特征对于所述预设神经网络模型的重要度由低到高的方式，得到所述各个输入特征的排序；基于所述各个输入特征的排序，选取排序在前预设位的输入特征为所述预设神经网络模型在进行预测时忽略的输入特征；

其中，所述第一计算单元基于如下步骤计算各个预测结果对各个输入特征的梯度：

基于预设基准输入数据和所述输入数据，得到预设数量的伪输入数据；针对所述预设数量的伪输入数据中的任一伪输入数据，调用所述预设神经网络模型，获取所述预设神经网络模型输出的与所述伪输入数据对应的预测结果；针对所述预设数量的伪输入数据中的任一伪输入数据，计算与所述伪输入数据对应的预测结果对所述输入特征的梯度。