[发明专利]图像解释方法、图像解释装置、电子设备和存储介质

权利要求书

1.一种图像解释方法，包括：

获取待处理图像以及与所述待处理图像对应的预测结果，其中，所述待处理图像包括待处理图数据，所述待处理图数据为基于所述待处理图像的图结构的数据，所述待处理图数据包括节点和边，所述节点表征实体，所述节点与节点之间的边表征所述实体之间的关系；

将所述待处理图像和所述预测结果输入预先训练完成的图像解释模型，得到第一解释结果，其中，所述第一解释结果包括多个解释类别，所述第一解释结果中节点和边的数量均小于所述待处理图数据中节点和边的数量；以及

基于所述第一解释结果，利用预先训练完成的图像调整模型，输出目标解释结果，其中，所述目标解释结果中节点和边的数量均小于所述第一解释结果中节点和边的数量。

2.根据权利要求1所述的方法，其中，在将所述待处理图像和所述预测结果输入预先训练完成的图像解释模型，得到第一解释结果之前，所述方法还包括：

基于第一互信息损失和对比性损失构建解释函数，其中，所述第一互信息损失表征所述第一解释结果与所述预测结果之间的互信息，所述对比性损失表征所述预测类别之间的区别信息；

利用所述解释函数训练待训练的图像解释模型，得到训练完成的图像解释模型。

3.根据权利要求2所述的方法，其中，所述待训练的图像解释模型包括多个子解释模型，所述多个子解释模型与所述多个解释类别一一对应。

4.根据权利要求1所述的方法，其中，在基于所述第一解释结果，利用预先训练完成的图像调整模型，输出目标解释结果之前，所述方法还包括：

确定所述第一解释结果中每个节点的选择概率和每条边的选择概率，其中，所述图像解释模型包括多个概率生成模型，所述选择概率通过所述概率生成模型生成；

根据所述每个节点的选择概率和每条边的选择概率生成第二解释结果，其中，所述第二解释结果中节点和边的数量均小于所述第一解释结果中节点和边的数量。

5.根据权利要求4所述的方法，其中，在所述根据所述每个节点的选择概率和每条边的选择概率生成第二解释结果之后，所述方法还包括：

基于第二互信息损失构建调整函数，其中，所述第二互信息损失表征所述目标解释结果与所述第二解释结果之间的互信息；

利用所述调整函数训练待训练的图像调整模型，得到训练完成的图像调整模型。

6.根据权利要求1所述的方法，其中，在获取待处理图像以及与所述待处理图像对应的预测结果之前，所述方法还包括：

获取图神经网络的图数据，其中，所述图数据包括节点的表征向量和边的表征向量，所述边表示节点之间的关联关系；

利用所述图神经网络基于所述边的表征向量生成传递矩阵，其中，所述传递矩阵表示相连节点之间的信息传递方式；

确定所述边的表征向量与所述传递矩阵之间的互信息；

利用所述互信息训练所述图神经网络，得到已训练的图神经网络；

将所述待处理图像输入所述已训练的图神经网络，输出所述预测结果。

7.一种图像解释装置，包括：

获取模块，用于获取待处理图像以及与所述待处理图像对应的预测结果，其中，所述待处理图像包括待处理图数据，所述待处理图数据为基于所述待处理图像的图结构的数据，所述待处理图数据包括节点和边，所述节点表征实体，所述节点与节点之间的边表征所述实体之间的关系；

解释模块，用于将所述待处理图像和所述预测结果输入预先训练完成的图像解释模型，得到第一解释结果，其中，所述第一解释结果包括多个解释类别，所述第一解释结果中节点和边的数量均小于所述待处理图数据中节点和边的数量；以及

调整模块，用于基于所述第一解释结果，利用预先训练完成的图像调整模型，输出目标解释结果，其中，所述目标解释结果中节点和边的数量均小于所述第一解释结果中节点和边的数量。