[发明专利]图像解释方法、图像解释装置、电子设备和存储介质

说明书

本公开提供了一种图像解释方法，包括：获取待处理图像以及与待处理图像对应的预测结果，其中，待处理图像包括待处理图数据，待处理图数据为基于待处理图像的图结构的数据，待处理图数据包括节点和边，节点表征实体，节点与节点之间的边表征实体之间的关系；将待处理图像和预测结果输入预先训练完成的图像解释模型，得到第一解释结果，其中，第一解释结果包括多个解释类别，第一解释结果中节点和边的数量均小于待处理图数据中节点和边的数量；以及基于第一解释结果，利用预先训练完成的图像调整模型，输出目标解释结果，其中，目标解释结果中节点和边的数量均小于第一解释结果中节点和边的数量。

技术领域

本公开涉及深度学习领域，更具体地，涉及一种图像解释方法、图像解释装置、设备、介质和程序产品。

背景技术

图神经网络(GNN)在诸多应用场景如推荐系统、化学分子特性分类、社交网络建模等表现出了优异的性能。图神经网络利用结点作为信息的发生源、边作为信息的传递路径、邻接结点作为信息的接收对象，在不断的迭代中进行端到端的表示学习。然而，作为神经网络在特定图数据结构下的变体，图神经网络未能逃脱黑盒诅咒。图神经网络预测结果的不可解释性局限了它在智能理疗、化学分析方面的应用，越来越多的焦点集中在图神经网络预测结果的可解释性上。

在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题：现有局部可解释性难以挖掘一组实例中共享的模式，缺乏对模型工作原理的全局性理解；现有全局可解释性难以适用于具体的实例。

发明内容

有鉴于此，本公开提供了一种图像解释方法、一种图像解释装置、一种电子设备、一种可读存储介质和一种计算机程序产品。

根据本公开的第一个方面，提供了一种图像解释方法，包括：

获取待处理图像以及与上述待处理图像对应的预测结果，其中，上述待处理图像包括待处理图数据，上述待处理图数据为基于上述待处理图像的图结构的数据，上述待处理图数据包括节点和边，上述节点表征实体，上述节点与节点之间的边表征上述实体之间的关系；

将上述待处理图像和上述预测结果输入预先训练完成的图像解释模型，得到第一解释结果，其中，上述第一解释结果包括多个解释类别，上述第一解释结果中节点和边的数量均小于上述待处理图数据中节点和边的数量；以及

基于上述第一解释结果，利用预先训练完成的图像调整模型，输出目标解释结果，其中，上述目标解释结果中节点和边的数量均小于上述第一解释结果中节点和边的数量。

根据本公开的实施例，其中，在将上述待处理图像和上述预测结果输入预先训练完成的图像解释模型，得到第一解释结果之前，上述方法还包括：

基于第一互信息损失和对比性损失构建解释函数，其中，上述第一互信息损失表征上述第一解释结果与上述预测结果之间的互信息，上述对比性损失表征上述预测类别之间的区别信息；

利用上述解释函数训练待训练的图像解释模型，得到训练完成的图像解释模型。

根据本公开的实施例，其中，上述待训练的图像解释模型包括多个子解释模型，上述多个子解释模型与上述多个解释类别一一对应。

根据本公开的实施例，其中，在基于上述第一解释结果，利用预先训练完成的图像调整模型，输出目标解释结果之前，上述方法还包括：

确定上述第一解释结果中每个节点的选择概率和每条边的选择概率，其中，上述图像解释模型包括多个概率生成模型，上述选择概率通过上述概率生成模型生成；

根据上述每个节点的选择概率和每条边的选择概率生成第二解释结果，其中，上述第二解释结果中节点和边的数量均小于上述第一解释结果中节点和边的数量。

根据本公开的实施例，其中，在上述根据上述每个节点的选择概率和每条边的选择概率生成第二解释结果之后，上述方法还包括：