[发明专利]一种基于模型动态行为的可解释性方法及相关装置

说明书

本申请实施例提供一种基于模型动态行为的可解释性方法及相关装置，应用于人工智能领域，其中，一种基于模型动态行为的可解释性方法，包括：获取图像数据中目标像素点的非对称动态边界，非对称动态边界包括左动态边界和右动态边界；对目标像素点的左动态边界和右动态边界进行差量操作，获得目标像素点的左右动态边界之差；根据多个像素点分别对应的左右动态边界之差，获得图像数据的目标像素点集合，目标像素点集合包括多个像素点中一个或多个左右动态边界之差超过第一阈值的像素点。实施本申请实施例，忠实于原模型的情况下，精确解释该神经网络模型。

技术领域

本申请涉及人工智能领域，尤其涉及一种基于模型动态行为的可解释性方法及相关装置。

背景技术

随着人工智能和深度学习的发展，卷积深度神经网络以其优异的表现在计算机视觉、语言识别、图像识别、自然语言处理等多个领域大放光彩。然而，卷积深度神经网络模型缺乏透明性和可解释性，严重限制了卷积深度神经网络模型在现实任务，尤其是风险敏感任务(如无人驾驶、医疗保健、金融等)中的发展和应用。为了增加卷积神经网络的透明性，降低模型在部署应用中的潜在风险，同时建立其与用户之间的信任关系，现在开始研究如何解释模型的决策过程和分类结果，并且提出了一系列的模型解释方法，如特征逆向解释方法、局部近似解释方法、模型模拟解释方法等等。然而，上述的许多方法利用替代模型无法保证解释方法的准确性和可靠性，并且机遇模型的静态决策行为，无法真实的反映数据特征变化对于模型最终决策的影响，远远无法满足风险敏感任务中的需求。

因此，如何在忠实于原模型的情况下，精确解释该神经网络模型，是亟待解决的问题。

发明内容

本申请实施例提供一种基于模型动态行为的可解释性方法及相关设备，可在忠实于原模型的情况下，精确解释该神经网络模型。

第一方面，本申请实施例提供了一种基于模型动态行为的可解释性方法，可包括：

获取图像数据中目标像素点的非对称动态边界，所述图像数据为目标神经网络模型的输入数据，所述目标像素点为所述图像数据中多个像素点中的任意一个，所述非对称动态边界包括左动态边界和右动态边界，所述左动态边界为所述目标像素点的像素点值的下边界，所述右动态边界为所述目标像素点的像素点值的上边界，且所述目标像素点的像素点值在所述左动态边界和所述右动态边界之间变化时，所述图像数据在所述目标神经网络模型中的分类结果不变；对所述目标像素点的所述左动态边界和所述右动态边界进行差量操作，获得所述目标像素点的左右动态边界之差；根据所述多个像素点分别对应的左右动态边界之差，获得所述图像数据的目标像素点集合，所述目标像素点集合包括所述多个像素点中一个或多个左右动态边界之差超过第一阈值的像素点。

针对卷积神经网络模型缺乏透明性和可解释性，以及现存可解释方法无法准确解释卷积神经网络模型和体现该模型关于输入特征的动态行为等问题，本申请实施例，可以通过对于给定的神经网络模型和图像数据(即，神经网络模型的输入数据)，获取该图像数据在该神经网络模型下的非对称动态边界，该非对称动态边界包括左动态边界和右动态边界，其中，左动态边界为减少像素点值而不会改变分类结果的范围界限，右动态边界为增加像素点值而不会改变分类结果的范围界限。因此，将左动态边界和右动态边界进行差量操作，得到左右动态边界之差。最后，根据该左右动态边界之差进行分析，得到该图像数据的目标像素点集合。其中，该输入数据为图像数据。这种针对神经网络模型的每一个输入数据，利用该神经网络模型关于输入数据中目标像素点的动态行为(即：增加或减少目标像素点的像素点值，且不会改变其分类结果)解释该神经网络模型的决策机制，从而可以增加神经网络的透明性，建立其与用户之间的信任关系。

在一种可能实现的方式中，所述目标神经网络模型包括卷积层和/或全连接层。实施本申请实施例，可以解释卷积神经网络模型和体现卷积神经网络模型关于输入特征的动态行为，其中，目标神经网络模型包括卷积层和/或全连接层，即为卷积神经网络。