[发明专利]一种基于模型动态行为的可解释性方法及相关装置

权利要求书

1.一种基于模型动态行为的可解释性方法，其特征在于，包括：

获取图像数据中目标像素点的非对称动态边界，所述图像数据为目标神经网络模型的输入数据，所述目标像素点为所述图像数据中多个像素点中的任意一个，所述非对称动态边界包括左动态边界和右动态边界，所述左动态边界为所述目标像素点的像素点值的下边界，所述右动态边界为所述目标像素点的像素点值的上边界，且所述目标像素点的像素点值在所述左动态边界和所述右动态边界之间变化时，所述图像数据在所述目标神经网络模型中的分类结果不变；

对所述目标像素点的所述左动态边界和所述右动态边界进行差量操作，获得所述目标像素点的左右动态边界之差；

根据所述多个像素点分别对应的左右动态边界之差，获得所述图像数据的目标像素点集合，所述目标像素点集合包括所述多个像素点中一个或多个左右动态边界之差超过第一阈值的像素点。

2.根据权利要求1所述的方法，其特征在于，所述目标神经网络模型包括卷积层和/或全连接层。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

将所述目标像素点的左右动态边界之差进行归一化处理，获得所述目标像素点的差量动态边界值；

所述根据所述图像数据中多个像素点分别对应的左右动态边界之差，获得所述图像数据的目标像素点集合，包括：

从所述多个像素点分别对应的差量动态边界值中，确定差量动态边界值超过第二阈值的像素点为所述图像数据的所述目标像素点集合。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

根据所述多个像素点分别对应的差量动态边界值和所述图像数据，获得所述图像数据对应的目标特征图，所述目标特征图中多个像素点中第一像素点对应的视觉感知亮度大于第二像素点对应的视觉感知亮度，其中，所述第一像素点的差量动态边界值大于所述第二像素点的差量动态边界值。

5.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

根据所述多个像素点分别对应的左右动态边界之差和所述图像数据，获得所述图像数据对应的目标特征图，所述目标特征图中多个像素点中第三像素点对应的视觉感知亮度大于第四像素点对应的视觉感知亮度，其中，所述第三像素点的左右动态边界之差大于所述第四像素点的左右动态边界之差。

6.根据权利要求1-5所述的任意一项方法，其特征在于，所述方法还包括：

根据所述多个像素点分别对应的左右动态边界之差，获取所述目标像素点集合的动态边界范围；

根据所述动态边界范围，获得所述目标神经网络模型的鲁棒性边界范围，所述鲁棒性边界范围在所述动态边界范围之内，且用于确定输入所述目标神经网络模型后的分类结果。

7.一种基于模型动态行为的可解释性装置，其特征在于，包括：

第一获取单元，用于获取图像数据中目标像素点的非对称动态边界，所述图像数据为目标神经网络模型的输入数据，所述目标像素点为所述图像数据中多个像素点中的任意一个，所述非对称动态边界包括左动态边界和右动态边界，所述左动态边界为所述目标像素点的像素点值的下边界，所述右动态边界为所述目标像素点的像素点值的上边界，且所述目标像素点的像素点值在所述左动态边界和所述右动态边界之间变化时，所述图像数据在所述目标神经网络模型中的分类结果不变；

差量单元，用于对所述目标像素点的所述左动态边界和所述右动态边界进行差量操作，获得所述目标像素点的左右动态边界之差；

像素点单元，用于根据所述多个像素点分别对应的左右动态边界之差，获得所述图像数据的目标像素点集合，所述目标像素点集合包括所述多个像素点中一个或多个左右动态边界之差超过第一阈值的像素点。

8.根据权利要求7所述的装置，其特征在于，所述目标神经网络模型包括卷积层和/或全连接层。