[发明专利]一种具有可解释性的图像隐私检测方法

权利要求书

1.一种具有可解释性的图像隐私检测方法，其特征是按如下步骤进行：

步骤1，构造隐私分类的数据集；

步骤1.1，利用网络爬虫收集社交平台上脱敏处理后的N张打码图像；

步骤1.2，标注每张打码图像中所有物体和背景的边框信息和类别，从而得到N张打码图像的物体类别数为K；

步骤1.3，对每张打码图像中物体和背景，若其经过脱敏处理，则标注为1，否则标注为0，从而完成每张打码图像中物体的隐私分类，并得到脱敏图像数据集D；

步骤2，抽取图像中所包含的语义信息；

步骤2.1，基于脱敏图像数据集D对faster-rcnn模型进行训练，得到目标检测模型M₁；

任意一输入图像I经过所述目标检测模型M₁后输出检测结果M₁(I)＝{o₁,o₂,…,o_i,…,o_n}，其中，o_i表示包含边框信息B_i和分类的置信概率的第i个物体信息，n表示目标检测模型M₁在输入图像I上检测的物体个数，i∈[1,n]；

步骤2.2，基于place365数据集对vgg模型进行训练，得到背景分类模型M₂；

任意一输入图像I经过背景分类模型M₂后输出背景分类结果M₂(I)＝{s₁,f₁}，其中，s₁表示背景分类的置信概率，f₁表示背景分类模型输出的特征向量；

步骤3，构建输入图像I对应的加权有向图G_I＝{V_I,E_I}；

步骤3.1构造节点集合V_I：

对于第i个物体信息o_i，构建相应的嵌入向量并作为相应的节点从而得到n个节点{v₁,v₂,…,v_n}；其中，表示第i个物体信息o_i对应的长度为K的置信概率向量，表示第i个物体信息o_i对第K个类别的置信概率，表示第i个物体信息o_i对应的边框信息，表示边框的中心点在输入图像I的像素矩阵中的坐标，表示边框的相对大小；

利用如式(1)所示的多层感知机将置信概率s₁和特征向量f₁映射到一个长度为K+3的背景节点v_n+1中，从而得到节点集合V_I＝{v₁,v₂,…,v_n+1}；

v_n+1＝(s₁||f₁)×W_n+1 (1)

式(1)中，W_n+1表示多层感知机的参数矩阵，·||·表示向量的拼接；

步骤3.2构造邻接矩阵E_I；

计算任意第i个节点v_i的边框box_i和第j个节点v_j的box_j是否重合，若重合，则利用式(2)计算重合的像素面积S(box_i∩box_j)占据边框box_i面积的比例E_I[i,j]，若没有重合，则令比例E_I[i,j]＝0；从而得到邻接矩阵E_I＝{E_I[i,j]|i＝1,2,…,n；j＝1,2,…,n}；

式(2)中，S表示像素面积；

步骤4，构建由l₁层图卷积层和l₂层感知机组成的图神经网络M₃，并基于脱敏图像数据集D进行训练，从而利用图神经网络M₃得到加权有向图G_I＝{V_I,E_I}中每个节点的二分类输出；

步骤4.1利用式(3)构建图卷积层：

h_m+1＝σ(E_Ih_mw_m),0≤m≤l₁-1 (3)

式(3)中，l₁表示卷积层的个数，h_m表示第m层图卷积层的特征向量，w_m表示第m层图卷积层的参数矩阵；σ表示激活函数；当m＝0时，

步骤4.2利用式(4)构建l₂层感知机，令每一个节点共享一个参数矩阵，从而得到如式(5)所示的多层感知机的输出O；

式(4)和式(5)中，表示第k层感知机的特征向量，表示第k层感知机的参数矩阵，表示第k+1层感知机的特征向量，表示第l₂层感知机的特征向量，l₂表示多层感知机的层数，sig()表示sigmoid函数，用于输出每个节点的二分类结果；

步骤4.3，利用式(6)构建损失函数L(θ)：

式(6)中，O(v_i)表示第i个节点v_i的分类结果；θ表示图神经网络M₃的参数，且y_i表示第i个节点v_i的隐私分类标注值；

步骤4.4，基于脱敏图像数据集D并利用梯度下降方法对损失函数L(θ)进行训练，直到模型收敛为止，从而得到训练好的图神经网络M₃，并输出加权有向图G_I＝{V_I,E_I}中每个节点的二分类结果；

步骤5，使用训练好的图神经网络M₃确定输入图像I的打码像素区域；

步骤5.1，若第i个节点v_i的分类结果O(v_i)大于所设定的阈值，则表示第i个节点v_i为隐私节点，否则，表示第i个节点v_i为非隐私节点；

步骤5.2，假设第i个节点v_i为隐私节点，若i∈[1,n]，则利用第i个节点v_i对应的边框信息确定出打码区域；若i＝n+1，则表示第i个节点v_i为背景节点，则将打码区域标注为整张输入图像I中除去{B₁,B₂,…,B_n}所包含物体的边框后剩下的像素区域；

步骤6，生成隐私规则：

步骤6.1，利用式(7)构建加权有向图G_I＝{V_I,E_I}中第i个节点v_i的符号向量sv_i：

式(7)中，sv[j]表示第i个节点v_i的第j个值的符号，v_i[j]表示第i个节点v_i的第j个值；

步骤6.2，利用式(8)求解分类结果对于第i个节点v_i节点的梯度向量gv_i：

式(8)中，gv[j]表示第i个节点v_i的第j个值的梯度；

步骤6.3，利用式(9)求解第i个节点v_i对于分类结果的重要性Im(v_i)：

步骤6.4，若Im(v_i)大于所设定的隐私阈值τ，则表示第i个节点v_i为隐私相关的节点；

步骤6.5，利用式(10)构建加权有向图G_I＝{V_I,E_I}中边的符号矩阵se：

式(10)中，se[i,j]表示第i个节点v_i和第j个节点v_j的边的符号；

步骤6.6，利用式(11)求解分类结果对于每一条边的梯度矩阵ge：

式(11)中，ge[i,j]表示第i个节点v_i和第j个节点v_j的边的梯度；

步骤6.7，利用式(12)求解隐私节点之间的隐私相关的边的邻接矩阵Ime(E_I)：

Ime(E_I)＝se·ge (12)

步骤6.8，令隐私子图SG_I＝{{v_i|Im(v_i)≥τ，1≤i≤n},Ime(E_I)}为输入图像I的隐私规则；

步骤7，由打码像素区域和隐私规则共同作为输入图像I的隐私检测结果。