[发明专利]一种基于图推理的人脸遮挡检测的网络模型及方法

权利要求书

1.一种基于图推理的人脸遮挡检测的方法，其特征在于，包括以下步骤：

步骤1，人脸特征的提取；

步骤2，含有遮挡部分的人脸特征向量的获得；

步骤3，利用解卷积输出最终得到的含有遮挡部分掩膜的人脸图片并检测出遮挡部分；

所述步骤2含有遮挡部分的人脸特征向量的获得的具体步骤为：

步骤2.1，先对高层特征进行平均池化，计算其与边缘特征的关系，将高层特征X通过非局部操作映射到以边缘特征Y为先验的节点特征，将其作为最终投影矩阵H

其中，P为平均池化操作，为图投影部分的1*1卷积操作；

步骤2.2，投影到矩阵H之后，对节点特征h_ij∈H进行编码，计算编码向量z_k’，建立包含节点特征z_k的矩阵向量空间Z∈R^d×|V|和权重向量空间W∈R^d×|V|以及高斯参量空间Σ∈R^d×|V|

其中，x_ij为输入特征，i是像素，j是类别，k代表维度，d为输入特征数，V为节点数量，z_k∈Z为利用编码向量计算的节点特征，ω_k∈W为权重参量，σ_k∈Σ为高斯参量；

计算邻接矩阵和总的节点特征分别作为节点特征的位置关系权重和总的特征关系

Δ＝Z^TZ， H_G＝Hθ(x) (3)

其中Δ为邻接矩阵，H_G为总的节点特征，θ为图推理部分的1*1卷积操作；

将图卷积网络与图推理相结合，通过图卷积建立节点之间联通性关系，对遮挡位置与其他位置的关系进行推理，采用RELU激活函数进行推理表示

其中，W_G是图卷积网络的权重，是节点关系的推理表示；

步骤2.3，将投影矩阵转置与推理子模块的输出相乘，将推理到的遮挡部分特征映射回原特征

其中，τ是图重投影部分的1*1卷积运算，A是带有遮挡部分的人脸特征向量。

2.根据权利要求1所述的一种基于图推理的人脸遮挡检测的方法，其特征在于：所述步骤1中的人脸特征包括低层特征、含有遮挡信息的高层特征、边缘特征。

3.根据权利要求1所述的一种基于图推理的人脸遮挡检测的方法，其特征在于：所述步骤1中人脸特征的提取具体包括以下步骤：

步骤1，利用残差网络模型进行初步特征的提取得到低层特征；

步骤2，利用空间金字塔池化对残差网络模型的输出进行映射，得到含有遮挡信息的高层特征；

步骤3，取残差网络模型第一、二、四卷积层输出的特征，经过边缘算子的运算，得到边缘特征。

4.一种如权利要求1所述基于图推理的人脸遮挡检测方法的网络系统，其特征在于：网络系统包括特征提取网络、图注意推理模块和解码3部分；其中，特征提取网络部分包括残差网络ResNet101模型和空间金字塔池化，用于提取人脸特征；图注意推理模块包括图投影、图卷积、图推理和图重投影4个子模块，用于获得含有遮挡部位的人脸特征向量；解码部分用于输出最终得到的含有遮挡部分掩膜的人脸图片并检测遮挡部分。