[发明专利]基于图卷积融合网络的口罩人脸识别方法、系统及设备

权利要求书

1.一种基于图卷积融合网络的口罩人脸识别方法，其特征在于，包括以下步骤：

步骤1：对口罩人脸图像进行特征表示，获得人脸特征图；

其中，采用改进ResNet-50网络，对源于自然拍摄且经过人脸对齐后的图像进行特征提取；所述改进ResNet-50网络，是在ResNet-50网络中去掉平均池化层和全连接层后获得的网络，通过4个CNN块学习得到四个特征图，记为F₁，F₂，F₃，F₄；

步骤2：获取人脸图像对应的眉眼RoI信息；

步骤3：将人脸特征图和眉眼RoI信息转化为对应的眉眼局部特征以及全局特征；所述眉眼局部特征包括左眉特征，右眉特征，左眼特征和右眼特征；

步骤3的具体实现包括以下子步骤：

步骤3.1：利用步骤2中得到的眉眼RoI信息对步骤1中得到的三个特征图（F₂，F₃，F₄）的四个区域进行Roi-Pooling操作，所述四个区域包括双眼和双眉，对于每个区域得到的三个特征图F₂，F₃，F₄；

步骤3.2：采用特征级联的方式分别将每个区域对应的三个阶段特征融合为每个区域对应的局部特征；

步骤3.3：对步骤1中得到的特征进行全局池化操作得到全局特征F_g；

步骤4：融合眉眼局部特征和全局特征，得到最终的人脸判别特征；

步骤4的具体实现包括以下子步骤：

步骤4.1：构建图；其中，v表示节点集合，由1个全局节点和2个局部节点组成；表示边集合，由1个全局节点连接所有的局部节点的边组成；局部节点由特征对组成，全局节点由全局特征F_g组成，；表示图结构，其中d表示眉眼特征维度；

步骤4.2：建立图节点之间的联系，将全局节点作为图的第一个节点，邻接矩阵定义为：

其中，然后正则化邻接矩阵为；

步骤4.3：通过图卷积融合网络逐层传播，融合眉眼局部特征和全局特征，得到最终的人脸判别特征；

所述图卷积融合网络逐层传播过程如下：

；

其中表示图特征的第l层，以步骤3中输出的全局和局部特征作为初始化，表示图学习参数，表示ReLU激活函数，整个图卷积融合网络共有3层，最终输出作为人脸判别特征。

2.根据权利要求1所述的基于图卷积融合网络的口罩人脸识别方法，其特征在于：步骤1中，若输入图片大小为H×W， H和W分别表示图像的高度和宽度，则四个特征图F₁，F₂，F₃，F₄的大小分别为H/2×W/2，H/4×W/4，H/8×W/8，H/16×W/16；将提取的特征记为，其中分别代表图像的高度、宽度和通道数。

3.根据权利要求1所述的基于图卷积融合网络的口罩人脸识别方法，其特征在于，步骤2的具体实现包括以下子步骤：

步骤2.1：采用face-alignment人脸关键点检测方法来提取口罩人脸面部关键点坐标；

步骤2.2：人脸关键点坐标进一步生成眉眼RoI信息，RoI信息表示如下：

其中Pⁱ表示人脸图像眉眼第i部分的关键点坐标集合，分别表示第i部分的关键点的横坐标和纵坐标，表示RoI区域的左上角和右下角坐标，代表margin以增加容错率。