[发明专利]一种基于对称孪生网络的姿态鲁棒性人脸特征提取方法

说明书

本发明涉及一种基于对称孪生网络的姿态鲁棒性人脸特征提取方法，属于图像处理技术领域。本发明考虑的是现有的深度模型对于侧脸的识别效果不及正脸的识别效果，存在对正脸数据的偏好，从而设计一种对称孪生网络平衡神经网络对侧脸的偏好。本发明通过挑选出侧脸数据，同时构建对称孪生网络，将侧脸数据和所有人脸数据分为两路同时训练网络来平衡神经网络对侧脸数据和近正脸图片偏好，克服训练集中近正脸的人脸图片数量远远多余侧脸图片对深度模型的影响，同时结合对比学习的思想，提取姿态鲁棒性特征。本发明能够提高深度模型对大姿态偏转的人脸识别效果，实现人脸识别中的姿态鲁棒性，促进了相关技术领域的发展。

技术领域

本发明属于图像处理技术领域，涉及一种基于对称孪生网络的姿态鲁棒性人脸特征提取方法。

背景技术

有研究表明，相比于近正脸的识别效果，一些深度模型对大角度偏转的人脸识别不尽人意。其中有两个主要原因，一方面当人脸发生角度偏转的时候，会伴随着自遮挡以及人脸面部的非线性扭曲，这会增大模型提取侧脸特征的难度。另一方面，对于无约束条件下采集的人脸数据集，小角度偏转的人脸图片数量远远超过大角度偏转的人脸图片数量，从而使训练后的深度模型会产生对小角度偏转的人脸图片的偏好。

目前也有相关的方法来解决人脸识别的姿态问题，这些方法可以被分为人脸生成的方法和人脸姿态鲁棒性特征提取的方法。人脸生成的方法主要是将不同姿态的人脸转换为正脸人脸图片然后做识别，这一种方法经常需要在大量的成对正脸-侧脸数据做为训练数据，而且训练数据大部分来自于约束条件下的人脸数据集，最终得到的模型泛化性值得考虑。而人脸姿态鲁棒性特征提取方法旨在设计一特征提取器，使得到的特征不受到姿态的影响，而此种方法一般会忽视姿态长尾问题，即训练集中近正脸图片与侧脸数据分布不均衡的问题。

发明内容

有鉴于此，本发明的目的在于提供一种基于对称孪生网络的姿态鲁棒性人脸特征提取方法。

为达到上述目的，本发明提供如下技术方案：

一种基于对称孪生网络的姿态鲁棒性人脸特征提取方法，该方法包括以下步骤：

S1：数据预处理阶段：利用人脸检测网络裁剪出原始图像中处于非限制姿态下的人脸部分，并将该切块的尺寸重新拉伸为128×128；

S2：侧脸数据选取阶段：利用人脸检测网络检测出的关键点，来估计人脸姿态系数，根据人脸数据集中的人脸偏转角度分布及其对应的人脸姿态系数构建侧脸数据；

S3：深度模型结构的构建及其训练阶段：将整个人脸训练数据集和侧脸人脸数据集分离开来训练，确保神经网络更新梯度时，每有两张近正脸图片就有两张侧脸图片，构建对称孪生网络，对称孪生网络由两部分组成:特征一致性学习子网络和身份一致性性学习子网络；

S4：姿态鲁棒性人脸特征提取：将一张任意偏转角度的人脸图片输入至网络中，网络的倒数第二层输出结果作为姿态鲁棒性人脸特征。

可选的，所述S1包括以下具体步骤：

S11：对所有人脸图像数据进行归一化，让整个图像的均值为0，标准差为1，即使原始图像在r,g,b通道上的分布服从正态分布；

S12：利用人脸检测网络裁剪出原始图像中处于非限制姿态下的人脸部分，并将该切块的尺寸重新拉伸为128×128，为确保在后续对图片卷积操作后得到的特征图尺寸一致。

可选的，所述S2包括以下具体步骤：

S21：利用余弦定义估算鼻子与两个眼睛之间的夹角，同时取最小值，将其作为人脸姿态系数；

S22：在包含精准的姿态信息的约束条件数据集下，估算出不同角度对应的人脸姿态系数,同时统计出训练集中人脸姿态系数每个偏转角度区间人脸图片的分布；选取特定人脸姿态系数作为阈值，小于该阈值的图片被选取作为侧脸数据。