[发明专利]深度网络与Gabor高斯特征融合的人脸识别方法

说明书

本发明方法针现有深度网络的不足，本发明设计了一种有效的人脸识别方法，该方法将深度网络的高级特征和Gabor小波的低级特征进行融合。对于深度网络特征，采用了SENet网络模型，考虑了SENet网络的低层到高层Haar均值特征，分别进行PCA压缩；对于Gabor小波特征，将高斯分布拟合后嵌入到欧式空间，然后用PCA进行特征压缩。将深度网络特征和Gabor高斯特征融合的识别方式能适应戴口罩、墨镜等遮挡和强烈的光照不均问题，显著提升人脸识别准确率，满足复杂环境下的人脸识别需求。

技术领域

本发明涉及人基于机器视觉技术的人脸识别领域，尤其是涉及将深度网络特征与Gabor高斯特征融合的人脸识别方法。

背景技术

基于光学图像的人脸识别技术已经被广泛和深入研究，取得了很大成功。但是即便在现有的AI技术发展下，人脸自动识别问题还是没有得到很好解决；这些问题包括：大尺度姿势变化、强烈光照不均、面部遮挡，以及人脸细节特征(人脸属性识别)等复杂问题。

对于大尺度变化、遮挡和光照不均问题，传统的处理方法难以满足识别要求。近年，研究人员们借助于对抗网络GAN等技术对人脸进行修复，比起传统的人脸对其方法其性能得到极大提升，但是这样的修复同时也丢失掉了面部细节信息，不利于相似人脸之间的鉴别，不适合高精度人脸验证场景。这也说明了为什么GAN+CNN方法的性能在突飞猛进之后迅速达到瓶颈的重要原因。目前主流人脸识别网络是以残差结构为主的如目前主流的模型，比如ResNet、SENet，以及Transformer模型。从计算效率和识别准确率综合考虑，SENet网络是人脸识别的首先。但是由于复杂环境下的人脸识别非常困难，SENet也难以满足在实际环境下的识别需求。

发明内容

本发明方法针对上述深度网络模型的不足，提出一种基于SENet深度网络和Gabor小波高斯特征融合的人脸识别方法，该方法需要计算两种特征：“深度网络特征”和“Gabor高斯特征”。将两种特征融合能够显著提升人脸识别性能。SENet详细结构见2018年CVPR会议论文：JieHu，Li Shen和Gang Sun等人，《Squeeze-and-ExcitationNetworks》，SENet由一系列卷积层构成，总体结构可以分为：Conv1系列、Conv2系列、Conv3系列、Conv4系列、Conv5系列和尾部(averagepool,1000-dfc,softmax)；每个卷积系列也是由多个卷积层Conv和ReLu等层构成。本发明在每个卷积系列中抽取三组不同的卷积输出特征，并计算Haar多尺度均值特征，将这些Haar多尺度均值特征进行压缩后拼接为最终的人脸特征。深度网络特征由三部分组成：第一部分特征，将Conv1系列和Conv2系列的Haar多尺度均值特征拼接，并用独立主成分分析(PCA)进行压缩；第二部分特征，将Conv3系列和Conv4系列的Haar多尺度均值特征拼接，并用独立主成分分析(PCA)进行压缩；第三部分特征，将Conv5系列的Haar多尺度均值特征和尾部的输出的2048维度拼接，并用独立主成分分析(PCA)进行压缩。

SENet中Conv系列的输出特征由多个矩阵组成的三维矩阵，即：N×P×P，其中P是矩阵宽度，N是矩阵个数，不同卷积层的输出特征N与P是不同的。本发明用Haar多尺度方法来提取卷积输出的三维矩阵的特征。类似于Haar小波分解，首先计算第一尺度均值特征，即分别计算N个矩阵的平均值得到一个N维特征向量；对于矩阵M，其元素表示为M_i,j，该矩阵的平均值为：

然后计算第二尺度均值特征，将相邻两个矩阵的平均矩阵，假定M^j和M^j+1是两个相邻矩阵，则两个矩阵的平均结果也是一矩阵，其元素为M_i,j，表示为：

然后再利用公式(1)计算本尺度的均值特征；依次再计算第三尺度和第四尺度的均值特征。