[发明专利]一种基于面部像素差的多角度的人脸对齐方法

说明书

本发明提出了一种基于面部像素差的多角度的人脸对齐方法；本发明针对人脸对齐中不同角度倾斜的人脸，提出一种采用5个不同的角度的初始关键点位置来回归预测的方法，实现了对不同角度倾斜人脸优异的拟合效果，根据人脸不同位置的像素差异在一定程度上可以作为不同区域的表征，眼部的差异最为明显，提出了基于面部像素差最大化的回归形状选择规则，实现了更精准的人脸对齐效果。

技术领域

本发明涉及人脸识别领域，具体涉及一种于面部像素差的多角度的人脸对齐方法。

背景技术

深度学习技术的引进和机器学习技术的成熟使得计算机视觉有关任务取得巨大进展，从而促进了众多检测以及定位领域的应用技术趋于完善。人脸对齐是这众多领域中既关乎检测又与回归定位密不可分的具有重要研究价值的任务。它作为人脸检测任务的延伸和拓展，同时又作为人脸校准和人脸识别任务的基础具有举足轻重的意义。除去人脸识别范畴的探究，人脸对齐技术在多个领域皆有建树。比如在表情识别中，人脸对齐为人类表情传递的情绪探究提供了可能性。又如众多具备美化图片功能的应用，其中并不陌生的人脸磨皮美化功能，动态变脸特效等等，均需要以人脸对齐作为基础得到面部感兴趣的特征点或者区域从而进行相关操作。这意味着人脸对齐技术在众多应用场合中既需要足够精确的特征点的回归形状，又需要取得足够快的速度适用于实时场景。

人脸对齐算法实现方案众多，设计思路多由人脸检测架构与人脸对齐技术两部分组合而成。其中在人脸检测这一部分的主流实现方案几乎集中在深度学习领域中，诸如twostage网络的经典架构RCNN，Fast R-CNN，Faster R-CNN，通过多种候选框生成方案获得深度模型，比如SS、RPN等等得到感兴趣区域，然后再将其投入分类网络进行打分；另一类是实时速度较快的one-stage网络，如SSD、YOLO系列，省去了候选框生成步骤，对全图提取特征完成分类和坐标框的回归，从而使该类模型拥有较高的速度-精度平衡。以上深度网络在检测领域取得的精度极高。尤其是one-stage网络的引进，在保证目标框的坐标回归精度的同时也满足了在实时应用场景下的速度要求，更加奠定了深度学习目前在目标检测应用领域的不可撼动的地位。

人脸对齐算法的后续算法是采取深度模型对人脸进行对齐，往往利用多种CNN架构将人脸检测和人脸对齐统一实现。该种方案可以获得具有竞争力的人脸对齐精度，但往往深度模型受限于庞大的参数量和繁重的深层次结构，即使通过模型压缩和小型化处理也同样为后期集成在硬件造成了极大的阻碍。相比之下基于机器学习的人脸对齐方案多为易于实现的浅层模型，并且在该方向下的经典技术诸如LBF方案、SDM算法优化策略等等，均采用相比深度模型较小的轻量级模型，同时可实现与基于深度学习的特征点的回归精度媲美的人脸对齐算法。

在实际应用中，人脸并不总是固定不变的角度。有些左倾有些右倾并不总是居中。同时总体的形状均值往往维持在端正人脸的正负几度之内。因此对于这种多角度倾斜的人脸，统一采用整体均值形状进行初始化，对于正脸来说效果比较精准，然而对于具有一定倾斜角度的人脸效果极差。无差别的初始化方案对后期的回归造成了极大的难度，这就需要应用模型具有抵抗倾斜度以及侧脸的鲁棒性。

发明内容

本发明针对现有技术的不足，提出了一种于面部像素差的多角度的人脸对齐方法。

一种基于面部像素差的多角度的人脸对齐方法，包括以下步骤：

步骤1)、人脸框生成模型：以SSD作为基础，重新选择分布均匀的共八个特征层进行级联回归预测，选择多个符合人脸比例的预测框尺度形成鲁棒性模型MR-SSD；选择的8个特征层分别为：conv3_3、conv4_3、conv5_3、fc7、conv8_2、conv9_2、conv10_2，conv11_2。

步骤2)、多角度的人脸部关键点初始化：选择人脸部5个关键点，以训练集关键点的均值作为这5个点的初始化坐标，通过仿射变换，将关键点旋转+/-30°、+/-60°，形成另外4个初始化角度；