[发明专利]一种移动端实时人脸姿态估计方法

说明书

本申请提供一种移动端实时人脸姿态估计方法，该方法包括以下步骤：获取待检测图片，对待检测图片进行预处理；检测器加载预训练网络的参数，生成默认锚点；将预处理好的图片放入检测器中进行预测，使用主干网络中最后一个卷积层的特征与锚点相结合的方法进行关键点检测；将检测器得到的人脸框预测值和人脸关键点进行解码操作；采用阈值为0.4的NMS算法消除重叠检测框，得到人脸检测框、人脸关键点；分别计算人脸姿态偏航角()、俯仰角()和翻滚角()。在上述的实现过程中，本申请采用二维图像三个人脸关键点计算人脸的姿态信息，无需通过人脸三维坐标信息，同时避免了当人脸出现遮挡物如口罩等无法计算人脸姿态信息的问题，较神经网络计算量小，实时性高。

技术领域

本发明涉及姿态估计技术领域，尤其涉及一种移动端实时人脸姿态估计方法。

背景技术

人脸姿态估计是通过对一张人脸图像进行分析，获得脸部朝向的角度信息。姿态估计是多姿态问题中较为关键的步骤。一般可以用旋转矩阵、旋转向量、四元数或欧拉角表示。人脸的姿态变化通常包括上下俯仰(pitch)、左右旋转(yaw)以及平面内角度旋转(roll)。因此，姿态估计在多姿态人脸的识别算法中具有巨大的现实意义和实用价值。

目前，人脸姿态估计的方法包括将人脸图像从图像空间映射到姿态空间，该方法的需要获取人脸关键点的三维坐标信息，如中国专利（CN111222469A）所示的人脸姿态量化估计方法，其需要先检测人脸获取不便计算的人脸关键点三维坐标信息从而实现姿态估计；通过神经网络等模型对图像进行机器学习，从而获得姿态信息来进行分类，如中国专利（CN110826402A）所披露的基于多任务的人脸质量估计方法，其使用神经网络训练模型，需要大量的数据且耗时。

发明内容

本发明采用在二维图像上使用三个人脸关键点计算出人脸的姿态信息（偏航角、俯仰角和翻滚角），同时计算量相对于传统的神经网络小，实时性高。为解决上述技术问题，本发明提出一种移动端实时人脸姿态估计方法，包括以下步骤：

步骤S1：获取待检测图片，对待检测图片进行预处理；

步骤S2：检测器加载预训练网络的参数，并根据预先设定好的锚点的尺寸以及长宽比例，生成默认的锚点；所述检测器包括主干网络、预测层和多任务损失层构成；

步骤S3：将预处理好的图片放入所述检测器中进行预测，使用主干网络中最后一个卷积层的特征与锚点相结合的方法进行人脸检测和人脸关键点检测；

步骤S4：将所述检测器得到的人脸框预测值和人脸关键点预测值进行解码操作；

步骤S5：采用阈值为0.4的非极大值抑制算法（NMS算法）消除重叠检测框，得到最终的人脸检测框、人脸关键点，包括检测框的左上角坐标、右下角坐标、两只耳朵坐标和眉心坐标；

步骤S6：根据步骤S5得到的结果分别计算人脸姿态偏航角()、俯仰角()和翻滚角()。

优选地，所述预训练网络的训练过程为：

采集人脸数据组成数据集，所述数据集的目标框比例和设定的锚点比例对应；采用颜色失真、增加亮度对比、随机裁剪和水平翻转等方法增加数据防止模型过拟合；

基于Pytorch开源深度学习库搭建和训练深度神经网络，采用动量为0.9，权重衰减因子为0.0005的梯度随机下降（SGD随机优化算法）进行网络训练；

在所述网络训练的前100轮，初始化学习率设置为，在之后的50轮和100轮各降低10倍。在训练期间，首先将每个预测值与最佳的Jaccard重叠锚点进行匹配，之后，将锚点匹配到具有高于0.35阈值的Jaccard重叠人脸；

将预处理好的图片放入预训练后的所述检测器中进行预测，将所述主干网络中的最后一个卷积层中的特征输入到预测层进行人脸框、人脸关键点定位等操作。对于每个锚点，使用相对其坐标的4个偏移量以及N个用于分类的分数进行表示，N=2；