[发明专利]一种基于灰度图像的高效人脸对齐方法

说明书

本发明公开了一种基于灰度图像的高效人脸对齐方法，包括获取包含人脸图片组成的图片集和当前需要对齐的人脸区域灰度图像，将包含人脸图片组成的图片集输入至深度神经网络学习框架，依据整张人脸的热力图和人脸边缘热力图、整张人脸的特征点热力图进行监督回归训练输出人脸对齐模型，将当前需要对齐的人脸区域灰度图像输入至人脸对齐模型计算出人脸各特征点的热力图，遍历当前人脸各特征点的热力图，并计算各特征点的坐标，根据各特征点的坐标以实现人脸对齐。本发明所述的基于灰度图像的高效人脸对齐方法通过局部到细节逐渐回归的策略，训练中除了特征点热力图监督，还有人脸边缘监督，能够提高模型的回归精度。

技术领域

本发明涉及图像识别技术领域，具体为一种基于灰度图像的高效人脸对齐方法。

背景技术

人脸对齐又称人脸特征点检测，目标是预测人脸图像中一系列事先定义的点坐标，例如脸轮廓点、眉角、嘴角等；人脸对齐广泛应用于计算机视觉和机器视觉，其中包括人脸识别、表情识别，人脸矫正以及三维人脸建模等任务；随着深度学习技术的发展，主流人脸对齐的方法为热力图回归。

特征点热力图是一种表示特征点分布的概率图，热力图回归是通过生成和遍历特征点热力图预测特征点坐标，热力图能够更好的编码局部细节以及各部件的关联，同时有效地驱使模型集中于感兴趣的部分，所以热力图回归方法在人脸对齐任务取得更高的精度。但热力图回归模型结构较为复杂，其模型主骨架一般采用残差漏斗、HRNet或者UNet，对硬件的算力要求高。

随着疫情环境发展，戴口罩今后成为了主要一种场景。目前公开的数据库含有戴口罩样品含量较少，这会导致训练模型无法适用戴口罩情况。所以，戴口罩样品批量生成方法逐渐被关注。专利号为CN 112507963.A提出一种戴口罩样品生成方法，口罩图像通过旋转、缩放以及平移叠加在由人脸特征点确定的区域，这种方法操作简单，但生成戴口罩样品容易失真。专利号为CN 111914629.A中提出一种运用三维空间变换生成戴口罩样品方法，可以确保口罩图像的三维空间与人脸三维空间一致，生成样品具有真实性，但除了需要人脸图像、人脸特征点以及口罩图像，还需要标记口罩的特征点，制作流程较为复杂。

另外目前绝大多数人脸模型都是基于RGB图像，而灰度图像因失去色彩信息而导致基于RGB图像训练的人脸对齐模型精度下降；但在驾驶者状态检测系统或其他红外图像系统中使用灰度图像，能够减少环境光的影响，无论白天夜晚均可清晰成像，有利于活体检测以及普通墨镜因不过滤红外而清晰捕捉人眼图像，所以要求系统中人脸对齐模型输入为灰度图像。

发明内容

本发明的目的在于提供一种能够在保证高精度同时降低模型计算量以及数据传输量的基于灰度图像的高效人脸对齐方法。

本发明提供了一种基于灰度图像的高效人脸对齐方法，包括以下步骤：

S1:获取包含人脸图片组成的图片集和当前需要对齐的人脸区域灰度图像；

S2:将包含人脸图片组成的图片集输入至深度神经网络学习框架，依据整张人脸的热力图和人脸边缘热力图、整张人脸的特征点热力图进行监督回归训练输出人脸对齐模型；

S3:将当前需要对齐的人脸区域灰度图像输入至人脸对齐模型计算出人脸各特征点的热力图；

S4:遍历当前人脸各特征点的热力图，并计算各特征点的坐标，根据各特征点的坐标以实现人脸对齐。

本发明采用的基于灰度图像的高效人脸对齐方法，通过局部到细节逐渐回归的策略，训练中除了特征点热力图监督，还有人脸边缘监督；因为边缘可以消除个别特征点定义模糊的现象，例如轮廓特征点，所以边缘热力图可以加速模型训练收敛，进而提高了模型的回归精度。