[发明专利]一种基于3D模型的大姿态人脸对齐方法和系统

说明书

本发明公开了一种基于3D模型的大姿态人脸对齐方法，包括：建立基于PCA的3DMM模型，构建由3D面部扫描仪采集的N个二维面部特征点所组成的向量集合U，构建得到的3DMM模型与构建的向量集合U之间的关系式，构建改进CNN网络模型，其是在现有CNN网络模型中每一个可视化块中增加一个可视化层实现，用于将其所在可视化块的特征提取出来，并将其传递给下一个可视化块，基于现有的公开人脸数据集获取训练样本，使用该训练样本训练构建的改进CNN网络模型，以获得对应的参数，获取二维人脸图片，并将该二维人脸图片输入训练的改进CNN网络模型中。本发明能够解决现有大姿态人脸对齐方法所存在的不能同时兼顾特征点的密集程度和训练阶段收敛速度的技术问题。

技术领域

本发明属于模式识别技术领域，更具体地，涉及一种基于3D模型的大姿态人脸对齐方法和系统。

背景技术

目前，人脸对齐技术已经成为计算机视觉领域中一个新的研究热点，它是对面部元素(如眼睛、鼻子、嘴巴、轮廓)进行对齐的过程。准确的人脸对齐是实现许多人脸相关任务(包括人脸识别、3D人脸重建、人脸动画等)的重要前提。

在人脸对齐技术的研究中，大姿态(即±90°的人脸角度)人脸对齐(Large poseface alignment，简称LPFA)是一个研究难点。目前通常采用稀疏的特征点估计方式，但这会大大降低人脸对齐的效果(例如在侧脸的情况下会导致人脸对齐效果较差)。为了解决此问题，一些算法通过使用密集的特征点估计实现大姿态人脸对齐，但由于其缺乏端到端的训练，并多采用手工特征提取方式，因此导致训练阶段收敛速度慢。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于3D模型的大姿态人脸对齐方法和系统，其目的在于，在通过使用密集的特征点估计实现大姿态人脸对齐的同时，保证高的训练和收敛速度，从而解决现有大姿态人脸对齐方法所存在的不能同时兼顾特征点的密集程度和训练阶段收敛速度的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于3D模型的大姿态人脸对齐方法，包括以下步骤：

(1)建立基于PCA的3DMM模型，其通过以下等式(1)表示：

S_id表示基于3D面部扫描仪采集的三维面部的形状分量，p_id表示形状参数，S_exp表示基于3D面部扫描仪采集的三维面部的表情分量，p_exp表示表情参数，N表示3D面部扫描仪采集的三维面部特征点的数量；

(2)构建由3D面部扫描仪采集的N个二维面部特征点所组成的向量集合U：

其中u和v分别代表不同二维面部特征点的横坐标和纵坐标；

(3)构建步骤(1)得到的3DMM模型与步骤(2)构建的向量集合U之间的关系式：

其中Pr为矩阵，且有[m₁，m₂，…，m₈]为相机投影矩阵，m₉、m₁₀、m₁₁为根据m₁，m₂，…，m₈求得的数，且[m₉，m₁₀，m₁₁]＝[m₁，m₂，m₃]×[m₄，m₅，m₆]，m₁₂等于0。

(4)构建改进CNN网络模型，其是在现有CNN网络模型中每一个可视化块中增加一个可视化层实现，用于将其所在可视化块的特征提取出来，并将其传递给下一个可视化块；