[发明专利]一种基于3D模型的大姿态人脸对齐方法和系统

摘要

本发明公开了一种基于3D模型的大姿态人脸对齐方法，包括：建立基于PCA的3DMM模型，构建由3D面部扫描仪采集的N个二维面部特征点所组成的向量集合U，构建得到的3DMM模型与构建的向量集合U之间的关系式，构建改进CNN网络模型，其是在现有CNN网络模型中每一个可视化块中增加一个可视化层实现，用于将其所在可视化块的特征提取出来，并将其传递给下一个可视化块，基于现有的公开人脸数据集获取训练样本，使用该训练样本训练构建的改进CNN网络模型，以获得对应的参数，获取二维人脸图片，并将该二维人脸图片输入训练的改进CNN网络模型中。本发明能够解决现有大姿态人脸对齐方法所存在的不能同时兼顾特征点的密集程度和训练阶段收敛速度的技术问题。

主权项

一种基于3D模型的大姿态人脸对齐方法，其特征在于，包括以下步骤：(1)建立基于PCA的3DMM模型，其通过以下等式(1)表示：$S=\stackrel{\‾}{S}+{\Σ}_{i=1}^N{p}_{id}^i{S}_{id}^i+{\Σ}_{j=1}^N{p}_{\exp }^j{S}_{\exp }^j---\left(1\right)$S_id表示基于3D面部扫描仪采集的三维面部的形状分量，p_id表示形状参数，S_exp表示基于3D面部扫描仪采集的三维面部的表情分量，p_exp表示表情参数，N表示3D面部扫描仪采集的三维面部特征点的数量；(2)构建由3D面部扫描仪采集的N个二维面部特征点所组成的向量集合U：$U=\left(\begin{array}{cccc}{u}_1& u_2& \mathrm{...}& u_N\\ v_1& v_2& \mathrm{...}& v_N\end{array}\right)---\left(2\right)$其中u和v分别代表不同二维面部特征点的横坐标和纵坐标；(3)构建步骤(1)得到的3DMM模型与步骤(2)构建的向量集合U之间的关系式：$U=P_r.\left[\begin{array}{cccc}{m}_1& m_2& m_3& m_4\\ m_5& m_6& m_7& m_8\\ m_9& m_{10}& m_{11}& m_{12}\end{array}\right]\left[\begin{array}{c}S\\ 1^T\end{array}\right]---\left(3\right)$其中Pr为矩阵，且有[m₁，m₂，…，m₈]为相机投影矩阵，m₉、m₁₀、m₁₁为根据m₁，m₂，…，m₈求得的数，且[m₉，m₁₀，m₁₁]＝[m₁，m₂，m₃]×[m₄，m₅，m₆]，m₁₂等于0。(4)构建改进CNN网络模型，其是在现有CNN网络模型中每一个可视化块中增加一个可视化层实现，用于将其所在可视化块的特征提取出来，并将其传递给下一个可视化块；(5)基于现有的公开人脸数据集(诸如300W、AFW等)获取训练样本，使用该训练样本训练步骤(4)中构建的改进CNN网络模型，以获得对应的m₁，m₂，…，m₈、p_id、p_exp；(6)获取二维人脸图片，并将该二维人脸图片输入步骤(5)中训练的改进CNN网络模型中，以得到对应的人脸对齐结果。