[发明专利]一种基于多层形变模型的高保真人脸三维重建方法

摘要

本发明公开了一种基于多层形变模型的高保真人脸三维重建方法。所述方法以视频图像序列作为输入数据，经过光流特征点检测与跟踪，人脸特征点提取与匹配、相机标定，从而利用运动恢复结构技术恢复相机参数与相机轨迹，提出了人脸多层次形变模型，进而进行纹理映射得到目标人脸的高保真人脸三维模型。本发明将形变模型技术与运动恢复结构技术结合起来，提出了人脸多层次形变模型，能够获得与目标人脸高度相似的重建结果，同时，本发明弥补了传统运动恢复结构出现的表面噪声的缺点，又能够利用运动恢复结构提供的人脸细节，通过本发明的方法重建得到的高保真人脸模型在人脸识别、个性定制化游戏、虚拟现实和安全部门的等领域拥有广泛的应用。

主权项

一种基于多层形变模型的高保真人脸三维重建方法，其特征在于，所述方法包括如下步骤：(1)从人脸三维数据库中提取三维扫描人脸，经过坐标修正，稠密对应，网格重采样和平均化得到平均脸模型，在平均脸模型中人工标记人脸特征点；(2)通过相机围绕目标人脸正面拍摄视频，采集全部正面人脸；(3)对视频图像序列按照固定的平均帧数间隔进行视频图像提取，得到新的视频图像序列，对所述新的视频图像序列进行光流特征点的提取与匹配，得到光流特征点标记的图像序列，对光流特征点标记的图像序列依次进行光流特征点匹配得到相机参数与相机轨迹，继而得到相机拍摄轨迹对应的光流稀疏三维点云；(4)对步骤(3)中新的视频图像序列，利用基于形变的部件模型自动或者人工标记人脸特征点，并确保所有新的视频图像序列中人脸特征点具有统一的标记与编号规定，继而构建由人脸特征点构成的人脸特征三维点云，将步骤(3)中得到的光流稀疏三维点云与人脸特征三维点云合并得到人脸稀疏三维点云；(5)以平均脸模型上的人脸特征点为出发点，以人脸稀疏三维点云中人脸特征三维点云为目标，对平均脸模型进行全局形变；(6)根据全局形变之后的平均脸模型上的人脸特征点划分网格区域，然后根据光流特征点在每个内含光流特征点的网格区域中进行局部形变，得到目标人脸的稠密人脸网格模型；(7)对目标人脸的稠密人脸网格模型进行平滑处理；(8)利用(3)中得到的相机参数与相机位置对平滑处理后的目标人脸的稠密人脸网格模型进行真实纹理映射，得到目标人脸的高保真人脸三维模型。