[发明专利]基于网格变形和连续优化的高分辨率人脸重建方法

说明书

技术领域

本发明涉及一种人脸建模的方法，具体地说是一种基于网格变形和连续优化的从图像重建高分辨率人脸模型的方法，属于计算机图像和计算机视觉的技术领域。

背景技术

人脸重建是三维重建的一个特殊问题，在影视娱乐、游戏等领域有着广泛重要的应用，一直受到计算机图形学、计算机视觉、计算机辅助设计等研究人员的重视。典型的人脸建模方法主要有：基于CAD软件的手工人脸建模，该方法需要熟练的设计人员较长时间的设计过程；基于昂贵的深度扫描仪或立体摄像机设备获取的密集点云重建三维人脸，该方法成本高；基于廉价的视频或相片的人脸重建，该方法需要人脸数据库并通过基于插值的参数化人脸的优化求解进行人脸重建，但成本低、易于使用。

从低成本的相片或视频重建人脸的技术中，主要采用基于形状插值的方法。Pighin等【Pighin F，Hecker J，Lischinski D，et al.Synthesizing realistic facial expressions from photographs[C].ACM SIGGRAPH，1998：75-84】基于用户交互的方法在多幅图像中标记出足够多的特征点，并用立体视觉恢复出这些特征点的三维坐标和相机拍摄参数，然后用基于径向基函数插值的方法对一个低分辨率模型进行插值变形，最后用纹理映射方法生成具有真实感的人。所述方法自动化程度低，且得到的是低质量低分辨率的人脸模型。微软研究院的Zhang等【Zhengyou Zhang，Zicheng Liu，DennisAdler，et al.Robust and Rapid Generation of Animated Faces from Video Images：A Model-BasedModeling Approach[J].International Journal of Computer Vision，2004，58(2)，：93-119.】通过动画师设计许多人脸模型，并建立类似PCA的线性组合参数化人脸模型，然后基于从立体视觉恢复的特征点插值重建三维人脸或基于弱正交投影过程从一幅图像进行人脸重建。所述方法虽然可以自动生成人脸，但需要动画师费时建立参数化人脸，成本过高，同样该方法只能产生低质量低分辨率的人脸模型。Blanz等【Blanz V，Vetter T.A morphable model for the synthesis of 3D faces[C].ACM SIGGRAPH，，1999：187-194.】的形变模型(morphable model)方法通过对大量人脸数据库进行PCA学习建立包含形状和纹理的参数化纹理模型，并将该模型投影到一幅正面图像，通过求解投影图像和照片图像的颜色匹配优化过程重建出真实感人脸。所述方法需要费时地建立大量配准的人脸数据库，对于数据库中没有的人脸形状或纹理，难以产生较好质量的人脸模型和纹理。其他人脸重建方法中包括从正侧面图像及轮廓重建人脸的方法，所述方法得到的多是质量更低的低分辨率人脸模型，且需要更多繁琐的用户交互操作。

现有基于图像或视频重建人脸算法存在诸多缺点如：需要手工指定很多对应点、需要一个大量三维人脸数据库、重建的人脸分辨率低、自动化程度低等缺点。

发明内容

本发明的目的是克服现有技术中存在的不足，提供基于网格变形和连续优化技术的高分辨率人脸重建方法，其自动化程度高、得到的人脸模型分辨率高、操作简单、建模速度快。

本方法针对现有方法的不足(低分辨率低质量模型、需要大量人脸数据库、自动化程度低等)，提出一种基于微分网格变形技术和图像连续优化技术的技术框架从几幅人脸图像中自动生成高分辨高质量真实感人脸模型的方法。不同于现有基于图像重建人脸方法，本方法不需要数据库，不需要用户标定大量特征点或轮廓点，仅需要一个高分辨的中性表情人脸三维模型作为变形模板。

所述中性表情是指人的非喜怒哀乐的自然表情：嘴微张、眼自然睁开且不斜视。