[发明专利]一种基于两幅图像的三维头部建模方法

说明书

技术领域

本发明属于计算机视觉和计算机图形学等技术领域，特别涉及一种基于正侧面两幅图像的三维头部形状和纹理建模的技术。

背景技术

利用数码相机在不同角度进行拍摄，可以获取大量的二维人脸图像。如果能够从这些图像中恢复出三维的人脸模型，在虚拟视频会议、在线角色游戏和3D电影等领域都将获得广泛的应用。但由于图像三维结构的丢失，从输入图像中完整地重建出三维脸部模型和结构细节存在着很多的技术难题。在计算机图形学和计算机视觉领域，这是一个研究了很多年的问题，根据技术手段和所需图像样本数量的不同，已有的方法大致可以分为以下的两类：

第一类是利用计算机视觉的重建技术，无需或仅需少量手动交互的方法。当大量人脸样本存在时，通过统计学习一个可变的二维人脸模型，可以由模板匹配实现从单一图像中恢复出三维人脸模型的技术。在该方法中，可变模型的初始位置需手工给定，而模型匹配的过程则通过目标函数梯度相关方向的搜索自动完成。该方法的缺点是从二维匹配做三维结构恢复时，需要一个可变的三维模型作为先验，这只能使用昂贵的三维激光扫描设备才能准确获得，因而应用受限。通过立体视觉匹配的技术，也可以从一段视频序列中恢复出三维头部模型来。这一方法，无需先验模型学习和手动交互，但是，对图像序列跟踪误差和视觉匹配误差很敏感。在缺乏监督信息的条件下，由于匹配过程是一个全局非凸的迭代过程，当视频跟踪存在误差或给定的模型初始值存在小的误差时，最终结果可能与期望的重建效果相差甚远。这类方法，虽然没有交互的需求，但普遍存在着要求大量图像样本的缺点。此外，计算过程对初始值和图像噪声普遍较为敏感，进一步限制了这类方法在实际中的应用。

第二类是基于计算机图形学的交互式建模方法。这类方法基于一个表面参数化的三维头部模型，通过表面网格变形达到建模的目的。其中，基于物理定律的网格形变是比较主流的技术。该方法假设模型网格是一个连续平滑的表面，满足局部二阶平滑、牛顿动力方程、系统能量守恒等物理定律。当用户交互调整某部分时，表面便在这些定律的约束下通过计算变换到新的形状。由于这些物理能量项之间存在着复杂的相互制约的关系，往往需要多次手工调整才能保证新形状的真实性。另外，由于一些局部细节的调整需要一些美学专业的基础，对于普通的用户来说，需要多次重复交互试验才能取得较好的效果，因而时间消耗更长。融合基于视觉与基于运动捕捉数据重定向的建模方法可以大大减轻交互的任务，且能够强调脸部细节的重建，但由于涉及运动捕捉设备，该方法的使用成本很高，难以普及。对于这类方法，仅需两幅不同角度的图像即可完成建模过程，但存在较多的交互要求，往往给用户带来诸多麻烦。

综上所述，现有的三维头部建模技术远未成熟，还无法从给定的少量图像中，无需或仅需少量手动交互，即可恢复出三维脸部模型及其细节。如何在无需先验训练样本的情况下，从不多于两幅图像中完整地重建出任意用户的头部形状和细节仍是一个颇具挑战性的难题。

发明内容

本发明的目的旨在尽可能减少用户交互量和所需图像数量的前提条件下，基于两幅图像恢复出用户三维人脸的真实感表面，为此提供一种三维头部建模的新方法。

为达成所述目的，本发明提供一种基于两幅图像的三维头部建模方法的步骤包括：

步骤S1：调整三维模型的三维位置与姿态角度，使其与给定的两幅图像的用户脸部姿态近似对应一致；

步骤S2：交互调整包含11个控制点的脸部轮廓区域的位置，使其与给定图像的用户脸部形状对应一致；

步骤S3：在轮廓控制点调整的同时，利用移动最小二乘法实时计算所有非控制点的形变，保持表面连续平滑；

步骤S4：交互调整眼眉(6个)、眼睛(8个)、鼻子(4个)与嘴部(6个)控制点的位置，使其与给定图像的用户五官区域对应一致；

步骤S5：在五官控制点调整的同时，利用移动最小二乘法实时计算所有非控制点的形变，保持表面连续平滑；

步骤S6：计算形变后模型的包络圆柱纹理坐标，进而通过获取输入人脸图像中的颜色值，合成纹理图像并贴至模型表面，生成具有真实感的头部模型。