[发明专利]一种由人像浮雕重建3D人像模型的方法及系统

说明书

本发明公开了一种由人像浮雕重建3D人像模型的方法及系统，属于模型重建领域，要解决的技术问题为如何由较薄的人像浮雕构建构建3D人像模型并提供更大视角自由度。方法为以单幅人像浮雕为输入，提取人像浮雕中的法向和人脸轮廓，通过法向迁移方法以及基于模板的形状优化方法重建出与人像浮雕具有相似外观的3D人像模型。系统包括初始构建模块、法向迁移模块、形状优化模块、法向重建模块和高度优化模块。

技术领域

本发明涉及模型重建领域，具体地说是一种由人像浮雕重建3D人像模型的方法及系统。

背景技术

人像浮雕是介于2D人像和3D模型之间的一种2.5D雕塑形式，在硬币、奖章、建筑等媒介中得到广泛应用，其缺点在于具有较强的视角依赖性，只描述当前视角下的人像特征，被遮挡特征不做刻画。

为了提供更大的视角自由度，本文提出一种由人像浮雕重建3D人像模型的方法及系统。

发明内容

本发明的技术任务是针对以上不足，提供一种由人像浮雕重建3D人像模型的方法及系统，来解决如何由较薄的人像浮雕构建3D人像模型并提供更大视角自由度的问题。

第一方面，本发明提供一种由人像浮雕重建3D人像模型的方法，以单幅人像浮雕为输入，提取人像浮雕中的法向和人脸轮廓，通过法向迁移方法以及基于模板的形状优化方法重建出与人像浮雕具有相似外观的3D人像模型，所述方法包括：

S100、选取一个3D人脸模板，在给定观察方向上对3D人脸模板和人像浮雕进行人像特征点匹配以及人脸轮廓匹配，得到初始3D人脸；

S200、计算人像浮雕的基础法向和细节法向，并分别将人像浮雕的基础法向和细节法向迁移到初始3D人脸上，得到法向迁移后3D人脸法向图；

S300、以法向迁移后3D人脸法向图内的法向为目标法向，将初始3D人脸内每个三角面片沿着其中心进行旋转，使得每个三角面片的法向与目标法向匹配以求解梯度和散度向量，并通过求解基于梯度和向量散度的双拉普拉斯线性系统以实现初始3D人脸的形状优化，得到形状优化后3D人脸；

S400、根据人像浮雕的轮廓法向估算一个膨胀法向层，将人像浮雕的基础法向和细节法向迁移至膨胀法向层后，叠加形状优化后3D人脸的法向、并通过优化确保叠加边界处的法向连续性，得到3D人像整体法向图；

S500、以3D人像整体法向图内的法向为目标法向，将人像浮雕内每个三角面片沿着其中心进行旋转，使得每个三角面片的法向与上述目标法向匹配以求解梯度和散度向量，并通过求解基于梯度和散度向量的双拉普拉斯线性系统以实现重建人像浮雕高度场，并将重建后人像浮雕高度场人脸部分替换为形状优化后3D人脸，得到3D人像模型。

作为优选，步骤S100中，在给定观察方向上对3D人脸模板和人像浮雕进行人像特征点匹配以及人脸轮廓匹配，包括如下步骤：

S110、分别在3D人脸模板和人像浮雕上标定若干个一一对应的人脸特征点，根据上述一一对应的人脸特征点的坐标差计算人脸位姿，根据人脸位姿对3D人脸模板进行坐标变换，得到匹配后3D人脸；

S120、对于上述匹配后3D人脸，以其人脸特征点的目标坐标和原始坐标的坐标差为约束，将所述匹配后3D人脸的特征点与人像浮雕的特征点对齐，得到变形后3D人脸；

S130、根据法线方向检测所述变形后3D人脸的人脸轮廓线，从人脸轮廓线上标定轮廓线段，并从标定轮廓线段上选取一定数量的标定顶点作为约束，将所述变形后3D人脸的人脸轮廓线与人像浮雕的人脸轮廓线对齐，得到初始3D人脸；

脸位姿包括缩放参数、旋转参数以及平移量参数。

作为优选，步骤S120包括如下分步骤：

S121、通过如下公式计算匹配后3D人脸中每个镜像特征点的z坐标，所述计算公式为：