[发明专利]三维人脸重建方法

说明书

本发明有关一种三维人脸重建方法，该方法包含，首先输入二维人脸影像，以神经网络模型对二维人脸影像进行处理，对二维人脸影像进行二维特征点定位，于二维人脸影像定位出多个二维特征点位置，转换该多个二维特征点为多个三维坐标：将该二维特征点依照相似计算，转换为对应之三维坐标，透过三维坐标微调平均三维人脸模型，对该第一个三维人脸模型之一个三维人脸形状进行重复多级运算，分别由低分辨率到高分辨率以得到第二个三维人脸模型，对第二个三维人脸模型进行脸部颜色补偿，以得到第三个三维人脸模型，最后根据第三个三维人脸模型，输出三维人脸影像。

技术领域

本发明系有关一种三维人脸重建方法，特别是一种藉由输入二维人脸影像重建人脸影像之三维人脸模型，更特别的是，可透过旋转模型看到三维人脸之各种角度影像。

背景技术

近年来，三维人脸建模和重建技术在计算机视觉和计算机图形学领域受到越来越多的关注，在过去的相关技术发展中，绝大多数的技术发展，多半是提出如何由二维图像重建三维形状的演算方式，以模拟出三维人脸的建模和重建，也是该领域中，过去主要的技术发展方向。

惟在现有技术之演算方式中，皆都需要多张图像或者需要多张视频影像，以进行初始化三维人脸重建过程，而在很多应用场合下，往往只能得到一张二维图像可供使用。而有些计算模拟方法，虽然只用单张图片进行三维人脸重建，但得到的三维人脸无法产生逼真的效果，且所得到的三维人脸只能有一个特定角度(因只有提供一张二维图像)，更无法提供该三维人脸的各种角度之影像。

此外，过去又有一些研究，提出了较为精确的三维人脸算法，在该复数研究中，系先对人脸整体进行首先对人脸整体进行拟合，然后对特定区域进行拟合，如眼睛、嘴巴和鼻子。但由于需花费较长的计算时间，且无法产生精确的拟合结果，因此难以付诸实际应用，无法符合业界需求。

因此，业界需要一种能由单张二维影像输入而可重建三维人脸的三维人脸重建方法，且可以花费较少的时间，即以较快的时间与较精确的方式重建三维人脸。

发明内容

本发明目的之一系提出一种三维人脸重建方法，可透过输入一张二维人脸影像，而重建出一个三维人脸影像，该三维人脸模型更可以进行各种角度的旋转，而得到不同角度的三维人脸影像。

本发明目的之一系提出一种三维人脸重建方法，利用二为特征点转换三维坐标、人脸转向估测、形状微调以及颜色补偿方法，得到可旋转的三维人脸影像，即，藉由输入一张二维人脸影像，而重建具有可旋转各个角度之三维人脸影像。

本发明为了达到前述目的，特提出三维人脸重建方法，包含了，首先输入一个二维人脸影像，以神经网络模型对二维人脸影像进行处理，对二维人脸影像进行二维特征点定位，于该二维人脸影像定位出多个二维特征点位置；转换该多个二维特征点为多个三维坐标：将该多个二维特征点依照相似计算，转换为对应之该多个三维坐标，将该多个三维坐标组成第一个(即平均)三维人脸模型；对该第一个(即平均)三维人脸模型之三维人脸形状进行微调。亦即，进行重复多级运算，分别由低分辨率到高分辨率，以得到第二个三维人脸模型：对该第二个三维人脸模型进行脸部颜色补偿，以得到第三个三维人脸模型；根据该第三个三维人脸模型，输出一个三维人脸影像。

在本发明实施方式中，该第三个三维人脸模型为一个彩色三维人脸模型。特别值得注意的是，每一级的三维人脸模型皆为彩色的人脸模型。

在本发明实施方式中，第一个三维人脸可变模型以一个平均模型为基准，利用多个特征模板的线性组合，而形成不同之该第一个三维人脸模型，而该第二个三维人脸可变模型可以该第一个三维人脸模型为基准，利用该多个特征模板的线性组合，以形成不同的该第二个三维人脸模型。

在本发明实施方式中，第一个(即平均)三维人脸可变模型以及该第二个三维人脸模型，可分为一种多级分辨率三维人脸可变模型，依序由最低分辨率，运算到最高分辨率，以得到该第一个三维人脸可变模型，以及该第二个三维人脸模型。