[发明专利]基于深度学习的三维脸部重建的系统

权利要求书

1.一种基于深度学习的三维脸部重建的系统，其特征在于，包括：

主要彩色深度相机，设置于参考用户的正视角位置，用以从所述正视角位置获取所述参考用户的主要彩色影像及主要深度影像；

多个辅助彩色相机，设置于所述参考用户的多个侧视角位置，用以从所述多个侧视角位置获取所述参考使用者的多个辅助彩色影像；

处理器，耦接于所述主要彩色深度相机及所述多个辅助彩色相机；及

内存，耦接于所述处理器，储存有多个指令；

其中所述处理器执行所述多个指令以：

依据所述主要彩色影像及所述主要深度影像生成基准真相(ground truth)三维模型的正视角三维影像；

依据所述正视角三维影像及所述多个辅助彩色影像生成所述基准真相三维模型的多个侧视角三维影像；及

依据训练影像、所述正视角三维影像及所述多个侧视角三维影像训练人工神经网络模型。

2.根据权利要求1所述的系统，其特征在于：

所述处理器对所述主要彩色影像及所述主要深度影像进行优化拟合以生成位姿、正视角脸型系数及正视角表情系数；及

所述处理器依据所述位姿、所述正视角脸型系数及所述正视角表情系数使用三维变形模型(3d morphable model)生成所述正视角三维影像。

3.根据权利要求2所述的系统，其特征在于，所述处理器：

侦测所述主要彩色影像中的多个特征点；

依据所述主要彩色影像中的所述多个特征点及所述主要深度影像生成所述主要彩色深度相机的坐标系下的深度点云；

使用迭代最近点(iterative closest point)算法依据所述深度点云及平均三维模型的内点生成位姿；

依据所述位姿生成所述正视角三维影像的三维轮廓点；

寻找对应所述三维轮廓点的所述深度点云的对应点；及

依据所述深度点云的所述对应点更新所述正视角脸型系数及所述正视角表情系数。

4.根据权利要求1所述的系统，其特征在于：

依据所述主要彩色深度相机对所述多个辅助彩色相机进行标定以生成所述多个辅助彩色相机的对应标定(calibration)参数；

所述处理器依据所述多个辅助彩色相机其中之一者的对应标定参数迁移所述正视角三维影像以生成对应侧视角脸型系数及对应侧视角表情系数；及

所述处理器依据所述对应侧视角脸型系数、所述对应侧视角表情系数及对应辅助彩色影像使用三维变形模型生成所述多个侧视角三维影像其中之一者。

5.根据权利要求1所述的系统，其特征在于，还包括：

影像传感器，耦接于所述处理器，用以获取用户的用户影像；

其中所述处理器还：

侦测所述用户影像中的多个特征点(landmark)；

依据所述多个特征点裁剪所述用户影像以生成所述用户的裁剪影像；及

将所述裁剪影像输入所述训练完成的人工神经网络模型以生成所述用户的三维影像。

6.根据权利要求5所述的系统，其特征在于，所述处理器：

对所述裁剪影像进行归一化以生成归一化的影像；及

将所述归一化的影像输入所述训练完成的人工神经网络模型以生成所述使用者的所述三维影像。

7.根据权利要求5所述的系统，其特征在于，还包括：

显示器，耦接于所述处理器，用以显示所述用户的所述三维影像。

8.根据权利要求1所述的系统，其特征在于，所述处理器：

将所述训练影像输入所述人工神经网络模型以生成脸型系数及表情系数；

依据所述脸型系数及所述表情系数使用三维变形模型生成三维预测影像；及

调整所述人工神经网络模型的参数以减低所述三维预测影像及所述正视角三维影像及所述多个侧视角三维影像其中一者之间的差值。

9.根据权利要求1所述的系统，其特征在于，所述人工神经网络模型是卷积神经网络模型。

10.根据权利要求1所述的系统，其特征在于，所述处理器使用所述参考使用者的偏航(yaw)角及俯仰(pitch)角定义所述多个侧视角位置。