[发明专利]3D重建以及人脸姿态归一化方法、装置、存储介质及设备

权利要求书

1.一种3D重建方法，其特征在于，所述方法包括：

获取2D人脸图像；

将所述2D人脸图像输入轻量卷积神经网络，经过轻量卷积神经网络的若干卷积操作和转置卷积操作，提取2D人脸图像的特征并将该特征转换为表示欲重建的3D人脸的3D几何信息的UV位置图；所述UV位置图的像素点的RGB像素值是欲重建的3D人脸对应三维点的三维坐标值；

根据所述UV位置图提供的3D几何信息以及所述2D人脸图像提供的纹理信息进行3D人脸转换，得到3D人脸；

其中，所述根据所述UV位置图提供的3D几何信息以及所述2D人脸图像提供的纹理信息进行3D人脸转换，得到3D人脸，包括：

从所述UV位置图中提取欲重建的3D人脸各个三维点的二维平面坐标；

将提取的各个三维点的二维平面坐标映射到所述2D人脸图像的像素坐标系中的相应位置，使用2D人脸图像的像素坐标系中相应位置的纹理信息作为欲重建的3D人脸各个三维点的纹理信息，得到3D人脸；

其中，若映射后的所述2D人脸图像的像素坐标系中的相应位置是非整数坐标，则对所述2D人脸图像的纹理信息进行插值运算，得到该非整数坐标处的纹理信息。

2.根据权利要求1所述的3D重建方法，其特征在于，所述轻量卷积神经网络包括编码模块和解码模块，所述编码模块包括1个卷积层和10个残差块，所述解码模块包括17个转置卷积层。

3.根据权利要求2所述的3D重建方法，其特征在于，所述轻量卷积神经网络在训练时的损失函数Loss为：

P(x,y)为在预测的UV位置图中(x,y)坐标处的像素点的RGB像素值，为在groundtruth UV位置图中(x,y)坐标处的像素点的RGB像素值；

W(x，y)为面部权重mask，面部权重mask表示2D人脸图像中根据判别性大小分成的各个子区域的权重比例，判别性越大的子区域的权重比例越大。

4.一种3D重建装置，其特征在于，所述装置包括：

获取模块，用于获取2D人脸图像；

UV位置图生成模块，用于将所述2D人脸图像输入轻量卷积神经网络，经过轻量卷积神经网络的若干卷积操作和转置卷积操作，提取2D人脸图像的特征并将该特征转换为表示欲重建的3D人脸的3D几何信息的UV位置图；所述UV位置图的像素点的RGB像素值是欲重建的3D人脸对应三维点的三维坐标值；

3D人脸转换模块，用于根据所述UV位置图提供的3D几何信息以及所述2D人脸图像提供的纹理信息进行3D人脸转换，得到3D人脸；

其中，所述3D人脸转换模块包括：

提取单元，用于从所述UV位置图中提取欲重建的3D人脸各个三维点的二维平面坐标；

映射单元，用于将提取的各个三维点的二维平面坐标映射到所述2D人脸图像的像素坐标系中的相应位置，使用2D人脸图像的像素坐标系中相应位置的纹理信息作为欲重建的3D人脸各个三维点的纹理信息，得到3D人脸；

其中，若映射后的所述2D人脸图像的像素坐标系中的相应位置是非整数坐标，则对所述2D人脸图像的纹理信息进行插值运算，得到该非整数坐标处的纹理信息。

5.根据权利要求4所述的3D重建装置，其特征在于，所述轻量卷积神经网络包括编码模块和解码模块，所述编码模块包括1个卷积层和10个残差块，所述解码模块包括17个转置卷积层。

6.根据权利要求5所述的3D重建装置，其特征在于，所述轻量卷积神经网络在训练时的损失函数Loss为：

P(x,y)为在预测的UV位置图中(x,y)坐标处的像素点的RGB像素值，为在groundtruth UV位置图中(x,y)坐标处的像素点的RGB像素值；

W(x，y)为面部权重mask，面部权重mask表示2D人脸图像中根据判别性大小分成的各个子区域的权重比例，判别性越大的子区域的权重比例越大。

7.一种用于3D重建的计算机可读存储介质，其特征在于，包括用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括权利要求1-3任一所述3D重建方法的步骤。