[发明专利]三维人脸重建方法和装置

权利要求书

1.一种三维人脸重建方法，其特征在于，所述方法包括：

获取待重建人脸图像，定位所述待重建人脸图像的二维参考点，所述二维参考点包括二维五官点和二维轮廓点；

从所述待重建人脸图像对应的当前三维人脸中选取当前三维五官点，基于所述待重建人脸图像获取对应的待处理三维轮廓点；

基于所述当前三维五官点、所述待处理三维轮廓点和所述二维参考点进行姿态估计，得到更新姿态特征；

根据更新姿态特征从所述当前三维人脸中选取更新三维轮廓点，根据所述更新三维轮廓点和所述当前三维五官点计算所述当前三维人脸对应的更新形变特征；

基于所述更新姿态特征将所述更新三维轮廓点和所述当前三维五官点进行透视投影得到二维投影点，根据所述二维投影点与所述二维参考点的第一误差信息更新所述当前三维五官点和待处理三维轮廓点，返回所述姿态估计的步骤，直到满足第一收敛条件；

基于满足第一收敛条件的更新形变特征和更新姿态特征进行三维人脸重建，得到所述待重建人脸图像对应的目标三维人脸。

2.根据权利要求1所述的方法，其特征在于，在所述根据所述二维投影点与所述二维参考点的第一误差信息更新所述当前三维五官点和待处理三维轮廓点，返回所述姿态估计的步骤，直到满足第一收敛条件，包括：

基于所述二维投影点与所述二维参考点计算得到第一误差信息，当所述第一误差信息未满足第一收敛条件时，基于所述更新形变特征更新所述当前三维人脸，得到更新三维人脸；

从所述更新三维人脸中选取更新三维五官点，得到更新的当前三维五官点，并将所述更新三维轮廓点作为更新的待处理三维轮廓点，返回基于所述当前三维五官点、所述待处理三维轮廓点、所述二维参考点进行姿态估计，得到更新姿态特征的步骤，直到满足第一收敛条件。

3.根据权利要求2所述的方法，其特征在于，所述待重建人脸图像为起始人脸视频帧，所述二维投影点包括二维投影五官点和二维投影轮廓点；

基于所述二维投影点与所述二维参考点计算得到第一误差信息，包括：

基于所述二维投影五官点与所述二维五官点计算得到五官点误差信息，并基于所述二维投影轮廓点与所述二维轮廓点计算得到轮廓点误差信息；

基于所述轮廓点误差信息与所述五官点误差信息，得到所述二维投影点与所述二维参考点的第一误差信息。

4.根据权利要求2所述的方法，其特征在于，所述待重建人脸图像为非起始人脸视频帧，所述二维投影点包括二维投影五官点和二维投影轮廓点；

基于所述二维投影点与所述二维参考点计算得到第一误差信息，包括：

基于所述二维投影五官点与所述二维五官点计算得到五官点误差信息，并基于所述二维投影轮廓点与所述二维轮廓点计算得到轮廓点误差信息；

获取所述非起始人脸视频帧的前向人脸视频帧对应的前向形变特征，所述前向形变特征是所述前向人脸视频帧在三维人脸重建时使用的形变特征；

计算所述前向形变特征与所述更新形变特征的形变误差信息，基于所述轮廓点误差信息、所述五官点误差信息和所述形变误差信息，得到所述二维投影点与所述二维参考点的第一误差信息。

5.根据权利要求1所述的方法，其特征在于，所述定位所述待重建人脸图像对应的二维五官点和二维轮廓点，包括：

基于所述待重建人脸图像进行人脸检测，得到人脸区域；

在所述人脸区域中进行人脸关键点检测，得到所述待重建人脸图像对应的人脸关键点；

从所述人脸关键点中确定二维五官点和二维轮廓点。

6.根据权利要求1所述的方法，其特征在于，所述待重建人脸图像为起始人脸视频帧；

所述基于所述人脸视频帧获取对应的待处理三维轮廓点，包括：

获取目标焦距，根据所述目标焦距将所述当前三维五官点投影到二维平面，得到投影五官点，基于所述投影五官点和所述二维五官点进行姿态估计，得到起始姿态特征；

根据所述起始姿态特征从所述当前三维人脸的三维人脸轮廓点区域中选取所述起始人脸视频帧对应的待处理三维轮廓点。