[发明专利]一种面部捕捉方法、装置、电子设备及存储介质

权利要求书

1.一种面部捕捉方法，其特征在于，所述方法包括：

检测相机采集的人脸图像的二维人脸关键点；

根据所述二维人脸关键点，从预先制作的三维人脸模型中的三维人脸关键点中确定三维目标关键点；

根据所述二维人脸关键点和所述三维目标关键点计算相机参数，其中，所述相机参数包括以下：旋转角参数、平移量和缩放值；

根据所述相机参数和所述三维目标关键点，对所述三维人脸模型进行表情变换处理，得到所述二维人脸关键点对应的三维表情参数；

对所述三维表情参数进行稀疏化处理，得到稀疏化表情参数；

将所述稀疏化表情参数和所述旋转角参数迁移至虚拟角色的动画模型上，使得虚拟角色的表情与所述人脸图像表情一致；

所述三维人脸模型是由表情融合模型经参数化人脸模型3DMM重建构成；所述三维表情参数包括不同人脸部位对应的表情子参数；

对所述三维表情参数进行稀疏化处理，得到稀疏化表情参数的步骤，包括：

将每个人脸部位对应的表情子参数作为目标子参数，执行以下操作：

在预存的表情模型映射表中查询与所述目标子参数对应的目标表情子模型；其中，所述表情模型映射表中存储有所述表情融合模型包括的不同人脸部位的表情子模型对应的子模型标识；

将所述目标子参数赋值给所述目标表情子模型；

将所述表情融合模型中除所述目标表情子模型以外的其它表情子模型对应的表情子参数设置为预设参数；

对所述目标表情子模型和其它所述表情子模型进行融合，得到目标三维人脸模型；

基于所述目标三维人脸模型和预设三维人脸模型计算目标子参数对应的顶点形变量；其中，所述预设三维人脸模型是由表情子参数为所述预设参数的多个表情子模型融合得到；

将各个目标子参数对应的顶点形变量和所述三维表情参数输入优化模型进行迭代计算，直至优化模型的损失值达到预设损失值，输出优化结果；

将所述优化结果作为稀疏化表情参数。

2.根据权利要求1所述的方法，其特征在于，所述检测相机采集的人脸图像的二维人脸关键点的步骤，包括：

获取相机采集的人脸视频；

将所述人脸视频包含的人脸图像逐一输入至人脸关键点检测模型，得到每个所述人脸图像分别对应的二维人脸关键点。

3.根据权利要求1所述的方法，其特征在于，在所述三维人脸模型中标注有每个所述三维人脸关键点对应的三维点标识；

根据所述二维人脸关键点，从所述三维人脸关键点中确定三维目标关键点的步骤，包括：

获取所述二维人脸关键点对应的二维点标识；

获取与所述二维点标识匹配的三维点标识；

将获取的所述三维点标识对应的三维人脸关键点确定为所述三维目标关键点。

4.根据权利要求1所述的方法，其特征在于，根据所述二维人脸关键点和所述三维目标关键点计算相机参数的步骤，包括：

基于所述二维人脸关键点和所述三维目标关键点构建关于相机参数的误差函数；

利用最小二乘法求解所述误差函数的最小值；

将所述最小值作为相机参数。

5.根据权利要求1所述的方法，其特征在于，根据所述相机参数和所述三维目标关键点，对所述三维人脸模型进行表情变换处理，得到所述二维人脸关键点对应的三维表情参数的步骤，包括：

将所述二维人脸关键点输入所述三维人脸模型进行迭代计算，以变换所述三维人脸模型的表情，直至表情变换后的三维人脸模型中所述三维目标关键点在所述人脸图像上的投影点与所述二维人脸关键点重合；其中，所述投影点为三维目标人脸关键点基于所述相机参数计算得到；

提取迭代计算后的所述三维人脸模型中的表情参数；

将提取的所述表情参数确定为所述三维表情参数。

6.根据权利要求1所述的方法，其特征在于，所述三维表情参数还包括与每个所述表情子参数对应的子参数标识；

在预存的表情模型映射表中查询与所述目标子参数对应的目标表情子模型的步骤，包括：

获取与所述子参数标识匹配的子模型标识；

将获取的所述子模型标识对应的表情子模型确定为所述目标表情子模型。