[发明专利]虚拟三维人脸生成方法、人脸生成模型的训练方法及装置

权利要求书

1.一种虚拟三维人脸生成方法，其特征在于，所述方法包括：

对参考人脸图像的第一人脸特征进行语义解析，得到第一区域语义特征，所述第一区域语义特征用于表示所述参考人脸图像的第一人脸区域的多个部位的语义特征；

基于所述第一区域语义特征，确定第一注意力权重特征，所述第一注意力权重特征用于表示所述第一人脸区域的多个部位对人脸属性的重要程度；

基于所述第一区域语义特征和所述第一注意力权重特征，确定所述第一人脸区域对应的多个第一人脸属性类别；

基于所述多个第一人脸属性类别对应的多个三维人脸素材，生成所述参考人脸图像对应的虚拟三维人脸。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一区域语义特征和所述第一注意力权重特征，确定所述第一人脸区域对应的多个第一人脸属性类别，包括：

将所述第一区域语义特征与所述第一注意力权重特征进行融合，得到第一融合特征，所述第一融合特征中包括所述多个部位对应的区域语义特征；

基于所述多个部位对应的区域语义特征，确定所述第一人脸区域对应的多个第一人脸属性类别。

3.根据权利要求1所述的方法，其特征在于，所述基于所述第一区域语义特征，确定第一注意力权重特征，包括：

对所述第一区域语义特征进行卷积处理，得到第二区域语义特征；

对所述第二区域语义特征进行通道注意力处理，得到所述第一注意力权重特征。

4.根据权利要求1所述的方法，其特征在于，所述第一区域语义特征、所述第一注意力权重特征、所述多个人脸属性类别均是通过人脸生成模型确定的；所述人脸生成模型的训练过程，包括：

获取样本数据，所述样本数据包括样本人脸图像和所述样本人脸图像的第二人脸区域的多个样本人脸属性类别；

对所述样本人脸图像的第二人脸特征进行语义解析，得到第三区域语义特征，所述第三区域语义特征用于表示所述样本人脸图像的第二人脸区域的多个部位的语义特征；

基于所述第三区域语义特征，确定第二注意力权重特征，所述第二注意力权重特征用于表示所述第二人脸区域的多个部位对人脸属性的重要程度；

基于所述第三区域语义特征和所述第二注意力权重特征，确定所述第二人脸区域对应的多个第二人脸属性类别；

基于所述多个第二人脸属性类别和所述多个样本人脸属性类别，训练得到所述人脸生成模型。

5.根据权利要求4所述的方法，其特征在于，所述基于所述多个第二人脸属性类别和所述多个样本人脸属性类别，训练得到所述人脸生成模型，包括：

基于所述第二人脸特征和所述第三区域语义特征，确定第一交叉熵损失值；

基于所述多个第二人脸属性类别和所述多个样本人脸属性类别，确定多个第二交叉熵损失值；

基于所述第一交叉熵损失值和所述多个第二交叉熵损失值，训练得到所述人脸生成模型。

6.根据权利要求4所述的方法，其特征在于，所述基于所述第二人脸特征和所述第三区域语义特征，确定第一交叉熵损失值，包括：

对所述第三区域语义特征进行归一化处理，得到第四区域语义特征，所述第四区域语义特征包括多个特征点的语义特征值；

基于所述第四区域语义特征和所述第二人脸特征，确定所述第一交叉熵损失值。

7.根据权利要求4所述的方法，其特征在于，所述基于所述第一损失值和所述多个第二损失值，训练得到所述人脸生成模型，包括：

确定所述多个第二损失值的平均值；

对所述第一损失值和所述多个第二损失值的平均值进行加权求和，得到目标损失值；

基于所述目标损失值，更新所述人脸生成模型的模型参数，直到所述人脸模型达到收敛条件，得到训练完成的所述人脸生成模型。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取参考人脸图像；

对所述参考人脸图像进行数据增强预处理；

提取预处理后的参考人脸图像的人脸特征，得到所述第一人脸特征。