[发明专利]图像处理模型训练方法、图像处理方法、装置及电子设备

说明书

本公开关于一种图像处理模型训练方法、图像处理方法、装置及电子设备，该方法包括：获取参考图像所包括的第一对象的第一形状特征向量，以及样本图像所包括的第二对象的第二形状特征向量和属性特征向量；将第一形状特征向量和第二形状特征向量，输入待训练的图像处理模型中，得到目标形状特征向量；将目标形状特征向量和属性特征向量进行渲染，得到样本图像对应的输出图像；根据参考图像与输出图像之间的第一损失值，以及样本图像与输出图像之间的第二损失值，对待训练的图像处理模型进行训练，得到训练后的图像处理模型。可见，通过选取不同的参考图像，输出图像中的对象具有不同的形变结果，从而解决了相关技术中形变结果较为单一的问题。

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

由于美颜技术可以提升图像中人物的容颜，因此，在图像处理中得到了广泛的应用。随着骨相化妆、面部折叠度等审美的普及，面部结构重塑也逐渐成为美颜领域致力于攻破的难点之一。

相关技术中，美颜方法通常采取液化等图像形变方法来实现隆鼻、丰下巴等功能，然而在处理人物侧面时却很难保证合理连续的形变。

为此，相关技术中引入了人脸重建。在人脸重建时，通过3D重建网络和三维形变模型得到初始人脸重建结果，然后将初始人脸重建结果的部分区域直接替换为3D设计师所设计的三维模版，这种方法能够保证360度下合理形变。但是，由于人脸形变的过程中，依赖于3D设计师所设计的固有三维模版，因此，重建后的人脸形变比较固定，不同人脸都是同一种局部形变结果，从而导致形变结果较为单一。

发明内容

为了解决相关技术中存在的上述技术问题，本公开提供了一种图像处理模型训练方法、图像处理方法、装置及电子设备，本公开的技术方案如下：

根据本公开实施例的第一方面，提供了一种图像处理模型训练方法，包括：

获取参考图像所包括的第一对象的第一形状特征向量，以及样本图像所包括的第二对象的第二形状特征向量和属性特征向量；所述第一形状特征向量用于表征所述第一对象的形状特征；所述第二形状特征向量用于表征所述第二对象的形状特征，所述属性特征向量为所述第二对象的除所述第二形状特征向量之外的特征向量；所述第二对象的形状特征与第一对象的形状特征不同；

将所述第一形状特征向量和所述第二形状特征向量，输入待训练的图像处理模型中，得到所述第二对象的目标形状特征向量；所述目标形状特征向量通过所述待训练的图像处理模型对所述第一形状特征向量和所述第二形状特征向量进行融合处理得到；

将所述目标形状特征向量和所述属性特征向量进行渲染，得到所述样本图像对应的输出图像；

根据所述参考图像与所述输出图像之间的第一损失值，以及所述样本图像与所述输出图像之间的第二损失值，对所述待训练的图像处理模型进行训练，得到训练后的图像处理模型；所述第一损失值用于表征所述输出图像中对象的形状特征相对于所述第一对象的形状特征的损失大小，所述第二损失值用于表征所述输出图像中对象的属性特征相对于所述第二对象的属性特征的损失大小，一个对象的属性特征为所述对象中除形状特征之外的特征。

可选的，所述获取参考图像所包括的第一对象的第一形状特征向量，包括：

将参考图像输入预先训练得到的形状特征提取模型，通过所述形状特征提取模型提取所述参考图像所包括的第一对象的多个第一形状特征图，并输出所述多个第一形状特征图；不同第一形状特征图用于表征所述第一对象的不同维度的形状特征；

将所述多个第一形状特征图分别通过全局池化，得到多个第一子形状特征向量；

将所述多个第一子形状特征向量进行拼接，得到参考图像所包括的第一对象的第一形状特征向量。

可选的，所述形状特征提取模型的训练过程，包括：