[发明专利]纹理生成方法、装置、设备及存储介质

说明书

本公开实施例提供一种纹理生成方法、装置、设备及存储介质，其中，该方法可以包括：获取目标对象的第一视图纹理；将所述第一视图纹理输入预先训练得到的纹理生成网络，得到所述纹理生成网络预测输出的所述目标对象的第二视图纹理，所述第一视图纹理和第二视图纹理对应于不同的视图采集角度。本公开实施例使得只需要获取目标对象的第一视图纹理就可以获得该第二视图纹理，由此对目标对象的视图采集要求降低，操作简单，降低纹理生成的成本；并且，也使得纹理生成的较为准确和真实。

技术领域

本公开涉及图像处理技术，具体涉及一种纹理生成方法、装置、设备及存储介质。

背景技术

现有的三维人体重建技术中，重建得到的三维人体模型通常都要在人体网格模型的基础上补充人体纹理信息，以使得整个三维人体模型具有更为逼真的视觉效果。而要获得带纹理的三维人体模型，往往需要对人体进行连续的扫描。但是，通过连续扫描人体获得人体纹理的方式，操作比较复杂。

发明内容

有鉴于此，本公开实施例至少提供一种纹理生成方法、装置、设备及存储介质。

第一方面，提供一种纹理生成方法，所述方法包括：

获取目标对象的第一视图纹理；

将所述第一视图纹理输入预先训练得到的纹理生成网络，得到所述纹理生成网络预测输出的所述目标对象的第二视图纹理，所述第一视图纹理和第二视图纹理对应于不同的视图采集角度。

在一个例子中，所述目标对象是人体，所述目标对象的第一视图纹理是所述人体的正向视图纹理，所述第二视图纹理是所述人体的背向视图纹理。

在一个例子中，所述得到所述纹理生成网络预测输出的所述目标对象的第二视图纹理之后，所述方法还包括：将所述第一视图纹理和第二视图纹理，映射至所述目标对象的初始三维模型，得到填充有纹理结构的目标三维模型；所述初始三维模型表示所述目标对象的几何形状的三维网格模型。

在一个例子中，所述将所述第一视图纹理输入预先训练得到的纹理生成网络，得到所述纹理生成网络预测输出的所述目标对象的第二视图纹理，包括：对所述第一视图纹理进行下采样处理，提取得到第一纹理特征图；基于所述第一纹理特征图进行上采样处理，输出所述第二视图纹理。

在一个例子中，所述纹理生成网络的训练过程包括：基于样本对象的第一视图纹理样本，通过待训练的纹理生成网络输出所述样本对象的第二视图纹理样本；根据所述第一视图纹理样本和所述第二视图纹理样本，生成网络监督信息；所述网络监督信息包括如下至少一种：纹理监督信息、以及通过生成对抗网络得到的对抗监督信息；基于所述网络监督信息，调整所述纹理生成网络的网络参数。

在一个例子中，在所述网络监督信息包括：纹理监督信息时，所述根据所述第一视图纹理样本和所述第二视图纹理样本，生成网络监督信息，包括：对所述第一视图纹理样本进行特征提取，得到第一纹理特征；对所述第二视图纹理样本进行特征提取，得到第二纹理特征；根据所述第一纹理特征、第二纹理特征以及第二视图标签的纹理特征，得到用于表示纹理特征之间差异的第一特征损失作为所述纹理监督信息。

在一个例子中，在所述网络监督信息包括所述对抗监督信息时，所述根据所述第一视图纹理样本和所述第二视图纹理样本，生成网络监督信息，包括：将所述第一视图纹理样本和第二视图纹理样本输入第一判别器；根据所述第一判别器的输出值和第一判别标签，得到第一判别损失作为所述对抗监督信息。

在一个例子中，所述网络监督信息还包括：回归监督信息；所述方法还包括：基于所述第二视图纹理样本、以及对应的第二视图标签，得到第一回归损失作为所述回归监督信息。