[发明专利]基于深度学习的纹理图自动生成方法、装置、计算机设备和存储介质

说明书

本发明公开了一种基于深度学习的纹理图自动生成方法、装置、计算机设备和存储介质，属于家装设计领域。所述纹理图自动生成方法包括以下步骤：获取拍摄图片，并提取拍摄图片中的主体部分得到主体图像；利用编码器提取主体图像的高维矢量，并从纹理库中搜索获得与高维矢量匹配的至少一个匹配纹理矢量；利用解码器对输入的匹配纹理矢量和添加噪声进行解码计算，生成至少1个纹理贴图，来提升纹理贴图的质量。

技术领域

本发明属于家装设计领域，具体涉及一种基于深度学习的纹理图自动生成方法、装置、计算机设备和存储介质。

背景技术

在家装设计领域，纹理贴图作为三维模型的渲染素材非常重要。在渲染时，通过UV信息将纹理贴图贴回物体的三维模型，为了提升渲染图像的质量，要求输入的纹理贴图是非常干净、没有干扰，因此纹理贴图的质量非常重要。

一般情况下，用户很难获得一张干净的优质纹理贴图，更大的需求是根据拍摄图片做纹理自动生成，因此学术界通过干净图片直接生成纹理图的方案并不适用于家装设计的纹理贴图生成。

另外，用户的拍摄图片质量参差不齐，可能有其他物体入境，其他物理会直接影响生成的纹理信息；还有拍摄的角度不同会导致生成纹理呈现扭曲，与真实纹理不符合，即会使生成纹理不真实；再者，拍摄图片呈现的光照不均匀，可能会过亮或过暗，拍摄图片的亮度不均匀或者失真会导致生成的纹理颜色失真。因此，根据拍摄图片不能生成理想的纹理图，也并满足家装设计领域的纹理贴图的质量需求。

申请公布号为CN111524204A的专利申请公开了一种人像发丝动漫化纹理生成方法，申请公布号为CN110223370A的专利申请公开了一种从单视点图片生成完整人体纹理贴图的方法，这两个技术方案均是根据图像直接生成纹理贴图，生成的纹理贴图不理想。

发明内容

鉴于上述，本发明的目的是提供一种基于深度学习的纹理图自动生成方法、装置、计算机设备和存储介质，来提升纹理贴图的质量。

第一方面，本发明实施例提供了一种基于深度学习的纹理图自动生成方法，包括以下步骤：

获取拍摄图片，并提取拍摄图片中的主体部分得到主体图像；

利用编码器提取主体图像的高维矢量，并从纹理库中搜索获得与高维矢量匹配的至少一个匹配纹理矢量；

利用解码器对输入的匹配纹理矢量和添加噪声进行解码计算，生成至少1个纹理贴图。

在一个实施方式中，所述纹理库中包含有多个样本，每个样本包含渲染图、渲染图对应的纹理贴图、纹理贴图对应的纹理矢量；

依据高维矢量与纹理矢量之间的距离，搜索距离小于距离阈值的至少1个纹理矢量作为高维矢量的匹配纹理矢量。

在另外一个实施方式中，从高斯分布中随机采样获得尺寸与匹配纹理矢量相同的噪声向量作为添加噪声用于生成纹理贴图。

在另外一个实施方式中，所述编码器基于卷积神经网络构建，从纹理库提取第一渲染图、第一纹理图和第二渲染图作为训练样本，并采用triplet loss作为损失函数对卷积神经网络进行训练，以优化卷积神经网络的网络参数，训练结束后，确定的网络参数与卷积神经网络结构组成编码器。

在另外一个实施方式中，所述解码器基于卷积神经网络构建，从纹理库的每个样本中提取纹理矢量和纹理贴图作为训练样本，对卷积神经网络进行训练，以优化卷积神经网络的网络参数，训练结束后，确定的网络参数与卷积神经网络结构组成解码器。

在另外一个实施方式中，所述纹理图自动生成方法包括：

增加主体部分的三维模型的UV信息作为解码器的输入，即解码器依据输入的匹配纹理矢量、添加噪声以及UV信息生成符合UV坐标的纹理贴图。